JP2005321872A - Image pickup system, image pickup control program, image pickup control method and vehicle - Google Patents

Image pickup system, image pickup control program, image pickup control method and vehicle Download PDF

Info

Publication number
JP2005321872A
JP2005321872A JP2004137417A JP2004137417A JP2005321872A JP 2005321872 A JP2005321872 A JP 2005321872A JP 2004137417 A JP2004137417 A JP 2004137417A JP 2004137417 A JP2004137417 A JP 2004137417A JP 2005321872 A JP2005321872 A JP 2005321872A
Authority
JP
Japan
Prior art keywords
license plate
image
camera
captured
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004137417A
Other languages
Japanese (ja)
Inventor
Takahiro Okamoto
高宏 岡本
Toshihiko Kako
俊彦 加來
Shuji Ono
修司 小野
Ichigaku Mino
一学 三野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2004137417A priority Critical patent/JP2005321872A/en
Publication of JP2005321872A publication Critical patent/JP2005321872A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image pickup system for imaging the license plate of a vehicle ahead. <P>SOLUTION: This image pickup system is provided with a template holding part for holding the template image of a license plate, a camera for picking up an image ahead of a vehicle, a license plate recognizing part for matching the image picked-up by the camera with the template image held by the template holding part to recognize the license plate in the image picked up by the camera, a reference license plate holding part for holding the image of the license plate recognized by the license plate recognizing part as a reference license plate image and a license plate re-recognizing part for matching the image picked-up by the camera with the reference license plate image held by the reference license plate holding part to recognize the license plate in the image picked-up by the camera again. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、車両の前方を撮像する撮像システム、撮像制御プログラム、撮像制御方法、および車両に関する。特に本発明は、前方の車両のナンバープレートを撮像する撮像システム、撮像制御プログラム、撮像制御方法、および車両に関する。   The present invention relates to an imaging system for imaging the front of a vehicle, an imaging control program, an imaging control method, and a vehicle. In particular, the present invention relates to an imaging system for imaging a license plate of a vehicle ahead, an imaging control program, an imaging control method, and a vehicle.

従来、前方を走行する車両を撮像した画像からナンバープレートを検出し、検出したナンバープレートのサイズを求めることにより、前方の車両までの車間距離を算出する車間距離検知装置が知られている（例えば、特許文献１参照）。   2. Description of the Related Art Conventionally, there is known an inter-vehicle distance detection device that detects an inter-vehicle distance to a vehicle ahead by detecting a license plate from an image of a vehicle traveling in front and obtaining the size of the detected license plate (for example, , See Patent Document 1).

特開平１０−９６６２６号公報JP-A-10-96626

しかしながら上記の車間距離検知装置では、ナンバープレートの輪郭をエッジ検出することにより、ナンバープレートを検出しているので、例えば撮像環境の変化や、汚れ等の付着により、ナンバープレートを正しく検出できなくなる場合がある。   However, in the above-mentioned inter-vehicle distance detection device, the license plate is detected by detecting the edge of the license plate. Therefore, the license plate cannot be detected correctly due to, for example, a change in the imaging environment or adhesion of dirt. There is.

そこで本発明は、上記の課題を解決することのできる撮像システム、撮像制御プログラム、撮像制御方法、および車両を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。   Accordingly, an object of the present invention is to provide an imaging system, an imaging control program, an imaging control method, and a vehicle that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.

このような課題を解決するために、本発明の第１の形態における撮像システムは、ナンバープレートのテンプレート画像を保持するテンプレート保持部と、車両の前方の画像を撮像するカメラと、カメラにより撮像された画像とテンプレート保持部により保持されているテンプレート画像とをマッチングすることにより、カメラが撮像した撮像画像中のナンバープレートを認識するナンバープレート認識部と、ナンバープレート認識部により認識されたナンバープレートの画像を基準ナンバープレート画像として保持する基準ナンバープレート保持部と、カメラにより撮像された画像と基準ナンバープレート保持部により保持されている基準ナンバープレート画像とをマッチングすることにより、カメラが撮像した画像中のナンバープレートを再度認識するナンバープレート再認識部とを備えた。このように本発明では、カメラにより撮像された画像と基準ナンバープレート保持部により保持されている画像とをマッチングすることにより、撮像された画像中のナンバープレートを認識するので、マッチングの精度を高めることができる。   In order to solve such a problem, the imaging system according to the first embodiment of the present invention is captured by a template holding unit that holds a template image of a license plate, a camera that captures an image in front of the vehicle, and a camera. A license plate that recognizes a license plate in a captured image captured by the camera, and a license plate that is recognized by the license plate recognition unit. A reference number plate holding unit that holds an image as a reference number plate image, and an image captured by the camera by matching the image captured by the camera with the reference number plate image held by the reference number plate holding unit. Number plate And a recognizing license plate re-recognition unit again. As described above, according to the present invention, the license plate in the captured image is recognized by matching the image captured by the camera with the image stored by the reference license plate holding unit, so that the matching accuracy is improved. be able to.

ナンバープレート再認識部により認識された画像中のナンバープレートの大きさを用いて、前方の車両までの距離を算出する距離算出部を更に備えてもよい。例えば音波を用いて前方の車両までの距離を測定すると、車両の最後部に音波があたらずに正確な距離が測定できない場合がある。しかしながら、本発明ではナンバープレートまでの距離を算出するので、前方の車両までの距離を正確に算出することができる。   You may further provide the distance calculation part which calculates the distance to the vehicle ahead using the magnitude | size of the number plate in the image recognized by the license plate re-recognition part. For example, when the distance to the vehicle ahead is measured using sound waves, there is a case where an accurate distance cannot be measured without the sound waves being applied to the rearmost part of the vehicle. However, since the distance to the license plate is calculated in the present invention, the distance to the vehicle ahead can be accurately calculated.

ナンバープレート再認識部は、撮像画像におけるナンバープレート画像の上下方向の位置の変化と、ナンバープレート画像の拡大縮小率との関係を予め保持しており、この関係を満たすように基準ナンバープレート画像の上下方向の位置および大きさを変更しつつ、マッチングを行ってもよい。特にナンバープレート再認識部は、第１の撮像画像における上下方向の位置と、第２の撮像画像における上下方向の位置と、画像の拡大縮小率との関係を予め保持してもよい。これにより、少ない数のマッチングで、撮像画像中のナンバープレートを、再認識することができる。そして前方の車両までの距離を高速に算出することができる。   The license plate re-recognition unit holds in advance a relationship between a change in the vertical position of the license plate image in the captured image and the enlargement / reduction ratio of the license plate image. Matching may be performed while changing the position and size in the vertical direction. In particular, the license plate re-recognition unit may hold in advance the relationship between the vertical position in the first captured image, the vertical position in the second captured image, and the enlargement / reduction ratio of the image. Thereby, the license plate in the captured image can be re-recognized with a small number of matches. And the distance to the vehicle ahead can be calculated at high speed.

上記の撮像システムは、ナンバープレートの大きさと、前方の車両までの距離とを対応づける距離算出テーブルを更に備えてもよい。これにより、前方の車両までの距離を高速に算出することができる。   The imaging system may further include a distance calculation table that associates the size of the license plate with the distance to the vehicle ahead. Thereby, the distance to the vehicle ahead can be calculated at high speed.

本発明の第２の形態における撮像制御プログラムは、ナンバープレートのテンプレート画像を保持するテンプレート保持手段と、車両の前方の画像をカメラにより撮像する撮像手段と、カメラにより撮像された画像とテンプレート保持手段により保持されているテンプレート画像とをマッチングすることにより、カメラが撮像した撮像画像中のナンバープレートを認識するナンバープレート認識手段と、ナンバープレート認識手段により認識されたナンバープレートの画像を基準ナンバープレート画像として保持する基準ナンバープレート保持手段と、カメラにより撮像された画像と基準ナンバープレート保持手段により保持されている基準ナンバープレート画像とをマッチングすることにより、カメラが撮像した画像中のナンバープレートを再度認識するナンバープレート再認識手段とナンバープレート再認識手段により認識されたナンバープレートの大きさを用いて、前方の車両までの距離を算出する距離算出手段として車両を機能させる。   The imaging control program according to the second aspect of the present invention includes a template holding unit that holds a template image of a license plate, an imaging unit that takes an image in front of the vehicle with a camera, an image taken with the camera, and a template holding unit. The license plate recognition means for recognizing the license plate in the captured image captured by the camera by matching with the template image held by the camera, and the license plate image recognized by the license plate recognition means The reference number plate holding means for holding the image and the number plate in the image taken by the camera by matching the image taken by the camera with the reference number plate image held by the reference number plate holding means Using the size of the recognized license plate by recognizing license plate reaffirm means and license plate reaffirm unit again, to function the vehicle as a distance calculating means for calculating the distance to the front of the vehicle.

ナンバープレート再認識手段は、撮像画像におけるナンバープレート画像の上下方向の位置の変化と、ナンバープレート画像の拡大率との関係を予め保持しており、この関係を満たすように基準ナンバープレート画像の上下方向の位置および大きさを変更しつつ、マッチングを行ってもよい。   The license plate re-recognition means holds in advance a relationship between the change in the vertical position of the license plate image in the captured image and the enlargement ratio of the license plate image. Matching may be performed while changing the position and size of the direction.

本発明の第３の形態における撮像制御方法は、ナンバープレートのテンプレート画像を保持するテンプレート保持ステップと、車両の前方の画像をカメラにより撮像する撮像ステップと、撮像ステップにより撮像された画像とテンプレート保持ステップにより保持されているテンプレート画像とをマッチングすることにより、撮像ステップが撮像した撮像画像中のナンバープレートを認識するナンバープレート認識ステップと、ナンバープレート認識手段により認識されたナンバープレートの画像を基準ナンバープレート画像として保持する基準ナンバープレート保持ステップと、カメラにより撮像された画像と基準ナンバープレート保持手段により保持されている基準ナンバープレート画像とをマッチングすることにより、カメラが撮像した画像中のナンバープレートを再度認識するナンバープレート再認識ステップと、ナンバープレート認識ステップにより認識されたナンバープレートの大きさを用いて、前方の車両までの距離を算出する距離算出ステップとを備える。   An imaging control method according to the third aspect of the present invention includes a template holding step for holding a template image of a license plate, an imaging step for taking an image in front of the vehicle with a camera, and an image taken in the imaging step and a template holding. The license plate recognition step for recognizing the license plate in the captured image captured by the imaging step by matching the template image held in the step, and the license plate image recognized by the license plate recognition means A reference number plate holding step for holding as a plate image, and an image picked up by the camera by matching the image picked up by the camera with the reference number plate image held by the reference number plate holding means. Recognizing license plate reaffirm step again license plate in the image using the magnitude of the recognized license plate by license plate recognition step, and a distance calculation step of calculating the distance to the front of the vehicle.

ナンバープレート更新ステップは、撮像画像におけるナンバープレート画像の上下方向の位置の変化と、ナンバープレート画像の拡大縮小率との関係を予め保持しており、この関係を満たすように基準ナンバープレート画像の上下方向の位置および大きさを変更しつつ、マッチングを行ってもよい。   The license plate update step holds in advance the relationship between the change in the vertical position of the license plate image in the captured image and the enlargement / reduction ratio of the license plate image. Matching may be performed while changing the position and size of the direction.

本発明の第４の形態における車両は、ナンバープレートのテンプレート画像を保持するテンプレート保持部と、車両の前方の画像を撮像するカメラと、カメラにより撮像された画像とテンプレート保持部により保持されているテンプレート画像とをマッチングすることにより、カメラが撮像した撮像画像中のナンバープレートを認識するナンバープレート認識部と、ナンバープレート認識部により認識されたナンバープレートの画像を基準ナンバープレート画像として保持する基準ナンバープレート保持部と、カメラにより撮像された画像と基準ナンバープレート保持部により保持されている基準ナンバープレート画像とをマッチングすることにより、カメラが撮像した画像中のナンバープレートを再度認識するナンバープレート再認識部と、ナンバープレート認識部により認識されたナンバープレートの大きさを用いて、前方の車両までの距離を算出する距離算出部とを備える。   The vehicle according to the fourth embodiment of the present invention is held by a template holding unit that holds a template image of a license plate, a camera that picks up an image in front of the vehicle, an image picked up by the camera, and a template holding unit. A license plate recognition unit that recognizes a license plate in a captured image captured by the camera by matching the template image, and a reference number that holds the license plate image recognized by the license plate recognition unit as a reference license plate image License plate re-recognition that recognizes the license plate in the image captured by the camera again by matching the plate captured image with the image captured by the camera with the reference license plate image retained by the reference license plate retaining unit Department and Using the size of the recognized license plate by number plate recognition unit, and a distance calculation unit that calculates a distance to the front of the vehicle.

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。   The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の開発手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the claimed invention, and all the combinations of features described in the embodiments are not included in the invention. It is not always essential for development means.

図１は、本発明に係る撮像システム１００を搭載した車両１０を示す。撮像システム１００はカメラを備えており、車両１０の前方を走行する車両１２のナンバープレート６００を含む画像を撮像する。本発明の撮像システム１００は、車両１０の前方を走行する車両１２のナンバープレート６００を精度よく認識すると共に、認識したナンバープレートの大きさを用いて前方の車両１２までの車間距離を求め、車間距離が短くなった場合には、車両１０を減速し、そして運転手へ警告を行うことを目的とする。   FIG. 1 shows a vehicle 10 equipped with an imaging system 100 according to the present invention. The imaging system 100 includes a camera and captures an image including the license plate 600 of the vehicle 12 traveling in front of the vehicle 10. The imaging system 100 of the present invention recognizes the license plate 600 of the vehicle 12 traveling in front of the vehicle 10 with high accuracy, obtains the inter-vehicle distance to the vehicle 12 ahead using the size of the recognized license plate, The object is to decelerate the vehicle 10 and warn the driver when the distance becomes shorter.

図２は、撮像システム１００が撮像する画像を説明する図である。図２（ａ）は、車間距離が遠い場合の画像の一例を示す。図２（ｂ）は、車間距離が近い場合の画像の一例を示す。本発明の撮像システム１００は、ナンバープレートのテンプレートを予め有しており、車両１０の前方を撮像した画像に対してマッチングを行うことによりナンバープレート６００を認識し、見つかったナンバープレート６００の画像を基準テンプレート画像として利用することにより、ナンバープレート検出の精度を上げることを目的とする。   FIG. 2 is a diagram illustrating an image captured by the imaging system 100. FIG. 2A shows an example of an image when the inter-vehicle distance is long. FIG. 2B shows an example of an image when the inter-vehicle distance is short. The imaging system 100 of the present invention has a license plate template in advance, recognizes the license plate 600 by matching an image obtained by imaging the front of the vehicle 10, and detects the image of the found license plate 600. It is intended to increase the accuracy of license plate detection by using it as a reference template image.

ここで車両１０から車両１２までの車間距離が変化すると、撮像画像中でのナンバープレート６００の大きさは、拡大または縮小される。詳細は後述するが、このナンバープレート６００の拡大率および縮小率は、画像中におけるナンバープレート６００の上下方向に位置の変化から求めることが可能である。そこで本発明の撮像システム１００は、更に、画像中におけるナンバープレートの上下方向の位置の変化とナンバープレートの拡大縮小率の関係を用いて、高速なマッチングを行うことを目的とする。   Here, when the inter-vehicle distance from the vehicle 10 to the vehicle 12 changes, the size of the license plate 600 in the captured image is enlarged or reduced. Although details will be described later, the enlargement ratio and reduction ratio of the license plate 600 can be obtained from the change in position in the vertical direction of the license plate 600 in the image. Therefore, the imaging system 100 of the present invention further aims to perform high-speed matching using the relationship between the change in the vertical position of the license plate in the image and the enlargement / reduction ratio of the license plate.

図３は、撮像システム１００の詳細な構成の一例を示す。撮像システム１００は、テンプレート保持部４０、ナンバープレート認識部４２、基準ナンバープレート保持部４４、ナンバープレート再認識部４６、距離算出部４８、減速制御部５０、カメラ５２、警告部５４、距離算出テーブル５６、及び記録媒体７０を備える。   FIG. 3 shows an example of a detailed configuration of the imaging system 100. The imaging system 100 includes a template holding unit 40, a license plate recognition unit 42, a reference license plate holding unit 44, a license plate re-recognition unit 46, a distance calculation unit 48, a deceleration control unit 50, a camera 52, a warning unit 54, and a distance calculation table. 56 and a recording medium 70.

テンプレート保持部４０は、ナンバープレートのテンプレート画像を保持する。ここでテンプレート保持部４０は、テンプレート画像として、実際のナンバープレートの形状を示す画像、及びナンバープレートに表示される文字を示す画像を予め保持する。テンプレート保持部４０は、ナンバープレートの形状を示す画像として、ナンバープレートと縦横比が略同一の、白色の長方形のテンプレート画像を有する。またテンプレート保持部４０は、ナンバープレートに表示された文字を示す画像として、ひらがな、０〜９までの数字、ローマ字、及び「・」を有する。   The template holding unit 40 holds a license plate template image. Here, the template holding unit 40 holds in advance an image indicating the actual shape of the license plate and an image indicating the characters displayed on the license plate as template images. The template holding unit 40 has a white rectangular template image having substantially the same aspect ratio as that of the license plate as an image indicating the shape of the license plate. Moreover, the template holding | maintenance part 40 has a hiragana, the numbers from 0-9, a Roman character, and "*" as an image which shows the character displayed on the license plate.

カメラ５２は、車両１０の前方の画像を撮像する。本例のカメラ５２は、カメラ５２の光軸を、車両１０の進行方向に向けて地面と略平行に取りつけられる。これによりカメラ５２は、歪みの少ないナンバープレート画像を撮像する。またカメラ５２の画角は、車両１０が走行するレーンの前方を走行する車両１２が画角に入る程度の大きさを有する。これによりカメラ５２は、衝突する危険のある前方の車両１２のみを高い精度で撮像することができる。   The camera 52 captures an image in front of the vehicle 10. The camera 52 of this example is mounted substantially parallel to the ground with the optical axis of the camera 52 in the traveling direction of the vehicle 10. As a result, the camera 52 captures a license plate image with less distortion. In addition, the angle of view of the camera 52 is such that the vehicle 12 traveling in front of the lane in which the vehicle 10 travels enters the angle of view. Thereby, the camera 52 can image only the vehicle 12 ahead in danger of colliding with high accuracy.

ナンバープレート認識部４２は、カメラ５２により撮像された画像とテンプレート保持部４０により保持されているテンプレート画像とをマッチングすることにより、カメラ５２が撮像した撮像画像中のナンバープレートを認識する。本例のナンバープレート認識部４２は、マッチングを段階的に行う。詳細は後述するが、ナンバープレート認識部４２は、まずナンバープレートの形状のマッチングを行い、次にナンバープレートに表示された文字についてのマッチングを行う。   The license plate recognition unit 42 recognizes the license plate in the captured image captured by the camera 52 by matching the image captured by the camera 52 with the template image retained by the template retaining unit 40. The license plate recognition unit 42 in this example performs matching step by step. As will be described in detail later, the license plate recognition unit 42 first matches the shape of the license plate, and then matches the characters displayed on the license plate.

基準ナンバープレート保持部４４は、ナンバープレート認識部４２により認識されたナンバープレートの画像を基準ナンバープレート画像として保持する。ナンバープレート再認識部４６は、カメラ５２により撮像された画像と基準ナンバープレート保持部４４により保持されている基準ナンバープレート画像とをマッチングすることにより、カメラ５２が次に撮像した画像中のナンバープレートを認識する。本例のナンバープレート再認識部４６は、撮像画像におけるナンバープレート画像の上下方向の位置の変化と、ナンバープレート画像の拡大縮小率との関係を予め保持しており、この関係を満たすように基準ナンバープレート画像の上下方向の位置および大きさを変更しつつ、マッチングを行う。尚、上記の動作の詳細は後述する。   The reference license plate holding unit 44 holds the license plate image recognized by the license plate recognition unit 42 as a reference number plate image. The license plate re-recognition unit 46 matches the image picked up by the camera 52 with the reference number plate image held by the reference number plate holding unit 44, so that the number plate in the next image picked up by the camera 52 is obtained. Recognize The license plate re-recognition unit 46 of this example holds in advance a relationship between the change in the vertical position of the license plate image in the captured image and the enlargement / reduction ratio of the license plate image. Matching is performed while changing the position and size of the license plate image in the vertical direction. Details of the above operation will be described later.

マッチングによって、新たにナンバープレートが見つかると、本例のナンバープレート再認識部４６は、基準ナンバープレート保持部４４に保持された基準ナンバープレートを、新たに見つかったナンバープレートの画像へと更新する。このように本例の基準ナンバープレート保持部４４は、マッチングでナンバープレートが見つかるたびに、見つかったナンバープレートの画像を、基準ナンバープレートとして保持する。   When a new license plate is found by the matching, the license plate re-recognition unit 46 in this example updates the reference number plate held in the reference number plate holding unit 44 to an image of the newly found license plate. Thus, whenever the number plate is found by matching, the reference number plate holding unit 44 of this example holds an image of the found number plate as a reference number plate.

距離算出テーブル５６は、ナンバープレートの大きさと、前方の車両１２までの距離とを予め対応づけて格納する。本例の距離算出テーブル５６は、ナンバープレートの大きさとして、撮像された画像中におけるナンバープレートの縦および横の長さを格納する。尚、より簡易には、距離算出テーブル５６は、ナンバープレートの縦または横の長さのいずれかを、前方の車両１２までの距離に対応づけて格納してもよい。或いは、他の例における距離算出テーブル５６は、ナンバープレートの大きさとしてナンバープレートの面積を格納してもよい。   The distance calculation table 56 stores the size of the license plate and the distance to the vehicle 12 ahead in association with each other. The distance calculation table 56 of this example stores the vertical and horizontal lengths of the license plate in the captured image as the size of the license plate. More simply, the distance calculation table 56 may store either the vertical or horizontal length of the license plate in association with the distance to the vehicle 12 ahead. Alternatively, the distance calculation table 56 in another example may store the area of the license plate as the size of the license plate.

距離算出部４８は、ナンバープレート再認識部４６により認識された画像中のナンバープレートの大きさを用いて、前方の車両１２までの距離を算出する。この場合、距離算出部４８は距離算出テーブル５６を参照し、ナンバープレート再認識部４６により認識された画像中のナンバープレートの大きさに対応して格納された距離を求めることにより、前方の車両１２までの距離を算出する。例えば音波を用いて前方の車両１２までの距離を測定すると、車両１２の最後部に音波があたらずに正確な距離が測定できない場合がある。しかしながら、本発明ではナンバープレートまでの距離を算出するので、前方の車両１２までの距離を正確に算出することができる。またナンバープレートの大きさに対応する距離を、予め格納されたテーブルを参照することにより求めるので、前方の車両１２までの車間距離を高速に算出することができる。   The distance calculation unit 48 calculates the distance to the vehicle 12 ahead using the size of the license plate in the image recognized by the license plate re-recognition unit 46. In this case, the distance calculation unit 48 refers to the distance calculation table 56 and obtains the distance stored corresponding to the size of the license plate in the image recognized by the license plate re-recognition unit 46, so that the vehicle ahead The distance to 12 is calculated. For example, when the distance to the vehicle 12 ahead is measured using sound waves, there is a case where an accurate distance cannot be measured because the sound waves are not applied to the rearmost part of the vehicle 12. However, since the distance to the license plate is calculated in the present invention, the distance to the vehicle 12 ahead can be accurately calculated. In addition, since the distance corresponding to the size of the license plate is obtained by referring to a previously stored table, the inter-vehicle distance to the vehicle 12 ahead can be calculated at high speed.

減速制御部５０は、距離算出部４８により算出された距離が予め定められた基準の車間距離よりも短い場合に、車両１０の速度を減じる。本例の減速制御部５０は、車両１０のブレーキを動作させることにより車両１０の速度を減じる。また警告部５４は、距離算出部４８により算出された距離が、予め定められた基準の車間距離よりも短い場合に、車両１０の運転手に対して警告を行う。   The deceleration control unit 50 reduces the speed of the vehicle 10 when the distance calculated by the distance calculation unit 48 is shorter than a predetermined reference inter-vehicle distance. The deceleration control unit 50 of this example reduces the speed of the vehicle 10 by operating the brake of the vehicle 10. The warning unit 54 warns the driver of the vehicle 10 when the distance calculated by the distance calculation unit 48 is shorter than a predetermined reference inter-vehicle distance.

このように本発明では、カメラ５２により撮像された画像と基準ナンバープレート保持部４４により保持されている画像とをマッチングすることにより、撮像された画像中のナンバープレートを認識するので、マッチングの精度を高めることができる。また、距離算出部４８を用いて前方の車両までの車間距離を算出するので、車間距離が短い場合には、車両１０を減速すると共に、運転手へ警告を行うことができる。これにより、前方の車両１２との衝突を防止することができる。   As described above, in the present invention, the license plate in the captured image is recognized by matching the image captured by the camera 52 with the image retained by the reference license plate retaining unit 44. Can be increased. Moreover, since the inter-vehicle distance to the vehicle ahead is calculated using the distance calculation unit 48, when the inter-vehicle distance is short, the vehicle 10 can be decelerated and a warning can be given to the driver. Thereby, the collision with the vehicle 12 ahead can be prevented.

記録媒体７０は、車両１０に搭載された撮像システム１００にインストールされて実行されるプログラムとして、テンプレート保持手段、撮像手段、ナンバープレート認識手段、基準ナンバープレート保持手段、ナンバープレート再認識手段、および距離算出手段を格納している。ここで上記の撮像手段は、車両１０の前方をカメラ５２により撮像させる。その他の各手段の動作は、本図において説明した各部材の動作と同一であるから、説明を省略する。記録媒体７０は、例えばＤＶＤ、ＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体記録装置等であってよい。   The recording medium 70 is a program that is installed in the imaging system 100 mounted on the vehicle 10 and executed as a template holding means, imaging means, license plate recognition means, reference license plate holding means, license plate re-recognition means, and distance. Stores calculation means. Here, the imaging means causes the camera 52 to image the front of the vehicle 10. The operation of each other means is the same as the operation of each member described in this figure, and the description thereof is omitted. The recording medium 70 may be, for example, an optical recording medium such as a DVD or PD, a magneto-optical recording medium such as an MD, a tape medium, a magnetic recording medium, or a semiconductor recording device.

図４は、撮像システム１００の動作の一例を示すフローチャートである。テンプレート保持部４０は、ナンバープレートのテンプレート画像を保持している。本例のテンプレート保持部４０は、テンプレート画像として、ナンバープレートの形状を示す画像、及びナンバープレートの文字を示す画像を保持している。ナンバープレート認識部４２は、カメラ５２により撮像された画像と、テンプレート保持部４０により保持されているテンプレート画像とのマッチングを行う（Ｓ１００）。   FIG. 4 is a flowchart illustrating an example of the operation of the imaging system 100. The template holding unit 40 holds a license plate template image. The template holding unit 40 of this example holds an image showing the shape of the license plate and an image showing the letters of the license plate as template images. The license plate recognition unit 42 performs matching between the image captured by the camera 52 and the template image held by the template holding unit 40 (S100).

そしてナンバープレートが見つかると、基準ナンバープレート保持部４４は、ナンバープレート認識部４２により認識されたナンバープレートの画像を基準ナンバープレート画像として保持する（Ｓ１０５）。次に、ナンバープレート再認識部４６は、基準ナンバープレート保持部４４により保持されている基準ナンバープレート画像を用いてマッチング処理を行う（Ｓ１１０）。これによりナンバープレート再認識部４６は、基準ナンバープレート保持部４４によって保持された画像の次のタイミングに撮像された画像中のナンバープレートを認識する。尚、本例のナンバープレート再認識部４６は、撮像画像におけるナンバープレート画像の上下方向の位置の変化と、ナンバープレート画像の拡大縮小率との関係を予め保持しており、この関係を満たすように基準ナンバープレート画像の上下方向の位置および大きさを変更しつつ、マッチングを行う。尚、上記の動作の詳細は、図８で述べる。   When the license plate is found, the reference number plate holding unit 44 holds the number plate image recognized by the number plate recognition unit 42 as a reference number plate image (S105). Next, the license plate re-recognition unit 46 performs a matching process using the reference number plate image held by the reference number plate holding unit 44 (S110). Thereby, the license plate re-recognition unit 46 recognizes the license plate in the image captured at the next timing of the image held by the reference number plate holding unit 44. Note that the license plate re-recognition unit 46 of the present example holds in advance a relationship between the change in the vertical position of the license plate image in the captured image and the enlargement / reduction ratio of the license plate image, so as to satisfy this relationship. The matching is performed while changing the vertical position and size of the reference number plate image. Details of the above operation will be described with reference to FIG.

ここで距離算出テーブル５６は、撮像された画像中におけるナンバープレートの縦および横の長さに対応づけて、前方の車両までの距離を格納している。そして距離算出部４８は、ナンバープレート再認識部４６により認識された画像中のナンバープレートの縦および横の長さを用いて、前方の車両１２までの距離を算出する（Ｓ１１５）。この場合、距離算出部４８は距離算出テーブル５６を参照し、画像中のナンバープレートの縦および横の長さに対応して格納された距離を求めることにより、前方の車両１２までの車間距離を算出する。   Here, the distance calculation table 56 stores the distance to the vehicle ahead in association with the vertical and horizontal lengths of the license plate in the captured image. Then, the distance calculation unit 48 calculates the distance to the vehicle 12 ahead using the vertical and horizontal lengths of the license plate in the image recognized by the license plate re-recognition unit 46 (S115). In this case, the distance calculation unit 48 refers to the distance calculation table 56 and obtains the distance stored corresponding to the vertical and horizontal lengths of the license plate in the image, thereby determining the inter-vehicle distance to the vehicle 12 ahead. calculate.

ここで距離算出部４８は、２つの基準の車間距離を予め格納している。減速制御部５０は、第１の車間距離を、前方の車両１２が所定の距離よりも近づいたことを示す距離として格納し、第２の車間距離を、前方の車両１２が所定の距離よりも離れたことを示す距離として格納する。   Here, the distance calculation unit 48 stores two reference inter-vehicle distances in advance. The deceleration control unit 50 stores the first inter-vehicle distance as a distance indicating that the front vehicle 12 is closer than the predetermined distance, and the second inter-vehicle distance is stored as the front vehicle 12 is less than the predetermined distance. Stored as a distance indicating separation.

距離算出部４８により算出された距離が、第１の車間距離よりも短い場合（Ｓ１２０：ＹＥＳ）、減速制御部５０は車両１０の速度を減じ（Ｓ１２５）、警告部５４は車両１０の運転手に対して警告を行う（Ｓ１３０）。距離算出部４８により算出された距離が、予め定めた第１の車間距離よりも長い場合（Ｓ１２０：ＮＯ）、本フローチャートは、ステップＳ１２５およびステップＳ１３０を行わずに、ステップＳ１３５へ進む。   When the distance calculated by the distance calculation unit 48 is shorter than the first inter-vehicle distance (S120: YES), the deceleration control unit 50 reduces the speed of the vehicle 10 (S125), and the warning unit 54 is the driver of the vehicle 10 Is warned (S130). When the distance calculated by the distance calculation unit 48 is longer than the predetermined first inter-vehicle distance (S120: NO), the flowchart proceeds to step S135 without performing steps S125 and S130.

ここで距離算出部４８により算出された距離が、更に第２の車間距離よりも短い場合、即ち、車間距離が第１の車間距離よりも長くかつ第２の車間距離よりも短い場合（Ｓ１３５：ＮＯ）、本フローチャートはステップＳ１０５へ進む。すると基準ナンバープレート保持部４４は、ナンバープレート再認識部４６により、再度、認識されたナンバープレートの画像を、基準ナンバープレート画像として更新する。そして撮像システム１００は、ステップＳ１３５までの動作を繰り返す。このように本例の撮像システム１００は、ナンバープレート再認識部４６がマッチングを行い、ナンバープレートを認識するたびに基準テンプレート画像を更新するので、マッチングの精度を向上させることができる。そして、車間距離を確実に算出することができる。   Here, when the distance calculated by the distance calculation unit 48 is further shorter than the second inter-vehicle distance, that is, when the inter-vehicle distance is longer than the first inter-vehicle distance and shorter than the second inter-vehicle distance (S135: NO), the flowchart proceeds to step S105. Then, the reference number plate holding unit 44 updates the image of the license plate recognized again by the license plate re-recognizing unit 46 as the reference number plate image. Then, the imaging system 100 repeats the operation up to step S135. As described above, in the imaging system 100 of this example, the license plate re-recognition unit 46 performs matching and updates the reference template image every time the license plate is recognized, so that the accuracy of matching can be improved. The inter-vehicle distance can be calculated with certainty.

距離算出部４８により算出された距離が、上記の第２の車間距離よりも長い場合（Ｓ１３５：ＹＥＳ）、本フローチャートはステップＳ１４０へ進む。ここで、車両１０の走行距離が徐行速度以上である場合（Ｓ１４０：ＮＯ）、本フローチャートは、ステップＳ１００へ進み、新たに、前方を走行する車両のナンバープレートの検索を行う。車両１０の走行距離が徐行速度以下である場合（Ｓ１４０：ＹＥＳ）、本フローチャートは終了する。このように本例の撮像システム１００は、徐行速度以下では車間距離の警告を行わないので、信号待ちや駐車する場合に、不必要な警告が発せられることを防止できる。   When the distance calculated by the distance calculation unit 48 is longer than the second inter-vehicle distance (S135: YES), the flowchart proceeds to step S140. If the travel distance of the vehicle 10 is equal to or greater than the slow speed (S140: NO), the flowchart proceeds to step S100 and newly searches for a license plate for a vehicle traveling ahead. When the travel distance of the vehicle 10 is equal to or less than the slow speed (S140: YES), this flowchart ends. As described above, the imaging system 100 of the present example does not issue a warning of the inter-vehicle distance below the slow speed, and therefore can prevent an unnecessary warning from being issued when waiting for a signal or parking.

図５は、ステップＳ１００の詳細な動作の一例を示すフローチャートである。テンプレート保持部４０は、テンプレート画像として、ナンバープレートと縦横比が略同一の、白色の長方形のテンプレート画像を有する。またテンプレート保持部４０は、ナンバープレートの文字を示す画像として、ひらがな、０〜９までの数字、ローマ字、及び「・」を有している。   FIG. 5 is a flowchart showing an example of detailed operation of step S100. The template holding unit 40 has a white rectangular template image having substantially the same aspect ratio as the license plate as the template image. Moreover, the template holding | maintenance part 40 has a hiragana, the numbers from 0-9, a Roman character, and "*" as an image which shows the character of a license plate.

カメラ５２は、車両１０の前方を撮像する（Ｓ２００）。するとナンバープレート認識部４２は、４０に保持されたナンバープレートの形状を示すテンプレート画像を、左右・上下に移動させると共に、大きさを変化させることにより、撮像された画像との形状のマッチングを行う（Ｓ２０５）。そして、テンプレート画像の形状に適合した場合（Ｓ２１０：ＹＥＳ）、本フローチャートは次のステップＳ２１５へ進む。テンプレート画像の形状に適合しない場合（Ｓ２１０：ＮＯ）、ステップＳ２００へ戻り、上記の形状のマッチングを繰り返す。   The camera 52 images the front of the vehicle 10 (S200). Then, the license plate recognition unit 42 matches the shape with the captured image by moving the template image indicating the shape of the license plate held in 40 left and right, up and down, and changing the size. (S205). If the shape of the template image is matched (S210: YES), the flowchart proceeds to the next step S215. If it does not match the shape of the template image (S210: NO), the process returns to step S200, and the above-described shape matching is repeated.

ここで、ナンバープレートにおける分類番号、一連指定番号、および仮名文字のそれぞれが配置される位置は、ナンバープレートの大きさに応じて定まる。本例のナンバープレート認識部４２は、分類番号、一連指定番号、及び仮名文字が、テンプレート画像において配置されるべき位置を予め格納している。例えばナンバープレート認識部４２は、各文字が配置されるべき位置として、ナンバープレートの左上隅を基準とする位置を予め格納する。そしてナンバープレート認識部４２は、ステップＳ２０５におけるマッチングの過程で変化させたテンプレート画像の大きさに合わせて、文字の位置、および文字の大きさを定める（Ｓ２１５）。   Here, the position where the classification number, the series designation number, and the kana character in the license plate are arranged is determined according to the size of the license plate. The license plate recognition unit 42 in this example stores in advance the positions where the classification number, the series designation number, and the kana characters are to be arranged in the template image. For example, the license plate recognition unit 42 stores in advance a position where the upper left corner of the license plate is used as a position where each character is to be placed. Then, the license plate recognition unit 42 determines the position of the character and the size of the character in accordance with the size of the template image changed in the matching process in step S205 (S215).

次にナンバープレート認識部４２は、テンプレート保持部４０が予め保持するナンバープレートの文字を示す画像を、先に定めた大きさに拡大し、また先に定めた位置を含めた周辺の領域において、各文字についてのマッチングを行う（Ｓ２２０）。   Next, the license plate recognition unit 42 enlarges the image showing the license plate characters held in advance by the template holding unit 40 to a predetermined size, and in the surrounding area including the predetermined position, Matching is performed for each character (S220).

ここで、文字のマッチングにすべて適合した場合（Ｓ２２５：ＹＥＳ）、ナンバープレート認識部４２は、ナンバープレートが見つかったと判断する。文字のマッチングに適合しない場合には（Ｓ２２５：ＮＯ）、ナンバープレート認識部４２は、ナンバープレートは見つからないと判断してステップＳ２００へ戻り、上記で説明したマッチングの処理を繰り返す。これによりナンバープレート認識部４２は、画像中のナンバープレートを確実に検知することができる。尚、本例において、ナンバープレート認識部４２は、形状および文字のマッチングを行ったが、簡易には、上記で説明した文字のマッチングの処理を省略してもよい。   Here, when all of the character matching is matched (S225: YES), the license plate recognition unit 42 determines that the license plate has been found. If it does not match the character matching (S225: NO), the license plate recognition unit 42 determines that the license plate is not found, returns to step S200, and repeats the matching process described above. As a result, the license plate recognition unit 42 can reliably detect the license plate in the image. In this example, the license plate recognition unit 42 performs the shape and character matching. However, for simplicity, the character matching process described above may be omitted.

図６は、ナンバープレートの上下方向の位置の変化および拡大縮小率の関係を説明する図である。図６（ａ）は、画角に対するナンバープレートの大きさの変化を説明する図である。図６（ｂ）は、ナンバープレートの上下方向の位置の変化を説明する図である。   FIG. 6 is a diagram for explaining the relationship between the change in the vertical position of the license plate and the enlargement / reduction ratio. FIG. 6A is a diagram for explaining the change in the size of the license plate with respect to the angle of view. FIG. 6B is a diagram for explaining a change in the position of the license plate in the vertical direction.

車両１０から車両１２までの車間距離が小さくなると、画像内におけるナンバープレート６００は、画角に対して相対的に大きくなる。ここでカメラ５２の光軸を基準としたナンバープレートの中心までの距離を、画像中におけるナンバープレートの上下方向の位置として定めると、本図の例において、ナンバープレート６００ａからナンバープレート６００ｂへと移動した場合に、上下方向の位置は、Ｙ１からＹ２へと変化する。この様子を本図の（ａ）及び（ｂ）に示す。この場合、光軸からナンバープレートまでの距離ＰＡおよびＰ´Ｂは一定であるが、画像内におけるプレートの位置は、車両の接近に伴って変化する。そして撮像された画像内における上下方向の位置は、光軸を基準とした角度に対応する。尚、ナンバープレートの位置とは、光軸を基準とするナンバープレートの上端までの距離、或いは光軸からナンバープレートの下端までの距離であってもよい。 When the inter-vehicle distance from the vehicle 10 to the vehicle 12 becomes small, the number plate 600 in the image becomes relatively large with respect to the angle of view. Here, when the distance to the center of the license plate with respect to the optical axis of the camera 52 is determined as the vertical position of the license plate in the image, in the example of this figure, the license plate 600a moves from the license plate 600b. In this case, the vertical position changes from Y 1 to Y 2 . This situation is shown in FIGS. In this case, the distances PA and P′B from the optical axis to the license plate are constant, but the position of the plate in the image changes as the vehicle approaches. The vertical position in the captured image corresponds to an angle with respect to the optical axis. Note that the position of the license plate may be the distance from the optical axis to the upper end of the license plate or the distance from the optical axis to the lower end of the license plate.

図６（ｃ）は、ナンバープレートの上下方向の位置の変化および拡大縮小率の関係の詳細を説明する図である。最初のタイミングで撮像された画像におけるプレートの位置Ａが、次のタイミングで位置Ｂへと移動した場合、ナンバープレートの上下方向の位置、即ち光軸を基準とする角度は、α１からα２へと変化する。この場合、ナンバープレートの大きさの変化は、画角の大きさの変化の逆数、即ち、ＰＲ／Ｐ´Ｒ´に等しい。これは、三角形の比例関係より、ＯＰ／ＯＰ´に等しい。ここで、ナンバープレートは地面に対して平行に移動するので、ＰＡ＝Ｐ´Ｂが成立する。これにより、ＯＰ／ＯＰ´＝ｔａｎα２／ｔａｎα１が成り立つ。 FIG. 6C is a diagram for explaining the details of the relationship between the change in the vertical position of the license plate and the enlargement / reduction ratio. When the position A of the plate in the image captured at the first timing moves to the position B at the next timing, the position of the license plate in the vertical direction, that is, the angle with respect to the optical axis is α 1 to α 2. To change. In this case, the change in the size of the license plate is equal to the reciprocal of the change in the size of the view angle, that is, PR / P′R ′. This is equal to OP / OP 'because of the proportionality of the triangle. Here, since the license plate moves parallel to the ground, PA = P′B is established. Thereby, OP / OP ′ = tan α 2 / tan α 1 is established.

一方、プレートが位置Ｃから位置Ｄへ移動した場合にも、光軸に対する角度は、α１からα２へ変化する。この場合の、ナンバープレートの大きさの変化は、ＱＳ／Ｑ´Ｓ´、即ち、ＯＱ／ＯＱ´に等しい。ここでもナンバープレートは地面に対して平行に移動するので、ＱＣ＝ＱＤが成立する。これにより、ＯＱ／ＯＱ´＝ｔａｎα２／ｔａｎα１が成立する。このように、ナンバープレートの上下方向の位置の変化とナンバープレートの拡大・縮小率との関係は一意に定まることがわかる。 On the other hand, when the plate moves from position C to position D, the angle with respect to the optical axis changes from α1 to α2. In this case, the change in the size of the license plate is equal to QS / Q ′S ′, that is, OQ / OQ ′. Again, since the license plate moves parallel to the ground, QC = QD holds. Thus, OQ / OQ ′ = tan α 2 / tan α 1 is established. Thus, it can be seen that the relationship between the change in the vertical position of the license plate and the enlargement / reduction ratio of the license plate is uniquely determined.

図７は、ナンバープレート再認識部４６に保持された上下方向の位置と拡大率との関係の一例を示す。図８は、ステップＳ１１０の詳細な動作の一例を示すフローチャートである。   FIG. 7 shows an example of the relationship between the vertical position held by the license plate re-recognition unit 46 and the enlargement ratio. FIG. 8 is a flowchart showing an example of detailed operation of step S110.

ナンバープレート再認識部４６は、第１の撮像画像、即ち最初に撮像した画像における上下方向の位置と、第２の撮像画像、即ち次に撮像した画像における上下方向の位置と、画像の拡大縮小率との関係を予め保持する。本例のナンバープレート再認識部４６は、光軸を基準として、最初に撮像された画像におけるナンバープレートの位置と、次に撮像された画像において、ナンバープレートの大きさが１０％拡大した場合のナンバープレートの位置とを対応づけて保持している。   The license plate re-recognition unit 46 enlarges / reduces the first captured image, that is, the vertical position in the first captured image, the second captured image, that is, the vertical position in the next captured image, and the image. The relationship with the rate is held in advance. The license plate re-recognition unit 46 of this example uses the position of the license plate in the first captured image and the size of the license plate 10% larger in the next captured image with the optical axis as a reference. The position of the license plate is held in correspondence.

ここで、カメラ５２は車両１０の前方を新たに撮像する（Ｓ３００）。ここでナンバープレート再認識部４６は、ステップＳ１０５（図４参照）において基準テンプレート画像として保持された画像におけるナンバープレートの上下方向の位置を参照し（Ｓ３０５）、新たに撮像された画像中において、基準テンプレートの位置を上下方向に変化させる（Ｓ３１０）。   Here, the camera 52 newly captures the front of the vehicle 10 (S300). Here, the license plate re-recognition unit 46 refers to the position of the license plate in the vertical direction in the image held as the reference template image in step S105 (see FIG. 4) (S305), and in the newly captured image, The position of the reference template is changed in the vertical direction (S310).

この場合、ナンバープレート再認識部４６は、内部に保持している上下方向の位置を参照することで、上下方向の位置に対応する拡大率を算出する（Ｓ３１５）。そして、拡大した基準テンプレート画像を、左右方向に移動させることにより、ナンバープレート再認識部４６は、撮像された画像とのマッチングを行う（Ｓ３２０）。   In this case, the license plate re-recognition unit 46 calculates an enlargement ratio corresponding to the vertical position by referring to the vertical position held inside (S315). Then, by moving the enlarged reference template image in the left-right direction, the license plate re-recognition unit 46 performs matching with the captured image (S320).

このマッチングによりナンバープレートが見つからない場合（Ｓ３２５：ＮＯ）、フローチャートは再度、ステップＳ３１０へ進む。するとナンバープレート再認識部４６は、更に上下方向の位置を変化させると共に、上下方向の位置に対応する拡大・縮小率へと基準テンプレートを拡大し、拡大した基準ナンバープレート画像を左右方向へ移動させることにより、マッチングを行う。   If the license plate is not found by this matching (S325: NO), the flowchart proceeds to step S310 again. Then, the license plate re-recognition unit 46 further changes the vertical position, enlarges the reference template to the enlargement / reduction ratio corresponding to the vertical position, and moves the enlarged reference number plate image in the left-right direction. By doing so, matching is performed.

例えば、図７に示す関係をもちいた場合、基準テンプレートの位置が、光軸から１ｍｍ下にある場合、次に撮像された画像において、光軸から１．１ｍｍ下の位置でマッチングを行う場合には、基準テンプレートの大きさを１０％拡大して、マッチングを行う。このマッチングによりナンバープレートが見つからない場合、光軸から１．２ｍｍ下の位置で、再度、マッチングを行う。この場合、本例のナンバープレート再認識部４６は、図７を参照して、基準ナンバープレートを、１．１×１．１＝１．２１（倍）に拡大して、マッチング処理を行う。このようにして、上下方向の位置に基づいて、保持された基準ナンバープレートの拡大率が定められる。また、基準ナンバープレートを上方向へ移動させることにより、縮小をしながらマッチングを行うことができる。そして、マッチングによりナンバープレートが見つかると（Ｓ３２５：ＹＥＳ）、本フローチャートはＳ１１５（図４参照）へ進む。   For example, when the relationship shown in FIG. 7 is used, when the position of the reference template is 1 mm below the optical axis, or when matching is performed at a position 1.1 mm below the optical axis in the next captured image. Performs matching by enlarging the size of the reference template by 10%. If the license plate is not found by this matching, matching is performed again at a position 1.2 mm below the optical axis. In this case, the license plate re-recognition unit 46 of this example performs matching processing by enlarging the reference number plate to 1.1 × 1.1 = 1.21 (times) with reference to FIG. In this way, the magnification ratio of the held reference number plate is determined based on the vertical position. Further, by moving the reference number plate in the upward direction, matching can be performed while reducing. If a license plate is found by matching (S325: YES), the process proceeds to S115 (see FIG. 4).

このようにナンバープレート再認識部４６は、画像内におけるナンバープレートの上下の位置と、ナンバープレートの大きさとの関係を保ちつつマッチングを行うので、このような関係を用いないマッチングに比べると、より少ない数のマッチングで、撮像画像中のナンバープレートを認識することができる。これにより本発明の撮像システム１００は、車間距離を高速に算出することができる。   In this way, the license plate re-recognition unit 46 performs matching while maintaining the relationship between the position of the license plate in the image above and below the license plate and the size of the license plate. A license plate in a captured image can be recognized with a small number of matches. Thereby, the imaging system 100 of the present invention can calculate the inter-vehicle distance at high speed.

図９は、ナンバープレート再認識部４６に保持された上下方向の位置と拡大率との関係の他の例を示す。図７に示す例において、ナンバープレート再認識部４６は、最初に撮像された画像におけるナンバープレートの位置と、次に撮像された画像において、ナンバープレートの大きさが１０％拡大した場合のナンバープレートの位置とを対応づけて保持している例を示したが、他の例において、ナンバープレート再認識部４６は、光軸を基準として、第１の画像におけるナンバープレートの位置と、第２の画像におけるナンバープレートの位置に対応づけて、拡大・縮小率を予め保持してもよい。これにより、ナンバープレート再認識部４６は、拡大率および縮小率を素早く求めることができる。   FIG. 9 shows another example of the relationship between the vertical position held in the license plate re-recognition unit 46 and the enlargement ratio. In the example shown in FIG. 7, the license plate re-recognition unit 46 is the license plate when the license plate size is enlarged by 10% in the position of the license plate in the first imaged image and in the next imaged image. In another example, the license plate re-recognition unit 46 uses the position of the license plate in the first image as a reference and the second position as a reference. The enlargement / reduction ratio may be held in advance in association with the position of the license plate in the image. As a result, the license plate re-recognition unit 46 can quickly obtain the enlargement ratio and the reduction ratio.

以上の説明から明らかなように本実施形態によれば、撮像システム１００は、カメラにより撮像された画像と基準ナンバープレート保持部により保持されている画像とをマッチングすることにより、撮像された画像中のナンバープレートを認識するので、マッチングの精度を高めることができる。特に、画像内における上下の位置と、ナンバープレートの大きさとの関係を保ちつつマッチングを行うので、撮像画像中のナンバープレートを、高速に認識することができる。そして、ナンバープレート再認識部により認識された画像中のナンバープレートの画像の大きさを用いて前方の車両までの距離を正確に算出することができる。これにより、車両までの距離が短い場合には、運転手に危険を知らせることができる。   As is apparent from the above description, according to the present embodiment, the imaging system 100 matches the image captured by the camera with the image retained by the reference number plate retaining unit, thereby capturing the captured image. Since the license plate is recognized, the matching accuracy can be improved. In particular, since matching is performed while maintaining the relationship between the vertical position in the image and the size of the license plate, the license plate in the captured image can be recognized at high speed. The distance to the vehicle ahead can be accurately calculated using the size of the license plate image in the image recognized by the license plate re-recognition unit. Thereby, when the distance to the vehicle is short, the driver can be informed of the danger.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements are also included in the technical scope of the present invention.

本発明に係る撮像システム１００を搭載した車両１０を示す。1 shows a vehicle 10 equipped with an imaging system 100 according to the present invention. 撮像システム１００が撮像する画像を説明する図である。（ａ）は、車間距離が遠い場合の画像の一例を示す。（ｂ）は、車間距離が近い場合の画像の一例を示す。It is a figure explaining the image which the imaging system 100 images. (A) shows an example of an image when the inter-vehicle distance is long. (B) shows an example of an image when the inter-vehicle distance is short. 撮像システム１００の詳細な構成の一例を示す。1 shows an example of a detailed configuration of an imaging system 100. 撮像システム１００の動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of the operation of the imaging system 100. ステップＳ１００の詳細な動作の一例を示すフローチャートである。It is a flowchart which shows an example of the detailed operation | movement of step S100. ナンバープレート画像の上下方向の位置の変化および拡大縮小率の関係を説明する図である。（ａ）は、画角に対するナンバープレートの大きさの変化を説明する図である。（ｂ）は、ナンバープレートの上下方向の位置の変化を説明する図である。（ｃ）は、ナンバープレートの上下方向の位置の変化および拡大縮小率の関係の詳細を説明する図である。It is a figure explaining the relationship between the change of the position of the up-down direction of a license plate image, and an enlargement / reduction rate. (A) is a figure explaining the change of the magnitude | size of the number plate with respect to an angle of view. (B) is a figure explaining the change of the position of the up-down direction of a license plate. (C) is a figure explaining the detail of the relationship of the change of the position of the up-down direction of a license plate, and an expansion / contraction rate. ナンバープレート再認識部４６に保持された、上下方向の位置と拡大縮との関係の一例を示す図である。It is a figure which shows an example of the relationship between the position of an up-down direction hold | maintained at the number plate re-recognition part 46, and expansion / contraction. ステップＳ１１０の詳細な動作の一例を示すフローチャートである。It is a flowchart which shows an example of the detailed operation | movement of step S110. ナンバープレート再認識部４６に保持された上下方向の位置と拡大率との関係の他の例を示す図である。It is a figure which shows the other example of the relationship between the position of the up-down direction hold | maintained at the number plate re-recognition part 46, and an expansion ratio.

符号の説明Explanation of symbols

１０、１２・・・車両、４０・・・テンプレート保持部、４２・・・ナンバープレート認識部、４４・・・基準ナンバープレート保持部、４６・・・ナンバープレート再認識部、４８・・・距離算出部、５０・・・減速制御部、５２・・・カメラ、５４・・・警告部、５６・・・距離算出テーブル、７０・・・記録媒体、１００・・・撮像システム、６００、６００ａ、６００ｂ・・・ナンバープレート DESCRIPTION OF SYMBOLS 10, 12 ... Vehicle, 40 ... Template holding part, 42 ... License plate recognition part, 44 ... Reference number plate holding part, 46 ... License plate re-recognition part, 48 ... Distance Calculation unit, 50 ... deceleration control unit, 52 ... camera, 54 ... warning unit, 56 ... distance calculation table, 70 ... recording medium, 100 ... imaging system, 600, 600a, 600b ... license plate

Claims (10)

ナンバープレートのテンプレート画像を保持するテンプレート保持部と、
車両の前方の画像を撮像するカメラと、
前記カメラにより撮像された画像と前記テンプレート保持部により保持されているテンプレート画像とをマッチングすることにより、前記カメラが撮像した撮像画像中のナンバープレートを認識するナンバープレート認識部と、
前記ナンバープレート認識部により認識されたナンバープレートの画像を基準ナンバープレート画像として保持する基準ナンバープレート保持部と、
前記カメラにより撮像された画像と前記基準ナンバープレート保持部により保持されている基準ナンバープレート画像とをマッチングすることにより、前記カメラが撮像した画像中のナンバープレートを、再度認識するナンバープレート再認識部と
を備えた撮像システム。 A template holding unit for holding a license plate template image;
A camera that captures an image in front of the vehicle;
A license plate recognition unit that recognizes a license plate in a captured image captured by the camera by matching an image captured by the camera with a template image retained by the template retaining unit;
A reference number plate holding unit that holds a license plate image recognized by the license plate recognition unit as a reference number plate image;
A license plate re-recognition unit that re-recognizes a license plate in an image captured by the camera by matching an image captured by the camera with a reference license plate image held by the reference number plate holding unit. And an imaging system. 前記ナンバープレート再認識部により認識された画像中のナンバープレートの大きさを用いて、前方の車両までの距離を算出する距離算出部を更に備えた請求項１に記載の撮像システム。   The imaging system according to claim 1, further comprising a distance calculation unit that calculates a distance to a vehicle ahead by using the size of the license plate in the image recognized by the license plate re-recognition unit. 前記ナンバープレート再認識部は、撮像画像中のナンバープレートの上下方向の位置の変化と、ナンバープレート画像の拡大縮小率との関係を予め保持しており、この関係を満たすように基準ナンバープレート画像の上下方向の位置および大きさを変更しつつ、マッチングを行う請求項２に記載の撮像システム。   The license plate re-recognition unit holds in advance a relationship between a change in the vertical position of the license plate in the captured image and the enlargement / reduction ratio of the license plate image, and the reference license plate image is satisfied so as to satisfy this relationship. The imaging system according to claim 2, wherein matching is performed while changing a position and a size in a vertical direction. 前記ナンバープレート再認識部は、第１の撮像画像における上下方向の位置と、第２の撮像画像における上下方向の位置と、画像の拡大縮小率との関係を予め保持している請求項３に記載の撮像システム。   The license plate re-recognition unit holds in advance a relationship between a vertical position in the first captured image, a vertical position in the second captured image, and an image enlargement / reduction ratio. The imaging system described. ナンバープレートの大きさと、前方の車両までの距離とを対応づける距離算出テーブルを更に備えた請求項２に記載の撮像システム。   The imaging system according to claim 2, further comprising a distance calculation table that associates the size of the license plate with the distance to the vehicle ahead. ナンバープレートのテンプレート画像を保持するテンプレート保持手段と、
車両の前方の画像をカメラにより撮像する撮像手段と、
前記カメラにより撮像された画像と前記テンプレート保持手段により保持されているテンプレート画像とをマッチングすることにより、前記カメラが撮像した撮像画像中のナンバープレートを認識するナンバープレート認識手段と、
前記ナンバープレート認識手段により認識されたナンバープレートの画像を基準ナンバープレート画像として保持する基準ナンバープレート保持手段と、
前記カメラにより撮像された画像と前記基準ナンバープレート保持手段により保持されている基準ナンバープレート画像とをマッチングすることにより、前記カメラが撮像した画像中のナンバープレートを、再度認識するナンバープレート再認識手段と、
前記ナンバープレート再認識手段により認識された画像中のナンバープレートの大きさを用いて、前方の車両までの距離を算出する距離算出手段として
撮像システムを機能させる撮像制御プログラム。 A template holding means for holding a license plate template image;
Imaging means for capturing an image in front of the vehicle with a camera;
A license plate recognition unit for recognizing a license plate in a captured image captured by the camera by matching an image captured by the camera with a template image retained by the template retaining unit;
Reference number plate holding means for holding an image of the license plate recognized by the license plate recognition means as a reference number plate image;
License plate re-recognizing means for re-recognizing the license plate in the image captured by the camera by matching the image captured by the camera with the reference license plate image held by the reference license plate holding means When,
An imaging control program for causing an imaging system to function as a distance calculation unit that calculates a distance to a vehicle ahead by using the size of a license plate in an image recognized by the license plate re-recognition unit. 前記ナンバープレート再認識手段は、撮像画像中のナンバープレートの上下方向の位置の変化と、ナンバープレート画像の拡大率との関係を予め保持しており、この関係を満たすように基準ナンバープレート画像の上下方向の位置および大きさを変更しつつ、マッチングを行う請求項６に記載の撮像制御プログラム。   The license plate re-recognition means holds in advance a relationship between a change in the vertical position of the license plate in the captured image and the enlargement ratio of the license plate image. The imaging control program according to claim 6, wherein matching is performed while changing the position and size in the vertical direction. ナンバープレートのテンプレート画像を保持するテンプレート保持ステップと、
車両の前方の画像をカメラにより撮像する撮像ステップと、
前記撮像ステップにより撮像された画像と前記テンプレート保持ステップにより保持されているテンプレート画像とをマッチングすることにより、前記撮像ステップが撮像した撮像画像中のナンバープレートを認識するナンバープレート認識ステップと、
前記ナンバープレート認識手段により認識されたナンバープレートの画像を基準ナンバープレート画像として保持する基準ナンバープレート保持ステップと、
前記カメラにより撮像された画像と前記基準ナンバープレート保持手段により保持されている基準ナンバープレート画像とをマッチングすることにより、前記カメラが撮像した画像中のナンバープレートを、再度認識するナンバープレート再認識ステップと
前記ナンバープレート認識ステップにより認識されたナンバープレートの大きさを用いて、前方の車両までの距離を算出する距離算出ステップと
を備えた撮像制御方法。 A template holding step for holding a license plate template image;
An imaging step of capturing an image in front of the vehicle with a camera;
A license plate recognition step for recognizing a license plate in the captured image captured by the imaging step by matching the image captured by the imaging step with the template image retained by the template retaining step;
A reference number plate holding step for holding a license plate image recognized by the license plate recognition means as a reference number plate image;
A license plate re-recognition step for re-recognizing a license plate in an image captured by the camera by matching an image captured by the camera with a reference license plate image held by the reference license plate holding means. And a distance calculating step of calculating a distance to the vehicle ahead using the size of the license plate recognized in the license plate recognition step. 前記ナンバープレート更新ステップは、撮像画像中のナンバープレートの上下方向の位置の変化と、ナンバープレート画像の拡大縮小率との関係を予め保持しており、この関係を満たすように基準ナンバープレート画像の上下方向の位置および大きさを変更しつつ、マッチングを行う請求項８に記載の撮像制御方法。   In the license plate update step, the relationship between the change in the vertical position of the license plate in the captured image and the enlargement / reduction ratio of the license plate image is held in advance, and the reference license plate image is updated so as to satisfy this relationship. The imaging control method according to claim 8, wherein matching is performed while changing a vertical position and size. ナンバープレートのテンプレート画像を保持するテンプレート保持部と、
車両の前方の画像を撮像するカメラと、
前記カメラにより撮像された画像と前記テンプレート保持部により保持されているテンプレート画像とをマッチングすることにより、前記カメラが撮像した撮像画像中のナンバープレートを認識するナンバープレート認識部と、
前記ナンバープレート認識部により認識されたナンバープレートの画像を基準ナンバープレート画像として保持する基準ナンバープレート保持部と、
前記カメラにより撮像された画像と前記基準ナンバープレート保持部により保持されている基準ナンバープレート画像とをマッチングすることにより、前記カメラが撮像した画像中のナンバープレートを、再度認識するナンバープレート再認識部と
前記ナンバープレート認識部により認識されたナンバープレートの大きさを用いて、前方の車両までの距離を算出する距離算出部と
を備えた車両。 A template holding unit for holding a license plate template image;
A camera that captures an image in front of the vehicle;
A license plate recognition unit that recognizes a license plate in a captured image captured by the camera by matching an image captured by the camera with a template image retained by the template retaining unit;
A reference number plate holding unit that holds a license plate image recognized by the license plate recognition unit as a reference number plate image;
A license plate re-recognition unit that re-recognizes a license plate in an image captured by the camera by matching an image captured by the camera with a reference license plate image held by the reference number plate holding unit. And a distance calculation unit that calculates the distance to the vehicle ahead by using the size of the license plate recognized by the license plate recognition unit.
JP2004137417A 2004-05-06 2004-05-06 Image pickup system, image pickup control program, image pickup control method and vehicle Pending JP2005321872A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004137417A JP2005321872A (en) 2004-05-06 2004-05-06 Image pickup system, image pickup control program, image pickup control method and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004137417A JP2005321872A (en) 2004-05-06 2004-05-06 Image pickup system, image pickup control program, image pickup control method and vehicle

Publications (1)

Publication Number Publication Date
JP2005321872A true JP2005321872A (en) 2005-11-17

Family

ID=35469135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004137417A Pending JP2005321872A (en) 2004-05-06 2004-05-06 Image pickup system, image pickup control program, image pickup control method and vehicle

Country Status (1)

Country Link
JP (1) JP2005321872A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1906374A3 (en) * 2006-09-26 2008-11-26 GM Global Technology Operations, Inc. Positioning device for a motor vehicle
JP2009093638A (en) * 2007-09-20 2009-04-30 Canon Inc Image detection device and image detection method
JP2010139275A (en) * 2008-12-09 2010-06-24 Ricoh Co Ltd Device and method for measurement of compound eye distance for vehicle
WO2010140314A1 (en) * 2009-06-03 2010-12-09 パナソニック株式会社 Distance measuring device and distance measuring method
JP2011150417A (en) * 2010-01-19 2011-08-04 Yupiteru Corp In-vehicle electronic apparatus and program
US9361528B2 (en) 2013-02-28 2016-06-07 Fujifilm Corporation Vehicle-to-vehicle distance calculation apparatus and method
JP2020058003A (en) * 2018-10-04 2020-04-09 株式会社Ｉｈｉエアロスペース Remote control device for mobile
JPWO2021230314A1 (en) * 2020-05-14 2021-11-18
DE102011005780B4 (en) 2011-03-18 2022-06-02 Robert Bosch Gmbh Method and device for determining a distance between a vehicle and an object

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1906374A3 (en) * 2006-09-26 2008-11-26 GM Global Technology Operations, Inc. Positioning device for a motor vehicle
JP2009093638A (en) * 2007-09-20 2009-04-30 Canon Inc Image detection device and image detection method
JP2010139275A (en) * 2008-12-09 2010-06-24 Ricoh Co Ltd Device and method for measurement of compound eye distance for vehicle
CN102428345A (en) * 2009-06-03 2012-04-25 松下电器产业株式会社 Distance measuring device and distance measuring method
JP2010281638A (en) * 2009-06-03 2010-12-16 Panasonic Corp Distance measuring device and distance measuring method
WO2010140314A1 (en) * 2009-06-03 2010-12-09 パナソニック株式会社 Distance measuring device and distance measuring method
JP2011150417A (en) * 2010-01-19 2011-08-04 Yupiteru Corp In-vehicle electronic apparatus and program
DE102011005780B4 (en) 2011-03-18 2022-06-02 Robert Bosch Gmbh Method and device for determining a distance between a vehicle and an object
US9361528B2 (en) 2013-02-28 2016-06-07 Fujifilm Corporation Vehicle-to-vehicle distance calculation apparatus and method
JP2020058003A (en) * 2018-10-04 2020-04-09 株式会社Ｉｈｉエアロスペース Remote control device for mobile
JPWO2021230314A1 (en) * 2020-05-14 2021-11-18
WO2021230314A1 (en) * 2020-05-14 2021-11-18 国立大学法人 東京大学 Measurement system, vehicle, measurement device, measurement program, and measurement method
JP7281760B2 (en) 2020-05-14 2023-05-26 国立大学法人 東京大学 Measuring system, vehicle, measuring device, measuring program and measuring method

Similar Documents

Publication Publication Date Title
JP6450294B2 (en) Object detection apparatus, object detection method, and program
JP5863607B2 (en) Pedestrian warning device
JP2006268097A (en) On-vehicle object detecting device, and object detecting method
JP6722400B2 (en) Vehicle driving support device
JP6315308B2 (en) Control object identification device, mobile device control system, and control object recognition program
JP2006318271A (en) On-vehicle image processor and image processing method
JP2000357233A (en) Body recognition device
JP2008168811A (en) Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program
JP2008021196A (en) Surrounding recognition device and system for vehicle
JP6129268B2 (en) Vehicle driving support system and driving support method
JP6547785B2 (en) Target detection device
JP5482672B2 (en) Moving object detection device
JP2018081628A (en) Vehicle control device, vehicle control method
WO2019167531A1 (en) Stereo camera device
JP2007280132A (en) Travel guide obstacle detector, and controller for vehicle
JP2005321872A (en) Image pickup system, image pickup control program, image pickup control method and vehicle
JP4913101B2 (en) Road shape detection device for vehicles
CN115147587A (en) Obstacle detection method and device and electronic equipment
JP5369921B2 (en) Object detection apparatus and object detection method
JP2002334330A (en) Vehicle recognition device
JP2019096038A (en) Target detector of vehicle
JP2010108049A (en) Road marking recognition device
JP2009146153A (en) Moving object detection device, moving object detection method and moving object detection program
JP2008032557A (en) In-vehicle navigation apparatus and road-type determining method
JP2007183846A (en) Sign recognition apparatus for vehicle, and vehicle controller

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211