JP5974448B2 - Vehicle information registration method, vehicle information registration device, and vehicle information registration program - Google Patents

Vehicle information registration method, vehicle information registration device, and vehicle information registration program Download PDF

Info

Publication number
JP5974448B2
JP5974448B2 JP2011234419A JP2011234419A JP5974448B2 JP 5974448 B2 JP5974448 B2 JP 5974448B2 JP 2011234419 A JP2011234419 A JP 2011234419A JP 2011234419 A JP2011234419 A JP 2011234419A JP 5974448 B2 JP5974448 B2 JP 5974448B2
Authority
JP
Japan
Prior art keywords
vehicle
feature amount
name
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011234419A
Other languages
Japanese (ja)
Other versions
JP2013092905A (en
Inventor
律子 田中
律子 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011234419A priority Critical patent/JP5974448B2/en
Publication of JP2013092905A publication Critical patent/JP2013092905A/en
Application granted granted Critical
Publication of JP5974448B2 publication Critical patent/JP5974448B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、車両が撮影された画像を利用して車両情報を自動登録する技術に関する。   The present invention relates to a technique for automatically registering vehicle information using an image of a vehicle photographed.

従来、車両が撮影された画像から当該車両の名称等を判別する技術が知られている。
例えば、画像内の車両の範囲を抽出し、当該範囲内に存在するエンブレムを１又は複数のテンプレートを用いて探索し、テンプレートに一致するエンブレムが照合されたときに当該エンブレムに基づいて当該車両のメーカー、通称名等を判別する技術がある。この技術においてエンブレムとは、車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレードのためにデザインされたマークのことである。また、テンプレートは、車両のメーカー、通称名、車式／車型、車種、あるいは特定のグレードに対応するエンブレムのテンプレートである。 2. Description of the Related Art Conventionally, a technique for discriminating a name of a vehicle from an image obtained by shooting the vehicle is known.
For example, the range of the vehicle in the image is extracted, the emblem existing in the range is searched using one or a plurality of templates, and when the emblem that matches the template is collated, the vehicle is determined based on the emblem. There is a technology for discriminating the manufacturer, common name, and the like. In this technology, an emblem is a mark designed for a vehicle manufacturer, a common name, a vehicle type / model, a vehicle type, or a specific grade. The template is an emblem template corresponding to a vehicle manufacturer, a common name, a vehicle type / model, a vehicle type, or a specific grade.

また、例えば、画像内の車両のフロントグリルの特徴量を抽出し、当該特徴量を、データベースに予め登録されている各車両のフロントグリルの特徴量と照合し、当該車両の車名等を判別する技術がある。この技術においてフロントグリルの特徴量は、ナンバープレート、左右のヘッドライト、左右のフォグランプ、フロントスポイラー、エンブレム等の相互の位置関係や、これらの外形形状、更にはフロントグリルの外形形状等である。また、データベースには、車両の種類毎に、車両のメーカー、車名、型式名、車式、グレード、年式、排気量等の情報とフロントグリルの特徴量とが対応付けて登録されている。   Further, for example, the feature amount of the front grille of the vehicle in the image is extracted, and the feature amount is compared with the feature amount of the front grille of each vehicle registered in the database in advance, and the vehicle name of the vehicle is discriminated. There is technology to do. In this technique, the characteristic amount of the front grill is the positional relationship between the license plate, the left and right headlights, the left and right fog lamps, the front spoiler, and the emblem, the external shape thereof, and the external shape of the front grill. Also, in the database, information such as vehicle manufacturer, vehicle name, model name, vehicle type, grade, model year, displacement, etc., and front grille feature values are registered in association with each type of vehicle. .

このような技術では、システム管理者等が、予め、上記のテンプレートや上記のデータベースに登録されるフロントグリルの特徴量等といった判別時の照合対象となる情報（照合情報）を車名等の情報と対応付けてデータベース等に登録しておく必要がある。   In such a technique, a system administrator or the like uses information such as a car name as information to be collated at the time of discrimination such as the feature amount of the front grill registered in the template or the database in advance. Must be registered in a database or the like.

特開２００６−３４４１５４号公報JP 2006-344154 A 特開２０１０−１０２４６６号公報JP 2010-102466 A

車両のモデルチェンジ（フルモデルチェンジやマイナーモデルチェンジ等）は、車両の型式やグレード等毎に不定期に実施されている。また、型式やグレード等が異なる車両の総数は膨大である。   Vehicle model changes (full model changes, minor model changes, etc.) are carried out irregularly for each vehicle type, grade, etc. In addition, the total number of vehicles with different models and grades is enormous.

このような事情から、上記の技術ではシステム管理者等が、車両のモデルチェンジを常にモニターし、モデルチェンジがある毎に、その車両の照合情報を準備して車名等の情報と対応付けてデータベース等に登録しておく必要がある。仮に、その照合情報を、車両を撮影した画像から取得して準備するとした場合、その画像は、次のような画像である必要がある。すなわち、上記のエンブレムやフロントグリルの特徴量等といった判別時の被照合対象となる情報（被照合情報）を含む画像を実際に撮影するカメラの撮影条件（撮影位置、画角等）と略同一の撮影条件の下で車両を撮影した画像である必要がある。例えば、そのカメラが路上の電柱上部に設置されている場合には、それと略同一の撮影条件の下で車両を撮影した画像である必要がある。
そのため、システム管理者等の負担は大きい。 For this reason, in the above technology, the system administrator or the like constantly monitors the model change of the vehicle, and whenever there is a model change, prepares the collation information of the vehicle and associates it with information such as the vehicle name. It is necessary to register in the database. If the collation information is acquired from an image obtained by photographing the vehicle, the image needs to be the following image. That is, it is substantially the same as the shooting conditions (shooting position, angle of view, etc.) of the camera that actually takes an image including information to be checked (checked information) such as the emblem and the feature amount of the front grill. It is necessary that the image is a photograph of the vehicle under the photographing conditions. For example, when the camera is installed on the upper part of a utility pole on the road, the image needs to be an image of a vehicle taken under substantially the same shooting conditions.
Therefore, the burden on the system administrator etc. is large.

本発明は、上記実情に鑑み、車両のモデルチェンジに伴う照合情報の登録に係るシステム管理者等の負担を軽減する、車両情報登録方法、車両情報登録装置、及び車両情報登録プログラムを提供することを目的とする。   In view of the above circumstances, the present invention provides a vehicle information registration method, a vehicle information registration device, and a vehicle information registration program that alleviate the burden on a system administrator or the like related to registration of collation information accompanying a vehicle model change. With the goal.

方法の一観点によれば、コンピュータが、次のような処理を実行する車両情報登録方法が提供される。車両を撮像する撮像部から画像を取得する。前記画像から、車両名称を表すマークの形状に係る特徴量である車両名称特徴量と、車両の形状に係る特徴量である車両特徴量と、を抽出する。車両名称、車両名称特徴量、車両特徴量を含む標準車両情報を車両毎に記憶する記憶部から、前記画像から抽出された車両名称特徴量に対応する車両特徴量を取得する。前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量とを照合する。前記照合の結果が、前記撮像部が撮像した車両が新規のものであることを示している所定の条件を満たす場合に、前記記憶部から取得された車両名称と前記画像から抽出された車両特徴量とに基づいて、新規の標準車両情報を前記記憶部に記憶する。なお、前記画像から抽出された車両名称特徴量に対応する車両特徴量の取得では、前記画像から抽出された車両名称特徴量に対応する車両名称を前記記憶部から取得し、取得された車両名称に対応する車両特徴量を前記記憶部から取得することによって行う。 According to one aspect of the method, there is provided a vehicle information registration method in which a computer executes the following processing. An image is acquired from an imaging unit that images the vehicle. From the image, a vehicle name feature amount that is a feature amount related to the shape of the mark representing the vehicle name and a vehicle feature amount that is a feature amount related to the shape of the vehicle are extracted. A vehicle feature amount corresponding to the vehicle name feature amount extracted from the image is acquired from a storage unit that stores vehicle name, vehicle name feature amount, and standard vehicle information including the vehicle feature amount for each vehicle. The vehicle feature amount acquired from the storage unit is collated with the vehicle feature amount extracted from the image. When the result of the collation satisfies a predetermined condition indicating that the vehicle imaged by the imaging unit is new, the vehicle name extracted from the storage unit and the vehicle feature extracted from the image Based on the quantity, new standard vehicle information is stored in the storage unit. In the acquisition of the vehicle feature amount corresponding to the vehicle name feature amount extracted from the image, the vehicle name corresponding to the vehicle name feature amount extracted from the image is acquired from the storage unit, and the acquired vehicle name is acquired. This is performed by acquiring the vehicle feature amount corresponding to the above from the storage unit.

装置の一観点によれば、撮像部と、画像取得部と、車両特徴量抽出部と、車両名称特徴量抽出部と、記憶部と、車両特徴量取得部と、照合部と、標準車両情報登録部と、を備える車両情報登録装置が提供される。撮像部は、車両を撮像する。画像取得部は、前記撮像部から画像を取得する。車両特徴量抽出部は、前記画像取得部により取得された画像から、車両の形状に係る特徴量である車両特徴量を抽出する。車両名称特徴量抽出部は、前記画像取得部により取得された画像から、車両名称を表すマークの形状に係る特徴量である車両名称特徴量を抽出する。記憶部は、車両名称、車両名称特徴量、車両特徴量を含む標準車両情報を車両毎に記憶する。車両特徴量取得部は、前記車両名称特徴量抽出部により抽出された車両名称特徴量に対応する車両特徴量を前記記憶部から取得する。照合部は、前記車両特徴量取得部により取得された車両特徴量と前記車両特徴量抽出部により抽出された車両特徴量とを照合する。標準車両情報登録部は、前記照合部による前記照合の結果が、前記撮像部が撮像した車両が新規のものであることを示している所定の条件を満たす場合に、前記記憶部から取得された車両名称と前記車両特徴量抽出部により抽出された車両特徴量とに基づいて、新規の標準車両情報を前記記憶部に記憶する。なお、前記車両特徴量取得部は、前記車両名称特徴量抽出部により抽出された車両名称特徴量に対応する車両名称を前記記憶部から取得し、取得された車両名称に対応する車両特徴量を前記記憶部から取得することによって、前記車両名称特徴量抽出部により抽出された車両名称特徴量に対応する車両特徴量の取得を行う。 According to one aspect of the apparatus, an imaging unit, an image acquisition unit, a vehicle feature amount extraction unit, a vehicle name feature amount extraction unit, a storage unit, a vehicle feature amount acquisition unit, a collation unit, and standard vehicle information A vehicle information registration device comprising a registration unit is provided. The imaging unit images the vehicle. The image acquisition unit acquires an image from the imaging unit. The vehicle feature amount extraction unit extracts a vehicle feature amount that is a feature amount related to the shape of the vehicle from the image acquired by the image acquisition unit. The vehicle name feature amount extraction unit extracts a vehicle name feature amount, which is a feature amount related to the shape of a mark representing the vehicle name, from the image acquired by the image acquisition unit. The storage unit stores standard vehicle information including a vehicle name, a vehicle name feature amount, and a vehicle feature amount for each vehicle. The vehicle feature amount acquisition unit acquires a vehicle feature amount corresponding to the vehicle name feature amount extracted by the vehicle name feature amount extraction unit from the storage unit. The collation unit collates the vehicle feature amount acquired by the vehicle feature amount acquisition unit and the vehicle feature amount extracted by the vehicle feature amount extraction unit. The standard vehicle information registration unit is acquired from the storage unit when the result of the verification by the verification unit satisfies a predetermined condition indicating that the vehicle imaged by the imaging unit is new. Based on the vehicle name and the vehicle feature amount extracted by the vehicle feature amount extraction unit, new standard vehicle information is stored in the storage unit. The vehicle feature amount acquisition unit acquires a vehicle name corresponding to the vehicle name feature amount extracted by the vehicle name feature amount extraction unit from the storage unit, and obtains a vehicle feature amount corresponding to the acquired vehicle name. By acquiring from the storage unit, the vehicle feature amount corresponding to the vehicle name feature amount extracted by the vehicle name feature amount extraction unit is acquired.

プログラムの一観点によれば、コンピュータに次のような処理を実行させる車両情報登録プログラムが提供される。車両を撮像する撮像部から画像を取得する。前記画像から、車両名称を表すマークの形状に係る特徴量である車両名称特徴量と、車両の形状に係る特徴量である車両特徴量と、を抽出する。車両名称、車両名称特徴量、車両特徴量を含む標準車両情報を車両毎に記憶する記憶部から、前記画像から抽出された車両名称特徴量に対応する車両特徴量を取得する。前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量とを照合する。前記照合の結果が、前記撮像部が撮像した車両が新規のものであることを示している所定の条件を満たす場合に、前記記憶部から取得された車両名称と前記画像から抽出された車両特徴量とに基づいて、新規の標準車両情報を前記記憶部に記憶する。なお、前記画像から抽出された車両名称特徴量に対応する車両特徴量の取得では、前記画像から抽出された車両名称特徴量に対応する車両名称を前記記憶部から取得し、取得された車両名称に対応する車両特徴量を前記記憶部から取得することによって行う。 According to one aspect of the program, a vehicle information registration program that causes a computer to execute the following processing is provided. An image is acquired from an imaging unit that images the vehicle. From the image, a vehicle name feature amount that is a feature amount related to the shape of the mark representing the vehicle name and a vehicle feature amount that is a feature amount related to the shape of the vehicle are extracted. A vehicle feature amount corresponding to the vehicle name feature amount extracted from the image is acquired from a storage unit that stores vehicle name, vehicle name feature amount, and standard vehicle information including the vehicle feature amount for each vehicle. The vehicle feature amount acquired from the storage unit is collated with the vehicle feature amount extracted from the image. When the result of the collation satisfies a predetermined condition indicating that the vehicle imaged by the imaging unit is new, the vehicle name extracted from the storage unit and the vehicle feature extracted from the image Based on the quantity, new standard vehicle information is stored in the storage unit. In the acquisition of the vehicle feature amount corresponding to the vehicle name feature amount extracted from the image, the vehicle name corresponding to the vehicle name feature amount extracted from the image is acquired from the storage unit, and the acquired vehicle name is acquired. This is performed by acquiring the vehicle feature amount corresponding to the above from the storage unit.

開示の方法、装置、及びプログラムは、車両のモデルチェンジに伴う照合情報の登録に係るシステム管理者等の負担を軽減することができる、という効果を奏する。   The disclosed method, apparatus, and program have an effect of reducing the burden on a system administrator or the like related to registration of collation information accompanying a vehicle model change.

一実施例に係る車両情報登録装置である車両認識システムの一例を示す図である。It is a figure which shows an example of the vehicle recognition system which is the vehicle information registration apparatus which concerns on one Example. 車両認識システムのシステム構成例を示す図である。It is a figure which shows the system configuration example of a vehicle recognition system. (a),(b)は撮影画像の一例を示す図、(c),(d) はそのエッジ画像の一例を示す図である。(a), (b) is a figure which shows an example of a picked-up image, (c), (d) is a figure which shows an example of the edge image. 認識車両データベースのデータ構造例を示す図である。It is a figure which shows the example of a data structure of a recognition vehicle database. 標準車両データベースのデータ構造例を示す図である。It is a figure which shows the data structure example of a standard vehicle database. 車両認識システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of a vehicle recognition system. 偽造ナンバーの判定、ナンバーの認識精度向上のための動作例を示すフローチャートである。It is a flowchart which shows the operation example for the determination of a forgery number, and the recognition accuracy improvement of a number. 複数のカメラを備えた車両認識システムの一例を示す図である。It is a figure which shows an example of the vehicle recognition system provided with the some camera. コンピュータシステムの構成例を示す図である。It is a figure which shows the structural example of a computer system.

図１は、一実施例に係る車両情報登録装置である車両認識システムの一例を示す図である。
図１に示したように、車両認識システム１００は、カメラ２００と車両認識装置３００を含む。なお、カメラ２００は、撮像部の一例である。 FIG. 1 is a diagram illustrating an example of a vehicle recognition system that is a vehicle information registration device according to an embodiment.
As shown in FIG. 1, the vehicle recognition system 100 includes a camera 200 and a vehicle recognition device 300. The camera 200 is an example of an imaging unit.

カメラ２００は、通行する車両を後方且つ上方（以下「後上方」という）から撮影する位置に設置される。例えば、カメラ２００は、道路を走行する車両を後上方から撮影する位置や、有料道路の入口付近等において当該有料道路へ入る車両を後上方から撮影する位置や、駐車場の入口付近等において当該駐車場へ入る車両を後上方から撮影する位置等に設置される。カメラ２００は、所定のフレームレート（例えば３０フレーム／秒）で撮影（撮像）を行い、１秒間に当該フレームレートに従ったフレーム数の撮影画像（撮像画像）を車両認識装置３００へ入力する。   The camera 200 is installed at a position where a passing vehicle is photographed from behind and above (hereinafter referred to as “rear upper”). For example, the camera 200 can be used at a position where a vehicle traveling on a road is photographed from the rear upper side, a position where a vehicle entering the toll road is photographed from the rear upper side in the vicinity of a toll road entrance, a parking lot entrance, or the like. It is installed at a position where the vehicle entering the parking lot is photographed from the rear upper side. The camera 200 captures (captures) images at a predetermined frame rate (for example, 30 frames / second), and inputs captured images (captured images) of the number of frames according to the frame rate per second to the vehicle recognition device 300.

車両認識装置３００は、登録されている標準車両の情報に基づいて、カメラ２００から入力された撮影画像内に存在する車両を認識し、認識した車両（認識車両）の情報を蓄積する。また、車両認識装置３００は、所定の条件の下に、カメラ２００から入力された撮影画像内に存在する車両の情報を、新規の標準車両の情報として登録する。   The vehicle recognition device 300 recognizes a vehicle existing in a captured image input from the camera 200 based on the registered standard vehicle information, and accumulates information on the recognized vehicle (recognized vehicle). Moreover, the vehicle recognition apparatus 300 registers the information of the vehicle which exists in the picked-up image input from the camera 200 as new standard vehicle information under a predetermined condition.

なお、カメラ２００と車両認識装置３００は、有線又は無線により接続されても良いし、通信ネットワークを介して接続されても良い。   Note that the camera 200 and the vehicle recognition device 300 may be connected by wire or wireless, or may be connected via a communication network.

図２は、車両認識システム１００のシステム構成例を示す図である。
図２に示したように、車両認識装置３００は、画像入力部３０１、車両抽出部３０２、ナンバー認識部３０３、特徴量抽出部３０４、車両認識部３０５、特徴量照合部３０６、照合結果判定部３０７、標準車両情報登録部３０８、結果保存部３０９を含む。また、車両認識装置３００は、制御部３１０、認識車両データベース３１１、標準車両データベース３１２を含む。 FIG. 2 is a diagram illustrating a system configuration example of the vehicle recognition system 100.
As shown in FIG. 2, the vehicle recognition apparatus 300 includes an image input unit 301, a vehicle extraction unit 302, a number recognition unit 303, a feature amount extraction unit 304, a vehicle recognition unit 305, a feature amount collation unit 306, and a collation result determination unit. 307, a standard vehicle information registration unit 308, and a result storage unit 309. The vehicle recognition device 300 includes a control unit 310, a recognized vehicle database 311, and a standard vehicle database 312.

なお、画像入力部３０１は画像取得部の一例である。車両抽出部３０２、特徴量抽出部３０４は、車両特徴量抽出部の一例である。車両認識部３０５は、車両名称特徴量抽出部の一例である。特徴量照合部３０６は、車両特徴量取得部、照合部の一例である。標準車両データベース３１２は、記憶部の一例である。   The image input unit 301 is an example of an image acquisition unit. The vehicle extraction unit 302 and the feature amount extraction unit 304 are an example of a vehicle feature amount extraction unit. The vehicle recognition unit 305 is an example of a vehicle name feature amount extraction unit. The feature amount matching unit 306 is an example of a vehicle feature amount acquisition unit and a matching unit. The standard vehicle database 312 is an example of a storage unit.

画像入力部３０１は、カメラ２００から入力された撮影画像を取得する。
車両抽出部３０２は、画像入力部３０１により取得された撮影画像から、車両部分を抽出する。また、車両抽出部３０２は、撮影画像から車両部分を抽出すると、ＩＤ（identifier）を生成し、そのＩＤと車両部分を抽出した日時を、認識ＩＤと認識日時として、認識車両データベース３１１に記憶する。なお、認識ＩＤは、認識車両毎に一意に付される識別子である。また、認識ＩＤと認識日時は、認識車両の情報である。 The image input unit 301 acquires a captured image input from the camera 200.
The vehicle extraction unit 302 extracts a vehicle part from the captured image acquired by the image input unit 301. Further, when the vehicle extraction unit 302 extracts a vehicle part from the captured image, the vehicle extraction unit 302 generates an ID (identifier), and stores the ID and the date and time when the vehicle part is extracted as a recognition ID and a recognition date and time in the recognized vehicle database 311. . The recognition ID is an identifier that is uniquely assigned to each recognized vehicle. The recognition ID and the recognition date / time are information on the recognized vehicle.

ナンバー認識部３０３は、車両抽出部３０２により抽出された車両部分から、ナンバープレート部分を抽出する。また、ナンバー認識部３０３は、抽出したナンバープレート部分から、当該ナンバープレートに記載されている、運輸支局、自動車検査登録事務所、又は地域名と、分類番号と、かな文字と、一連指定番号とを認識する。なお、以下では、運輸支局、自動車検査登録事務所、又は地域名を、運輸支局等という。また、運輸支局等、分類番号、かな文字、一連指定番号を、ナンバープレート記載事項という。本実施例において、ナンバープレート記載事項の認識は、文字との類似度が所定の閾値以上となる場合に成功、そうでない場合に失敗となる。また、ナンバー認識部３０３は、抽出したナンバープレート部分から、ナンバープレートのサイズ、色を認識する。なお、ナンバープレートのサイズは例えば車両の総重量等により異なり、ナンバープレートの色は例えば車両の用途（事業用、自家用等）等により異なっている。また、ナンバー認識部３０３は、ナンバープレート記載事項の認識結果（認識時の類似度結果含む）、認識したナンバープレート記載事項、サイズ、色を、認識車両の情報として、対応する認識ＩＤに関連付けて認識車両データベース３１１に記憶する。   The number recognition unit 303 extracts the number plate portion from the vehicle portion extracted by the vehicle extraction unit 302. In addition, the number recognition unit 303 extracts, from the extracted number plate part, the transportation branch office, automobile inspection registration office, or area name described in the number plate, the classification number, the kana character, the series designation number, Recognize In the following, the transportation branch office, automobile inspection registration office, or area name is referred to as transportation branch office or the like. In addition, classification numbers, kana characters, and series designation numbers, such as transportation branch offices, are referred to as number plate description items. In the present embodiment, the recognition of the license plate description item is successful when the similarity to the character is equal to or greater than a predetermined threshold value, and fails when the similarity is not so. The number recognition unit 303 recognizes the size and color of the license plate from the extracted license plate portion. The size of the license plate varies depending on, for example, the total weight of the vehicle, and the color of the license plate varies depending on, for example, the use of the vehicle (for business use, private use, etc.). In addition, the number recognition unit 303 associates the recognition result of the license plate description item (including the similarity result at the time of recognition), the recognized license plate description item, the size, and the color with the corresponding recognition ID as information of the recognized vehicle. Store in the recognized vehicle database 311.

特徴量抽出部３０４は、車両抽出部３０２により抽出された車両部分から車両の特徴量を抽出し、それを認識車両の情報として、対応する認識ＩＤに関連付けて認識車両データベース３１１に記憶する。なお、車両の特徴量は、車両の形状に係る特徴量であり、本実施例では、車両部分のエッジ画像であるとする。また、特徴量抽出部３０４は、車両の特徴量が抽出された撮影画像も認識車両の情報として、対応する認識ＩＤに関連付けて認識車両データベース３１１に記憶する。   The feature amount extraction unit 304 extracts the feature amount of the vehicle from the vehicle portion extracted by the vehicle extraction unit 302, and stores it in the recognized vehicle database 311 in association with the corresponding recognition ID as information on the recognized vehicle. The feature amount of the vehicle is a feature amount related to the shape of the vehicle, and in the present embodiment, it is assumed to be an edge image of the vehicle portion. The feature amount extraction unit 304 also stores the captured image from which the feature amount of the vehicle is extracted as information on the recognized vehicle in the recognized vehicle database 311 in association with the corresponding recognition ID.

車両認識部３０５は、標準車両データベース３１２に登録されている標準車両の情報に基づいて、車両抽出部３０２により抽出された車両部分からロゴマークの特徴量を抽出し、対応する車両名称を標準車両データベース３１２から取得する。これにより、車両名称が特定（認識）される。なお、ロゴマークは、車両名称を表すマークである。ロゴマークの特徴量は、ロゴマークの形状に係る特徴量であり、本実施例では、ロゴマークのエッジ画像であるとする。また、車両認識部３０５は、標準車両データベース３１２に登録されている標準車両の情報に基づいて、車両抽出部３０２により抽出された車両部分からエンブレムの特徴量を抽出し、対応するメーカー名称を標準車両データベース３１２から取得する。これにより、メーカー名称が特定（認識）される。なお、エンブレムは、メーカー名称を表すマークである。エンブレムの特徴量は、エンブレムの形状に係る特徴量であり、本実施例では、エンブレムのエッジ画像であるとする。また、車両認識部３０５は、車両抽出部３０２により抽出された車両部分から、車両の塗色を認識する。また、車両認識部３０５は、認識した車両名称、メーカー名称、車両の塗色を、認識車両の情報として、対応する認識ＩＤに関連付けて認識車両データベース３１１に記憶する。   The vehicle recognizing unit 305 extracts the feature amount of the logo mark from the vehicle portion extracted by the vehicle extracting unit 302 based on the information on the standard vehicle registered in the standard vehicle database 312 and sets the corresponding vehicle name as the standard vehicle. Obtain from database 312. Thereby, the vehicle name is specified (recognized). In addition, a logo mark is a mark showing a vehicle name. The feature amount of the logo mark is a feature amount related to the shape of the logo mark, and in this embodiment, it is assumed to be an edge image of the logo mark. Further, the vehicle recognition unit 305 extracts the feature amount of the emblem from the vehicle portion extracted by the vehicle extraction unit 302 based on the information on the standard vehicle registered in the standard vehicle database 312, and sets the corresponding manufacturer name as the standard. Obtained from the vehicle database 312. Thereby, the manufacturer name is specified (recognized). The emblem is a mark representing the manufacturer name. The feature amount of the emblem is a feature amount related to the shape of the emblem, and in the present embodiment, it is assumed to be an edge image of the emblem. In addition, the vehicle recognition unit 305 recognizes the paint color of the vehicle from the vehicle portion extracted by the vehicle extraction unit 302. Further, the vehicle recognition unit 305 stores the recognized vehicle name, manufacturer name, and paint color of the vehicle in the recognized vehicle database 311 in association with the corresponding recognition ID as information on the recognized vehicle.

特徴量照合部３０６は、特徴量抽出部３０４により抽出された車両の特徴量を、標準車両データベース３１２に登録されている標準車両の情報に含まれる車両の特徴量と照合する。具体的には、特徴量照合部３０６は、車両認識部３０５により車両名称が特定されている場合、その車両名称に対応する標準車両の情報に含まれる車両の特徴量を標準車両データベース３１２から取得する。そして、取得した車両の特徴量と、特徴量抽出部３０４により抽出された車両の特徴量とを照合する。一方、車両認識部３０５により車両名称が特定されていない場合には、特徴量抽出部３０４により抽出された車両の特徴量を、標準車両データベース３１２に登録されている全ての標準車両の情報に含まれる車両の特徴量と照合する。   The feature amount matching unit 306 checks the feature amount of the vehicle extracted by the feature amount extraction unit 304 with the feature amount of the vehicle included in the standard vehicle information registered in the standard vehicle database 312. Specifically, when the vehicle name is specified by the vehicle recognition unit 305, the feature amount matching unit 306 acquires the vehicle feature amount included in the standard vehicle information corresponding to the vehicle name from the standard vehicle database 312. To do. Then, the acquired feature quantity of the vehicle is collated with the feature quantity of the vehicle extracted by the feature quantity extraction unit 304. On the other hand, when the vehicle name is not specified by the vehicle recognition unit 305, the feature amount of the vehicle extracted by the feature amount extraction unit 304 is included in the information of all standard vehicles registered in the standard vehicle database 312. Compared with the vehicle feature value.

照合結果判定部３０７は、特徴量照合部３０６による照合の結果が所定の条件を満たすか否かを判定し、その判定結果を認識車両の情報として、対応する認識ＩＤに関連付けて認識車両データベース３１１に記憶する。なお、本実施例では、所定の条件を、車両の特徴量の類似度が所定の閾値以下となる条件とする。この場合、照合結果判定部３０７により認識車両データベース３１１に記憶される判定結果には、照合時の類似度結果が含まれる。また、所定の条件を満たさないと判定したときに照合された車両の特徴量を含む標準車両の情報に対象モデルの情報が含まれている場合がある。この場合、照合結果判定部３０７は、その対象モデルの情報も認識車両の情報として、対応する認識ＩＤに関連付けて認識車両データベース３１１に記憶する。なお、対象モデルの情報は、車両のモデルの発売開始時期（年月）の情報である。   The collation result determination unit 307 determines whether or not the collation result by the feature amount collation unit 306 satisfies a predetermined condition, and associates the determination result with the corresponding recognition ID as the recognition vehicle information to recognize the vehicle database 311. To remember. In the present embodiment, the predetermined condition is a condition in which the similarity of the feature amount of the vehicle is equal to or less than a predetermined threshold value. In this case, the determination result stored in the recognized vehicle database 311 by the verification result determination unit 307 includes a similarity result at the time of verification. In addition, information on the target model may be included in the information on the standard vehicle including the feature amount of the vehicle collated when it is determined that the predetermined condition is not satisfied. In this case, the matching result determination unit 307 stores the information of the target model in the recognized vehicle database 311 in association with the corresponding recognition ID as the recognized vehicle information. The information on the target model is information on the release start date (year and month) of the vehicle model.

なお、照合結果判定部３０７は、特徴量照合部３０６による照合の結果が所定の条件を満たすか否かを判定する代わりに、次のような判定を行うよう変形することも可能である。例えば、車両認識部３０５により抽出されるロゴマークの特徴量に対応する車両名称が同一となる複数の撮影画像の各々に対して特徴量照合部３０６による照合が行われ、所定の条件を満たすという照合結果が所定数回得られたか否かを判定する。このような変形を行うことによる効果については後述する。   Note that the matching result determination unit 307 can be modified to perform the following determination instead of determining whether or not the result of the matching by the feature amount matching unit 306 satisfies a predetermined condition. For example, the feature amount matching unit 306 performs matching on each of a plurality of captured images having the same vehicle name corresponding to the feature amount of the logo mark extracted by the vehicle recognition unit 305, and satisfies a predetermined condition. It is determined whether or not the collation result has been obtained a predetermined number of times. The effect of performing such deformation will be described later.

標準車両情報登録部３０８は、照合結果判定部３０７により所定の条件を満たすと判定された場合に、車両の特徴量、ロゴマークの特徴量、エンブレムの特徴量を、新規の標準車両の情報として、標準車両データベース３１２に登録（記憶）する。ここで、車両の特徴量は特徴量抽出部３０４により抽出されたものであり、ロゴマークの特徴量、エンブレムの特徴量は車両認識部３０５により抽出されたものである。また、標準車両情報登録部３０８は、そのような場合に、更に、車両名称、メーカー名称、車両の塗色と、車両抽出部３０２により車両部分が抽出された撮影画像を、新規の標準車両の情報として、標準車両データベース３１２に登録（記憶）する。ここで、車両名称、メーカー名称、車両の塗色は、車両認識部３０５により認識されたものである。また、標準車両情報登録部３０８は、そのような場合に、更に、対応する車両名称ＩＤ（identifier）と車両モデルＩＤ（identifier）を生成し、それらを新規の標準車両の情報として、標準車両データベース３１２に登録（記憶）する。なお、車両名称ＩＤは、車両名称毎に一意に付される識別子である。また、車両モデルＩＤは、車両名称が同一の車両の中で車両モデル毎に一意に付される識別子である。また、標準車両情報登録部３０８は、そのような場合に、更に、これらの情報を標準車両データベース３１２に登録した日時（登録日時）を新規の標準車両の情報として、標準車両データベース３１２に登録（記憶）する。   The standard vehicle information registration unit 308 uses the vehicle feature value, the logo mark feature value, and the emblem feature value as new standard vehicle information when the matching result determination unit 307 determines that the predetermined condition is satisfied. , It is registered (stored) in the standard vehicle database 312. Here, the feature amount of the vehicle is extracted by the feature amount extraction unit 304, and the feature amount of the logo mark and the feature amount of the emblem are extracted by the vehicle recognition unit 305. Further, in such a case, the standard vehicle information registration unit 308 further extracts a vehicle name, a manufacturer name, a paint color of the vehicle, and a photographed image in which the vehicle part is extracted by the vehicle extraction unit 302 of the new standard vehicle. Information is registered (stored) in the standard vehicle database 312. Here, the vehicle name, manufacturer name, and paint color of the vehicle are recognized by the vehicle recognition unit 305. Further, in such a case, the standard vehicle information registration unit 308 further generates a corresponding vehicle name ID (identifier) and a vehicle model ID (identifier), and uses these as new standard vehicle information as a standard vehicle database. 312 is registered (stored). The vehicle name ID is an identifier that is uniquely assigned to each vehicle name. The vehicle model ID is an identifier uniquely assigned to each vehicle model among vehicles having the same vehicle name. In such a case, the standard vehicle information registration unit 308 further registers the date and time (registration date and time) when these pieces of information are registered in the standard vehicle database 312 as new standard vehicle information in the standard vehicle database 312 ( Remember.

なお、照合結果判定部３０７を上述のように変形した場合、標準車両情報登録部３０８は、次のような情報を含む新規の標準車両の情報を標準車両データベース３１２に登録するように変形することも可能である。例えば、その新規の標準車両の情報には、所定の条件を満たすという照合結果が得られたときの、車両名称と、当該車両名称に対応するロゴマークの特徴量と、各撮影画像から抽出された車両の特徴量に基づいて最適化された車両の特徴量とが含まれる。このような変形を行うことによる効果については後述する。   When the collation result determination unit 307 is modified as described above, the standard vehicle information registration unit 308 is modified to register new standard vehicle information including the following information in the standard vehicle database 312. Is also possible. For example, the information on the new standard vehicle is extracted from the vehicle name, the feature amount of the logo corresponding to the vehicle name, and each captured image when a matching result that satisfies a predetermined condition is obtained. Vehicle feature values optimized based on the vehicle feature values. The effect of performing such deformation will be described later.

結果保存部３０９は、車両名称の認識結果（車両名称を特定できたか否か）を、認識車両の情報として、対応する認識ＩＤに関連付けて認識車両データベース３１１に記憶する。   The result storage unit 309 stores the recognition result of the vehicle name (whether the vehicle name has been specified) in the recognized vehicle database 311 in association with the corresponding recognition ID as information on the recognized vehicle.

制御部３１０は、車両認識装置３００の各部を制御し、車両認識装置３００の全体動作を制御する。
認識車両データベース３１１は、認識車両の情報を記憶する。
標準車両データベース３１２は、標準車両の情報を記憶する。 The control unit 310 controls each unit of the vehicle recognition device 300 and controls the overall operation of the vehicle recognition device 300.
The recognized vehicle database 311 stores information on recognized vehicles.
The standard vehicle database 312 stores information on standard vehicles.

図３(a),(b),(c),(d) は、撮影画像とそのエッジ画像の一例を示す図である。
図３(a),(b) に示した撮影画像は、カメラ２００により撮影された画像の一例である。図３(c),(d) に示したエッジ画像は、図３(a),(b) に示した撮影画像に対してエッジ検出処理を行うことにより得られたエッジ画像の一例である。これらのエッジ画像は、例えば、特徴量抽出部３０４による車両の特徴量の抽出の際や、車両認識部３０５によるロゴマークの特徴量、エンブレムの特徴量の抽出の際等に用いられる。 FIGS. 3A, 3B, 3C, and 3D are diagrams showing an example of a captured image and its edge image.
The captured images shown in FIGS. 3A and 3B are examples of images captured by the camera 200. FIG. The edge images shown in FIGS. 3C and 3D are examples of edge images obtained by performing the edge detection process on the captured images shown in FIGS. 3A and 3B. These edge images are used, for example, when the feature amount extraction unit 304 extracts a vehicle feature amount, or when the vehicle recognition unit 305 extracts a logo mark feature amount or an emblem feature amount.

図４は、認識車両データベース３１１のデータ構造例を示す図である。
図４に示したように、認識車両データベース３１１には、認識車両毎に、「認識ＩＤ」、「認識日時」、「ナンバー情報」、「車両情報」、「画像」、「画像の特徴量」、「認識結果」等の情報が記憶される。 FIG. 4 is a diagram illustrating a data structure example of the recognized vehicle database 311.
As shown in FIG. 4, in the recognized vehicle database 311, for each recognized vehicle, “recognition ID”, “recognition date”, “number information”, “vehicle information”, “image”, “image feature” , Information such as “recognition result” is stored.

「認識ＩＤ」は、認識車両毎に一意に付される識別子である。
「認識日時」は、認識車両が認識された日時である。
「ナンバー情報」は、認識車両のナンバープレートに関する情報であって、ナンバープレート記載事項（運輸支局等、分類番号、かな文字、一連指定番号）、プレートサイズ、プレート色の情報である。 “Recognition ID” is an identifier uniquely assigned to each recognized vehicle.
“Recognition date and time” is the date and time when the recognized vehicle is recognized.
The “number information” is information relating to the license plate of the recognized vehicle, and is information on license plate description items (transportation branch office, classification number, kana characters, serial designation number), plate size, and plate color.

「車両情報」は、認識車両のメーカー名称、車両名称、対象モデル、塗色の情報である。
「画像」は、認識車両が認識された時の撮影画像である。 “Vehicle information” is information on the manufacturer name, vehicle name, target model, and paint color of the recognized vehicle.
The “image” is a captured image when the recognized vehicle is recognized.

「画像の特徴量」は、認識車両が認識された時の撮影画像から抽出された車両の特徴量（車両のエッジ画像）である。
「認識結果」は、認識車両を認識した時の類似度結果であって、ナンバープレート記載事項や車両の特徴量の類似度結果を含む。 The “image feature amount” is a vehicle feature amount (vehicle edge image) extracted from a captured image when the recognized vehicle is recognized.
The “recognition result” is a similarity result when a recognized vehicle is recognized, and includes a similarity result of license plate description items and vehicle feature amounts.

また、図示はしないが、認識車両データベース３１１には、その他に、認識車両の車両名称の認識結果等の情報も記憶される。   Although not shown, the recognized vehicle database 311 also stores information such as the recognition result of the vehicle name of the recognized vehicle.

図５は、標準車両データベース３１２のデータ構造例を示す図である。
図５に示したように、標準車両データベース３１２には、標準車両毎に、「登録日時」、「車両名称ＩＤ」、「車両モデルＩＤ」、「車両情報」、「画像」、「画像の特徴量」等の情報が記憶（登録）される。 FIG. 5 is a diagram illustrating a data structure example of the standard vehicle database 312.
As shown in FIG. 5, in the standard vehicle database 312, for each standard vehicle, “registration date / time”, “vehicle name ID”, “vehicle model ID”, “vehicle information”, “image”, “image feature” Information such as “amount” is stored (registered).

「登録日時」は、標準車両の情報が標準車両データベース３１２に登録された日時である。
「車両名称ＩＤ」は、車両名称毎に一意に付される識別子である。 The “registration date / time” is the date / time when the standard vehicle information is registered in the standard vehicle database 312.
“Vehicle name ID” is an identifier uniquely assigned to each vehicle name.

「車両モデルＩＤ」は、車両名称が同一の車両の中で車両モデル毎に一意に付される識別子である。
「車両情報」は、標準車両のメーカー名称、車両名称、対象モデル、塗色の情報である。なお、対象モデルの情報については、システム管理者等によって入力される。 “Vehicle model ID” is an identifier uniquely assigned to each vehicle model among vehicles having the same vehicle name.
“Vehicle information” is information on the manufacturer name, vehicle name, target model, and paint color of the standard vehicle. Information about the target model is input by a system administrator or the like.

「画像」は、標準画像とされるものであって、標準車両が撮影された画像である。
「画像の特徴量」は、テンプレート画像とされるものであって、標準車両の特徴量、標準車両のロゴマークの特徴量、標準車両のエンブレムの特徴量である。例えば、図５において、「Ｔ１．ｊｐｇ」は、標準車両の特徴量である、標準車両のエッジ画像である。また、「Ｔ２．ｊｐｇ」は、標準車両のロゴマークの特徴量である、標準車両のロゴマークのエッジ画像である。また、「Ｔ３．ｊｐｇ」は、標準車両のエンブレムの特徴量である、標準車両のエンブレムのエッジ画像である。 The “image” is a standard image, and is an image obtained by photographing a standard vehicle.
The “image feature amount” is a template image, and is a feature amount of a standard vehicle, a feature amount of a logo mark of a standard vehicle, and a feature amount of an emblem of a standard vehicle. For example, in FIG. 5, “T1.jpg” is an edge image of a standard vehicle that is a feature amount of the standard vehicle. “T2.jpg” is an edge image of a logo mark of a standard vehicle, which is a feature amount of the logo mark of the standard vehicle. “T3.jpg” is an edge image of the emblem of the standard vehicle, which is a feature amount of the emblem of the standard vehicle.

図６は、車両認識システム１００の動作例を示すフローチャートである。なお、本動作は、例えば、制御部１１に対し本動作の開始指示が入力されると開始するものである。
図６に示したように、本動作が開始すると、カメラ２００は、所定のフレームレートで撮影を開始し、１秒間当たり、当該フレームレートに従ったフレーム数の撮影画像を画像入力部３０１へ入力する（Ｓ１０１）。これに伴って画像入力部３０１は、１秒間当たり、そのフレームレートに従ったフレーム数の撮影画像をカメラ２００から取得する。 FIG. 6 is a flowchart showing an operation example of the vehicle recognition system 100. This operation starts when, for example, an instruction to start this operation is input to the control unit 11.
As shown in FIG. 6, when this operation is started, the camera 200 starts shooting at a predetermined frame rate, and inputs captured images having the number of frames according to the frame rate to the image input unit 301 per second. (S101). Along with this, the image input unit 301 acquires, from the camera 200, captured images having the number of frames according to the frame rate per second.

続いて、車両抽出部３０２は、画像入力部３０１により取得された１フレームの撮影画像から、車両部分を抽出する（Ｓ１０２）。
続いて、その車両部分の抽出が成功したか否かを判定し（Ｓ１０３）、その判定結果がＮｏの場合にはＳ１０２へ戻り、画像入力部３０１により取得された後続の１フレームの撮影画像に対して再び同様の処理が行われる。 Subsequently, the vehicle extraction unit 302 extracts a vehicle portion from one frame of the captured image acquired by the image input unit 301 (S102).
Subsequently, it is determined whether or not the vehicle part has been successfully extracted (S103). If the determination result is No, the process returns to S102, and the captured image of the subsequent one frame acquired by the image input unit 301 is displayed. The same process is performed again.

一方、Ｓ１０３の判定結果がＹｅｓの場合、車両抽出部３０２は、ＩＤを生成し、そのＩＤと車両部分を抽出した日時を、認識ＩＤと認識日時として、認識車両データベース３１１に記憶する（Ｓ１０４）。   On the other hand, when the determination result in S103 is Yes, the vehicle extraction unit 302 generates an ID, and stores the ID and the date and time of extracting the vehicle part in the recognized vehicle database 311 as the recognition ID and the recognition date and time (S104). .

続いて、ナンバー認識部３０３は、Ｓ１０２で車両抽出部３０２により抽出された車両部分から、ナンバープレート部分を抽出する（Ｓ１０５）。また、Ｓ１０５では、ナンバー認識部３０３は、抽出したナンバープレート部分から、文字との類似度に応じて、ナンバープレート記載事項を認識する。また、Ｓ１０５では、ナンバー認識部３０３は、抽出したナンバープレート部分から、ナンバープレートのサイズ、色を認識する。また、Ｓ１０５では、ナンバー認識部３０３は、ナンバープレート記載事項の認識結果、認識したナンバープレート記載事項、サイズ、色を、認識車両の情報として、Ｓ１０４で記憶した認識ＩＤに関連付けて認識車両データベース３１１に記憶する。ここで、ナンバープレート記載事項の認識結果には、認識時の類似度結果が含まれる。   Subsequently, the number recognizing unit 303 extracts a number plate portion from the vehicle portion extracted by the vehicle extracting unit 302 in S102 (S105). In S105, the number recognition unit 303 recognizes the number plate description items from the extracted number plate portion according to the similarity to the characters. In S105, the license recognition unit 303 recognizes the size and color of the license plate from the extracted license plate portion. In S105, the license recognition unit 303 associates the recognition result of the license plate description item, the recognized license plate description item, the size, and the color with the recognition ID stored in S104 as information of the recognized vehicle. To remember. Here, the recognition result of the license plate description includes a similarity result at the time of recognition.

続いて、特徴量抽出部３０４は、Ｓ１０２で車両抽出部３０２により抽出された車両部分から車両の特徴量を抽出し、それを認識車両の情報として、Ｓ１０４で記憶された認識ＩＤに関連付けて認識車両データベース３１１に記憶する（Ｓ１０６）。また、Ｓ１０６では、特徴量抽出部３０４は、車両の特徴量が抽出された撮影画像も認識車両の情報として、Ｓ１０４で記憶された認識ＩＤに関連付けて認識車両データベース３１１に記憶する。   Subsequently, the feature amount extraction unit 304 extracts the feature amount of the vehicle from the vehicle portion extracted by the vehicle extraction unit 302 in S102, and recognizes it as the recognized vehicle information in association with the recognition ID stored in S104. It memorize | stores in the vehicle database 311 (S106). In S106, the feature amount extraction unit 304 stores the captured image from which the feature amount of the vehicle has been extracted as information on the recognized vehicle in the recognized vehicle database 311 in association with the recognition ID stored in S104.

続いて、車両認識部３０５は、標準車両データベース３１２に登録されている標準車両の情報に含まれるロゴマークの特徴量、車両名称の情報に基づいて、Ｓ１０２で車両抽出部３０２により抽出された車両部分からロゴマークの特徴量を抽出する(Ｓ１０７)。また、Ｓ１０７では、車両認識部３０５は、抽出したロゴマークの特徴量に対応する車両名称を標準車両データベース３１２から取得する。これにより、車両名称が特定（認識）される。また、Ｓ１０７では、車両認識部３０５は、標準車両データベース３１２に登録されている標準車両の情報に含まれるエンブレムの特徴量、メーカー名称の情報に基づいて、Ｓ１０２で車両抽出部３０２により抽出された車両部分からエンブレムの特徴量を抽出する。また、Ｓ１０７では、車両認識部３０５は、抽出したエンブレムの特徴量に対応するメーカー名称を標準車両データベース３１２から取得する。これにより、メーカー名称が特定（認識）される。また、Ｓ１０７では、車両認識部３０５は、Ｓ１０２で車両抽出部３０２により抽出された車両部分から、車両の塗色を認識する。また、Ｓ１０７では、車両認識部３０５は、認識した車両名称、メーカー名称、車両の塗色を、認識車両の情報として、Ｓ１０４で記憶した認識ＩＤに関連付けて認識車両データベース３１１に記憶する。   Subsequently, the vehicle recognizing unit 305 extracts the vehicle extracted by the vehicle extracting unit 302 in S102 based on the feature amount of the logo mark and the vehicle name information included in the standard vehicle information registered in the standard vehicle database 312. The feature amount of the logo mark is extracted from the portion (S107). In step S <b> 107, the vehicle recognition unit 305 acquires a vehicle name corresponding to the extracted feature amount of the logo mark from the standard vehicle database 312. Thereby, the vehicle name is specified (recognized). In S107, the vehicle recognizing unit 305 is extracted by the vehicle extracting unit 302 in S102 based on the feature amount of the emblem and the manufacturer name information included in the standard vehicle information registered in the standard vehicle database 312. Extract emblem features from the vehicle. In step S <b> 107, the vehicle recognition unit 305 acquires a manufacturer name corresponding to the extracted feature value of the emblem from the standard vehicle database 312. Thereby, the manufacturer name is specified (recognized). In S107, the vehicle recognition unit 305 recognizes the paint color of the vehicle from the vehicle portion extracted by the vehicle extraction unit 302 in S102. In S107, the vehicle recognition unit 305 stores the recognized vehicle name, manufacturer name, and paint color of the vehicle in the recognized vehicle database 311 in association with the recognition ID stored in S104 as information on the recognized vehicle.

続いて、Ｓ１０７での車両認識部３０５による車両名称の特定が成功したか否かを判定する(Ｓ１０８)。
Ｓ１０８の判定結果がＹｅｓの場合、特徴量照合部３０６は、Ｓ１０７で車両認識部３０５により特定された車両名称に対応する標準車両の情報に含まれる車両の特徴量を標準車両データベース３１２から取得する（Ｓ１０９）。また、Ｓ１０９では、特徴量照合部３０６は、標準車両データベース３１２から取得した車両の特徴量と、Ｓ１０６で特徴量抽出部３０４により抽出された車両の特徴量とを照合する。 Subsequently, it is determined whether or not the vehicle name is successfully identified by the vehicle recognition unit 305 in S107 (S108).
When the determination result in S108 is Yes, the feature amount matching unit 306 acquires from the standard vehicle database 312 the vehicle feature amount included in the standard vehicle information corresponding to the vehicle name specified by the vehicle recognition unit 305 in S107. (S109). In step S109, the feature amount matching unit 306 checks the vehicle feature amount acquired from the standard vehicle database 312 and the vehicle feature amount extracted by the feature amount extraction unit 304 in step S106.

続いて、照合結果判定部３０７は、Ｓ１０９での特徴量照合部３０６による照合の結果が所定の条件を満たすか否かを判定する(Ｓ１１０)。なお、Ｓ１０７で車両認識部３０５により特定された車両名称に対応する標準車両の情報が標準車両データベース３１２に複数登録されている場合がある。この場合、各標準車両の情報に含まれる標準車両の特徴量と特徴量抽出部３０４により抽出された車両の特徴量との類似度が全て所定の閾値以下であった場合にはＳ１１０の判定結果がＹｅｓとなり、そうでない場合にはその判定結果がＮｏとなる。   Subsequently, the collation result determination unit 307 determines whether or not the collation result by the feature amount collation unit 306 in S109 satisfies a predetermined condition (S110). In some cases, a plurality of information on standard vehicles corresponding to the vehicle names specified by the vehicle recognition unit 305 in S107 are registered in the standard vehicle database 312. In this case, if all the similarities between the feature quantity of the standard vehicle included in the information of each standard vehicle and the feature quantity of the vehicle extracted by the feature quantity extraction unit 304 are equal to or less than a predetermined threshold, the determination result of S110 Is Yes, otherwise, the determination result is No.

なお、Ｓ１１０の判定は、次のように変形することも可能である。例えば、車両認識部３０５により抽出されるロゴマークの特徴量に対応する車両名称が同一となる複数の撮影画像の各々に対して特徴量照合部３０６による照合が行われ、所定の条件を満たすという照合結果が所定数回得られたか否かを判定する。このような変形を行うことによる効果については後述する。   Note that the determination in S110 can be modified as follows. For example, the feature amount matching unit 306 performs matching on each of a plurality of captured images having the same vehicle name corresponding to the feature amount of the logo mark extracted by the vehicle recognition unit 305, and satisfies a predetermined condition. It is determined whether or not the collation result has been obtained a predetermined number of times. The effect of performing such deformation will be described later.

Ｓ１１０の判定結果がＮｏの場合、照合結果判定部３０７は、その判定結果（特徴量の類似度結果を含む）を認識車両の情報として、Ｓ１０４で記憶した認識ＩＤに関連付けて認識車両データベース３１１に記憶する（Ｓ１１１）。また、この場合、所定の条件を満たさないと判定した時に照合された特徴量を含む標準車両の情報に対象モデルの情報が含まれている場合がある。このような場合、Ｓ１１１では、照合結果判定部３０７は、その対象モデルの情報を認識車両の情報として、Ｓ１０４で記憶した認識ＩＤに関連付けて認識車両データベース３１１に記憶する。但し、所定の条件を満たさないと判定した時に照合された特徴量を含む標準車両の情報が複数有る場合がある。このような場合には、類似度が所定の閾値以下でなかった特徴量（例えば類似度が最も高かった時の特徴量）を含む標準車両情報に対象モデルの情報が含まれていた場合に、その対象モデルの情報が記憶される。   When the determination result in S110 is No, the collation result determination unit 307 associates the determination result (including the feature value similarity result) with the recognition ID stored in S104 in the recognized vehicle database 311 as the recognized vehicle information. Store (S111). In this case, the information on the target model may be included in the information on the standard vehicle including the feature amount that is collated when it is determined that the predetermined condition is not satisfied. In such a case, in S111, the matching result determination unit 307 stores the information of the target model in the recognized vehicle database 311 as the recognized vehicle information in association with the recognition ID stored in S104. However, there may be a plurality of information on the standard vehicle including the feature amount collated when it is determined that the predetermined condition is not satisfied. In such a case, when the information of the target model is included in the standard vehicle information including the feature amount (for example, the feature amount when the similarity is the highest) whose similarity is not less than a predetermined threshold, Information on the target model is stored.

一方、Ｓ１１０の判定結果がＹｅｓの場合、照合結果判定部３０７は、その判定結果（特徴量の類似度結果を含む）を認識車両の情報として、Ｓ１０４で記憶した認識ＩＤに関連付けて認識車両データベース３１１に記憶する（Ｓ１１２）。   On the other hand, when the determination result in S110 is Yes, the collation result determination unit 307 associates the determination result (including the feature value similarity result) with the recognition ID stored in S104 as the recognized vehicle information, and recognizes the vehicle database. It memorize | stores in 311 (S112).

続いて、標準車両情報登録部３０８は、車両の特徴量、ロゴマークの特徴量、エンブレムの特徴量を、新規の標準車両の情報として、標準車両データベース３１２に登録（記憶）する（Ｓ１１３）。ここで、車両の特徴量は、Ｓ１０６で特徴量抽出部３０４により抽出されたものであり、ロゴマークの特徴量、エンブレムの特徴量は、Ｓ１０７で車両認識部３０５による抽出されたものである。また、Ｓ１１３では、標準車両情報登録部３０８は、更に、車両名称、メーカー名称、車両の塗色と、Ｓ１０２で車両抽出部３０２により車両部分が抽出された撮影画像を、新規の標準車両の情報として、標準車両データベース３１２に登録（記憶）する。ここで、車両名称、メーカー名称、車両の塗色は、Ｓ１０７で車両認識部３０５により認識されたものである。また、Ｓ１１３では、標準車両情報登録部３０８は、更に、対応する車両名称ＩＤと車両モデルＩＤを生成し、それらを新規の標準車両の情報として、標準車両データベース３１２に登録（記憶）する。また、Ｓ１１３では、標準車両情報登録部３０８は、更に、これらの情報を標準車両データベース３１２に登録した日時（登録日時）を、新規の標準車両の情報として、標準車両データベース３１２に登録（記憶）する。   Subsequently, the standard vehicle information registration unit 308 registers (stores) the vehicle feature amount, the logo mark feature amount, and the emblem feature amount as new standard vehicle information in the standard vehicle database 312 (S113). Here, the feature amount of the vehicle is extracted by the feature amount extraction unit 304 in S106, and the feature amount of the logo mark and the feature amount of the emblem are extracted by the vehicle recognition unit 305 in S107. In S113, the standard vehicle information registration unit 308 further displays the vehicle name, the manufacturer name, the paint color of the vehicle, and the photographed image in which the vehicle part is extracted by the vehicle extraction unit 302 in S102. Is registered (stored) in the standard vehicle database 312. Here, the vehicle name, manufacturer name, and paint color of the vehicle are those recognized by the vehicle recognition unit 305 in S107. In S113, the standard vehicle information registration unit 308 further generates a corresponding vehicle name ID and vehicle model ID, and registers (stores) them in the standard vehicle database 312 as new standard vehicle information. In S113, the standard vehicle information registration unit 308 further registers (stores) the date and time (registration date and time) when these pieces of information are registered in the standard vehicle database 312 as new standard vehicle information. To do.

なお、Ｓ１１０を上述のように変形した場合、Ｓ１１３では、次のような情報を含む新規の標準車両の情報を標準車両データベース３１２に登録するように変形することも可能である。例えば、その新規の標準車両の情報には、所定の条件を満たすという照合結果が得られたときの、車両名称と、当該車両名称に対応するロゴマークの特徴量と、各撮影画像から抽出された車両の特徴量に基づいて最適化された車両の特徴量とが含まれる。このような変形を行うことによる効果については後述する。   When S110 is modified as described above, in S113, it is possible to modify the standard vehicle database 312 to register information on a new standard vehicle including the following information. For example, the information on the new standard vehicle is extracted from the vehicle name, the feature amount of the logo corresponding to the vehicle name, and each captured image when a matching result that satisfies a predetermined condition is obtained. Vehicle feature values optimized based on the vehicle feature values. The effect of performing such deformation will be described later.

一方、Ｓ１０８の判定結果がＮｏの場合、特徴量照合部３０６は、Ｓ１０６で特徴量抽出部３０４により抽出された車両の特徴量を、標準車両データベース３１２に登録されている全ての標準車両の情報に含まれる標準車両の特徴量と照合する（Ｓ１１４）。   On the other hand, if the determination result in S108 is No, the feature amount matching unit 306 uses the vehicle feature amounts extracted by the feature amount extraction unit 304 in S106 as information on all the standard vehicles registered in the standard vehicle database 312. (S114).

続いて、照合結果判定部３０７は、Ｓ１０９での特徴量照合部３０６による照合の結果が所定の条件を満たすか否かを判定する(Ｓ１１５)。但し、Ｓ１１５での所定の条件は、特徴量抽出部３０４により抽出された車両の特徴量と各標準車両の情報に含まれる標準車両の特徴量との類似度が全て所定の閾値以下となる条件とする。   Subsequently, the matching result determination unit 307 determines whether or not the result of the matching by the feature amount matching unit 306 in S109 satisfies a predetermined condition (S115). However, the predetermined condition in S115 is a condition in which the similarities between the vehicle feature amount extracted by the feature amount extraction unit 304 and the standard vehicle feature amount included in the information of each standard vehicle are all equal to or less than a predetermined threshold. And

Ｓ１１５の判定結果がＮｏの場合、照合結果判定部３０７は、その判定結果（特徴量の類似度結果を含む）を認識車両の情報として、Ｓ１０４で記憶した認識ＩＤに関連付けて認識車両データベース３１１に記憶する（Ｓ１１６）。また、この場合、所定の条件を満たさないと判定した時に照合された特徴量であって類似度が所定の閾値以下でなかった特徴量（例えば類似度が最も高かった時の特徴量）を含む標準車両の情報に車両名称、対象モデルの情報が含まれている場合がある。このような場合、Ｓ１１６では、照合結果判定部３０７は、その車両名称、対象モデルの情報を、認識車両の情報として、Ｓ１０４で記憶した認識ＩＤに関連付けて認識車両データベース３１１に記憶する。   When the determination result in S115 is No, the collation result determination unit 307 associates the determination result (including the feature value similarity result) with the recognition ID stored in S104 in the recognized vehicle database 311 as the recognized vehicle information. Store (S116). Further, in this case, the feature amount that is collated when it is determined that the predetermined condition is not satisfied and the similarity is not less than a predetermined threshold (for example, the feature when the similarity is the highest) is included. Information on the standard vehicle may include vehicle name and target model information. In such a case, in S116, the collation result determination unit 307 stores the vehicle name and target model information in the recognized vehicle database 311 as the recognized vehicle information in association with the recognition ID stored in S104.

Ｓ１１３、Ｓ１１１、又は、Ｓ１１６の後、結果保存部３０９は、車両名称の認識結果（車両名称特定成功という結果）を、認識車両の情報として、Ｓ１０４で記憶された認識ＩＤに関連付けて認識車両データベース３１１に記憶する（Ｓ１１７）。   After S113, S111, or S116, the result storage unit 309 associates the recognition result of the vehicle name (result of vehicle name identification success) with the recognition ID stored in S104 as information on the recognized vehicle, and recognizes the vehicle database. It memorize | stores in 311 (S117).

一方、Ｓ１１５の判定結果がＹｅｓの場合、照合結果判定部３０７は、その判定結果（特徴量の類似度結果を含む）を認識車両の情報として、Ｓ１０４で記憶した認識ＩＤに関連付けて認識車両データベース３１１に記憶する（Ｓ１１８）。   On the other hand, when the determination result in S115 is Yes, the collation result determination unit 307 associates the determination result (including the feature similarity result) with the recognition ID stored in S104 as the recognized vehicle information, and recognizes the vehicle database. It memorize | stores in 311 (S118).

続いて、結果保存部３０９は、車両名称の認識結果（車両名称特定失敗という結果）を、認識車両の情報として、Ｓ１０４で記憶された認識ＩＤに関連付けて認識車両データベース３１１に記憶する（Ｓ１１９）。   Subsequently, the result storage unit 309 stores the recognition result of the vehicle name (result of vehicle name specification failure) in the recognized vehicle database 311 in association with the recognition ID stored in S104 as information on the recognized vehicle (S119). .

Ｓ１１７、又はＳ１１９の後、制御部３１０は、本動作の終了指示が入力されたか否かを判定し（Ｓ１２０）、その判定結果がＮｏの場合にはＳ１０２へ戻り、後続のフレームの撮影画像に対して再び同様の処理が行われる。   After S117 or S119, the control unit 310 determines whether or not an instruction to end this operation has been input (S120). If the determination result is No, the control unit 310 returns to S102 and displays the captured image of the subsequent frame. The same process is performed again.

一方、Ｓ１２０の判定結果がＹｅｓの場合には、本動作が終了する。
以上、車両認識システム１００によれば、撮影画像から抽出された車両の特徴量と標準車両の特徴量との照合結果が所定の条件を満たす場合には、自動的に、新規の標準車両の情報が標準車両データベース３１２に登録されるようになる。ここで、撮影画像は、カメラ２００により撮影された画像であり、標準車両の特徴量は、標準車両データベース３１２に登録されていたものである。従って、例えば、モデルチェンジが行われた車両がカメラ２００により撮影されたときに、その車両の情報が標準車両データベース３１２に登録されていなかった場合には、自動的に、その撮影画像から、その車両の情報が抽出される。そして、抽出された車両の情報が、自動的に、新規の標準車両の情報として標準車両データベース３１２に登録される。これにより、システム管理者等は、車両のモデルチェンジを常にモニターし、モデルチェンジがある毎に車両の特徴量等を含む標準車両の情報を標準車両データベース３１２に登録する等といった作業から開放される。従って、車両のモデルチェンジに伴う新規の標準車両情報（照合情報）の登録に係るシステム管理者等の負担を軽減することができる。 On the other hand, when the determination result in S120 is Yes, this operation ends.
As described above, according to the vehicle recognition system 100, when the collation result between the feature amount of the vehicle extracted from the photographed image and the feature amount of the standard vehicle satisfies the predetermined condition, the information of the new standard vehicle is automatically obtained. Are registered in the standard vehicle database 312. Here, the photographed image is an image photographed by the camera 200, and the feature quantity of the standard vehicle is registered in the standard vehicle database 312. Therefore, for example, when a vehicle having undergone a model change is photographed by the camera 200 and the vehicle information is not registered in the standard vehicle database 312, the photograph is automatically taken from the photographed image. Vehicle information is extracted. The extracted vehicle information is automatically registered in the standard vehicle database 312 as new standard vehicle information. As a result, the system administrator or the like is constantly free from the work of monitoring the model change of the vehicle and registering information on the standard vehicle including the feature amount of the vehicle in the standard vehicle database 312 each time there is a model change. . Therefore, it is possible to reduce the burden on the system administrator or the like related to the registration of new standard vehicle information (collation information) accompanying the vehicle model change.

また、車両認識システム１００では、特徴量照合部３０６により照合される車両の特徴量が何れも同じカメラ（カメラ２００）により撮影された画像から抽出されたものとなる。従って、車両認識システム１００では、異なるカメラで撮影された画像から抽出された車両の特徴量を照合するようにしているシステムに比べ、車両の認識精度が向上する。   Further, in the vehicle recognition system 100, all the vehicle feature quantities collated by the feature quantity collating unit 306 are extracted from images taken by the same camera (camera 200). Therefore, in the vehicle recognition system 100, the vehicle recognition accuracy is improved as compared with a system in which vehicle feature amounts extracted from images captured by different cameras are collated.

なお、車両認識システム１００は、以下のとおり、種々の変形が可能である。
例えば、図６に示した車両認識システム１００の動作において、Ｓ１１７及びＳ１１９と、Ｓ１２０との間に、偽造ナンバーの判定、ナンバーの認識精度向上のための動作を、更に行うようにすることも可能である。 The vehicle recognition system 100 can be variously modified as follows.
For example, in the operation of the vehicle recognition system 100 shown in FIG. 6, it is possible to further perform operations for determining a forged number and improving the recognition accuracy of the number between S117 and S119 and S120. It is.

図７は、その動作例を示すフローチャートである。
図７に示したように、本動作では、まずナンバー認識部３０３は、Ｓ１０５（図６参照）でのナンバープレート記載事項の認識結果（認識時の類似度結果含む）を抽出する（Ｓ２０１）。 FIG. 7 is a flowchart showing an example of the operation.
As shown in FIG. 7, in this operation, the number recognition unit 303 first extracts the recognition result (including the similarity result at the time of recognition) of the license plate description items in S105 (see FIG. 6) (S201).

続いて、ナンバー認識部３０３は、Ｓ２０１で抽出した認識結果から、ナンバープレート記載事項の全ての認識に成功していたか否かを判定する（Ｓ２０２）。
Ｓ２０２の判定結果がＹｅｓの場合、ナンバー認識部３０３は、偽造ナンバーの判定動作を開始する。すなわち、ナンバー認識部３０３は、Ｓ１０５で認識したナンバープレート記載事項と一致するナンバー情報を含む全ての認識車両の情報を認識車両データベース３１１から抽出する（Ｓ２０３）。続いてナンバー認識部３０３は、Ｓ２０３で抽出した認識車両の情報の中に、異なる車両名称の情報を含む認識車両の情報が有るか否かを判定する（Ｓ２０４）。ここで、その判定結果がＹｅｓの場合、ナンバー認識部３０３は、Ｓ１０５で認識したナンバープレート記載事項を偽造ナンバー候補とする情報を、図示しない通信ネットワークを介して外部装置に通知すると共に記憶する（Ｓ２０５）。そして、Ｓ２０５の後、又はＳ２０４の判定結果がＮｏの場合には、本動作が終了し、処理が戻る。 Subsequently, the number recognizing unit 303 determines from the recognition result extracted in S201 whether or not all of the items on the license plate have been successfully recognized (S202).
If the determination result in S202 is Yes, the number recognition unit 303 starts a counterfeit number determination operation. That is, the number recognizing unit 303 extracts information of all recognized vehicles including the number information that matches the license plate description recognized in S105 from the recognized vehicle database 311 (S203). Subsequently, the number recognizing unit 303 determines whether there is information on recognized vehicles including information on different vehicle names in the information on recognized vehicles extracted in S203 (S204). Here, when the determination result is Yes, the number recognition unit 303 notifies and stores information regarding the number plate description recognized in S105 as a forged number candidate to an external device via a communication network (not shown) ( S205). Then, after S205 or when the determination result in S204 is No, this operation ends and the process returns.

一方、Ｓ２０２の判定結果がＮｏの場合、ナンバー認識部３０３は、ナンバーの認識精度向上のための動作を開始する。すなわち、ナンバー認識部３０３は、Ｓ１１７又はＳ１１９で結果保存部３０９により記憶された車両名称の認識結果（車両名称特定成功又は失敗という結果）から、車両名称の特定が成功していたか否かを判定する（Ｓ２０６）。ここで、その判定結果がＹｅｓの場合、ナンバー認識部３０３は、特定されている車両名称の情報を含む全ての認識車両の情報を認識車両データベース３１１から抽出する（Ｓ２０７）。続いて、ナンバー認識部３０３は、Ｓ２０７で抽出した認識車両の情報の中から、Ｓ１０５で認識に成功していた一部のナンバープレート記載事項と一致するナンバー情報を含む認識車両の情報を抽出する（Ｓ２０８）。続いてナンバー認識部３０３は、Ｓ２０８での抽出に成功したか否かを判定する（Ｓ２０９）。なお、Ｓ１０５でナンバープレート記載事項の全ての認識に失敗していた場合には、Ｓ２０８での抽出は行われず、Ｓ２０９の判定結果はＮｏとなる。Ｓ２０９の判定結果がＹｅｓの場合、ナンバー認識部３０３は、Ｓ２０１で抽出した認識結果とＳ２０８で抽出した認識車両の情報に含まれるナンバー情報に基づいて、ナンバープレート記載事項を認識する際の閾値を変更する(Ｓ２１０)。また、Ｓ２１０では、ナンバー認識部３０３は、その変更後の閾値を用いてナンバープレート記載事項の認識失敗部分について再度認識を行う。例えば、Ｓ２０１で抽出した認識結果から、ナンバープレート記載事項の認識失敗部分がかな文字であり、その認識結果が８３％の類似度で「あ」であったとする。また、Ｓ２０８で抽出した認識車両の情報に含まれるナンバー情報のかな文字が「あ」であったとする。また、ナンバープレート記載事項を認識する際の閾値が８５％以上であったとする。このような場合、例えば、閾値が８０％以上であったとするならば、認識に成功し、且つ、かな文字も正しく認識されていたことになる。従って、このような場合、ナンバー認識部３０３は、閾値を８５％以上から８０％以上へ変更し、再度、認識を行う。Ｓ２１０の後、ナンバー認識部３０３は、Ｓ２１０の認識結果（認識されたナンバープレート記載事項）を、Ｓ１０４で記憶された認識ＩＤに関連付けて認識車両データベース３１１に記憶する（Ｓ２１１）。例えば、Ｓ２１０で、かな文字「あ」が認識された場合には、それをＳ１０４で記憶された認識ＩＤに関連付けて認識車両データベース３１１に記憶する。そして、Ｓ２０６がＮｏの場合、Ｓ２０９がＮｏの場合、又はＳ２１１の後は、本動作が終了し、処理が戻る。   On the other hand, when the determination result in S202 is No, the number recognition unit 303 starts an operation for improving the number recognition accuracy. That is, the number recognition unit 303 determines whether or not the vehicle name has been successfully identified from the vehicle name recognition result (result of vehicle name identification success or failure) stored by the result storage unit 309 in S117 or S119. (S206). Here, when the determination result is Yes, the number recognizing unit 303 extracts information on all recognized vehicles including information on the specified vehicle name from the recognized vehicle database 311 (S207). Subsequently, the number recognizing unit 303 extracts information on the recognized vehicle including the number information that matches some of the license plate description items that have been successfully recognized in S105 from the information on the recognized vehicle extracted in S207. (S208). Subsequently, the number recognition unit 303 determines whether or not the extraction in S208 has been successful (S209). If all of the license plate description items have failed to be recognized in S105, the extraction in S208 is not performed, and the determination result in S209 is No. When the determination result in S209 is Yes, the number recognizing unit 303 sets a threshold value for recognizing the number plate description item based on the recognition result extracted in S201 and the number information included in the recognized vehicle information extracted in S208. Change (S210). In S210, the number recognizing unit 303 recognizes again the recognition failure portion of the license plate description item using the changed threshold value. For example, from the recognition result extracted in S201, it is assumed that the recognition failure portion of the license plate description item is a kana character, and the recognition result is “A” with a similarity of 83%. Further, it is assumed that the kana character of the number information included in the information on the recognized vehicle extracted in S208 is “A”. Further, it is assumed that the threshold value for recognizing the license plate description is 85% or more. In such a case, for example, if the threshold value is 80% or more, the recognition has succeeded, and the kana character has been correctly recognized. Therefore, in such a case, the number recognition unit 303 changes the threshold value from 85% or more to 80% or more, and performs recognition again. After S210, the number recognizing unit 303 stores the recognition result of S210 (recognized items on the license plate) in the recognized vehicle database 311 in association with the recognition ID stored in S104 (S211). For example, when the kana character “A” is recognized in S210, it is stored in the recognized vehicle database 311 in association with the recognition ID stored in S104. Then, when S206 is No, when S209 is No, or after S211, this operation ends and the process returns.

このような動作を更に行うことにより、偽造ナンバー候補の通知や、ナンバープレート記載事項の認識精度を向上させることができる。
また、例えば、図６に示した動作において、Ｓ１１０の判定結果がＮｏの場合に、Ｓ１０６で特徴量抽出部３０４により抽出された車両の特徴量を、特徴量照合部３０６による照合の結果が所定の条件を満たさなかったときの事例データとすることも可能である。この場合、その事例データを標準車両データベース３１２に登録（記憶）するように構成することも可能である。 By further performing such an operation, it is possible to improve notification accuracy of forged number candidates and recognition accuracy of number plate description items.
Further, for example, in the operation illustrated in FIG. 6, when the determination result in S110 is No, the feature amount of the vehicle extracted by the feature amount extraction unit 304 in S106 is the result of matching by the feature amount matching unit 306. It is also possible to use case data when the above condition is not satisfied. In this case, the case data may be registered (stored) in the standard vehicle database 312.

また、例えば、Ｓ１１０の判定において、Ｓ１０７で車両認識部３０５により特定された車両名称に対応する標準車両の情報が標準車両データベース３１２に複数登録されていた場合には、次のようにして判定を行うことも可能である。すなわち、その複数の標準車両の情報を、過去のＳ１１０の判定結果がＮｏとなる回数が最も多かった車両の特徴量を含む標準車両の情報から順に、類似度が所定の閾値以下であるか否かを判定するようにすることも可能である。   Further, for example, in the determination of S110, when a plurality of standard vehicle information corresponding to the vehicle name specified by the vehicle recognition unit 305 in S107 is registered in the standard vehicle database 312, the determination is performed as follows. It is also possible to do this. That is, whether the similarity is equal to or less than a predetermined threshold in order from the information on the plurality of standard vehicles in order from the information on the standard vehicle including the feature amount of the vehicle having the highest number of determination results in the past S110. It is also possible to determine whether or not.

また、Ｓ１１５の判定において、標準車両データベース３１２に登録されている全ての標準車両の情報を、次のような順番で、類似度が所定の閾値以下であるか否かを判定するようにすることも可能である。例えば、過去のＳ１１０の判定結果がＮｏとなる回数が最も多かった車両の特徴量を含む標準車両の情報から順に、類似度が所定の閾値以下であるか否かを判定するようにすることも可能である。   Further, in the determination in S115, it is determined whether the information on all the standard vehicles registered in the standard vehicle database 312 is in the following order or whether the similarity is not more than a predetermined threshold value. Is also possible. For example, it is also possible to determine whether or not the similarity is equal to or less than a predetermined threshold in order from the information of the standard vehicle including the feature amount of the vehicle with the largest number of determination results in the past S110. Is possible.

また、車両認識システム１００では、カメラ２００の代わりに、例えば、全方位撮影可能なカメラや、複数のカメラを備えるように構成することも可能である。これにより、車両認識装置３００は、車両を後上方から撮影した画像に限らず、車両を他の方向から撮影した画像をも取得して、処理を行うことができる。   In addition, the vehicle recognition system 100 may be configured to include, for example, a camera capable of omnidirectional photography or a plurality of cameras instead of the camera 200. Thereby, the vehicle recognition apparatus 300 can acquire not only the image which image | photographed the vehicle from back upper direction but also the image which image | photographed the vehicle from the other direction, and can process it.

図８は、複数のカメラを備えた車両認識システム１００の一例を示す図である。
図８に示した車両認識システム１００では、２つのカメラ２００ａ、２００ｂを備える。カメラ２００ａは、通行する車両を後上方から撮影する位置に設置される。カメラ２００ｂは、通行する車両を前方且つ上方（以下「前上方」という）から撮影する位置に設置される。そして、車両認識装置３００は、カメラ２００ａ及び又はカメラ２００ｂから撮影画像を取得し、処理を行う。例えば、２つのカメラ２００ａ、２００ｂから撮影画像を取得した場合には、二方向からの車両の特徴量を標準車両の特徴量として標準車両データベース３１２へ登録することができる。 FIG. 8 is a diagram illustrating an example of a vehicle recognition system 100 including a plurality of cameras.
The vehicle recognition system 100 shown in FIG. 8 includes two cameras 200a and 200b. The camera 200a is installed at a position for photographing a passing vehicle from the upper rear side. The camera 200b is installed at a position to photograph a passing vehicle from the front and above (hereinafter referred to as “front upper”). And the vehicle recognition apparatus 300 acquires a picked-up image from the camera 200a and / or the camera 200b, and performs a process. For example, when captured images are acquired from two cameras 200a and 200b, the feature amount of the vehicle from two directions can be registered in the standard vehicle database 312 as the feature amount of the standard vehicle.

また、車両認識システム１００では、特徴量照合部３０６による照合の結果が所定の条件を満たすと照合結果判定部３０７により判定されたときに、新規の標準車両の情報が標準車両データベース３１２に登録されるものであった。これを、上述のとおり、次のように変形することもできる。例えば、車両認識部３０５により抽出されるロゴマークの特徴量に対応する車両名称が同一となる複数の撮影画像の各々に対して特徴量照合部３０６による照合が行われる。そして、所定の条件を満たすという照合結果が所定数回得られたときに、新規の標準車両の情報を標準車両データベース３１２に登録する。このような変形により、より主要な車両の情報を、新規の標準車両の情報として標準車両データベース３１２に登録することができる。   Further, in the vehicle recognition system 100, information on a new standard vehicle is registered in the standard vehicle database 312 when the collation result determination unit 307 determines that the result of the collation by the feature amount collation unit 306 satisfies a predetermined condition. It was something. As described above, this can be modified as follows. For example, the feature amount matching unit 306 performs matching on each of a plurality of photographed images having the same vehicle name corresponding to the feature amount of the logo mark extracted by the vehicle recognition unit 305. Then, when the collation result that satisfies the predetermined condition is obtained a predetermined number of times, information on the new standard vehicle is registered in the standard vehicle database 312. By such a modification, it is possible to register more main vehicle information in the standard vehicle database 312 as new standard vehicle information.

また、このように変形した場合、標準車両データベース３１２に登録される新規の標準車両の情報には、上述のとおり、次のような情報が含まれるようにすることもできる。例えば、その新規の標準車両の情報に、所定の条件を満たすという照合結果が得られたときの、車両名称と、当該車両名称に対応するロゴマークの特徴量と、各撮影画像から抽出された車両の特徴量に基づいて最適化された車両の特徴量とが含まれる。ここで、車両名称に対応するロゴマークの特徴量は、標準車両データベース３１２から取得することも可能であるし、各撮影画像から抽出されたロゴマークの特徴量に基づくものとすることも可能である。これにより、標準車両データベース３１２には、最適化された車両の特徴量が記憶されるようになるので、車両認識システム１００での車両の認識精度を向上させることができる。   Moreover, when it deform | transforms in this way, the following information can also be included in the information of the new standard vehicle registered into the standard vehicle database 312 as mentioned above. For example, when a verification result that satisfies a predetermined condition is obtained in the information of the new standard vehicle, the vehicle name, the feature amount of the logo corresponding to the vehicle name, and each captured image are extracted. Vehicle feature quantity optimized based on the vehicle feature quantity. Here, the feature amount of the logo mark corresponding to the vehicle name can be acquired from the standard vehicle database 312 or can be based on the feature amount of the logo mark extracted from each captured image. is there. As a result, the standard vehicle database 312 stores the optimized feature amount of the vehicle, so that the vehicle recognition accuracy in the vehicle recognition system 100 can be improved.

また、車両認識システム１００では、車両の特徴量を車両のエッジ画像としたが、車両のエッジ画像以外の車両の特徴量とすることも可能である。例えば、車両の特徴量を、ナンバープレート、左右のウィンカー、左右のブレーキランプ、バンパー、ロゴマーク、エンブレム等の相互の位置関係や、これらの外形形状、更にはテールゲートやトランクの塗色等とすることも可能である。或いは、例えば、車両の特徴量を、それらの組み合わせ等とすることも可能である。また、例えば、車両の特徴量を、Ｚｅｒｎｉｋｅ ｍｏｍｅｎｔ特徴量や、Ｇｒｉｄ Ｆｏｕｒｉｅｒ特徴量や、Ｗａｖｅｌｅｔ特徴量等とすることも可能である。なお、Ｚｅｒｎｉｋｅ ｍｏｍｅｎｔ特徴量は、画像の重心を中心とする座標系を定義し、その座標系上の関数へ投影した値の総和を計算したものであり、回転不変な特徴量を得ることができる。また、Ｇｒｉｄ Ｆｏｕｒｉｅｒ特徴量は、画像の重心を中心とする座標系を定義し、グリッド（セル）内の画素数をカウントし、フーリエ展開することで回転不変な特徴量としたものである。また、Ｗａｖｅｌｅｔ特徴量は、画像の周波数成分を利用する方式であり、照明変動やスケール変化に対応することができるものである。   In the vehicle recognition system 100, the feature amount of the vehicle is the vehicle edge image, but the feature amount of the vehicle other than the vehicle edge image may be used. For example, the vehicle's feature amount includes the number plate, left and right winkers, left and right brake lamps, bumpers, logo marks, emblems and other mutual positional relations, and their external shapes, as well as the color of the tailgate and trunk, etc. It is also possible to do. Alternatively, for example, the feature amount of the vehicle can be a combination thereof. Further, for example, the feature amount of the vehicle may be a Zernike moment feature amount, a Grid Fourier feature amount, a Wavelet feature amount, or the like. Note that the Zernike moment feature quantity defines a coordinate system centered on the center of gravity of the image, and calculates the sum of the values projected onto the function on the coordinate system, so that a rotation-invariant feature quantity can be obtained. . The Grid Fourier feature value defines a coordinate system centered on the center of gravity of the image, counts the number of pixels in the grid (cell), and performs Fourier expansion to obtain a rotation-invariant feature value. The Wavelet feature is a method that uses a frequency component of an image, and can cope with illumination variation and scale change.

また、車両認識システム１００では、例えば、照合結果判定部３０７による判定の際に用いられる所定の閾値は、変更可能に構成することも可能である。この場合、例えば、所定期間当たりに標準車両の情報が標準車両データベース３１２に登録される回数に応じて、所定の閾値を変更するようにすることも可能である。   In the vehicle recognition system 100, for example, the predetermined threshold value used in the determination by the matching result determination unit 307 can be configured to be changeable. In this case, for example, the predetermined threshold value can be changed according to the number of times standard vehicle information is registered in the standard vehicle database 312 per predetermined period.

また、車両認識システム１００では、例えば、標準車両データベース３１２が標準車両の情報をメーカー名称別に登録（記憶）するように構成することも可能である。この場合、車両認識部３０５は、例えば、先にメーカー名称を標準車両データベース３１２から取得した上で、そのメーカー名称も考慮して、車両名称を標準車両データベース３１２から取得するように構成することも可能である。これにより、車両名称の特定を、より早期に行うことができる。   In the vehicle recognition system 100, for example, the standard vehicle database 312 may be configured to register (store) information on standard vehicles by manufacturer name. In this case, for example, the vehicle recognition unit 305 may be configured to obtain the vehicle name from the standard vehicle database 312 in consideration of the manufacturer name after obtaining the manufacturer name from the standard vehicle database 312 first. Is possible. Thereby, specification of a vehicle name can be performed earlier.

また、車両認識システム１００では、例えば、車両認識装置３００を通信ネットワークに接続するように構成することも可能である。この場合、例えば、その通信ネットワークに接続された特定の外部装置から、認識車両データベース３１１や標準車両データベース３１２にアクセス可能に構成することも可能である。   In the vehicle recognition system 100, for example, the vehicle recognition device 300 can be configured to be connected to a communication network. In this case, for example, the recognized vehicle database 311 and the standard vehicle database 312 can be configured to be accessible from a specific external device connected to the communication network.

また、車両認識システム１００は、例えば、次のようなコンピュータシステムによって実現することも可能である。   In addition, the vehicle recognition system 100 can be realized by, for example, the following computer system.

図９は、そのコンピュータシステムの構成例を示す図である。
図９に示したように、このコンピュータシステムは、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、通信インタフェース４０４、記憶装置４０５、入出力装置４０６、可搬型記憶媒体の読取り装置４０７、及び、これらの全てが接続されたバス４０８を含む。なお、ＣＰＵは Central Processing Unit であり、ＲＯＭは Read Only Memory であり、ＲＡＭは Random Access Memory である。 FIG. 9 is a diagram illustrating a configuration example of the computer system.
As shown in FIG. 9, this computer system includes a CPU 401, a ROM 402, a RAM 403, a communication interface 404, a storage device 405, an input / output device 406, a portable storage medium reader 407, and all of these. Includes bus 408. The CPU is a Central Processing Unit, the ROM is a Read Only Memory, and the RAM is a Random Access Memory.

記憶装置４０５としてはハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができる。記憶装置４０５、またはＲＯＭ４０２に、車両認識システム１００（車両認識装置３００の制御部３１０）が行う動作（例えば図６、図７に示したフローチャートの動作）のためのプログラム等が格納される。そして、そのプログラムがＣＰＵ４０１によって実行されることにより、画像入力部３０１、車両抽出部３０２、ナンバー認識部３０３、特徴量抽出部３０４、車両認識部３０５、特徴量照合部３０６、照合結果判定部３０７等が実現される。また、そのプログラムがＣＰＵ４０１によって実行されることにより、標準車両情報登録部３０８、結果保存部３０９、制御部３１０等が実現される。また、記憶装置４０５は、認識車両データベース３１１、標準車両データベース３１２に対応し、認識車両の情報や標準車両の情報も記憶される。   As the storage device 405, various types of storage devices such as a hard disk and a magnetic disk can be used. The storage device 405 or the ROM 402 stores a program for operations performed by the vehicle recognition system 100 (the control unit 310 of the vehicle recognition device 300) (for example, the operations of the flowcharts shown in FIGS. 6 and 7). Then, when the CPU 401 executes the program, the image input unit 301, the vehicle extraction unit 302, the number recognition unit 303, the feature amount extraction unit 304, the vehicle recognition unit 305, the feature amount collation unit 306, and the collation result determination unit 307 Etc. are realized. Further, by executing the program by the CPU 401, a standard vehicle information registration unit 308, a result storage unit 309, a control unit 310, and the like are realized. The storage device 405 corresponds to the recognized vehicle database 311 and the standard vehicle database 312, and stores information on recognized vehicles and information on standard vehicles.

上記のプログラムは、プログラム提供者端末４０９からネットワーク４１０、および通信インタフェース４０４を介して、例えば記憶装置４０５に格納されて、ＣＰＵ４０１によって実行されることも可能である。また、市販され、流通している可搬型記憶媒体４１１に格納され、読取り装置４０７にセットされて、ＣＰＵ４０１によって実行されることも可能である。可搬型記憶媒体４１１としてはＣＤ−ＲＯＭ、フレキシブルディスク、光ディスク、光磁気ディスク、ＤＶＤディスク、ＵＳＢメモリなど様々な形式の記憶媒体を使用することができる。なお、ＣＤ−ＲＯＭはCompact Disc Read Only Memoryであり、ＤＶＤはDigital Versatile Diskであり、ＵＳＢはUniversal Serial Busである。   The above program can be stored in, for example, the storage device 405 from the program provider terminal 409 via the network 410 and the communication interface 404 and executed by the CPU 401. Further, it can be stored in a commercially available portable storage medium 411, set in the reading device 407, and executed by the CPU 401. As the portable storage medium 411, various types of storage media such as a CD-ROM, a flexible disk, an optical disk, a magneto-optical disk, a DVD disk, and a USB memory can be used. Note that CD-ROM is Compact Disc Read Only Memory, DVD is Digital Versatile Disk, and USB is Universal Serial Bus.

入出力装置４０６は、例えばキーボード、ポインティングデバイス、タッチパネル等の入力装置と、例えばディスプレイ、プリンタ、スピーカ等の出力装置を含む。
以上、実施例を説明したが、本発明は、上述した実施例に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。 The input / output device 406 includes an input device such as a keyboard, a pointing device, and a touch panel, and an output device such as a display, a printer, and a speaker.
Although the embodiments have been described above, the present invention is not limited to the above-described embodiments, and various improvements and modifications can be made without departing from the gist of the present invention.

以上の実施の形態に関し、更に以下の付記を開示する。
（付記１）
コンピュータが、
車両を撮像する撮像部から画像を取得し、
前記画像から、車両名称を表すマークの形状に係る特徴量である車両名称特徴量と、車両の形状に係る特徴量である車両特徴量と、を抽出し、
車両名称、車両名称特徴量、車両特徴量を含む標準車両情報を車両毎に記憶する記憶部から、前記画像から抽出された車両名称特徴量に対応する車両特徴量を前記記憶部から取得し、
前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量とを照合し、
所定の条件を満たす場合に、前記記憶部から取得された車両名称と前記画像から抽出された車両特徴量とに基づいて、新規の標準車両情報を前記記憶部に記憶する、
処理を実行することを特徴とする車両情報登録方法。
（付記２）
前記所定の条件は、前記照合の結果が、前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量との類似度が所定の閾値以下となる条件である、
ことを特徴とする付記１記載の車両情報登録方法。
（付記３）
前記所定の条件を満たす場合に、前記記憶部から取得された車両名称と、当該車両名称に対応する車両名称特徴量と、前記画像から抽出された車両特徴量と、を含む標準車両情報を、新規の標準車両情報として前記記憶部に記憶する、
ことを特徴とする付記１又は２記載の車両情報登録方法。
（付記４）
前記所定の条件は、抽出される車両名称特徴量に対応する車両名称が同一となる複数の画像の各々に対して前記照合が行われたときに、前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量との類似度が所定の閾値以下となる照合結果が所定数回得られたという条件である、
ことを特徴とする付記１記載の車両情報登録方法。
（付記５）
前記所定の条件を満たす場合に、前記照合結果が得られたときの、前記記憶部から取得された車両名称と、当該車両名称に対応する車両名称特徴量と、各画像から抽出された車両特徴量に基づいて最適化された車両特徴量と、を含む標準車両情報を、新規の標準車両情報として前記記憶部に記憶する、
ことを特徴とする付記４記載の車両情報登録方法。
（付記６）
車両を撮像する撮像部と、
前記撮像部から画像を取得する画像取得部と、
前記画像取得部により取得された画像から、車両の形状に係る特徴量である車両特徴量を抽出する車両特徴量抽出部と、
前記画像取得部により取得された画像から、車両名称を表すマークの形状に係る特徴量である車両名称特徴量を抽出する車両名称特徴量抽出部と、
車両名称、車両名称特徴量、車両特徴量を含む標準車両情報を車両毎に記憶する記憶部と、
前記車両名称特徴量抽出部により抽出された車両名称特徴量に対応する車両特徴量を前記記憶部から取得する車両特徴量取得部と、
前記車両特徴量取得部により取得された車両特徴量と前記車両特徴量抽出部により抽出された車両特徴量とを照合する照合部と、
所定の条件を満たす場合に、前記記憶部から取得された車両名称と前記車両特徴量抽出部により抽出された車両特徴量とに基づいて、新規の標準車両情報を前記記憶部に記憶する標準車両情報登録部と、
を備えることを特徴とする車両情報登録装置。
（付記７）
前記所定の条件は、前記照合の結果が、前記記憶部から取得された車両特徴量と前記車両特徴量抽出部により抽出された車両特徴量との類似度が所定の閾値以下となる条件である、
ことを特徴とする付記６記載の車両情報登録装置。
（付記８）
前記標準車両情報登録部は、前記所定の条件を満たす場合に、前記記憶部から取得された車両名称と、当該車両名称に対応する車両名称特徴量と、前記車両特徴量抽出部により抽出された車両特徴量と、を含む標準車両情報を、新規の標準車両情報として前記記憶部に記憶する、
ことを特徴とする付記６又は７記載の車両情報登録装置。
（付記９）
前記所定の条件は、前記車両特徴量抽出部により抽出される車両名称特徴量に対応する車両名称が同一となる複数の画像の各々に対して前記照合が行われたときに、前記記憶部から取得された車両特徴量と前記車両特徴量抽出部により抽出された車両特徴量との類似度が所定の閾値以下となる照合結果が所定数回得られたという条件である、
ことを特徴とする付記６記載の車両情報登録装置。
（付記１０）
前記標準車両情報登録部は、前記所定の条件を満たす場合に、前記照合結果が得られたときの、前記記憶部から取得された車両名称と、当該車両名称に対応する車両名称特徴量と、前記車両特徴量抽出部により各画像から抽出された車両特徴量に基づいて最適化された車両特徴量と、を含む標準車両情報を、新規の標準車両情報として前記記憶部に記憶する、
ことを特徴とする付記９記載の車両情報登録装置。
（付記１１）
コンピュータに、
車両を撮像する撮像部から画像を取得し、
前記画像から、車両名称を表すマークの形状に係る特徴量である車両名称特徴量と、車両の形状に係る特徴量である車両特徴量と、を抽出し、
車両名称、車両名称特徴量、車両特徴量を含む標準車両情報を車両毎に記憶する記憶部から、前記画像から抽出された車両名称特徴量に対応する車両特徴量を前記記憶部から取得し、
前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量とを照合し、
所定の条件を満たす場合に、前記記憶部から取得された車両名称と前記画像から抽出された車両特徴量とに基づいて、新規の標準車両情報を前記記憶部に記憶する、
処理を実行させることを特徴とする車両情報登録プログラム。
（付記１２）
前記所定の条件は、前記照合の結果が、前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量との類似度が所定の閾値以下となる条件である、
ことを特徴とする付記１１記載の車両情報登録プログラム。
（付記１３）
前記所定の条件を満たす場合に、前記記憶部から取得された車両名称と、当該車両名称に対応する車両名称特徴量と、前記画像から抽出された車両特徴量と、を含む標準車両情報を、新規の標準車両情報として前記記憶部に記憶する、
ことを特徴とする付記１１又は１２記載の車両情報登録プログラム。
（付記１４）
前記所定の条件は、抽出される車両名称特徴量に対応する車両名称が同一となる複数の画像の各々に対して前記照合が行われたときに、前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量との類似度が所定の閾値以下となる照合結果が所定数回得られたという条件である、
ことを特徴とする付記１１記載の車両情報登録プログラム。
（付記１５）
前記所定の条件を満たす場合に、前記照合結果が得られたときの、前記記憶部から取得された車両名称と、当該車両名称に対応する車両名称特徴量と、各画像から抽出された車両特徴量に基づいて最適化された車両特徴量と、を含む標準車両情報を、新規の標準車両情報として前記記憶部に記憶する、
ことを特徴とする付記１４記載の車両情報登録プログラム。 Regarding the above embodiment, the following additional notes are disclosed.
(Appendix 1)
Computer
Obtain an image from the imaging unit that images the vehicle,
From the image, a vehicle name feature amount that is a feature amount related to the shape of the mark representing the vehicle name and a vehicle feature amount that is a feature amount related to the shape of the vehicle are extracted,
From the storage unit that stores standard vehicle information including vehicle name, vehicle name feature amount, vehicle feature amount for each vehicle, the vehicle feature amount corresponding to the vehicle name feature amount extracted from the image is acquired from the storage unit,
The vehicle feature amount acquired from the storage unit and the vehicle feature amount extracted from the image are collated,
When the predetermined condition is satisfied, new standard vehicle information is stored in the storage unit based on the vehicle name acquired from the storage unit and the vehicle feature amount extracted from the image.
The vehicle information registration method characterized by performing a process.
(Appendix 2)
The predetermined condition is a condition that the result of the collation is that a similarity between the vehicle feature amount acquired from the storage unit and the vehicle feature amount extracted from the image is a predetermined threshold value or less.
The vehicle information registration method according to supplementary note 1, wherein:
(Appendix 3)
When the predetermined condition is satisfied, standard vehicle information including a vehicle name acquired from the storage unit, a vehicle name feature amount corresponding to the vehicle name, and a vehicle feature amount extracted from the image, Store in the storage unit as new standard vehicle information,
The vehicle information registration method according to appendix 1 or 2, characterized in that:
(Appendix 4)
The predetermined condition is a vehicle feature amount acquired from the storage unit when the collation is performed on each of a plurality of images having the same vehicle name corresponding to the extracted vehicle name feature amount. It is a condition that a matching result in which the similarity with the vehicle feature amount extracted from the image is a predetermined threshold value or less is obtained a predetermined number of times.
The vehicle information registration method according to supplementary note 1, wherein:
(Appendix 5)
When the predetermined condition is satisfied, the vehicle name acquired from the storage unit when the collation result is obtained, the vehicle name feature amount corresponding to the vehicle name, and the vehicle feature extracted from each image Standard vehicle information including vehicle feature values optimized based on the amount is stored in the storage unit as new standard vehicle information.
The vehicle information registration method according to supplementary note 4, characterized by:
(Appendix 6)
An imaging unit for imaging a vehicle;
An image acquisition unit for acquiring an image from the imaging unit;
A vehicle feature amount extraction unit that extracts a vehicle feature amount that is a feature amount related to the shape of the vehicle from the image acquired by the image acquisition unit;
A vehicle name feature amount extraction unit that extracts a vehicle name feature amount, which is a feature amount related to the shape of a mark representing the vehicle name, from the image acquired by the image acquisition unit;
A storage unit for storing standard vehicle information including vehicle name, vehicle name feature amount, vehicle feature amount for each vehicle;
A vehicle feature amount acquisition unit that acquires a vehicle feature amount corresponding to the vehicle name feature amount extracted by the vehicle name feature amount extraction unit from the storage unit;
A collation unit that collates the vehicle feature amount acquired by the vehicle feature amount acquisition unit with the vehicle feature amount extracted by the vehicle feature amount extraction unit;
A standard vehicle that stores new standard vehicle information in the storage unit based on the vehicle name acquired from the storage unit and the vehicle feature amount extracted by the vehicle feature amount extraction unit when a predetermined condition is satisfied An information registration department;
A vehicle information registration device comprising:
(Appendix 7)
The predetermined condition is a condition in which a result of the collation is that a similarity between the vehicle feature amount acquired from the storage unit and the vehicle feature amount extracted by the vehicle feature amount extraction unit is equal to or less than a predetermined threshold. ,
The vehicle information registration device according to supplementary note 6, wherein:
(Appendix 8)
The standard vehicle information registration unit is extracted by the vehicle name acquired from the storage unit, the vehicle name feature quantity corresponding to the vehicle name, and the vehicle feature quantity extraction unit when the predetermined condition is satisfied. Storing standard vehicle information including vehicle feature quantities in the storage unit as new standard vehicle information.
The vehicle information registration device according to appendix 6 or 7, characterized by the above.
(Appendix 9)
The predetermined condition is that, when the collation is performed for each of a plurality of images having the same vehicle name corresponding to the vehicle name feature amount extracted by the vehicle feature amount extraction unit, from the storage unit It is a condition that a collation result in which the similarity between the acquired vehicle feature quantity and the vehicle feature quantity extracted by the vehicle feature quantity extraction unit is a predetermined threshold value or less is obtained a predetermined number of times.
The vehicle information registration device according to supplementary note 6, wherein:
(Appendix 10)
The standard vehicle information registration unit, when the predetermined condition is satisfied, a vehicle name acquired from the storage unit when the collation result is obtained, a vehicle name feature amount corresponding to the vehicle name, Standard vehicle information including vehicle feature values optimized based on vehicle feature values extracted from each image by the vehicle feature value extraction unit is stored in the storage unit as new standard vehicle information.
The vehicle information registration device according to appendix 9, characterized in that:
(Appendix 11)
On the computer,
Obtain an image from the imaging unit that images the vehicle,
From the image, a vehicle name feature amount that is a feature amount related to the shape of the mark representing the vehicle name and a vehicle feature amount that is a feature amount related to the shape of the vehicle are extracted,
From the storage unit that stores standard vehicle information including vehicle name, vehicle name feature amount, vehicle feature amount for each vehicle, the vehicle feature amount corresponding to the vehicle name feature amount extracted from the image is acquired from the storage unit,
The vehicle feature amount acquired from the storage unit and the vehicle feature amount extracted from the image are collated,
When the predetermined condition is satisfied, new standard vehicle information is stored in the storage unit based on the vehicle name acquired from the storage unit and the vehicle feature amount extracted from the image.
The vehicle information registration program characterized by performing a process.
(Appendix 12)
The predetermined condition is a condition that the result of the collation is that a similarity between the vehicle feature amount acquired from the storage unit and the vehicle feature amount extracted from the image is a predetermined threshold value or less.
The vehicle information registration program according to Supplementary Note 11, wherein
(Appendix 13)
When the predetermined condition is satisfied, standard vehicle information including a vehicle name acquired from the storage unit, a vehicle name feature amount corresponding to the vehicle name, and a vehicle feature amount extracted from the image, Store in the storage unit as new standard vehicle information,
The vehicle information registration program according to appendix 11 or 12, characterized in that:
(Appendix 14)
The predetermined condition is a vehicle feature amount acquired from the storage unit when the collation is performed on each of a plurality of images having the same vehicle name corresponding to the extracted vehicle name feature amount. It is a condition that a matching result in which the similarity with the vehicle feature amount extracted from the image is a predetermined threshold value or less is obtained a predetermined number of times.
The vehicle information registration program according to Supplementary Note 11, wherein
(Appendix 15)
When the predetermined condition is satisfied, the vehicle name acquired from the storage unit when the collation result is obtained, the vehicle name feature amount corresponding to the vehicle name, and the vehicle feature extracted from each image Standard vehicle information including vehicle feature values optimized based on the amount is stored in the storage unit as new standard vehicle information.
The vehicle information registration program according to supplementary note 14, characterized in that:

１００ 車両認識システム
２００ カメラ
３００ 車両認識装置
３０１ 画像入力部
３０２ 車両抽出部
３０３ ナンバー認識部
３０４ 特徴量抽出部
３０５ 車両認識部
３０６ 特徴量照合部
３０７ 照合結果判定部
３０８ 標準車両情報登録部
３０９ 結果保存部
３１０ 制御部
３１１ 認識車両データベース
３１２ 標準車両データベース DESCRIPTION OF SYMBOLS 100 Vehicle recognition system 200 Camera 300 Vehicle recognition apparatus 301 Image input part 302 Vehicle extraction part 303 Number recognition part 304 Feature quantity extraction part 305 Vehicle recognition part 306 Feature quantity collation part 307 Collation result determination part 308 Standard vehicle information registration part 309 Result storage Unit 310 Control unit 311 Recognized vehicle database 312 Standard vehicle database

Claims (7)

コンピュータが、
車両を撮像する撮像部から画像を取得し、
前記画像から、車両名称を表すマークの形状に係る特徴量である車両名称特徴量と、車両の形状に係る特徴量である車両特徴量と、を抽出し、
車両名称、車両名称特徴量、車両特徴量を含む標準車両情報を車両毎に記憶する記憶部から、前記画像から抽出された車両名称特徴量に対応する車両特徴量を取得し、
前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量とを照合し、
前記照合の結果が、前記撮像部が撮像した車両が新規のものであることを示している所定の条件を満たす場合に、前記記憶部から取得された車両名称と前記画像から抽出された車両特徴量とに基づいて、新規の標準車両情報を前記記憶部に記憶する、
処理を実行し、
前記画像から抽出された車両名称特徴量に対応する車両特徴量の取得では、前記画像から抽出された車両名称特徴量に対応する車両名称を前記記憶部から取得し、取得された車両名称に対応する車両特徴量を前記記憶部から取得することによって行う、
ことを特徴とする車両情報登録方法。 Computer
Obtain an image from the imaging unit that images the vehicle,
From the image, a vehicle name feature amount that is a feature amount related to the shape of the mark representing the vehicle name and a vehicle feature amount that is a feature amount related to the shape of the vehicle are extracted,
A vehicle feature amount corresponding to the vehicle name feature amount extracted from the image is acquired from a storage unit that stores standard vehicle information including a vehicle name, a vehicle name feature amount, and a vehicle feature amount for each vehicle.
The vehicle feature amount acquired from the storage unit and the vehicle feature amount extracted from the image are collated,
When the result of the collation satisfies a predetermined condition indicating that the vehicle imaged by the imaging unit is new, the vehicle name extracted from the storage unit and the vehicle feature extracted from the image Based on the quantity, new standard vehicle information is stored in the storage unit,
Execute the process ,
In the acquisition of the vehicle feature amount corresponding to the vehicle name feature amount extracted from the image, the vehicle name corresponding to the vehicle name feature amount extracted from the image is acquired from the storage unit and corresponds to the acquired vehicle name. By obtaining the vehicle feature value from the storage unit,
The vehicle information registration method characterized by the above-mentioned. 前記所定の条件は、前記照合の結果が、前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量との類似度が所定の閾値以下となる条件である、
ことを特徴とする請求項１記載の車両情報登録方法。 The predetermined condition is a condition that the result of the collation is that a similarity between the vehicle feature amount acquired from the storage unit and the vehicle feature amount extracted from the image is a predetermined threshold value or less.
The vehicle information registration method according to claim 1. 前記所定の条件を満たす場合に、前記記憶部から取得された車両名称と、当該車両名称に対応する車両名称特徴量と、前記画像から抽出された車両特徴量と、を含む標準車両情報を、新規の標準車両情報として前記記憶部に記憶する、
ことを特徴とする請求項１又は２記載の車両情報登録方法。 When the predetermined condition is satisfied, standard vehicle information including a vehicle name acquired from the storage unit, a vehicle name feature amount corresponding to the vehicle name, and a vehicle feature amount extracted from the image, Store in the storage unit as new standard vehicle information,
The vehicle information registration method according to claim 1, wherein the vehicle information is registered. 前記所定の条件は、抽出される車両名称特徴量に対応する車両名称が同一となる複数の画像の各々に対して前記照合が行われたときに、前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量との類似度が所定の閾値以下となる照合結果が所定数回得られたという条件である、
ことを特徴とする請求項１記載の車両情報登録方法。 The predetermined condition is a vehicle feature amount acquired from the storage unit when the collation is performed on each of a plurality of images having the same vehicle name corresponding to the extracted vehicle name feature amount. It is a condition that a matching result in which the similarity with the vehicle feature amount extracted from the image is a predetermined threshold value or less is obtained a predetermined number of times.
The vehicle information registration method according to claim 1. 前記所定の条件を満たす場合に、前記照合結果が得られたときの、前記記憶部から取得された車両名称と、当該車両名称に対応する車両名称特徴量と、各画像から抽出された車両特徴量に基づいて最適化された車両特徴量と、を含む標準車両情報を、新規の標準車両情報として前記記憶部に記憶する、
ことを特徴とする請求項４記載の車両情報登録方法。 When the predetermined condition is satisfied, the vehicle name acquired from the storage unit when the collation result is obtained, the vehicle name feature amount corresponding to the vehicle name, and the vehicle feature extracted from each image Standard vehicle information including vehicle feature values optimized based on the amount is stored in the storage unit as new standard vehicle information.
The vehicle information registration method according to claim 4. 車両を撮像する撮像部と、
前記撮像部から画像を取得する画像取得部と、
前記画像取得部により取得された画像から、車両の形状に係る特徴量である車両特徴量を抽出する車両特徴量抽出部と、
前記画像取得部により取得された画像から、車両名称を表すマークの形状に係る特徴量である車両名称特徴量を抽出する車両名称特徴量抽出部と、
車両名称、車両名称特徴量、車両特徴量を含む標準車両情報を車両毎に記憶する記憶部と、
前記車両名称特徴量抽出部により抽出された車両名称特徴量に対応する車両特徴量を前記記憶部から取得する車両特徴量取得部と、
前記車両特徴量取得部により取得された車両特徴量と前記車両特徴量抽出部により抽出された車両特徴量とを照合する照合部と、
前記照合部による前記照合の結果が、前記撮像部が撮像した車両が新規のものであることを示している所定の条件を満たす場合に、前記記憶部から取得された車両名称と前記車両特徴量抽出部により抽出された車両特徴量とに基づいて、新規の標準車両情報を前記記憶部に記憶する標準車両情報登録部と、
を備え、
前記車両特徴量取得部は、前記車両名称特徴量抽出部により抽出された車両名称特徴量に対応する車両名称を前記記憶部から取得し、取得された車両名称に対応する車両特徴量を前記記憶部から取得することによって、前記車両名称特徴量抽出部により抽出された車両名称特徴量に対応する車両特徴量の取得を行う、
ことを特徴とする車両情報登録装置。 An imaging unit for imaging a vehicle;
An image acquisition unit for acquiring an image from the imaging unit;
A vehicle feature amount extraction unit that extracts a vehicle feature amount that is a feature amount related to the shape of the vehicle from the image acquired by the image acquisition unit;
A vehicle name feature amount extraction unit that extracts a vehicle name feature amount, which is a feature amount related to the shape of a mark representing the vehicle name, from the image acquired by the image acquisition unit;
A storage unit for storing standard vehicle information including vehicle name, vehicle name feature amount, vehicle feature amount for each vehicle;
A vehicle feature amount acquisition unit that acquires a vehicle feature amount corresponding to the vehicle name feature amount extracted by the vehicle name feature amount extraction unit from the storage unit;
A collation unit that collates the vehicle feature amount acquired by the vehicle feature amount acquisition unit with the vehicle feature amount extracted by the vehicle feature amount extraction unit;
When the result of the collation by the collation unit satisfies a predetermined condition indicating that the vehicle imaged by the imaging unit is new, the vehicle name and the vehicle feature amount acquired from the storage unit A standard vehicle information registration unit for storing new standard vehicle information in the storage unit based on the vehicle feature amount extracted by the extraction unit;
Equipped with a,
The vehicle feature amount acquisition unit acquires a vehicle name corresponding to the vehicle name feature amount extracted by the vehicle name feature amount extraction unit from the storage unit, and stores the vehicle feature amount corresponding to the acquired vehicle name. Obtaining a vehicle feature amount corresponding to the vehicle name feature amount extracted by the vehicle name feature amount extraction unit.
The vehicle information registration device characterized by the above. コンピュータに、
車両を撮像する撮像部から画像を取得し、
前記画像から、車両名称を表すマークの形状に係る特徴量である車両名称特徴量と、車両の形状に係る特徴量である車両特徴量と、を抽出し、
車両名称、車両名称特徴量、車両特徴量を含む標準車両情報を車両毎に記憶する記憶部から、前記画像から抽出された車両名称特徴量に対応する車両特徴量を取得し、
前記記憶部から取得された車両特徴量と前記画像から抽出された車両特徴量とを照合し、
前記照合の結果が、前記撮像部が撮像した車両が新規のものであることを示している所定の条件を満たす場合に、前記記憶部から取得された車両名称と前記画像から抽出された車両特徴量とに基づいて、新規の標準車両情報を前記記憶部に記憶する、
処理を実行させ、
前記画像から抽出された車両名称特徴量に対応する車両特徴量の取得では、前記画像から抽出された車両名称特徴量に対応する車両名称を前記記憶部から取得し、取得された車両名称に対応する車両特徴量を前記記憶部から取得することによって行う、
ことを特徴とする車両情報登録プログラム。 On the computer,
Obtain an image from the imaging unit that images the vehicle,
From the image, a vehicle name feature amount that is a feature amount related to the shape of the mark representing the vehicle name and a vehicle feature amount that is a feature amount related to the shape of the vehicle are extracted,
A vehicle feature amount corresponding to the vehicle name feature amount extracted from the image is acquired from a storage unit that stores standard vehicle information including a vehicle name, a vehicle name feature amount, and a vehicle feature amount for each vehicle.
The vehicle feature amount acquired from the storage unit and the vehicle feature amount extracted from the image are collated,
When the result of the collation satisfies a predetermined condition indicating that the vehicle imaged by the imaging unit is new, the vehicle name extracted from the storage unit and the vehicle feature extracted from the image Based on the quantity, new standard vehicle information is stored in the storage unit,
Let the process run ,
In the acquisition of the vehicle feature amount corresponding to the vehicle name feature amount extracted from the image, the vehicle name corresponding to the vehicle name feature amount extracted from the image is acquired from the storage unit and corresponds to the acquired vehicle name. By obtaining the vehicle feature value from the storage unit,
A vehicle information registration program characterized by that.
JP2011234419A 2011-10-25 2011-10-25 Vehicle information registration method, vehicle information registration device, and vehicle information registration program Active JP5974448B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011234419A JP5974448B2 (en) 2011-10-25 2011-10-25 Vehicle information registration method, vehicle information registration device, and vehicle information registration program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011234419A JP5974448B2 (en) 2011-10-25 2011-10-25 Vehicle information registration method, vehicle information registration device, and vehicle information registration program

Publications (2)

Publication Number Publication Date
JP2013092905A JP2013092905A (en) 2013-05-16
JP5974448B2 true JP5974448B2 (en) 2016-08-23

Family

ID=48615982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011234419A Active JP5974448B2 (en) 2011-10-25 2011-10-25 Vehicle information registration method, vehicle information registration device, and vehicle information registration program

Country Status (1)

Country Link
JP (1) JP5974448B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6060058B2 (en) * 2013-09-19 2017-01-11 株式会社 日立産業制御ソリューションズ Traffic flow grasping device and method
WO2017002375A1 (en) * 2015-06-30 2017-01-05 日本電気株式会社 Vehicle name narrow-down device, vehicle name narrow-down method, and program
EP3438851A1 (en) * 2016-03-29 2019-02-06 Panasonic Intellectual Property Management Co., Ltd. Vehicle model identification device, vehicle model identification system, and vehicle model identification method
JP6789515B2 (en) * 2017-03-24 2020-11-25 株式会社サイバーブレーン Programs, devices, systems and methods for generating image information to be photographed
JP7036615B2 (en) * 2018-02-15 2022-03-15 日本信号株式会社 Vehicle recognition device and parking lot management system
JP6843362B1 (en) * 2020-05-29 2021-03-17 ニューラルポケット株式会社 Information processing system, information processing device, terminal device, server device, program, or method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3959537B2 (en) * 1998-01-28 2007-08-15 三菱電機株式会社 Vehicle type identification device
JP2000148977A (en) * 1998-11-10 2000-05-30 Meidensha Corp Vehicle detecting method, recording medium with software realizing the same recorded therein and device for realizing method
JP2000148978A (en) * 1998-11-10 2000-05-30 Fuji Photo Film Co Ltd Method and device for estimating photographic light source, method and device for processing image and recording medium
JP4426436B2 (en) * 2004-12-27 2010-03-03 株式会社日立製作所 Vehicle detection device
JP2007299144A (en) * 2006-04-28 2007-11-15 Mitsubishi Heavy Ind Ltd Logo determination device, method and program
JP4754440B2 (en) * 2006-08-25 2011-08-24 株式会社エヌ・ティ・ティ・データ Vehicle type identification device, vehicle type identification system, vehicle type identification method, and vehicle type identification program
JP4977440B2 (en) * 2006-10-25 2012-07-18 株式会社日立製作所 Vehicle recognition device
JP5338255B2 (en) * 2008-10-23 2013-11-13 オムロン株式会社 Vehicle recognition device

Also Published As

Publication number Publication date
JP2013092905A (en) 2013-05-16

Similar Documents

Publication Publication Date Title
JP5974448B2 (en) Vehicle information registration method, vehicle information registration device, and vehicle information registration program
JP6527678B2 (en) Overdue Vehicle Identification for Privacy Protection
Xu et al. Detection of sudden pedestrian crossings for driving assistance systems
Rashid et al. Automatic parking management system and parking fee collection based on number plate recognition
Wang et al. An effective method for plate number recognition
JP4715664B2 (en) Vehicle search system
Kaur et al. Number plate recognition using OCR technique
US20110194733A1 (en) System and method for optical license plate matching
JP5338255B2 (en) Vehicle recognition device
Yousef et al. SIFT based automatic number plate recognition
JP2018513495A (en) Dual embedded optical character recognition (OCR) engine
JP2012531685A (en) Image processing method for a driver assistance system of a vehicle for detecting and classifying at least a part of at least one set image element
EP3358543A1 (en) Vehicle model identification device, vehicle model identification system comprising same, and vehicle model identification method
WO2022055063A1 (en) Vehicle classification device and system using image analysis, and method therefor
US20210097306A1 (en) Automatic license plate recognition (alpr) and vehicle identification profile methods and systems
JP6123265B2 (en) Information processing apparatus, vehicle identification method, and vehicle identification program
CN111222409A (en) Vehicle brand labeling method, device and system
CN104463238B (en) A kind of automobile logo identification method and system
CN113408364B (en) Temporary license plate recognition method, system, device and storage medium
KR20120114099A (en) Apparatus and method for car type recognition and method for coming and going managing method based on car type recognition
CN110619256A (en) Road monitoring detection method and device
JP2006344154A (en) Vehicle discriminating device and method
JP5327241B2 (en) Object identification device
CN104463135B (en) A kind of automobile logo identification method and system
JP6477140B2 (en) Vehicle recognition device, vehicle recognition system, vehicle recognition program, and vehicle recognition method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160704

R150 Certificate of patent or registration of utility model

Ref document number: 5974448

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150