JP4919947B2

JP4919947B2 - Image search system

Info

Publication number: JP4919947B2
Application number: JP2007329481A
Authority: JP
Inventors: 竜弓場; 一哉高橋; 徹也山崎; 孝治益池
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2007-12-21
Filing date: 2007-12-21
Publication date: 2012-04-18
Anticipated expiration: 2027-12-21
Also published as: JP2009151586A

Description

本発明は路上に設置したカメラによって撮影された車両の画像から、画像処理によって抽出した画像特徴量を用いて車両を検索するシステムに関する。 The present invention relates to a system for searching for a vehicle using an image feature amount extracted by image processing from an image of the vehicle taken by a camera installed on a road.

従来から車両画像を入力とした画像処理によって自動認識したナンバプレートの車番情報や、車両画像のテクスチャや色の画像特徴量を用いて車両を検索する技術が開示されている。例えば特許文献１では、路上の定点カメラで撮影した車両の画像からナンバプレートの車番情報や色やテクスチャなどの画像特徴量を抽出してデータベース中に蓄積しておき、操作者が車番情報あるいは画像特徴量の検索条件を指定すると、該当車両の画像の２次元空間あるいは３次元空間に一覧表示する車両検索の技術が開示されている。 Conventionally, there has been disclosed a technique for searching for a vehicle using vehicle number information of a number plate automatically recognized by image processing using a vehicle image as an input, and a texture or color image feature amount of the vehicle image. For example, in Patent Document 1, vehicle number information of a number plate and image feature quantities such as color and texture are extracted from a vehicle image taken by a fixed point camera on the road and stored in a database. Alternatively, a vehicle search technique for displaying a list in a two-dimensional space or a three-dimensional space of an image of a corresponding vehicle when an image feature amount search condition is designated is disclosed.

ここでナンバプレートの自動認識には、車両の所持者が故意に認識を妨害する目的で大きな角度で傾けた場合等には、カメラが撮影する画像中のナンバプレートが歪んで自動認識による車番情報の取得が不可能になる問題があった。あるいは、ナンバプレートの自動認識には車両の所持者に故意の意図が無くても、ナンバプレートにカバーを装着してナンバプレート画像のコントラストが低下した場合や、ナンバプレートに枠を装着してナンバプレート中の文字と接触した場合には、自動認識による車番情報の取得が困難になる問題があった。道路交通網の長期に渡る通過車両の画像を扱う大規模なシステムに特許文献１の技術を適用すると、車番情報が取得できない場合においては色やテクスチャなどの画像特徴量だけ検索する必要があるが、道路交通網の中には検索対象の車両以外にも同一の車種や色の車が多数通過するために該当車両が非常に多くなり総数を目視で確認することは多くの労力を要してしまう。 Here, in the automatic recognition of the number plate, when the vehicle owner deliberately tilts it at a large angle for the purpose of obstructing the recognition, the number plate in the image taken by the camera is distorted and the vehicle number is automatically recognized. There was a problem that information could not be obtained. Alternatively, the automatic recognition of the number plate may be performed even if the vehicle owner does not intend to do so, when the cover of the number plate is attached and the contrast of the number plate image decreases, or when the number plate is attached with a frame. When it comes in contact with characters on the plate, there is a problem that it is difficult to obtain vehicle number information by automatic recognition. When the technology of Patent Document 1 is applied to a large-scale system that handles images of passing vehicles over a long period of the road traffic network, it is necessary to search only for image feature amounts such as color and texture when vehicle number information cannot be acquired. However, because many vehicles of the same vehicle type and color pass in addition to the vehicle to be searched in the road traffic network, the number of applicable vehicles increases so that checking the total number visually requires a lot of labor. End up.

上記の問題の解決のために、車両の識別情報を含むナンバプレート部位を画像から切出して、ナンバプレート部位の画像特徴量を用いて画像検索の検索精度を向上させることが考えられる。画像中のナンバプレート部位の切出しは特許文献２の技術で実現でき、画像中の特定部位の画像特徴量および特定部位と画像全体の画像特徴量とを複合させた画像検索は特許文献３の技術で実現できる。ただし、画像検索において操作者は検索キーの画像特徴量の数値あるいは画像特徴量を抽出する画像を指定する必要があるが、操作者が直接的にナンバプレート画像を代表する画像の色やテクスチャの数値を直接指定することは困難である。一方で、操作者が検索のキーとなるナンバプレートの画像を指定するには、カメラで撮影した画像をデータベースに蓄積しておき、データベース中の画像を閲覧して選択する方法や、システム外部のカメラで撮影した画像からナンバプレートを自動あるいは手動により切出す方法があるが、前者はデータベースの多くの画像を閲覧する手間を要求し、後者は検索対象の撮影画像がない場合には適用できない問題がある。 In order to solve the above problem, it is conceivable to extract a number plate part including vehicle identification information from an image and improve the search accuracy of the image search using the image feature amount of the number plate part. The extraction of the number plate part in the image can be realized by the technique of Patent Document 2, and the image feature amount of the specific part in the image and the image search in which the specific part and the image feature amount of the entire image are combined are described in the technique of Patent Document 3. Can be realized. However, in the image search, the operator needs to specify the value of the image feature value of the search key or the image from which the image feature value is extracted. However, the operator directly specifies the color and texture of the image representing the number plate image. It is difficult to specify a numerical value directly. On the other hand, in order to specify the license plate image as the search key, the operator can store images taken with the camera in a database, browse and select images in the database, There is a method of automatically or manually cutting the number plate from the images taken by the camera, but the former requires the trouble of browsing many images in the database, and the latter is not applicable when there are no images to be searched. There is.

特開２００５−２０９１７７号公報JP 2005-209177 A 特開２００４−３０５５２号公報JP 2004-30552 A 特開２００７−８８８１４号公報JP 2007-88814 A

本発明は上記問題点を解決するために、操作者が指定した車番情報と適合したナンバプレート画像を合成して検索キーとすること、およびデータベース中において繰り返し出現するナンバプレート画像を操作者が検索キーに指定することを可能にした画像検索システムを提供することを目的とする。 In order to solve the above problems, the present invention combines a number plate image that matches the vehicle number information specified by the operator as a search key, and allows the operator to obtain a number plate image that repeatedly appears in the database. An object of the present invention is to provide an image search system that can be designated as a search key.

本発明は、撮像手段，演算手段，記憶手段，通信手段を有するカメラと、演算手段，記憶手段，通信手段を有するサーバと、表示手段，入力手段，演算手段，通信手段を有する計算機と、を有する画像検索システムにおいて、カメラは、ナンバプレートを含む画角で車両を撮影し、サーバは、画像からナンバプレートを切出すプレート画像切出し部と、ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、を備え、計算機が、操作者から検索対象の車番情報を受け取るプレート合成指定部と、
プレート合成指定部の受け取った合成条件に応じたナンバプレートの画像を合成するプレート画像合成部と、合成したプレート画像を一覧表示して操作者の選択を受け取るプレート選択部と、検索結果を表示する検索結果表示部と、を備えることを第１の特徴とする。 The present invention includes a camera having an imaging unit, a calculation unit, a storage unit, a communication unit, a server having a calculation unit, a storage unit, and a communication unit, and a computer having a display unit, an input unit, a calculation unit, and a communication unit. In the image search system, the camera photographs the vehicle at an angle of view including a number plate, the server extracts a plate image from the image, and a plate image that extracts an image feature amount from the number plate image. A feature extraction unit; a search database for storing at least a number plate image and an image feature amount; and a search unit for retrieving an image having a high similarity between the image specified by the operator and the image feature amount from the search database A plate composition specifying unit for receiving a vehicle number information to be searched from the operator,
A plate image synthesis unit that synthesizes the number plate images according to the synthesis conditions received by the plate synthesis designation unit, a plate selection unit that displays a list of the synthesized plate images and receives an operator's selection, and a search result is displayed. A search result display unit is provided as a first feature.

また、画像検索システムは、前記プレート合成指定部の合成したナンバプレートを加工する指定を操作者から受け取るプレート加工指定部と、前記ナンバプレートを加工するプレート画像加工部とを備えることを第２の特徴とする。 The image search system further includes a plate processing designation unit that receives from the operator a designation for processing the number plate synthesized by the plate synthesis designation unit, and a plate image processing unit that processes the number plate. Features.

さらに、画像検索システムは、プレート画像合成部が合成したプレート画像あるいはプレート画像合成部が合成語にプレート画像加工部が加工したプレート画像の画像特徴量と、車両画像の画像特徴量とを複合させて検索することを第３の特徴とする。 Further, the image search system combines the image feature quantity of the plate image synthesized by the plate image synthesis section or the plate image synthesized by the plate image synthesis section with the composite image and the image feature quantity of the vehicle image. The third feature is that the search is performed.

また、画像検索システムは、ナンバプレートを含む画角で車両を撮影するカメラと、画像からナンバプレートを切出すプレート画像切出し部と、ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、検索結果を表示する検索結果表示部と、検索データベースの中から画像特徴量の集約度が高いデータを抽出する頻出車両抽出部と、頻出車両抽出部が選択したデータの表示と検索キーの指定を受け取る頻出車両選択部とを備えることを第４の特徴とする。 In addition, the image search system includes a camera that captures a vehicle at an angle of view including a number plate, a plate image cutout unit that cuts out the number plate from the image, and a plate image feature extraction unit that extracts an image feature amount from the number plate image. A search database that accumulates at least a number plate image and an image feature, a search unit that searches the search database for an image having a high similarity between the image specified by the operator and the image feature, and a search A search result display unit for displaying results, a frequent vehicle extraction unit for extracting data with a high degree of image feature amount aggregation from the search database, and display of data selected by the frequent vehicle extraction unit and specification of a search key are received. A fourth feature is provided with a frequent vehicle selection unit.

本発明の画像検索システムによれば第１の特徴により、車両のナンバプレートが自動認識できない場合でも、操作者が検索したい車番情報に応じたナンバプレートの画像を合成することによって、合成したナンバプレート画像の画像特徴量を用いた画像検索によって、データベース中の車両を効率的に検索することが可能になる。 According to the first feature of the image retrieval system of the present invention, even if the vehicle number plate cannot be automatically recognized, the synthesized number is obtained by synthesizing the number plate image corresponding to the vehicle number information that the operator wants to retrieve. The image search using the image feature amount of the plate image makes it possible to efficiently search for a vehicle in the database.

本発明の画像検索システムによれば第２の特徴により、前記の合成したナンバプレート画像を実際の車両のナンバプレートに近づける加工を施すことにより、画像特徴量の精度を高めて画像検索の精度を向上させることができる。 According to the image search system of the present invention, the second feature makes it possible to improve the accuracy of the image search by increasing the accuracy of the image feature amount by performing processing to bring the synthesized number plate image closer to the actual vehicle number plate. Can be improved.

本発明の画像検索システムによれば第３の特徴により、合成あるいは加工したナンバプレート画像の画像特徴量と、車両画像の画像特徴量とを複合させることによって、検索したい車両の車番情報と外観の情報とを複合させて画像検索の精度を向上させることができる。 According to the image search system of the present invention, by combining the image feature quantity of the number plate image synthesized or processed and the image feature quantity of the vehicle image according to the third feature, the vehicle number information and the appearance of the vehicle to be searched are combined. The accuracy of the image search can be improved by combining the information.

本発明の画像検索システムによれば第４の特徴により、ナンバプレート画像の画像特徴量あるいはナンバプレート画像と車両画像の画像特徴量のデータベース中における集約度から、繰り返し出現する車両を検索キーの候補を一覧表示することで、操作者がデータベースの中から検索キーを容易に指定して画像検索を実施することが可能になる。 According to the fourth feature of the image search system of the present invention, a vehicle that appears repeatedly is selected as a search key candidate from the image feature amount of the number plate image or the degree of aggregation in the database of the number plate image and the image feature amount of the vehicle image. By displaying a list of images, the operator can easily specify a search key from the database and perform an image search.

以下、本発明にかかる車両検索システムのより具体的な実施形態について、図面を参照しながら説明する。なお、本実施形態では、車両の一例として自動車を挙げて説明を行うが発明にかかる「車両」とは自動車に限定されず、路上を走行するあらゆる種類の乗り物を含む。 Hereinafter, more specific embodiments of the vehicle search system according to the present invention will be described with reference to the drawings. In the present embodiment, an automobile will be described as an example of the vehicle. However, the “vehicle” according to the invention is not limited to the automobile, and includes all kinds of vehicles traveling on the road.

図１は、本発明の実施例１の機能構成の概略を示すブロック図である。 FIG. 1 is a block diagram illustrating an outline of a functional configuration according to the first embodiment of the present invention.

図１において、カメラ１とサーバ２とクライアント３は、通信ネットワークで相互に接続されている。カメラ１およびクライアント３の数は、１以上で複数であってもよい。 In FIG. 1, a camera 1, a server 2, and a client 3 are connected to each other via a communication network. The number of cameras 1 and clients 3 may be one or more and plural.

カメラ１は撮像装置，演算装置，記憶装置，通信装置を有すカメラで路上に設置されている。カメラ１は演算装置のフレーム間差分処理によって通行する車両を検出し、車両の前面あるいは後面のナンバプレートを含む画角で画像を自動的に撮影する。カメラ１は、撮影画像および記憶装置内の地点および演算装置が保持する日時を組にしてサーバ２に送信する。 The camera 1 is a camera having an imaging device, a computing device, a storage device, and a communication device, and is installed on the road. The camera 1 detects a vehicle passing by the inter-frame difference process of the arithmetic device, and automatically captures an image at an angle of view including a number plate on the front or rear of the vehicle. The camera 1 transmits the captured image, the point in the storage device, and the date and time held by the arithmetic device to the server 2 as a set.

サーバ２は、演算装置，記憶装置，通信装置を持つ汎用的な計算機である。クライアント３は操作者に情報を表示するディスプレイのような表示装置，キーボードやマウスなどの操作者からの入力をうけとる入力装置，演算装置，通信装置を持つ。クライアント３は、たとえば汎用的な計算機で実現できる。 The server 2 is a general-purpose computer having an arithmetic device, a storage device, and a communication device. The client 3 has a display device such as a display for displaying information to the operator, an input device for receiving input from the operator such as a keyboard and a mouse, an arithmetic device, and a communication device. The client 3 can be realized by a general-purpose computer, for example.

図１において、１０３，１０４，１０７，１０８，１０９はサーバ２の機能、２０１，２０２，２０４，２１０，２１２，２１５，２２０はクライアント３の機能である。 In FIG. 1, 103, 104, 107, 108, and 109 are functions of the server 2, and 201, 202, 204, 210, 212, 215, and 220 are functions of the client 3.

図１において管理ＤＢ１０９は、図示していない接続線で１０３，１０４，１０７，１０８，１０９，２０１，２０２，２０４，２１０，２１２，２１５，２２０等の各機能と接続されていて、各機能の信号処理に必要なパラメータを蓄積している。なお、個々のクライアント３管理ＤＢ１０９の一部コピーを保持していても同じ機能を実現できる。 In FIG. 1, the management DB 109 is connected to each function such as 103, 104, 107, 108, 109, 201, 202, 204, 210, 212, 215, 220, etc. by connection lines (not shown). It stores the parameters required for signal processing. The same function can be realized even if a partial copy of each client 3 management DB 109 is held.

図１においてプレート画像切出し部１０３は、カメラ１から受け取った車両の画像から特定物体の切出しアルゴリズムを適用して、プレート画像の外接矩形で切出す。特定物体の切出しアルゴリズムは、公知文献１に記載された一般的なハール状特徴を用いたアルゴリズムを適用することで実現できるがこの例に限らない。 In FIG. 1, a plate image cutout unit 103 applies a specific object cutout algorithm from a vehicle image received from the camera 1 and cuts out a plate image with a circumscribed rectangle. The specific object extraction algorithm can be realized by applying an algorithm using a general Haar-like feature described in publicly known document 1, but is not limited to this example.

図１（ａ）はプレート画像切出し部１０３が、車両画像１５から特定物体の切出しアルゴリズムによって切出したプレート画像１０の例である。図１（ｂ）は、特定物体の切出しアルゴリズムが車両画像１５においてナンバプレートに類似したいくつかの候補を切出した結果の例である。このように複数の候補を抽出しておくと、特定物体の切出しアルゴリズムの精度が低くても正しいナンバプレート画像を高い精度で切出すことができる。 FIG. 1A shows an example of a plate image 10 that the plate image cutout unit 103 cuts out from the vehicle image 15 using a specific object cutout algorithm. FIG. 1B shows an example of a result obtained by cutting out some candidates similar to the number plate in the vehicle image 15 by the cutting-out algorithm of the specific object. By extracting a plurality of candidates in this manner, a correct number plate image can be extracted with high accuracy even if the accuracy of the extraction algorithm for the specific object is low.

プレート画像切出し部１０３は特定物体の切出しアルゴリズム以外でも、車両画像１０中においてナンバプレートの出現頻度が高い領域をプレート画像の候補にとることができる。図１（ｃ）はプレート画像切出し部１０３が、車両の下端１２、および左右中心軸１３を抽出して車両の基準位置１４を抽出した後に、基準位置１４と統計的にナンバプレートの出現頻度が高い矩形領域を、プレートの切出し画像１０として切出した例を示している。前記出現頻度が高い矩形領域の数は、図１（ｃ）では２つ示しているがこの数に限らず１つ以上の任意の数であってよい。図１（ｃ）の下端１２および左右中心軸１３は公知文献２の手法により抽出できる。また、統計的にナンバプレートの出現頻度が高い矩形領域は、手作業により抽出した基準位置１４と切出したプレート画像１０の画像上の縦横の位置の差の頻度ヒストグラムから作成することができる。なお、車両の基準位置１４は図２（ｃ）に例示した車両の左右中心軸と下端の交点以外でもよい。 The plate image cutout unit 103 can take a region where the number plate appears frequently in the vehicle image 10 as a plate image candidate other than the specific object cutout algorithm. In FIG. 1C, after the plate image cutout unit 103 extracts the lower end 12 and the left and right central axis 13 of the vehicle to extract the reference position 14 of the vehicle, the appearance frequency of the number plate is statistically different from the reference position 14. The example which cut out the high rectangular area | region as the cut-out image 10 of the plate is shown. Although the number of rectangular regions having a high appearance frequency is two in FIG. 1C, the number is not limited to this number and may be an arbitrary number of one or more. The lower end 12 and the left and right central axis 13 in FIG. In addition, a rectangular region where the number plate number is statistically high can be created from a frequency histogram of the difference between vertical and horizontal positions on the image of the extracted plate image 10 and the reference position 14 extracted manually. The vehicle reference position 14 may be other than the intersection of the left and right central axes and the lower end of the vehicle illustrated in FIG.

プレート画像切出し部１０３は管理ＤＢ１０９に記された設定条件にしたがって、特定物体の切出しアルゴリズムあるいはナンバプレートの出現頻度を基準としたアルゴリズムによって車両画像１５からプレート画像１０を切出す。 The plate image cutout unit 103 cuts out the plate image 10 from the vehicle image 15 by a specific object cutout algorithm or an algorithm based on the appearance frequency of the number plate according to the setting conditions described in the management DB 109.

ナンバプレートが傾けられていたり、ナンバプレートに透過率の低いカバーが取り付けられている場合には、車両画像１５中のナンバプレート部位は歪んだりコントラストが低下して特定物体の切出しアルゴリズム単体で精度よくプレート画像１０を切出すことは困難になるが、プレート画像切出し部１０３は図１（ｂ）のように特定物体のアルゴリズムから複数の候補や、図１（ｃ）のように車両画像１５中において統計的にナンバプレートの出現頻度が高い領域を出力することで、高い精度でプレート画像１０を切出すことを可能としている。 When the number plate is tilted or a cover with a low transmittance is attached to the number plate, the number plate portion in the vehicle image 15 is distorted or the contrast is lowered, and the specific object extraction algorithm alone is accurate. Although it is difficult to cut out the plate image 10, the plate image cutout unit 103 uses a plurality of candidates from the algorithm of the specific object as shown in FIG. 1B or the vehicle image 15 as shown in FIG. By outputting a region where the number plate appearance frequency is statistically high, the plate image 10 can be cut out with high accuracy.

図１においてプレート画像特徴抽出部１０４は、プレート画像切出し部１０３が切出したプレート画像から色とテクスチャの画像特徴量を抽出する。色の画像特徴量はＨＳＩのヒストグラム、テクスチャの画像特徴量には高次局所自己相関を用いることで実現できるが、この例に限らない。 In FIG. 1, a plate image feature extraction unit 104 extracts color and texture image feature amounts from the plate image cut out by the plate image cutout unit 103. The color image feature amount can be realized by using a HSI histogram, and the texture image feature amount by using higher-order local autocorrelation, but is not limited to this example.

図１において、検索ＤＢ１０７はプレート画像特徴抽出部１０４が切出したプレート画像１０の画像特徴量、カメラ１から受信した撮影画像の日時，地点、プレート画像１０を組にして蓄積する。 In FIG. 1, the search DB 107 accumulates the image feature amount of the plate image 10 extracted by the plate image feature extraction unit 104, the date and time of the captured image received from the camera 1, and the plate image 10 as a set.

図１５は検索ＤＢ１０７が蓄積するデータを示してあり、検索ＤＢ１０７はデータにＩＤ７を付加して管理する。検索ＤＢ１０７は、図１５のほか、車両に関連する参照情報として車両画像１５など任意の情報もＩＤ７と組にして記録してもよい。 FIG. 15 shows data stored in the search DB 107. The search DB 107 adds ID 7 to the data for management. In addition to FIG. 15, the search DB 107 may record arbitrary information such as the vehicle image 15 as a pair with the ID 7 as reference information related to the vehicle.

図１においてプレート合成指定部２１０は、操作者からユーザインタフェースを介して、操作者から検索したい車両の車番情報の指定を受ける。 In FIG. 1, a plate composition specifying unit 210 receives specification of vehicle number information of a vehicle to be searched from an operator via a user interface.

図３（ａ）はプレート合成指定部２１０の画面例でありＧ１，Ｇ２，Ｇ３，Ｇ４はそれぞれナンバプレート上の一連番号，用途コード，車種コード，陸支コードの入力を受けとるテキストボックスである。Ｇ９は車両サイズを大型，普通，軽自動車，バイク，原付の５区分で受け取るテキストボックスである。Ｇ１０は用途区分を自家用，事業用の２区分で受け取るテキストボックスである。Ｇ５，Ｇ６，Ｇ７，Ｇ８はそれぞれ、一連番号，用途コード，車種コード，陸支コードのフォントの選択するためのサブメニューを呼び出すためのボタンである。図３（ｂ）はＧ６のボタンを押したときの用途コードのフォントを選択するサブメニューの画面の一例であり、Ｇ１４は全フォントの一覧であり、Ｇ１３はＧ１４の各フォントに対応したチェックボックスであり、操作者からひとつ以上の選択を受けとる。操作者はＧ１４の画面を目視しながらＧ１３を選択することで、検索した車両のフォントの候補を指定，確認することができる。Ｇ１５のチェックボックスは、Ｇ１４のチェックボックスを全てオンにする機能をもつチェックボックスであり、操作者のＧ１４への入力の手間を軽減する。Ｇ５，Ｇ７，Ｇ８のボタンを操作者が選択した場合、図３（ｂ）のようなレイアウトのサブメニューが出現して、それぞれ一連番号，車種コード，陸支コードのフォントを指定することができる。 FIG. 3A shows an example of the screen of the plate composition designation unit 210. G1, G2, G3, and G4 are text boxes for receiving input of serial numbers, usage codes, vehicle type codes, and land support codes on the number plate, respectively. G9 is a text box that receives vehicle sizes in five categories: large, normal, light car, motorcycle, and moped. G10 is a text box that receives usage categories in two categories, private and business. G5, G6, G7, and G8 are buttons for calling up submenus for selecting fonts of serial numbers, application codes, vehicle type codes, and land codes. FIG. 3B is an example of a submenu screen for selecting a font of a usage code when the G6 button is pressed, G14 is a list of all fonts, and G13 is a check box corresponding to each font of G14. And receives one or more selections from the operator. The operator can specify and confirm the font candidate of the searched vehicle by selecting G13 while viewing the G14 screen. The check box of G15 is a check box having a function of turning on all the check boxes of G14, and reduces the labor of input to the operator G14. When the operator selects the G5, G7, or G8 button, a layout sub-menu as shown in FIG. 3B appears, and the font of the serial number, vehicle type code, and land code can be designated. .

Ｇ１１は地域別のフォントを設定するチェックボックスでありオンにすると、Ｇ４の陸支コードの指定に応じて、あらかじめ陸支ごとに設定された一連番号，用途コード，車種コードのフォントのうちいずれかひとつ以上を選択することができる。Ｇ１１のチェックボックスの選択により、ナンバプレートの各コードのフォントが地域別に違うこと、陸支コードがおおよそ地域に対応していることを反映してフォントを指定することが可能になる。 G11 is a check box for setting a font for each region. When this check box is selected, any of the fonts for serial numbers, usage codes, and vehicle type codes set for each land branch in advance according to the designation of the land branch code of G4 One or more can be selected. By selecting the check box of G11, it becomes possible to specify the font reflecting the fact that the font of each code of the number plate is different from region to region, and that the land support code roughly corresponds to the region.

Ｇ１２のチェックボックスはオンにすることにより、一連番号，用途コード，車種コード，車種コードの全てのコードの全てのフォントを選択する機能を持つ。 When the check box of G12 is turned on, it has a function of selecting all fonts of all codes of serial number, application code, vehicle type code, and vehicle type code.

図１において、プレート画像合成部２０１は、プレート合成指定部２１０の操作者の指定に応じたナンバプレート画像を合成する。図４を用いて、プレート画像合成部２０１の処理を説明すると、まずプレート合成指定部２１０の指定結果から、ナンバプレート上の各コードの文字の種類およびフォントの指定を読み込む（Ｓ２）。次に、各コードのナンバプレート中の位置，大きさのレイアウトをＧ９の車両サイズの区分に応じて決定する（Ｓ３）。次に、Ｇ１０で選択された用途区分とＧ９で選択された車両サイズから、ナンバプレートの背面と文字の色の組み合わせを定める（Ｓ４）。具体的に述べるとＳ４は一例として、Ｇ１０の用途区分が事業用かつＧ９で選択された車両サイズが軽自動車以外の場合には、ナンバプレートの背面を緑、ナンバプレートの文字を白色、Ｇ１０の用途区分が事業用かつＧ９で選択された車両サイズが軽自動車の場合にはナンバプレートの背面を黒色、ナンバプレートの文字を黄色、Ｇ１０の用途区分が自家用かつＧ９で選択された車両サイズが軽自動車の場合にはナンバプレートの背面を黄色、ナンバプレートの文字を黒色、Ｇ１０の用途区分とＧ９の車両サイズが前記以外の場合には、ナンバプレートの背面を白色、ナンバプレートの文字を緑色とする。次に、Ｓ２で読み込んだナンバプレート上の文字とフォントを組み合わせで変えながら（Ｓ５からＳ７のループ）、文字とフォントとＳ２で決定したレイアウトとプレートの背面とプレートの文字の色に従ってプレート画像を合成する（Ｓ６）。なお、Ｇ１あるいはＧ２あるいはＧ３あるいはＧ４の中に文字の指定がない場合、平均的な画像特徴量が求まるように、全文字種，全フォントの平均画像を代用に用いる。Ｓ６の処理に必要なデータは、全て管理ＤＢ１０９内のデータを用いる。 In FIG. 1, a plate image composition unit 201 synthesizes a number plate image according to the designation of the operator of the plate composition designation unit 210. The processing of the plate image composition unit 201 will be described with reference to FIG. 4. First, the character type and font designation of each code on the number plate is read from the designation result of the plate composition designation unit 210 (S2). Next, the layout of the position and size of each code in the number plate is determined according to the vehicle size classification of G9 (S3). Next, the combination of the rear face of the number plate and the character color is determined from the application classification selected in G10 and the vehicle size selected in G9 (S4). Specifically, S4 is an example, and if the G10 usage category is for business use and the vehicle size selected in G9 is other than a light vehicle, the back of the number plate is green, the number plate letter is white, If the usage category is business and the vehicle size selected in G9 is a light vehicle, the back of the number plate is black, the number plate letter is yellow, and the G10 usage category is private and the vehicle size selected in G9 is light. In the case of an automobile, the back of the number plate is yellow, the letter of the number plate is black, and if the G10 application category and G9 vehicle size are other than those described above, the number plate is white and the number plate letter is green. To do. Next, while changing the characters and fonts on the number plate read in S2 in combination (S5 to S7 loop), the plate image is changed according to the characters and fonts, the layout determined in S2, the back of the plate, and the color of the characters on the plate. Synthesize (S6). If no character is specified in G1, G2, G3, or G4, an average image of all character types and all fonts is used instead so that an average image feature amount can be obtained. All the data necessary for the processing of S6 uses the data in the management DB 109.

図５（ａ）と図５（ｂ）はプレート画像合成部２０１が出力したプレート画像Ｃ１０の例であり、図３（ａ）と図３（ｂ）のプレート合成指定部２１０の図３の入力例に対応している。図５（ａ）と図５（ｂ）において、Ｃ１，Ｃ２，Ｃ３，Ｃ４はそれぞれ普通車両の一連番号，用途コード，車種コード，陸支コードのレイアウト枠を示してあり実際の画像上には描画されない。Ｇ９の車両サイズが普通以外（大型，軽自動車，バイク，原付）の場合、Ｃ１，Ｃ２，Ｃ３，Ｃ４それぞれの位置や大きさは、図５（ａ）および（ｂ）から車両のサイズの指定に応じて変更される。図５（ａ）のＣ３内の用途コードは図３（ｂ）のＧ１４ａのフォントに対応し、図５（ｂ）のＣ３内の用途コードは図３（ｂ）のＧ１４ｂのフォントに対応している。図３の車両サイズの指定が普通であることより、図５（ａ）と図５（ｂ）の背面の色は白色，文字の色は緑色である。 5 (a) and 5 (b) are examples of the plate image C10 output from the plate image composition unit 201, and FIG. 3 inputs to the plate composition designation unit 210 in FIGS. 3 (a) and 3 (b). Corresponds to the example. In FIGS. 5 (a) and 5 (b), C1, C2, C3 and C4 indicate the layout frames of ordinary vehicle serial numbers, application codes, vehicle type codes and land support codes, respectively. Not drawn. When the G9 vehicle size is other than normal (large, light vehicle, motorcycle, moped), the positions and sizes of C1, C2, C3, and C4 can be specified from FIGS. 5 (a) and 5 (b). Will be changed according to The usage code in C3 in FIG. 5A corresponds to the font G14a in FIG. 3B, and the usage code in C3 in FIG. 5B corresponds to the font G14b in FIG. 3B. Yes. Since the designation of the vehicle size in FIG. 3 is normal, the back color of FIG. 5 (a) and FIG. 5 (b) is white and the color of the character is green.

以上述べたプレート合成指定部２１０への入力とプレート画像合成部２０１の処理によって、操作者は検索したい車両の車番情報およびフォント指定に応じたナンバプレート画像を合成することができる。 By the input to the plate composition specifying unit 210 and the processing of the plate image composition unit 201 described above, the operator can compose the number plate image corresponding to the vehicle number information and font designation of the vehicle to be searched.

図１においてプレート加工指定部２１２は、操作者からユーザインタフェースを介して、操作者から検索したいナンバプレートの加工条件の指定を受けとる。 In FIG. 1, a plate processing designation unit 212 receives designation of a number plate machining condition to be retrieved from an operator via a user interface.

図６（ａ）においてＧ８０はプレート加工指定２１０の画面例である。図６（ａ）において、Ｇ３１はナンバプレートの傾きの加工の有無の指定するチェックボックスであり、Ｇ４１は傾きの加工の詳細を指定するサブメニューを呼び出すためのボタンである。図７（ｂ）は傾きの加工のサブメニューＧ８１の画面の一例であり、Ｇ５０，Ｇ５１，Ｇ５２は順番に加工後のカメラの空間中の位置（Ｘ，Ｙ，Ｚ）を入力するテキストボックスであり、Ｇ５３，Ｇ５４，Ｇ５５は順番に加工後カメラの空間中の角度（Ｐ，Ｔ，Ｒ）を入力するテキストボックス、である。また、Ｇ６０，Ｇ６１，Ｇ６２は順番に加工後プレートの空間中の位置（Ｘ，Ｙ，Ｚ）を入力するテキストボックスであり、Ｇ６３，Ｇ６４，Ｇ６５は順番に加工後プレートの空間中の角度（Ｐ，Ｔ，Ｒ）を入力するテキストボックス、である。 In FIG. 6A, G80 is a screen example of the plate processing designation 210. In FIG. 6A, G31 is a check box for designating whether or not the number plate is tilted, and G41 is a button for calling a submenu for designating details of the tilt processing. FIG. 7B is an example of a screen for tilting submenu G81. G50, G51, and G52 are text boxes for sequentially inputting positions (X, Y, Z) in the camera space after processing. G53, G54, and G55 are text boxes for sequentially inputting angles (P, T, R) in the camera space after processing. G60, G61, and G62 are text boxes for sequentially inputting the positions (X, Y, Z) in the post-processed plate space, and G63, G64, and G65 are the angles in the post-processed plate space (in order). P, T, R).

図８は、カメラおよびプレートの空間中の位置と角度の一例を示す図であり、２１は原点をＯ、座標軸をＸＹＺ、Ｘ軸周りの角度をＴ、Ｙ軸周りの角度をＲ、Ｚ軸周りの角度をＰとした座標系である。座標系２１は例えば車両２４が走行する車線２２の進行方向をＹ軸、鉛直方向をＺ軸、車線に直行する方向をＸ軸、原点ＯをＸ軸について車線２２の中央線２３かつＹ軸についてカメラ１と同じ位置かつＺ軸について地上面とすることができる。カメラ１およびプレート４の位置と角度は座標系２１によって定義される。 FIG. 8 is a diagram showing an example of the position and angle of the camera and the plate in the space. 21 is the origin, O is the coordinate axis, XYZ is the coordinate axis, T is the angle around the X axis, and the angle around the Y axis is the R, Z axis. This is a coordinate system in which the surrounding angle is P. The coordinate system 21 is, for example, the direction of travel of the lane 22 in which the vehicle 24 travels is the Y axis, the vertical direction is the Z axis, the direction orthogonal to the lane is the X axis, and the origin O is the X axis. The same position as the camera 1 and the Z axis can be the ground plane. The position and angle of the camera 1 and the plate 4 are defined by the coordinate system 21.

なお、Ｇ５０からＧ５５およびＧ６０からＧ６５の各テキストックスは代表値のほか範囲を入力することも可能であり、例えばＧ５０にカメラ角度Ｐを−３０度から＋３０度まで５度刻みのような指定によって、操作者が範囲を指定することを可能とする。 In addition, each text box of G50 to G55 and G60 to G65 can input a range in addition to a representative value. For example, the camera angle P can be input to G50 in increments of 5 degrees from -30 degrees to +30 degrees. The operator can specify the range.

図６（ａ）において、Ｇ３２はナンバプレートの枠の加工の有無の選択を受け取るチェックボックスであり、Ｇ４２は枠の加工の詳細を指定するサブメニューを呼び出すためのボタンである。 In FIG. 6A, G32 is a check box for receiving selection of whether or not the number plate frame is processed, and G42 is a button for calling a submenu for specifying details of frame processing.

図７（ｃ）においてＧ８２は枠の加工の詳細を指定するサブメニューの画面の一例であり、Ｇ７１はナンバプレートの枠の一覧であり、Ｇ７０はＧ７１の個々の枠を選択するチェックボックスであり、ひとつ以上の選択を受け付ける。Ｇ７１の枠には様々なデザイン、色のものが含まれるが、これは例えばナンバプレート枠の製造メーカのカタログから作成することができる。 In FIG. 7C, G82 is an example of a submenu screen for designating details of frame processing, G71 is a list of number plate frames, and G70 is a check box for selecting individual frames of G71. , Accept one or more selections. The frame of G71 includes various designs and colors, which can be created from the catalog of the number plate frame manufacturer, for example.

図６（ａ）において、Ｇ３３はナンバプレートのカバーの加工の有無の指定を受け取るチェックボックスであり、Ｇ４３はナンバプレートのカバーの加工条件の詳細を入力するサブメニューを呼び出すためのボタンである。 In FIG. 6A, G33 is a check box for receiving designation of whether or not the number plate cover is processed, and G43 is a button for calling a submenu for inputting details of the processing conditions of the number plate cover.

図７（ｄ）においてＧ８３はカバーの加工の詳細を指定するサブメニューの画面の一例であり、Ｇ７２はカバーの一覧であり、Ｇ７３はＧ７２の個々のカバーを選択するチェックボックスであり、ひとつ以上の選択を受け付ける。Ｇ７３のカバーには様々なデザイン、色のものが含まれる。Ｇ７３は例えばナンバプレートのカバーの製造メーカのカタログから作成することができる。 In FIG. 7D, G83 is an example of a submenu screen for designating details of cover processing, G72 is a list of covers, and G73 is a check box for selecting individual covers of G72. Accept the selection. The G73 cover includes a variety of designs and colors. G73 can be created from the catalog of the manufacturer of the number plate cover, for example.

図６（ａ）において、Ｇ３４はナンバプレートの字発光の加工の有無の指定を受け取るチェックボックスであり、Ｇ４４は字発光の加工の詳細を指定するサブメニューを呼び出すためのボタンである。 In FIG. 6A, G34 is a check box for receiving designation of whether or not the number plate is processed for light emission, and G44 is a button for calling a submenu for specifying the details of character light emission processing.

図７（ｅ）においてＧ８４は字発光の加工の詳細を指定するサブメニューの画面の一例であり、Ｇ７４は字発光の方式の一覧であり、Ｇ７５はＧ７４の個々の字発光の方式を選択するチェックボックスであり、ひとつ以上の選択を受け付ける。Ｇ７４の一覧は図示すような種別の文字のほか、各方式を代表するアイコンであってもよい。 In FIG. 7E, G84 is an example of a sub-menu screen for designating details of character light emission processing, G74 is a list of character light emission methods, and G75 selects individual character light emission methods of G74. A check box that accepts one or more selections. The list of G74 may be icons representing each method in addition to the types of characters shown in the figure.

プレート画像加工部２０２は、プレート加工指定部２１２が受け取ったナンバプレート画像の加工の指定に応じて、プレート画像合成部２０１が合成したプレート画像Ｃ１０を加工する。なお、プレート加工指定部２１２が操作者からひとつも加工の指定を受け取らなかった場合、プレート画像加工部２０２はプレート画像Ｃ１０に何の処理もしない。 The plate image processing unit 202 processes the plate image C10 combined by the plate image combining unit 201 in accordance with the processing specification of the number plate image received by the plate processing specifying unit 212. If the plate processing designation unit 212 receives no processing designation from the operator, the plate image processing unit 202 performs no processing on the plate image C10.

図９を用いてプレート画像加工部２０２の処理を説明すると、まず最初にプレート画像合成部２０１が合成したプレート画像Ｃ１０を全て読み込み（Ｓ２０）、次にプレート加工指定部２１２が受け取ったプレート画像の加工条件を全て読み込む（Ｓ２１）。 The processing of the plate image processing unit 202 will be described with reference to FIG. 9. First, all the plate images C10 combined by the plate image combining unit 201 are read (S20), and then the plate image specified by the plate processing specifying unit 212 is received. All machining conditions are read (S21).

次に、プレート画像合成部２０１が合成した各々のプレート画像Ｃ１０について（Ｓ２３からＳ３４のループ）、プレート加工指定部２１２が受け取った加工の指定を総当りの組み合わせで変えながら（Ｓ２４からＳ３３のループ）、Ｓ２５からＳ３２の処理を繰り返す。Ｓ２４からＳ３３のループは、Ｇ７０やＧ７２やＧ７４のチェックボックスが複数の選択を受け取った場合には、詳細条件も組み合わせも繰り返す。またＳ２４からＳ３３のループは、Ｓ５０，Ｓ５１，Ｓ５２，Ｇ５３，Ｓ５４，Ｓ６０，Ｓ６１，Ｓ６２，Ｓ６３，Ｓ６４，Ｓ６５のひとつ以上が範囲で指定を受け取ったときには、範囲内で変化する複数の角度あるいは位置の組み合わせも前記の詳細条件と同様に組み合わせに含む。 Next, for each plate image C10 synthesized by the plate image synthesis unit 201 (S23 to S34 loop), the processing designation received by the plate processing designation unit 212 is changed in a round robin combination (S24 to S33 loop). ), S25 to S32 are repeated. The loop from S24 to S33 repeats both the detailed condition and the combination when the check boxes of G70, G72, and G74 receive a plurality of selections. In addition, the loop from S24 to S33 includes a plurality of angles that change within the range when one or more of S50, S51, S52, G53, S54, S60, S61, S62, S63, S64, and S65 receive a designation within the range. A combination of positions is also included in the combination as in the detailed condition described above.

Ｓ２６では、Ｓ２４のループが指定する加工条件の中に枠の加工が含まれるとき（Ｓ２５の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０上に枠を描画する。枠の描画は、Ｇ７０の１つのチェックボックスの選択に応じた枠の画像データおよびプレート画像Ｃ１０上の枠の位置と大きさを管理ＤＢ１０９から呼び出し、プレート画像Ｃ１０上に上書きする。 In S26, when the frame processing is included in the processing conditions specified by the loop of S24 (Yes in S25), the frame is drawn on the plate image C10 specified by the loop of S23. For drawing a frame, the image data of the frame corresponding to the selection of one check box of G70 and the position and size of the frame on the plate image C10 are called from the management DB 109 and overwritten on the plate image C10.

Ｓ２８では、Ｓ２４のループが指定する加工条件の中にカバーの加工が含まれるとき（Ｓ２７の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０にカバー装着を模擬した加工を施す。前記のカバー装着を模擬した加工とは、Ｇ７３の１つのチェックボックスの選択に応じたカバーのプレート画像Ｃ１０上の位置と大きさとカバーの色相とカバーの透過率のデータを管理ＤＢ１０９から呼び出し、プレート画像Ｃ１０上においてカバーと重なる領域の色相と彩度に前記のカバーの色相と彩度を加算し、プレート画像Ｃ１０上においてカバーと重なる領域の明度を前記のカバーの透過率だけ減衰させることである。 In S28, when cover processing is included in the processing conditions specified by the loop of S24 (Yes in S27), processing for simulating cover mounting is performed on the plate image C10 specified by the loop of S23. The processing simulating the above-described cover mounting refers to the data of the position and size of the cover on the plate image C10 according to the selection of one check box of G73, the hue of the cover, and the transmittance of the cover from the management DB 109, and the plate The hue and saturation of the cover are added to the hue and saturation of the area overlapping the cover on the image C10, and the brightness of the area overlapping the cover on the plate image C10 is attenuated by the transmittance of the cover. .

Ｓ３０では、Ｓ２４のループが指定する加工条件の中に字発光の加工が含まれるとき（Ｓ２９の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０に字発光を模擬した加工を施す。 In S30, when processing for character light emission is included in the processing conditions specified by the loop of S24 (Yes in S29), processing that simulates character light emission is performed on the plate image C10 specified by the loop of S23.

図２１は字発光をＳ３０の加工を説明する図であり、３０はナンバプレート盤面、３１はナンバプレート盤面３０の文字部、３２はナンバプレート盤面３０の背面部、３３は発光体である、３４は筐体枠である。筐体枠３４はナンバプレート盤面３０と発光体３３を保持し、車両に取り付けられる。なお発光体３３は図１１に示した例に限らず、Ｇ７５に一覧表示された字発光の種別毎に、数，配置，サイズが異なる。また、光源３３の発光強度および発光パターンはＧ７５に一覧表示された字発光の種別毎に異なる。Ｓ３０は、Ｓ２４のループが指定する発光光３３の数，配置，サイズ，発光強度，発光パターンおよびナンバプレート盤面３０発光体３３の距離および文字部３１の透過率と背面部３０の透過率から、一般的なコンピュータグラフィクスにおける発光体の合成の技術を用いてプレートＣ１０の明度と彩度と色相を加工する。 FIG. 21 is a diagram for explaining the processing of character light emission in S30, 30 is a number plate board surface, 31 is a character portion of the number plate board surface 30, 32 is a back surface portion of the number plate board surface 30, and 33 is a light emitter. Is a housing frame. The housing frame 34 holds the number plate board surface 30 and the light emitter 33 and is attached to the vehicle. Note that the number of light emitters 33 is not limited to the example shown in FIG. 11, and the number, arrangement, and size differ for each type of character light emission listed in G75. Further, the light emission intensity and the light emission pattern of the light source 33 are different for each type of character light emission listed in G75. S30 is obtained from the number, arrangement, size, light emission intensity, light emission pattern, number plate surface 30 of the light-emitting body 33 specified by the loop of S24, the transmittance of the light emitter 33, the transmittance of the character portion 31 and the transmittance of the back surface portion 30. The brightness, saturation, and hue of the plate C10 are processed using a technique for synthesizing illuminants in general computer graphics.

なお、Ｓ３０の処理で必要な発光光３３の数，配置，サイズ，発光強度，発光パターンおよびナンバプレート盤面３０，発光体３３の距離および文字部３１の透過率と背面部３０の透過率のデータは、管理部１０９が蓄積するデータを用いる。前記の発光体３３およびプレート盤面３０のデータは、例えば製造メーカのカタログから作成することができる。 The number, arrangement, size, light emission intensity, light emission pattern, number plate surface 30 of the light emission 33 required for the processing of S30, distance of the light emitter 33, the transmittance of the character portion 31, and the transmittance of the back surface portion 30. Uses data stored by the management unit 109. The data of the luminous body 33 and the platen surface 30 can be created from a catalog of a manufacturer, for example.

なお、プレート画像Ｃ１０上においてＳ２６，Ｓ２８，Ｓ３０の加工が重複する領域がある場合、個々の加工について明度，彩度，色相のプレート画像Ｃ１０からの差分を求めておき、各加工のプレート画像Ｃ１０からの差分の総和をプレート画像Ｃ１０の明度，彩度，色相に加工する。 In addition, when there exists an area | region where the process of S26, S28, S30 overlaps on the plate image C10, the difference from the plate image C10 of brightness, saturation, and hue is calculated | required about each process, and the plate image C10 of each process is obtained. Is processed into the brightness, saturation, and hue of the plate image C10.

Ｓ３２では、Ｓ２４のループが指定する加工条件の中にカバーの加工が含まれるとき（Ｓ３１の判定がｙｅｓ）、Ｓ２３のループが指定するプレート画像Ｃ１０に傾きの加工を施す。前記傾きの加工とは、カメラおよびプレートの位置と角度を基準の値から、Ｇ８１のサブメニューで指定を受けたカメラおよびプレートの位置と角度に変化させたときのプレート画像Ｃ１０の見え方を一般的な射影変換でモデル化して、前記の射影変換をプレート画像Ｃ１０に施すことで実現できる。前記のカメラおよびプレートの位置と角度の基準の値は管理ＤＢ１０９が保持する値を用いる。前記のカメラおよびプレートの位置と角度の基準の値は例えば、カメラの位置を座標系２１でＸ＝０，Ｙ＝０，Ｚ＝０.５ｍ、カメラの角度をＰ＝０，Ｔ＝０，Ｒ＝０、プレートの位置をＸ＝０，Ｙ＝１０，Ｚ＝０.５ｍ、Ｐ＝１８０°，Ｔ＝０，Ｒ＝０、のように車線の中心線２３上においてプレートの平均的な地上高０.５ｍで１０ｍ離して正面を向け合うように設定できる。 In S32, when cover processing is included in the processing conditions specified by the loop of S24 (Yes in S31), the plate image C10 specified by the loop of S23 is subjected to tilt processing. The tilt processing generally refers to the appearance of the plate image C10 when the position and angle of the camera and plate are changed from the reference values to the position and angle of the camera and plate specified in the G81 submenu. This can be realized by modeling with a typical projective transformation and applying the projective transformation to the plate image C10. The values stored in the management DB 109 are used as the reference values for the camera and plate positions and angles. The reference values of the camera and plate position and angle are, for example, the camera position in the coordinate system 21 with X = 0, Y = 0, Z = 0.5 m, and the camera angle with P = 0, T = 0, R = 0, plate position X = 0, Y = 10, Z = 0.5 m, P = 180 °, T = 0, R = 0, and so on. It can be set to face the front with a height of 0.5m and a distance of 10m.

図１においてプレート画像選択部２１３は、プレート画像合成部２０１が合成したプレート画像Ｃ１０およびプレート画像加工部２０２がプレート画像Ｃ１０を加工したナンバプレートの画像を一覧表示し、操作者から検索キーの指定を受け取る。 In FIG. 1, a plate image selection unit 213 displays a list of plate images C10 combined by the plate image combining unit 201 and number plate images processed by the plate image processing unit 202, and a search key is designated by the operator. Receive.

図１０においてＧ１００はプレート画像選択部２１３のインタフェース画面の例であり、Ｃ３０はおよびプレート画像加工部２０２がプレート画像Ｃ１０を加工したプレート画像、Ｇ９０は加工したプレート画像Ｃ３０それぞれに対応したチェックボックスであり操作者から１つ以上の選択を受け付ける。Ｃ３０ａはプレート画像Ｃ１０にカバーを加工した例であり、Ｃ３０ｂはプレート画像Ｃ１０に枠を加工した例であり、Ｃ３０ｃはプレート画像Ｃ１０に傾きと枠を組み合わせて加工したプレート画像の例である。Ｇ９０ａ，Ｇ９０ｂ，Ｇ９０ｃは、それぞれＣ３０ａ，Ｃ３０ｂ，Ｃ３０ｃに対応したチェックボックスを示している。図１０においてインタフェース画面Ｇ１００には加工したプレート画像を３つ表示しているが、表示する数はこの数に限らない。また、インタフェース画面Ｇ１００は画面の大きさや解像度の制限でプレート画像Ｃ３０を全て表示できない場合には、スクロールバーによる表示範囲の推移等によりプレート画像Ｃ３０の中で表示する範囲を変えて表示する。また、プレート画像選択部２１３は加工以前のプレート画像Ｃ１０も加工したプレート画像Ｃ３０のうちに含めて、チェックボックスと組にして表示する。 10, G100 is an example of an interface screen of the plate image selection unit 213, C30 is a plate image obtained by processing the plate image C10 by the plate image processing unit 202, and G90 is a check box corresponding to each processed plate image C30. One or more selections are accepted from the operator. C30a is an example of processing a cover on the plate image C10, C30b is an example of processing a frame on the plate image C10, and C30c is an example of a plate image processed by combining the plate image C10 with a tilt and a frame. G90a, G90b, and G90c indicate check boxes corresponding to C30a, C30b, and C30c, respectively. In FIG. 10, three processed plate images are displayed on the interface screen G100, but the number to be displayed is not limited to this number. Further, when the plate image C30 cannot be displayed entirely due to screen size and resolution limitations, the interface screen G100 displays the display range in the plate image C30 by changing the display range using a scroll bar. In addition, the plate image selection unit 213 includes the plate image C10 before processing in the processed plate image C30, and displays it as a pair with a check box.

図１０においてＧ９９はＧ１００上の全てのプレート画像Ｃ３０を選択するチェックボックスであり、操作者はＧ９９の選択により、Ｇ９０の個別のチェックボックスを選択する手間を省くことができる。 In FIG. 10, G99 is a check box for selecting all plate images C30 on G100, and the operator can save time and effort for selecting individual check boxes for G90 by selecting G99.

図１においてプレート画像特徴抽出部２０４は、プレート画像選択部２１３が操作者からの選択を受けたプレート画像Ｃ３０から、プレート画像特徴抽出部１０４と同一の信号処理によって、色とテクスチャの画像特徴量を抽出する。 In FIG. 1, the plate image feature extraction unit 204 uses the same signal processing as the plate image feature extraction unit 104 from the plate image C30 received by the plate image selection unit 213 from the operator, and performs color and texture image feature amounts. To extract.

検索範囲指定部２１５は、検索部１０８が検索する検索ＤＢ１０７の範囲を限定する。検索範囲指定部２１５はテキストボックス他のユーザインタフェースを介して、操作者から日時や地点や画像特徴量の数値の指定をテキストボックス他のユーザインタフェースを介して受け取る。操作者が日時と地点の検索範囲を指定しない場合、検索ＤＢ１０７中の全データが検索部１０８の処理の対象範囲となる。なお、検索範囲指定部２１５は実施例１において必須ではなく省略が可能であり、省略する場合は検索範囲指定部２１５に操作者が入力を与えない場合と等価になる。 The search range designation unit 215 limits the range of the search DB 107 that the search unit 108 searches. The search range designation unit 215 receives the designation of the date / time, the location, and the numerical value of the image feature amount from the operator via the text box or other user interface via the text box or other user interface. When the operator does not specify the date and location search range, all data in the search DB 107 is the target range of processing of the search unit 108. Note that the search range designation unit 215 is not essential and can be omitted in the first embodiment. If omitted, the search range designation unit 215 is equivalent to the case where the operator does not give input to the search range designation unit 215.

検索部１０８は検索キーの画像特徴量と検索ＤＢ１０７中の各データの画像特徴量の類似度を計算する機能と、計算した類似度をソートする機能と、ソートした類似度の順位が高いデータのＩＤ７を出力する機能を持つ。 The search unit 108 calculates the similarity between the image feature quantity of the search key and the image feature quantity of each data in the search DB 107, the function of sorting the calculated similarity degrees, and the data with the higher ranking of the sorted similarity degrees. Has the function of outputting ID7.

まず検索キーがひとつの場合、検索部１０８は検索キーの画像特徴量と検索ＤＢ１０７中のあるＩＤ７の画像特徴量の類似度を下記の数式１によって計算する。
（数１）
Ｓ＝(Σ_i=1,Nαｉdist(ｙｉ，ｘｉ))^-1
数式１においてΣ_i=1,Nは添え字ｉについて１からＮで和をとることを意味し、αｉは特徴量のｉ番目の要素の荷重係数、ｙｉはプレート画像特徴抽出部２０４が抽出した画像特徴量のｉ番目の要素、ｘｉは検索ＤＢ中の一枚の画像特徴量のｉ番目の要素、dist（）はｘｉとｙｉのユークリッド距離を計算する関数、Ｓは類似度である。数式１において画像特徴量の数Ｎは２であり、画像特徴量の１番目の要素はプレート画像１０およびプＣ３０のテクスチャ、２番目の要素はプレート画像１０およびＣ３０の色を示す。なお荷重係数αｉには、管理ＤＢ１０９が蓄積するデータを用いる。検索ＤＢ１０７中のプレート画像１０の中で数式１の類似度Ｓが高いものは、操作者が検索キーに選択したプレート画像Ｃ３０と色やテクスチャが近い傾向をもつ。次に検索キーが複数の場合には、全ての検索キーの画像特徴量とあるＩＤ７の画像特徴量との間で数式１の類似度を計算した後に最大値を計算する。 First, when there is one search key, the search unit 108 calculates the similarity between the image feature amount of the search key and the image feature amount of a certain ID 7 in the search DB 107 by the following formula 1.
(Equation 1)
S = (Σi _{= 1, N} αidist (yi, xi)) ⁻¹
In Equation 1, Σ _{i = 1, N} means that the subscript i is summed from 1 to N, α i is the load coefficient of the i-th element of the feature quantity, and y i is extracted by the plate image feature extraction unit 204. The i-th element of the image feature amount, xi is the i-th element of one image feature amount in the search DB, dist () is a function for calculating the Euclidean distance between xi and yi, and S is the similarity. In Equation 1, the number N of image feature amounts is 2, the first element of the image feature amount indicates the texture of the plate image 10 and the image C30, and the second element indicates the color of the plate images 10 and C30. Note that data stored in the management DB 109 is used as the load coefficient αi. Among the plate images 10 in the search DB 107, those having a high similarity S in Equation 1 tend to be similar in color and texture to the plate image C30 selected by the operator as a search key. Next, when there are a plurality of search keys, the maximum value is calculated after calculating the similarity of Equation 1 between the image feature values of all the search keys and the image feature value of ID7.

検索部１０８は、検索範囲指定部２１５が指定する検索ＤＢ１０７の範囲あるいは検索ＤＢ１０７中の全範囲について数式１の類似度を計算した後、類似度が高い順にソートする。検索部１０８は前記の類似度をソートした後、類似度が高い順に上位から検索ＤＢ１０７中のＩＤ７を出力する。 The search unit 108 calculates the similarity of Formula 1 for the range of the search DB 107 specified by the search range specifying unit 215 or the entire range in the search DB 107, and then sorts them in descending order of similarity. The search unit 108 sorts the similarities, and then outputs the IDs 7 in the search DB 107 in descending order of similarity.

検索結果表示部２２０は、検索部１０８が類似度の高い順にソートした検索ＤＢ１０７中のデータを上位から順番に一覧表示する。 The search result display unit 220 displays a list of data in the search DB 107 sorted by the search unit 108 in descending order of similarity from the top.

図１１において検索結果表示部１０９の表示画面の一例であり、Ｇ２００はプレート画像Ｃ３０ａをキー画像に選択したことを想定した検索結果を示している。Ｇ２００は検索部１０８が計算した画像特徴量の類似度が高い順番に最上行の左から右、次に２行目の左から右の順番にプレート画像１０を表示している。 FIG. 11 shows an example of a display screen of the search result display unit 109, and G200 shows search results assuming that the plate image C30a is selected as the key image. G200 displays the plate images 10 in order from the left to the right in the top row and then from the left to the right in the second row in descending order of the similarity of the image feature amounts calculated by the search unit 108.

図１２においてＧ２０１は検索結果表示部１０９の表示画面のもうひとつの例であり、同じくプレート画像Ｃ３０ａをキー画像に選択したことを想定している。Ｇ２０１は検索部１０８が計算した画像特徴量の類似度が高い順番に最上行の左から右、次に２行目の左から右の順番に、車両画像１５とプレート画像１０とを組にして表示している。 In FIG. 12, G201 is another example of the display screen of the search result display unit 109, and it is assumed that the plate image C30a is selected as the key image. G201 is a combination of the vehicle image 15 and the plate image 10 in order from the left to the right in the top row, and then from the left to the right in the second row, in descending order of similarity of the image feature amounts calculated by the search unit 108. it's shown.

検索結果表示部１０９は、Ｇ２００に例を示したプレート画像１０の一覧や、Ｇ２０１に例を示したプレート画像１０と車両画像１５の一覧以外にもの変わりに検索ＤＢ１０７がＩＤ７で組にしているデータ、例えば日時や地点などを表示してもよい。 The search result display unit 109 is data other than the list of plate images 10 shown as examples in G200 and the list of plate images 10 and vehicle images 15 shown as examples in G201. For example, you may display a date, a point, etc.

以上述べた実施例１における図１の機能構成によって、操作者はプレート合成指定部２１０に検索対象の車番条件を入力することによって、プレート画像合成部２０１が車番条件に応じて合成したプレート画像Ｃ３０を検索キーとした検索部１０８の画像検索処理によって、検索結果表示部２２０の画面上に検索ＤＢ１０７中における検索対象の候補を一覧表示を取得することが可能になる。 With the functional configuration of FIG. 1 in the first embodiment described above, the operator inputs the vehicle number condition to be searched to the plate composition specifying unit 210, so that the plate image composition unit 201 composes the plate according to the vehicle number condition. By the image search process of the search unit 108 using the image C30 as a search key, it is possible to obtain a list of search target candidates in the search DB 107 on the screen of the search result display unit 220.

また、実施例１の図１の機能構成において、操作者はプレート加工指定部２１２にナンバプレートの加工条件を入力することによって、プレート画像合成部２１０が合成したプレート画像Ｃ１０をより実際のプレート画像１０に近づけることによって（プレート画像Ｃ３０）、プレート画像特徴抽出部２０４が計算する画像特徴量を実際のプレート画像１０の画像特徴量に近づけて検索部１０８の検索精度および検索結果表示部２２０の検索結果の精度を向上させることが可能となる。 In the functional configuration of FIG. 1 according to the first embodiment, the operator inputs the number plate processing conditions to the plate processing designation unit 212, whereby the plate image C10 combined by the plate image combining unit 210 is more actual plate image. 10 (plate image C30), the image feature amount calculated by the plate image feature extraction unit 204 is brought close to the image feature amount of the actual plate image 10, and the search accuracy of the search unit 108 and the search of the search result display unit 220 are searched. The accuracy of the result can be improved.

実施例２の機能構成を図１３に示す。図１３において、１０３，１０４，１０９，２１０，２１２，２０１，２０２，２１３，２０４，２１５，２２０の機能は実施例１と共通である。図１３において、車両画像特徴抽出部１０２はカメラ１が撮影した車両画像１５から色とテクスチャの特徴量を抽出する。色の画像特徴量はＨＳＩのヒストグラム、テクスチャの画像特徴量には高次局所自己相関を用いることで実現できるが、この例に限らない。図１３において検索ＤＢ１０７は、図１５に示したデータに加えて、車両画像１５の画像特徴量をＩＤ７と組にして記録する。 FIG. 13 shows a functional configuration of the second embodiment. In FIG. 13, the functions of 103, 104, 109, 210, 212, 201, 202, 213, 204, 215, and 220 are the same as those in the first embodiment. In FIG. 13, a vehicle image feature extraction unit 102 extracts color and texture feature amounts from a vehicle image 15 captured by the camera 1. The color image feature amount can be realized by using a HSI histogram, and the texture image feature amount by using higher-order local autocorrelation, but is not limited to this example. 13, in addition to the data shown in FIG. 15, the search DB 107 records the image feature amount of the vehicle image 15 in combination with ID7.

図１３において、車両画像選択部２１４は操作者から車両画像の検索キーの選択を受け取る。図１４において、Ｇ２０２は車両画像選択部２１４のユーザインタフェースの一例であり、Ｃ３１は検索ＤＢ１０７からランダム抽出された車両画像の一覧であり、Ｇ９１はＣ３１の個々の車両画像に対応したチェックボックスであり、操作者から検索キーの選択を１つ以上受け取る。車両画像選択部２１４はＧ２０２に例を示したユーザインタフェース以外でも例えば、操作者が手持ちの画像をアップロードするような形式をとることができる。 In FIG. 13, a vehicle image selection unit 214 receives selection of a search key for a vehicle image from an operator. 14, G202 is an example of the user interface of the vehicle image selection unit 214, C31 is a list of vehicle images randomly extracted from the search DB 107, and G91 is a check box corresponding to each vehicle image of C31. , Receive one or more search key selections from the operator. For example, the vehicle image selection unit 214 can take a form in which the operator uploads an image on hand other than the user interface shown as an example in G202.

図１３において車両画像特徴抽出部２０７は、車両画像特徴抽出部１０２と同じ信号処理によって、車両画像選択部２１４で指定された車両画像Ｃ３１から画像特徴量を抽出する。 In FIG. 13, the vehicle image feature extraction unit 207 extracts an image feature amount from the vehicle image C31 specified by the vehicle image selection unit 214 by the same signal processing as the vehicle image feature extraction unit 102.

図１３において検索部１０８は、検索キーの画像特徴量と検索ＤＢ１０７中のデータの画像特徴量の類似度の計算の機能を数式１の画像特徴量の数Ｎを４として、画像特徴量の１番目の要素をプレート画像Ｃ１０およびＣ３０のテクスチャ、画像特徴量の２番目の要素をプレート画像Ｃ１０およびＣ３０の色、画像特徴量の３番目の要素を車両画像１５およびＣ３１のテクスチャ、画像特徴量の４番目の要素を車両画像１５およびＣ３１の色として類似度を計算する。検索ＤＢ１０７中のデータから類似度を計算した後の類似度のソートする機能および、類似度が高いデータのＩＤ７を出力する機能は実施例１と同一である。 In FIG. 13, the search unit 108 calculates the similarity between the image feature quantity of the search key and the image feature quantity of the data in the search DB 107 by setting the number N of the image feature quantities in Equation 1 to 4, and calculating 1 of the image feature quantities. The second element is the texture of the plate images C10 and C30, the second element of the image feature amount is the color of the plate images C10 and C30, and the third element of the image feature amount is the texture of the vehicle images 15 and C31, and the image feature amount The similarity is calculated with the fourth element as the color of the vehicle images 15 and C31. The function of sorting the similarity after calculating the similarity from the data in the search DB 107 and the function of outputting the ID 7 of the data with high similarity are the same as those in the first embodiment.

本発明の実施例２では、操作者は車番情報と車両画像の見え方を複合させた検索が可能となる。例えば、普通車の特定番号のナンバプレートを装着したトラックや、大きな角度で傾けた赤いスポーツカーなどの条件を操作者が指定して検索をすることが可能になる。 In the second embodiment of the present invention, the operator can search by combining the vehicle number information and the appearance of the vehicle image. For example, it is possible for the operator to search by specifying conditions such as a truck equipped with a number plate with a specific number of a normal car or a red sports car inclined at a large angle.

実施例３の機能構成を図１６に示す。図１６において、１０３，１０４，１０７，１０８，１０９，２１５，２２０の機能は実施例１と共通である。 FIG. 16 shows a functional configuration of the third embodiment. In FIG. 16, the functions of 103, 104, 107, 108, 109, 215 and 220 are the same as those in the first embodiment.

頻出探索条件指定部２１６は操作者から検索ＤＢ１０７中において、繰り返し出現する車両を探索する条件の指定を受け取る。 The frequent search condition designation unit 216 receives designation of a condition for searching for a vehicle that repeatedly appears in the search DB 107 from the operator.

図１７においてＧ３００は頻出探索条件指定部２１６の画面例であり、Ｇ３０１は検索ＤＢ１０７において頻出車両の候補を探す範囲を入力するテキストボックスであり、Ｇ３０２は頻出車両の出現を探索する範囲を入力するテキストボックスである。Ｇ３０２およびＧ３０２のテキストボックスで指定する範囲は日時，地点のほか、画像特徴量の値を直接してもよい。Ｇ３０３は頻出車両がＧ３０２で指定した範囲で何回出現するかを指定するテキストボックスである。Ｇ３０１の範囲はたとえばある１地点のカメラ１から正午前後に受信したデータであり、Ｇ３０２の範囲は前記地点と前記地点の周辺地点のカメラ１から正午から日没までに受信したデータである。 In FIG. 17, G300 is an example of a screen of the frequent search condition specifying unit 216, G301 is a text box for inputting a range for searching frequent vehicle candidates in the search DB 107, and G302 for inputting a range for searching for the appearance of frequent vehicles. It is a text box. The range designated by the text boxes of G302 and G302 may be the image feature value directly in addition to the date and time and the point. G303 is a text box for designating how many times a frequent vehicle appears within the range designated by G302. The range of G301 is, for example, data received after noon from a camera 1 at one point, and the range of G302 is data received from noon to sunset from the camera 1 at the point and its surrounding points.

Ｇ３０１，Ｇ３０２，Ｇ３０３のテキストボックスに入力がない場合には、管理ＤＢ１０９内のデフォルト値が入力されたものとする。あるいは、Ｇ３０１，Ｇ３０２，Ｇ３０３のうちひとつ以上はテキストボックスを設けず、管理ＤＢ１０９内のデフォルト値を使うようにしてもよい。 When there is no input in the text boxes of G301, G302, and G303, it is assumed that a default value in the management DB 109 has been input. Alternatively, one or more of G301, G302, and G303 may not be provided with a text box, and a default value in the management DB 109 may be used.

図１６において頻出車両抽出部２０５は、検索ＤＢ１０７に格納されたデータの中から、画像特徴量の集約度が高いデータを抽出する。図１８を用いて頻出車両抽出部２０５の処理を説明すると頻出車両抽出部２０５はまず、Ｇ３０１で指定された検索ＤＢ１０７中のＩＤ７を変えながら（Ｓ４０からＳ４３のループ）、Ｓ４０のループが指定するＩＤ７のプレート画像１０の画像特徴量を検索のキーとして、Ｇ３０２で指定された検索ＤＢ１０７の範囲を検索部１０８と等価な信号処理で類似度を計算し上位からソートする（Ｓ４１）。Ｓ４２はＳ４１で上位からソートされた類似度の集約度を、１位からＧ３０３で指定された順位までの平均値で計算する。 In FIG. 16, the frequent vehicle extraction unit 205 extracts data having a high degree of image feature aggregation from the data stored in the search DB 107. The processing of the frequent vehicle extraction unit 205 will be described with reference to FIG. 18. First, the frequent vehicle extraction unit 205 changes the ID 7 in the search DB 107 designated in G301 (S40 to S43 loop), and the S40 loop designates it. Using the image feature quantity of the plate image 10 of ID7 as a search key, the range of the search DB 107 specified in G302 is calculated by signal processing equivalent to the search unit 108 and sorted from the top (S41). In S42, the degree of aggregation of the similarities sorted from the top in S41 is calculated as an average value from the first rank to the rank specified in G303.

ここで検索部１０８の計算する類似度は検索キーと検索ＤＢ１０７のデータのプレート画像１０の色とテクスチャが近いほど高くなり、反対に検索部１０８の計算する類似度は検索キーと検索ＤＢ１０７のデータのプレート画像１０の色あるいはテクスチャが離れるほど低くなる。そこで、Ｓ４０のループが指定するＩＤ７の車両と同一の車両がＧ３０２の範囲内にいくつも含まれる場合には、Ｓ４１で計算する類似度の中には高いものがいくつか含まれるのでソートした上位には高い類似度が集中して、Ｓ４２が計算する集約度は高くなる。一方で、Ｓ４０のループが指定するＩＤ７の車両と同一の車両がＧ３０２の範囲内にひとつも含まれない場合には、Ｓ４１で計算する類似度はどれも低いのでソートした上位の類似度もいずれも低く、Ｓ４２が計算する集約度は低くなる。よって、Ｓ４２の集約度は、Ｓ４０のループが指定するＩＤ７の車両と同一の車両がＧ３０２の範囲で繰り返し出現する程度の基準とみなすことができる。 Here, the similarity calculated by the search unit 108 increases as the color and texture of the plate image 10 of the data in the search DB 107 are closer to the search key, and conversely, the similarity calculated by the search unit 108 is the data in the search key and the search DB 107. The lower the color or texture of the plate image 10 becomes, the lower it becomes. Therefore, when a number of vehicles identical to the ID7 vehicle specified by the loop of S40 are included in the range of G302, some of the similarities calculated in S41 include some of the higher ones. The high degree of similarity concentrates on and the degree of aggregation calculated by S42 becomes high. On the other hand, if none of the vehicles of ID7 specified by the loop of S40 is included in the range of G302, none of the similarities calculated in S41 is low, so the sorted upper similarity is either And the degree of aggregation calculated by S42 is low. Therefore, the degree of aggregation in S42 can be regarded as a reference to the extent that the same vehicle as ID7 specified by the loop in S40 repeatedly appears in the range of G302.

なお、Ｓ４２で計算する集約度は類似度の平均のほか、メジアンやモーメントのようなほかの統計量でも平均と同様の効果を発揮できる。 Note that the degree of aggregation calculated in S42 can exhibit the same effect as the average in the case of other statistics such as median and moment in addition to the average of the similarity.

Ｓ４４はＳ４０からＳ４３のループで計算されたＳ４２の集約度を高い順にソートして、集約度が高いデータのＩＤ７を上位から順番に出力する。 S44 sorts the aggregation level of S42 calculated in the loop from S40 to S43 in descending order, and outputs ID7 of data with the high aggregation level in order from the top.

頻出車両選択部２１７は、頻出車両抽出部２０５が出力した集約度が上位のデータを一覧表示し、操作者から検索のキーの指定を受ける。図１９においてＧ４００は頻出車両選択部２１７の画面の一例であり、Ｃ３２は頻出車両抽出部２０５が出力した集約度が高い順に左から右に表示したプレート画像１０の一覧表示、Ｇ９２は個々の頻出候補Ｃ３２に対応して操作者から検索キーの指定を受け取るチェックボックスである。図１９において、Ｃ３３はＣ３２の画像それぞれを検索キーとしてＳ４１で検索した検索結果を上位から順に上から下へ表示したものであり、Ｃ３３ａ，Ｃ３３ｂ，Ｃ３３ｃはそれぞれ、Ｃ３２ａ，Ｃ３２ｂ，Ｃ３３ｃの検索結果である。 The frequent vehicle selection unit 217 displays a list of data with the higher degree of aggregation output from the frequent vehicle extraction unit 205, and receives a search key designation from the operator. 19, G400 is an example of a screen of the frequent vehicle selection unit 217, C32 is a list display of the plate images 10 displayed from left to right in descending order of the degree of aggregation output from the frequent vehicle extraction unit 205, and G92 is an individual frequent display. This is a check box for receiving a search key designation from the operator corresponding to the candidate C32. In FIG. 19, C33 indicates the search results searched in S41 using the images of C32 as search keys in order from the top to the bottom, and C33a, C33b, and C33c are the search results of C32a, C32b, and C33c, respectively. It is.

検索結果Ｃ３３ａの１位，２位，３位いずれのプレート画像１０も検索キーとしたＣ３２ａと同一であり、一覧表示Ｃ３２の中にはＣ３２ａのように検索結果Ｃ３３の中にＣ３２と同じプレート画像１０が多数含まれるほどＳ４２の集約度が高く上位の左側に表示される傾向がある。検索結果Ｃ３３ｂの１位は検索キーとしたＣ３２ｂと同一のプレート画像１０であり残る２位，３位はＣ３２ｂと異なるプレート画像１０である。一覧表示Ｃ３２の中にはＣ３２ａのように検索結果Ｃ３３の中に同一のプレート画像１０が多数含まれるものの次に、検索結果Ｃ３３の中に少なくとも１つはＣ３２と同じものが含まれるものほどＳ４２の集約度が比較的高く上位の左側に表示される傾向がある。検索結果Ｃ３３ｃ中のどのプレート画像１０も検索キーとしたＣ３２ｃとは異なり、一覧表示Ｃ３２の中にはＣ３２ｃのように検索結果Ｃ３３ｃの中にＣ３２と同じプレート画像がひとつも含まれないものはＳ４２の集約度が低く下位の右側に表示される傾向にある。 The plate images 10 of the first, second and third positions of the search result C33a are the same as C32a as the search key, and the same plate image as C32 is included in the search result C33 in the list display C32 as in C32a. The more 10 are included, the higher the degree of aggregation in S42, and the higher the left-hand side tends to be displayed. The first result of the search result C33b is the same plate image 10 as C32b as the search key, and the second and third positions are the plate images 10 different from C32b. In the list display C32, a number of identical plate images 10 are included in the search result C33 as in C32a. Next, in the search result C33, at least one of the search results C33 includes the same as C32. Is relatively high and tends to be displayed on the upper left side. Unlike C32c using any plate image 10 in the search result C33c as a search key, the list display C32 does not contain any of the same plate images as C32 in the search result C33c as in C32c. Tends to be displayed on the lower right side.

頻出車両抽出部２０５は、操作者が確認するためにＣ４２のように頻出候補Ｃ３２の集約度を表示してもよい。また、頻出候補Ｃ３２や頻出候補の検索結果Ｃ３３の画像には、操作者が車両画像も確認できるように、Ｇ４００に示したプレート画像１０のほか車両画像１５やＧ２０１に例示したようなプレート画像１０と車両画像１５の組み合わせであってもよい。 The frequent vehicle extraction unit 205 may display the aggregation degree of the frequent appearance candidate C32 like C42 for the operator to confirm. In addition, in the images of frequent candidates C32 and frequent candidate search results C33, a plate image 10 as exemplified in the vehicle image 15 and G201 in addition to the plate image 10 shown in G400 so that the operator can also check the vehicle image. And the vehicle image 15 may be combined.

頻出車両抽出部２０５は、一覧表示３２の画像の数が多い場合にはスライドバーのようなユーザインタフェースにより表示する範囲を変えてもよい。また、表示画面のレイアウトを簡素にする場合には、頻出候補の検索結果Ｃ３３を省略してもよい。 The frequent vehicle extraction unit 205 may change the display range by a user interface such as a slide bar when the number of images in the list display 32 is large. Further, when simplifying the layout of the display screen, the frequent candidate search result C33 may be omitted.

実施例３において操作者は、頻出探索条件指定部２１６および頻出車両選択部２１７のインタフェースによって、プレート画像１０の画像特徴量の集約度を用いて検索ＤＢ１０７中でも繰り返し出現するデータに絞って検索キーを指定することが可能となる。 In the third embodiment, the operator uses the interface of the frequent search condition specifying unit 216 and the frequent vehicle selection unit 217 to narrow down the search key to the data that repeatedly appears in the search DB 107 using the image feature amount aggregation degree of the plate image 10. It can be specified.

本発明の実施例４の機能構成の概略を図２０に示す。図２０において、１０３，１０４，１０９，２１５，２２０の各機能は実施例１と同一であり、１０２，１０７，１０８の各機能は実施例２と同一であり、２１６，２１７の各機能は実施例３と同一である。 FIG. 20 shows an outline of a functional configuration according to the fourth embodiment of the present invention. In FIG. 20, the functions 103, 104, 109, 215, and 220 are the same as those in the first embodiment, the functions 102, 107, and 108 are the same as those in the second embodiment, and the functions 216 and 217 are performed. Same as Example 3.

図２０の頻出車両抽出部２０５はＳ４１の類似度およびＳ４２の集約度をプレート画像１０と車両画像１５の画像特徴量から計算する。 The frequent vehicle extraction unit 205 in FIG. 20 calculates the similarity in S41 and the aggregation in S42 from the image feature amounts of the plate image 10 and the vehicle image 15.

実施例４において操作者は、頻出探索条件指定部２１６および頻出車両選択部２１７のインタフェースによって、プレート画像１０と車両画像１５の画像特徴量の集約度を用いて検索ＤＢ１０７中でも繰り返し出現するデータに絞って検索キーを指定することが可能となる。 In the fourth embodiment, the operator uses the interface of the frequent search condition specifying unit 216 and the frequent vehicle selection unit 217 to narrow down data that repeatedly appears in the search DB 107 using the degree of aggregation of the image feature values of the plate image 10 and the vehicle image 15. The search key can be specified.

補足として実施例１および実施例２および実施例３および実施例４において、カメラ１からサーバ２へのデータ通信量および検索ＤＢ１０７の記録量を削減するために、カメラ１内の処理装置によってプレート画像切出し部１０３と同様の処理を実施して車両画像１５をプレート画像１０周辺にクリッピングしてもよい。あるいは上記と同様の処理をサーバ２内の処理装置で実施してもよい。 As a supplement, in the first embodiment, the second embodiment, the third embodiment, and the fourth embodiment, in order to reduce the data communication amount from the camera 1 to the server 2 and the recording amount of the search DB 107, a plate image is processed by the processing device in the camera 1. The vehicle image 15 may be clipped around the plate image 10 by performing the same processing as the cutout unit 103. Or you may implement the process similar to the above with the processing apparatus in the server 2. FIG.

補足として実施例１および実施例２および実施例３および実施例４において、検索部１０８の検索範囲を絞り込むために、カメラ１内の処理装置によって、ナンバプレート上の文字や車体色の自動認識等を行い、認識結果を車両画像１０と組にして検索ＤＢ１０７に蓄積しておき、操作者が検索するときに検索範囲指定部２１５において日時や地点にくわえて前記の自動認識結果で検索部１０８が検索する検索ＤＢ１０７の範囲を絞る構成をとってもよい。実施例３および実施例４では頻出探索条件指定部２１６のＧ３０１およびＧ３０２で指定する検索ＤＢ１０７の範囲に、前記の自動認識の結果を加えてもよい。また上記の自動認識の少なくとも一部をサーバ２の処理装置で実施してもよい。 As a supplement, in Example 1, Example 2, Example 3 and Example 4, in order to narrow down the search range of the search unit 108, automatic recognition of characters and body color on the number plate, etc. by the processing device in the camera 1 The search result is stored in the search DB 107 in combination with the vehicle image 10, and when the operator searches, the search range specifying unit 215 adds the date and time and the search unit 108 with the automatic recognition result. A configuration may be adopted in which the range of the search DB 107 to be searched is narrowed down. In the third and fourth embodiments, the result of the automatic recognition may be added to the range of the search DB 107 specified by G301 and G302 of the frequent search condition specifying unit 216. Moreover, you may implement at least one part of said automatic recognition with the processing apparatus of the server 2. FIG.

補足として実施例１および実施例２および実施例３および実施例４において検索部１０８の検索範囲を絞り込むために、カメラ１の周辺に赤外線方式による車両センサや照度センサ等の外部センサや自動料金収受装置の路側アンテナのような通信装置を設置しておき、外部センサのセンサ情報や通信情報をカメラ１の撮影画像と同期を取ってサーバ２に送信するとともに検索ＤＢ１０中にプレート画像１０と組にして蓄積しておき、操作者が検索するときに検索範囲指定部２１５において日時や地点にくわえて前記のセンサ情報や通信情報で検索部１０８が検索する範囲を絞る構成をとってもよい。実施例３および実施例４では頻出探索条件指定部２１６のＧ３０１およびＧ３０２で指定する検索ＤＢ１０７の範囲に、センサ情報あるいは通信情報を加えてもよい。 As a supplement, in order to narrow down the search range of the search unit 108 in the first embodiment, the second embodiment, the third embodiment, and the fourth embodiment, an external sensor such as an infra-red vehicle sensor or an illuminance sensor or automatic fee collection is provided around the camera 1. A communication device such as a roadside antenna of the device is installed, and sensor information and communication information of an external sensor are transmitted to the server 2 in synchronization with a captured image of the camera 1 and paired with the plate image 10 in the search DB 10. The search range specifying unit 215 may narrow down the search range by the search unit 108 using the sensor information and communication information in addition to the date and time when the operator searches. In the third and fourth embodiments, sensor information or communication information may be added to the range of the search DB 107 specified by G301 and G302 of the frequent search condition specifying unit 216.

補足として実施例１および実施例２および実施例３および実施例４において、カメラ１とサーバ２内の計算負荷の分散の観点から、カメラ１内の信号処理の一部以上をサーバ２で分担したり、プレート画像切出し部１０３やプレート画像特徴抽出部１０４，車両画像特徴抽出部１０２の処理の一部以上をカメラ１で分担してもよい。またサーバ２とクライアント３の計算負荷の分散の観点から、検索部１０８や検索ＤＢ１０７の一部以上をクライアント３で分担したり、プレート画像合成部２０１やプレート画像加工部２０２やプレート画像特徴抽出部２０４や車両画像特徴抽出部２０７や頻出車両抽出部２０５などの処理の一部以上を一部以上をサーバ２で分担してもよい。サーバ２内の全ての機能をカメラ１，クライアント３のいずれかひとつ以上で分担した場合、クライアント３の計算機がサーバ２を兼ねてもよい。 As a supplement, in the first embodiment, the second embodiment, the third embodiment, and the fourth embodiment, a part or more of signal processing in the camera 1 is shared by the server 2 from the viewpoint of distributing the calculation load in the camera 1 and the server 2. Alternatively, a part or more of the processing of the plate image cutout unit 103, the plate image feature extraction unit 104, and the vehicle image feature extraction unit 102 may be shared by the camera 1. Further, from the viewpoint of distributing the calculation load between the server 2 and the client 3, a part or more of the search unit 108 and the search DB 107 is shared by the client 3, or the plate image composition unit 201, the plate image processing unit 202, and the plate image feature extraction unit. The server 2 may share a part or more of processing such as 204, the vehicle image feature extraction unit 207, and the frequent vehicle extraction unit 205. When all the functions in the server 2 are shared by one or more of the camera 1 and the client 3, the computer of the client 3 may also serve as the server 2.

補足として実施例１および実施例２において説明したプレート合成指定部２１０，プレート加工指定部２１２，プレート画像選択部２１３，車両画像選択部２１４のユーザインタフェースはあくまで一例であり、Ｇ１をはじめとしたテキストボックスはプルダウンメニューなどのほかのユーザインタフェースに置き換え可能であり、Ｇ５をはじめとしたボタンはメニュー選択など他のユーザインタフェースに置き換え可能であり、Ｇ１１をはじめとしたチェックボックスも他のユーザインタフェースに置き換え可能である。また、プレート合成指定部２１０，プレート加工指定部２１２，プレート画像選択部２１３，車両画像選択部２１４，検索結果表示部２２０のうち１つ以上をまとめて１つの画面に構成してもよい。 As a supplement, the user interface of the plate composition specifying unit 210, the plate processing specifying unit 212, the plate image selecting unit 213, and the vehicle image selecting unit 214 described in the first and second embodiments is merely an example, and text including G1 is used. Boxes can be replaced with other user interfaces such as pull-down menus, buttons such as G5 can be replaced with other user interfaces such as menu selection, and check boxes such as G11 can also be replaced with other user interfaces. Is possible. Further, one or more of the plate composition designation unit 210, the plate processing designation unit 212, the plate image selection unit 213, the vehicle image selection unit 214, and the search result display unit 220 may be combined into a single screen.

ナンバプレートのような特定フォーマット上に特定の文字やマークが描画された識別タグを備えた物体一般の画像検索に適用することが可能である。 The present invention can be applied to general object image retrieval including an identification tag in which a specific character or mark is drawn on a specific format such as a number plate.

本発明の実施例１の機能構成の概略を示すブロック図である。It is a block diagram which shows the outline of a function structure of Example 1 of this invention. 本発明の実施例のプレート画像切出し部１０３を補足する図である。It is a figure which supplements the plate image cutting-out part 103 of the Example of this invention. 本発明の実施例のプレート画像合成指定部２１０のユーザインタフェースの一例である。It is an example of the user interface of the plate image composition designation | designated part 210 of the Example of this invention. 本発明の実施例のプレート画像合成部２０１のフローである。It is a flow of the plate image composition unit 201 of the embodiment of the present invention. 本発明の実施例のプレート画像合成部２０１が合成したプレート画像Ｃ１０の一例である。It is an example of the plate image C10 synthesized by the plate image synthesis unit 201 of the embodiment of the present invention. 本発明の実施例のプレート加工指定部２１１のユーザインタフェースの一例である。It is an example of the user interface of the plate process designation | designated part 211 of the Example of this invention. 本発明の実施例のプレート加工指定部２１１のユーザインタフェースの一例である。It is an example of the user interface of the plate process designation | designated part 211 of the Example of this invention. 本発明の実施例のプレート加工指定部２１１の傾きの指定を説明する図である。It is a figure explaining designation | designated of the inclination of the plate process designation | designated part 211 of the Example of this invention. 本発明の実施例のプレート画像加工部２０２のフローである。It is a flow of the plate image processing unit 202 of the embodiment of the present invention. 本発明の実施例のプレート画像選択部２１３のインタフェースの一例である。It is an example of the interface of the plate image selection part 213 of the Example of this invention. 本発明の実施例の検索結果表示部２２０の画面の一例である。It is an example of the screen of the search result display part 220 of the Example of this invention. 本発明の実施例の検索結果表示部２２０の画面のもうひとつの一例である。It is another example of the screen of the search result display part 220 of the Example of this invention. 本発明の実施例２の機能構成の概略を示すブロック図である。It is a block diagram which shows the outline of a function structure of Example 2 of this invention. 本発明の実施例の車両画像選択部２１４のインタフェース画面の一例である。It is an example of the interface screen of the vehicle image selection part 214 of the Example of this invention. 本発明の実施例の検索ＤＢ１０７が蓄積するデータを説明する図である。It is a figure explaining the data which search DB107 of the Example of this invention accumulate | stores. 本発明の実施例３の機能構成の概略を示すブロック図である。It is a block diagram which shows the outline of a function structure of Example 3 of this invention. 本発明の実施例の頻出探索条件指定部２１６のインタフェース画面の一例である。It is an example of the interface screen of the frequent search condition designation | designated part 216 of the Example of this invention. 本発明の実施例の頻出車両抽出部２０５のフローである。It is a flow of the frequent vehicle extraction part 205 of the Example of this invention. 本発明の実施例の頻出車両選択部２１７のインタフェース画面の一例である。It is an example of the interface screen of the frequent vehicle selection part 217 of the Example of this invention. 本発明の実施例４の機能構成の概略を示すブロック図である。It is a block diagram which shows the outline of a function structure of Example 4 of this invention. 本発明の実施例の字発光をＳ３０の加工を説明する図である。It is a figure explaining the process of S30 in the character light emission of the Example of this invention.

符号の説明Explanation of symbols

１カメラ
２サーバ
３クライアント
１０６特徴抽出部
１０７検索ＤＢ
１０８検索部
２０１プレート画像合成部
２０２プレート画像加工部
２０５頻出車両抽出部
２１７頻出車両選択部 1 Camera 2 Server 3 Client 106 Feature Extractor 107 Search DB
108 Searching Unit 201 Plate Image Combining Unit 202 Plate Image Processing Unit 205 Frequent Vehicle Extraction Unit 217 Frequent Vehicle Selection Unit

Claims

撮像手段，演算手段，記憶手段，通信手段を有するカメラと、演算手段，記憶手段，通信手段を有するサーバと、表示手段，入力手段，演算手段，通信手段を有する計算機と、を有する画像検索システムにおいて、
前記カメラは、ナンバプレートを含む画角で車両を撮影し、
前記サーバは、
画像からナンバプレートを切出すプレート画像切出し部と、
ナンバプレートの画像から画像特徴量を抽出するプレート画像特徴抽出部と、
少なくともナンバプレートの画像と画像特徴量とを組にして蓄積する検索データベースと、
検索データベース中から操作者が指定した画像と画像特徴量の類似度が高い画像を検索する検索部と、を備え、
前記計算機が、
操作者から検索対象の車番情報を受け取るプレート合成指定部と、
プレート合成指定部の受け取った合成条件に応じたナンバプレートの画像を合成するプレート画像合成部と、
合成したプレート画像を一覧表示して操作者の選択を受け取るプレート選択部と、
検索結果を表示する検索結果表示部とを備え、
前記ナンバプレート画像の合成において、前記ナンバプレート上の文字のフォントを陸支コードに応じて決定することを特徴とする画像検索システム。 Image retrieval system having a camera having an imaging means, a computing means, a storage means, a communication means, a server having a computing means, a storage means, a communication means, and a computer having a display means, an input means, a computing means, and a communication means In
The camera captures a vehicle at an angle of view including a number plate,
The server
A plate image cutout section for cutting out the number plate from the image;
A plate image feature extraction unit for extracting an image feature amount from the number plate image;
A search database that accumulates at least a number plate image and an image feature, and
A search unit for searching for an image having a high degree of similarity between an image specified by an operator and an image feature amount from a search database;
The calculator is
A plate composition designation unit that receives vehicle number information to be searched from an operator;
A plate image synthesizing unit that synthesizes a number plate image according to the synthesis condition received by the plate synthesis designation unit;
A plate selection unit that displays a list of synthesized plate images and receives an operator's selection;
A search result display unit for displaying the search results ,
In the synthesis of the number plate image, an image search system , wherein a font of characters on the number plate is determined according to a land code .

前記プレート画像合成部の合成したナンバプレート画像を加工する指定を操作者から受け取るプレート加工指定部と、
前記ナンバプレートを加工するプレート画像加工部と、
を備えることを特徴とする請求項１に記載の画像検索システム。 A plate processing designation unit that receives from the operator a designation for processing the number plate image synthesized by the plate image synthesis unit;
A plate image processing unit for processing the number plate;
The image search system according to claim 1, further comprising:

合成又は加工した前記ナンバプレートの画像の前記画像特徴量と、車両画像の画像特徴量とを複合させて検索することを特徴とする請求項１に記載の画像検索システム。 The image search system according to claim 1, wherein the image feature amount of the number plate image synthesized or processed and the image feature amount of the vehicle image are combined and searched.

前記プレート画像切出し部が、車両の画像から複数のナンバプレートの候補を切出すことを特徴とする請求項１に記載の画像検索システム。 The image search system according to claim 1, wherein the plate image cutout unit cuts out a plurality of number plate candidates from a vehicle image.

前記ナンバプレート画像の合成において、前記ナンバプレート上の文字のフォントを合成することを特徴とする請求項１に記載の画像検索システム。 The image search system according to claim 1, wherein in the synthesis of the number plate image, fonts of characters on the number plate are synthesized.

前記プレート加工指定部が、前記ナンバプレートの傾き，枠，カバー，字光式の少なくとも１つを加工することを特徴とする請求項２に記載の画像検索システム。 The image search system according to claim 2 , wherein the plate processing designation unit processes at least one of an inclination, a frame, a cover, and a light type of the number plate .