JP7177118B2

JP7177118B2 - Vehicle management device

Info

Publication number: JP7177118B2
Application number: JP2020073370A
Authority: JP
Inventors: 知己加藤
Original assignee: 大井電気株式会社
Priority date: 2020-04-16
Filing date: 2020-04-16
Publication date: 2022-11-22
Anticipated expiration: 2040-04-16
Also published as: JP2021170246A

Description

本発明は、車両管理装置に関し、特に、車両に対するトラッキングに基づく画像を記憶する技術に関する。 TECHNICAL FIELD The present invention relates to a vehicle management device, and more particularly to a technology for storing images based on vehicle tracking.

駐車場等において自動車のナンバープレートを記録する技術につき研究開発が行われている。例えば、以下の特許文献１には、駐車場に入庫した車両の画像を撮影し、その車両画像から車両ナンバーを読み取る駐車場管理システムが記載されている。この駐車場管理システムでは、車両ナンバー、車両画像および入庫時刻が関連付けて記録され、操作部に入力された車両ナンバーまたは入庫時刻との適合率が高い車両ナンバーに対応する車両画像が表示される。 Research and development are being carried out on technology for recording license plates of automobiles in parking lots and the like. For example, Patent Literature 1 below describes a parking lot management system that captures an image of a vehicle entering a parking lot and reads the vehicle number from the vehicle image. In this parking lot management system, a vehicle number, a vehicle image, and an entry time are recorded in association with each other, and the vehicle image corresponding to the vehicle number input to the operation unit or the vehicle number having a high matching rate with the entry time is displayed.

また、以下の特許文献２には、駐車車両のナンバープレートを撮影し、ナンバープレート部分から内容を認識する技術が記載されている。ナンバープレートに記載された総ての文字のうちの一部を認識することで、同一車両が駐車されているとの判定がされる。なお、特許文献３には、本願発明に関連する技術として、画像上の目標物を認識する技術が記載されている。 Further, Japanese Patent Laid-Open No. 2002-200010 describes a technique of photographing a license plate of a parked vehicle and recognizing the content from the license plate portion. By recognizing some of all the characters written on the license plate, it is determined that the same vehicle is parked. Note that Patent Document 3 describes a technique for recognizing a target on an image as a technique related to the present invention.

特開２０１８－２２３６６号公報JP 2018-22366 A 特開２０１８－４１３９８号公報JP 2018-41398 A 特開２０１９－２０７５２３号公報JP 2019-207523 A

複数の駐車位置のそれぞれにおいて車両のナンバープレート等、車両の特徴箇所を撮影し車両を管理する場合、複数の駐車位置のそれぞれにカメラが必要となり、車両を管理するシステムの構造が複雑になることがある。一方、駐車位置の数よりも少ない数のカメラで車両の特徴箇所を撮影し、車両を管理する場合には、車両の向きによっては特徴箇所を撮影することが不可能となる。 When managing a vehicle by photographing features of the vehicle such as the license plate at each of the parking positions, a camera is required at each of the parking positions, which complicates the structure of the vehicle management system. There is On the other hand, in the case of managing the vehicle by photographing the characteristic points of the vehicle with a number of cameras smaller than the number of parking positions, it becomes impossible to photograph the characteristic points depending on the orientation of the vehicle.

本発明の目的は、簡単な構成で車両を管理することである。 An object of the present invention is to manage vehicles with a simple configuration.

本発明は、車両の画像を時間経過と共に順次撮影する撮像器と、前記撮像器から時間経過と共に順次出力される画像フレームに対して前記車両を追跡するトラッキング処理であって、前記撮像器から画像フレームが取得されるごとに、前記車両の幾何学的情報が得られるトラッキング処理を実行する演算器と、を備え、前記演算器は、先に前記撮像器から取得され記憶された管理画像フレームに対して得られた前記幾何学的情報と、新たに取得された画像フレームである最新画像フレームに対して得られた前記幾何学的情報とに基づいて、前記最新画像フレームの良否を判定する処理と、前記最新画像フレームが良好であると判定されたときに、前記最新画像フレームを新たに前記管理画像フレームとして記憶する処理と、を実行することを特徴とする。 The present invention provides an imaging device that sequentially captures images of a vehicle over time, and tracking processing that tracks the vehicle with respect to image frames that are sequentially output from the imaging device over time. a computing unit that performs tracking processing for obtaining geometric information of the vehicle each time a frame is acquired, wherein the computing unit stores the management image frame previously acquired from the imaging device and stored. Determining whether the latest image frame is good or bad based on the geometric information obtained with respect to the latest image frame and the geometric information obtained with respect to the latest image frame, which is a newly acquired image frame. and a process of newly storing the latest image frame as the management image frame when it is determined that the latest image frame is good.

望ましくは、前記最新画像フレームの良否を判定する処理は、前記最新画像フレームによって前記車両のナンバープレートが示される可能性があるときに、前記最新画像フレームが良好であると判定する処理を含む。 Preferably, the process of judging whether the latest image frame is good or bad includes judging that the latest image frame is good when the latest image frame may indicate the license plate of the vehicle.

望ましくは、前記最新画像フレームの良否を判定する処理は、前記管理画像フレームに対して得られた前記幾何学的情報に基づいて、前記車両が進行する方向に関する第１の進行方向指標を求める処理と、前記最新画像フレームに対して得られた前記幾何学的情報に基づいて、前記車両が進行する方向に関する第２の進行方向指標を求める処理と、前記第１の進行方向指標と前記第２の進行方向指標との比較に基づいて、前記最新画像フレームの良否を判定する処理と、を含む。 Preferably, the process of judging whether the latest image frame is good or bad is a process of obtaining a first traveling direction index relating to the direction in which the vehicle travels, based on the geometric information obtained for the management image frame. a process of obtaining a second traveling direction index relating to the traveling direction of the vehicle based on the geometric information obtained for the latest image frame; and determining whether the latest image frame is good or bad based on a comparison with the traveling direction indicator.

望ましくは、前記第１の進行方向指標は、前記管理画像フレームが示す画像に前記車両の前面または背面が現れる可能性を示し、前記第２の進行方向指標は、前記最新画像フレームが示す画像に前記車両の前面または背面が現れる可能性を示す。 Desirably, the first direction-of-travel indicator indicates a possibility that the front or rear of the vehicle will appear in the image indicated by the management image frame, and the second direction-of-travel indicator indicates a possibility that the image indicated by the latest image frame will appear. Indicates the possibility that the front or back of the vehicle will appear.

望ましくは、前記幾何学的情報は、前記車両が存在する画像上の領域を示す情報を含み、前記最新画像フレームの良否を判定する処理は、前記車両が存在する領域が、予め定められた判定枠の内側にないときに、前記最新画像フレームが良好でないと判定する処理を含む。 Desirably, the geometric information includes information indicating an area on the image where the vehicle exists, and the process of judging whether the latest image frame is good or bad is performed by determining whether the area where the vehicle exists is determined in advance. The process includes determining that the current image frame is not good when it is not inside the frame.

望ましくは、前記幾何学的情報は、前記車両とは異なる他車両が存在する画像上の領域を示す情報を含み、前記最新画像フレームの良否を判定する処理は、前記撮像器から見て前記車両の視界を遮る他車両が存在するか否かを判定する処理と、前記撮像器から見て前記車両の視界を遮る他車両が存在するときに、前記最新画像フレームが良好でないと判定する処理と、を含む。 Desirably, the geometric information includes information indicating an area on the image in which another vehicle different from the vehicle exists, and the processing for determining whether the latest image frame is good or bad is performed by the vehicle viewed from the imaging device. a process of determining whether or not there is another vehicle blocking the view of the vehicle, and a process of determining that the latest image frame is not good when there is another vehicle blocking the view of the vehicle viewed from the imaging device ,including.

望ましくは、無線器を備える前記車両管理装置において、前記演算器は、前記トラッキング処理を開始または終了させるイベントが生じたときに、前記管理画像フレームを前記無線器に送信させる。 Preferably, in the vehicle management apparatus provided with a wireless device, the calculator causes the wireless device to transmit the management image frame when an event for starting or ending the tracking process occurs.

本発明によれば、簡単な構成で車両を管理することができる。 According to the present invention, vehicles can be managed with a simple configuration.

車両管理システムの構成を示す図である。It is a figure which shows the structure of a vehicle management system. 車両管理装置の構成を示す図である。It is a figure which shows the structure of a vehicle management apparatus. トラッキング処理で認識される自動車を概念的に示す図である。FIG. 2 is a diagram conceptually showing a car recognized by tracking processing; ２つのバウンディングボックスと判定枠を模式的に示す図である。FIG. 4 is a diagram schematically showing two bounding boxes and a judgment frame; ２つの自動車に対して求められた各バウンディングボックスを模式的に示す図である。FIG. 4 is a diagram schematically showing each bounding box obtained for two cars; 自動車の右側面、左側面、正面および背面が画像に表されている場合における移動ベクトルの様子を示す図である。FIG. 4 is a diagram showing movement vectors when the right side, the left side, the front, and the back of an automobile are represented in an image; 公道、駐車場および自動車を示す図である。1 shows a public road, a parking lot and a car; FIG. 入退場判定を説明するための撮影視野を示す図である。It is a figure which shows the imaging|photography visual field for demonstrating entrance/exit determination.

（１）車両管理システムの構成
図１には、本発明の実施形態に係る車両管理システム１の構成が示されている。車両管理システム１は、車両管理装置１０および基地局１２を備えている。車両管理装置１０は、駐車場１４内または駐車場１４の傍らに設置されている。車両管理装置１０は、時間経過と共に順次、駐車場１４内を移動する自動車１６（車両）の画像を撮影する。そして、時間経過と共に順次撮影された画像のうち、自動車１６のナンバープレートが示されている可能性が高い管理画像を、基地局１２に無線送信する。 (1) Configuration of Vehicle Management System FIG. 1 shows the configuration of a vehicle management system 1 according to an embodiment of the present invention. A vehicle management system 1 includes a vehicle management device 10 and a base station 12 . The vehicle management device 10 is installed in the parking lot 14 or beside the parking lot 14 . The vehicle management device 10 sequentially captures images of automobiles 16 (vehicles) moving in the parking lot 14 over time. Then, among the images sequentially photographed over time, a management image that is highly likely to show the license plate of the automobile 16 is wirelessly transmitted to the base station 12 .

また、車両管理装置１０は、自動車１６のナンバープレートに記載されているナンバーを管理画像から認識すると共に、自動車１６が駐車場１４に入場した時刻または駐車場１４から退場した時刻（以下、入場／退場時刻という）を後述の処理によって計測する。車両管理装置１０は、自動車１６のナンバーおよび入場／退場時刻を管理画像と共に、あるいは、管理画像とは別に基地局１２に無線送信する。基地局１２は、管理画像、ナンバーおよび入場／退場時刻を対応付けて記憶する。 The vehicle management device 10 also recognizes the number printed on the license plate of the vehicle 16 from the management image, and also the time when the vehicle 16 enters the parking lot 14 or exits the parking lot 14 (hereinafter referred to as entry/exit time). exit time) is measured by a process described later. The vehicle management device 10 wirelessly transmits the license plate number and entry/exit time of the vehicle 16 to the base station 12 together with the management image or separately from the management image. The base station 12 associates and stores the management image, number and entry/exit time.

ここでは、車両管理装置１０と基地局１２との間で無線通信が行われる実施形態が示されているが、車両管理装置１０と基地局１２とが通信線で接続され、車両管理装置１０と基地局１２との間で有線通信が行われてもよい。 Although an embodiment in which wireless communication is performed between the vehicle management device 10 and the base station 12 is shown here, the vehicle management device 10 and the base station 12 are connected by a communication line, Wired communication may be performed with the base station 12 .

（２）車両管理装置の構成および車両管理装置が実行する処理
（２－１）車両管理装置の構成
図２には、車両管理装置１０の構成が示されている。車両管理装置１０は、撮像器２４、演算器１８、記憶デバイス２２および無線器２０を備えている。撮像器２４はカメラを備えている。演算器１８は、記憶デバイス２２に記憶されているプログラムを実行するプロセッサによって構成されてよい。記憶デバイス２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のデバイスであってよい。また、記憶デバイス２２はハードディスク等の記憶媒体であってよい。また、記憶デバイスは２２、インターネット等のネットワークを構成する複数のコンピュータによって構成される、ネットワーク上のストレージであってもよい。 (2) Configuration of Vehicle Management Device and Processing Executed by Vehicle Management Device (2-1) Configuration of Vehicle Management Device FIG. 2 shows the configuration of the vehicle management device 10 . The vehicle management device 10 includes an imaging device 24 , a calculator 18 , a storage device 22 and a wireless device 20 . The imager 24 has a camera. Arithmetic unit 18 may be configured by a processor that executes a program stored in storage device 22 . The storage device 22 may be a device such as RAM (Random Access Memory) or ROM (Read Only Memory). Also, the storage device 22 may be a storage medium such as a hard disk. Also, the storage device 22 may be a storage on a network configured by a plurality of computers forming a network such as the Internet.

撮像器２４は、駐車場の画像を時間経過と共に順次撮影し、撮影によって得られる画像フレームを時間経過と共に順次、演算器１８に出力する。演算器１８は、画像フレームを時間経過と共に順次撮像器２４から取得し、各画像フレームに対してトラッキング処理を実行する。トラッキング処理は、新たに画像フレームが取得されるごとに、その新たに取得された最新画像フレームが示す画像における目標物の位置を追跡する処理である。トラッキング処理については、例えば、上記の特許文献３に「目標物を認識する処理」として記載されている。 The imaging device 24 sequentially captures images of the parking lot over time, and sequentially outputs image frames obtained by capturing to the computing unit 18 over time. The arithmetic unit 18 sequentially acquires image frames from the image pickup device 24 over time, and performs tracking processing on each image frame. The tracking process is a process of tracking the position of the target in the image indicated by the newly acquired latest image frame each time an image frame is newly acquired. The tracking process is described, for example, in the above-mentioned Patent Document 3 as "a process of recognizing a target object".

（２－２）トラッキング処理
目標物を自動車とするトラッキング処理は、例えば、次のようにして実行される。演算器１８は、各画像フレームが示す画像から、自動車である可能性を示す尤度が所定の閾値を超える物体を認識する。この処理は、記憶デバイス２２に予め記憶されたデータベースに基づいて実行される。以下の説明では、自動車である可能性を示す尤度が所定の閾値を超える物体を認識することを、単に自動車を認識するという。トラッキング処理によれば、自動車が存在する領域を示すバウンディングボックスの位置情報が、各画像フレームで認識された自動車に対する幾何学的情報として求められる。 (2-2) Tracking Processing The tracking processing with a vehicle as a target is executed as follows, for example. The computing unit 18 recognizes an object whose likelihood of being an automobile exceeds a predetermined threshold from the image represented by each image frame. This processing is executed based on a database pre-stored in the storage device 22 . In the following description, recognizing an object whose likelihood of being an automobile exceeds a predetermined threshold is simply referred to as recognizing an automobile. According to the tracking process, the positional information of the bounding box indicating the area where the vehicle exists is obtained as the geometric information for the vehicle recognized in each image frame.

本実施形態では、バウンディングボックスの形状は各辺が画像周辺の各辺と平行な矩形である。バウンディングボックスの位置情報は、ｘ座標値およびｙ座標値が最小となる最小座標値（ｘｍｉｎ，ｙｍｉｎ）と、ｘ座標値およびｙ座標値が最大となる最大座標値（ｘｍａｘ，ｙｍａｘ）を含む情報であってよい。ただし、ｘ座標値およびｙ座標値は、画像フレームが示す画像上に定義された直交するｘ軸およびｙ軸上での座標値である。ｘｙ座標は画像の左上の角を原点とする。ｘ軸の正方向は右方向であり、ｙ軸の正方向は下方向である。 In this embodiment, the shape of the bounding box is a rectangle with each side parallel to each side of the image periphery. The positional information of the bounding box is information including the minimum coordinate value (xmin, ymin) at which the x-coordinate value and y-coordinate value are minimum and the maximum coordinate value (xmax, ymax) at which the x-coordinate value and y-coordinate value are maximum. can be However, the x-coordinate value and the y-coordinate value are coordinate values on the orthogonal x-axis and y-axis defined on the image represented by the image frame. The origin of the xy coordinates is the upper left corner of the image. The positive direction of the x-axis is to the right and the positive direction of the y-axis is downward.

図３には、トラッキング処理で認識される自動車Ｔ１～Ｔ４が概念的に示されている。この図では、目標物としての自動車Ｔ１～Ｔ４が撮影視野３０内に示されている。自動車Ｔ１は、最も先に取得された第１の画像フレームが示す画像上で認識された自動車であり、自動車Ｔ２はその次に取得された第２の画像フレームが示す画像上で認識された自動車である。自動車Ｔ３は、第２の画像フレームの次に取得された第３の画像フレームが示す画像上で認識された自動車であり、自動車Ｔ４は、その次に取得された第４の画像フレームが示す画像上で認識された自動車である。自動車Ｔ１～Ｔ４に対しては、それぞれ、自動車の位置および走行方向に応じて位置および大きさが異なるバウンディングボックスＢ１～Ｂ４が描かれている。バウンディングボックスのｘ軸方向の占有範囲は、画像上で認識された自動車がｘ軸へ投影される範囲であり、バウンディングボックスのｙ軸方向の占有範囲は、画像上で認識された自動車がｙ軸へ投影される範囲である。なお、図３では、説明の便宜上、１フレーム周期で自動車が移動する距離、すなわち、隣接する自動車間の距離が誇張して描かれている。実際の１フレーム周期では、１フレーム周期で自動車が移動する距離は図３に示されている距離よりも短い。 FIG. 3 conceptually shows automobiles T1 to T4 recognized by the tracking process. In this figure, automobiles T1 to T4 as targets are shown within the field of view 30. FIG. The vehicle T1 is the vehicle recognized on the image indicated by the first image frame acquired first, and the vehicle T2 is the vehicle recognized on the image shown by the second image frame acquired next. is. The car T3 is the car recognized on the image shown by the third image frame acquired after the second image frame, and the car T4 is the image shown by the fourth image frame acquired next. The car recognized above. Bounding boxes B1 to B4 whose positions and sizes differ according to the position and direction of travel of the automobiles T1 to T4 are drawn for the automobiles T1 to T4, respectively. The range occupied by the bounding box in the x-axis direction is the range in which the car recognized on the image is projected onto the x-axis, and the range occupied by the bounding box in the y-axis direction is the range in which the car recognized on the image is projected on the y-axis. is the range projected to In FIG. 3, for convenience of explanation, the distance traveled by a vehicle in one frame cycle, that is, the distance between adjacent vehicles is exaggerated. In an actual one frame period, the distance traveled by the car in one frame period is shorter than the distance shown in FIG.

（２－３）複数台の自動車を目標物とするトラッキング処理
上記では、１台の自動車を目標物とするトラッキング処理が示されたが、トラッキング処理では、複数台の自動車が目標物とされてよい。以下の説明では、目標物としての複数の自動車のうち１台の自動車を管理対象の自動車とする処理が取り上げられる。複数台の自動車を管理対象とする場合には、管理対象の複数の自動車のそれぞれに対し、１台の自動車を管理対象の自動車とする処理が実行される。 (2-3) Tracking processing with multiple vehicles as targets In the above, tracking processing with one vehicle as the target was shown, but in tracking processing, multiple vehicles are used as targets. good. In the following description, a process of setting one vehicle among a plurality of vehicles as targets to be a vehicle to be managed will be taken up. When a plurality of vehicles are to be managed, a process for setting one vehicle to be managed is executed for each of the plurality of vehicles to be managed.

（３）良否判定処理（位置判定、他車両重なり判定、および移動ベクトル演算判定）
演算器１８は、撮像器２４から新たに画像フレームが取得されるごとに、その最新画像フレームに対する良否判定処理を実行する。この良否判定処理は、画像上にナンバープレートが示される可能性があるときに、画像フレームが良好であると判定する処理である。良否判定処理において、演算器１８は、（ｉ）位置判定、（ｉｉ）他車両重なり判定、および（ｉｉｉ）移動ベクトル演算判定を行う。ここでは、位置判定、他車両重なり判定および移動ベクトル演算判定の概要について述べる。 (3) Good/bad judgment processing (position judgment, other vehicle overlap judgment, and movement vector calculation judgment)
Each time a new image frame is acquired from the imaging device 24, the computing unit 18 executes pass/fail determination processing for the latest image frame. This good/bad judgment processing is processing for judging that an image frame is good when there is a possibility that a license plate is shown on the image. In the pass/fail determination process, the calculator 18 performs (i) position determination, (ii) other vehicle overlap determination, and (iii) motion vector calculation determination. Here, outlines of position determination, other vehicle overlap determination, and motion vector calculation determination will be described.

位置判定では、画像フレームにおいて認識された自動車のバウンディングボックスが、撮影視野内に定義された判定枠の内側にあるか否かが判定される。判定枠は、撮影視野の外周と同一の矩形状の枠であってもよいし、撮影視野内に定義された矩形状の枠であってもよい。演算器１８は、位置判定によって、バウンディングボックスが判定枠の内側にない旨の枠外判定、あるいは、バウンディングボックスが判定枠の内側にある旨の枠内判定をする。枠外判定がされたときは、ナンバープレートが画像に現れている可能性が低い。 Position determination determines whether the bounding box of the vehicle recognized in the image frame is inside a determination frame defined within the field of view. The determination frame may be a rectangular frame that is the same as the outer periphery of the imaging field of view, or may be a rectangular frame defined within the imaging field of view. Based on the position determination, the calculator 18 makes an out-of-frame determination that the bounding box is not inside the determination frame, or an inside-frame determination that the bounding box is inside the determination frame. When the out-of-frame determination is made, the possibility that the license plate appears in the image is low.

他車両重なり判定では、撮像器２４から見て、管理対象となっている自動車までの視界を遮る他自動車（以下、オーバーラップ自動車という）が存在するか否かが判定される。演算器１８は、オーバーラップ自動車が存在するときは重なり判定をし、オーバーラップ自動車が存在しないときは非重なり判定をする。非重なり判定がされたときは、ナンバープレートが画像に現れている可能性が低い。 In other vehicle overlap determination, it is determined whether or not there is another vehicle (hereinafter referred to as an overlapping vehicle) that obstructs the field of view of the vehicle to be managed from the imaging device 24 . The computing unit 18 makes an overlap judgment when there is an overlapping automobile, and makes a non-overlap judgment when there is no overlapping automobile. When a non-overlapping determination is made, it is unlikely that the license plate appears in the image.

移動ベクトル演算判定では、最新画像フレームより１フレームだけ前に取得された画像フレームである先行画像フレームを基準として、最新画像フレームについて求められたバウンディングボックスの移動ベクトル（ｘｄｉｆｆ，ｙｄｉｆｆ）が求められる。演算器１８は、移動ベクトル演算判定において、さらに、進行方向指標ｒ＝｜ｙｄｉｆｆ／ｘｄｉｆｆ｜を求める。進行方向指標ｒは、最新画像フレームにおいて認識された自動車の前面または背面が画像に現れている可能性を示す。進行方向指標ｒが大きい程、自動車の前面または背面が画像に現れている可能性が高く、ナンバープレートが画像に現れている可能性が高い。なお、進行方向指標ｒは、後述するその他の定義に基づいて求められてもよい。 In motion vector calculation determination, the motion vector (xdiff, ydiff) of the bounding box obtained for the latest image frame is obtained with reference to the preceding image frame, which is an image frame obtained one frame before the latest image frame. The computing unit 18 also obtains a traveling direction index r=|ydiff/xdiff| in the motion vector calculation determination. The heading index r indicates the likelihood that the front or rear of the car recognized in the most recent image frame appears in the image. The larger the traveling direction index r, the higher the possibility that the front or back of the car appears in the image, and the higher the possibility that the license plate appears in the image. Note that the traveling direction index r may be obtained based on other definitions described later.

上記の良否判定処理によって、位置判定の結果を示す情報、他車両重なり判定の結果を示す情報、および移動ベクトル演算判定の結果を示す情報が、良否判定情報として得られる。なお、位置判定、他車両重なり判定および移動ベクトル演算判定の詳細については後述する。 Information indicating the result of the position determination, information indicating the result of the other vehicle overlap determination, and information indicating the result of the movement vector calculation determination are obtained as the quality determination information by the above quality determination processing. Details of position determination, other vehicle overlap determination, and motion vector calculation determination will be described later.

ここでは、最新画像フレームが撮像器２４から取得されるときに、先に取得された画像フレームに基づく管理画像フレームと、その管理画像フレームに対する良否判定処理によって得られた良否判定情報が、記憶デバイス２２に記憶されているものとする。 Here, when the latest image frame is acquired from the imaging device 24, the management image frame based on the previously acquired image frame and the quality judgment information obtained by the quality judgment processing for the management image frame are stored in the storage device. 22 is stored.

演算器１８は、最新画像フレーム対する位置判定において枠外判定をした場合、または最新画像フレームに対する他車両重なり判定において重なり判定をした場合には、管理画像フレームと、その参照フレームに対する良否判定情報が記憶デバイス２２に記憶された状態を維持する。そして、次の最新画像フレームについて良否判定処理を実行する。このように、演算器１８が、最新画像フレーム対する位置判定において枠外判定をした場合、または最新画像フレームに対する他車両重なり判定において重なり判定をした場合は、演算器１８が、最新画像フレームが良好でないと判定した場合に相当する。 The computing unit 18 stores the management image frame and the pass/fail judgment information for the reference frame when the out-of-frame judgment is made in the position judgment for the latest image frame, or when the overlap judgment is made in the other vehicle overlap judgment for the latest image frame. Maintain the state stored in the device 22 . Then, quality determination processing is executed for the next latest image frame. In this way, if the computing unit 18 makes an out-of-frame determination in the position determination for the latest image frame, or if it makes an overlapping determination in the other vehicle overlap determination for the latest image frame, the computing unit 18 determines that the latest image frame is not good. This corresponds to the case where it is determined that

演算器１８は、最新画像フレーム対する位置判定において枠内判定をし、かつ、最新画像フレーム対する他車両重なり判定において非重なり判定をした場合には、最新画像フレームに対する移動ベクトル演算判定を実行し、進行方向指標ｒを求める。演算器１８は、記憶デバイス２２に記憶されている管理画像フレームに対する進行方向指標ｒ０（第１の進行方向指標）と、最新画像フレームに対して求められた進行方向指標ｒ（第２の進行方向指標）とを比較する。 If the position determination for the latest image frame is determined to be within the frame, and the other vehicle overlap determination for the latest image frame is determined to be non-overlapping, the computing unit 18 performs movement vector calculation determination for the latest image frame, A traveling direction index r is obtained. The calculator 18 calculates the traveling direction index r0 (first traveling direction index) for the management image frame stored in the storage device 22 and the traveling direction index r (second traveling direction index) obtained for the latest image frame. index).

演算器１８は、進行方向指標ｒ０が、進行方向指標ｒ以上であるときは、管理画像フレームと、その管理画像フレームに対する良否判定情報が記憶デバイス２２に記憶された状態を維持する。そして、次の最新画像フレームについて良否判定処理を実行する。 When the traveling direction index r0 is greater than or equal to the traveling direction index r, the arithmetic unit 18 maintains a state in which the management image frame and the pass/fail judgment information for the management image frame are stored in the storage device 22 . Then, quality determination processing is executed for the next latest image frame.

他方、演算器１８は、進行方向指標ｒ０が進行方向指標ｒ未満であるときは、先に記憶されていた管理画像フレームに代えて、最新画像フレームを新たな管理画像フレームとして記憶デバイス２２に記憶する。演算器１８は、さらに、先に記憶されていた良否判定情報に代えて、最新画像フレームに対する良否判定情報を記憶デバイス２２に記憶する。このように、演算器１８が、最新画像フレーム対する位置判定において枠内判定をし、かつ、最新画像フレーム対する他車両重なり判定において非重なり判定をし、さらに、進行方向指標ｒ０が、進行方向指標ｒ未満であると判定した場合は、演算器１８が、最新画像フレームが良好であると判定したことに相当する。 On the other hand, when the traveling direction index r0 is less than the traveling direction index r, the calculator 18 stores the latest image frame in the storage device 22 as a new management image frame instead of the previously stored management image frame. do. The computing unit 18 further stores the pass/fail judgment information for the latest image frame in the storage device 22 instead of the pass/fail judgment information previously stored. In this way, the computing unit 18 performs an in-frame determination in the position determination for the latest image frame, and a non-overlapping determination in the other vehicle overlap determination for the latest image frame. If it is determined to be less than r, it corresponds to the computing unit 18 determining that the latest image frame is good.

このような処理によれば、最新画像フレームが良好であると演算器１８が判定したときに、演算器１８は、最新画像フレームを管理画像フレームとして記憶デバイス２２に記憶する。これによって、時間経過と共に順次、撮像器２４から取得される画像フレームから、ナンバープレートが表されている可能性がある画像フレームが選択され、記憶デバイス２２に記憶される。 According to such processing, when the calculator 18 determines that the latest image frame is good, the calculator 18 stores the latest image frame in the storage device 22 as a management image frame. As a result, image frames that may represent the license plate are sequentially selected from the image frames acquired from the imaging device 24 over time and stored in the storage device 22 .

なお、上記では、位置判定、他車両重なり判定、および移動ベクトル演算判定を組み合わせて良否判定処理が行われる実施形態が示された。良否判定処理は、位置判定、他車両重なり判定、および移動ベクトル演算判定のうち少なくとも１つを実行することで行われてもよい。複数の判定が組み合わされた場合、総ての判定において、最新画像フレームによって示される画像にナンバープレートが表されている可能性があると判定された場合に（最新画像フレームによって示される画像が良好であると判定された場合に）、最新画像フレームが管理画像フレームとして、その良否判定情報と共に記憶される。 In the above description, an embodiment has been described in which the quality determination process is performed by combining position determination, other vehicle overlap determination, and motion vector calculation determination. The pass/fail determination process may be performed by executing at least one of position determination, other vehicle overlap determination, and motion vector calculation determination. When multiple judgments are combined, if all judgments determine that the image shown by the latest image frame may represent a license plate (the image shown by the latest image frame is good) ), the latest image frame is stored as a management image frame together with its pass/fail judgment information.

また、上記では、最新画像フレームが撮像器２４から取得されるときに、先に取得された画像フレームに基づく管理画像フレームと、その管理画像フレームに対する良否判定処理によって得られた良否判定情報が、記憶デバイス２２に記憶されている場合について説明した。最新画像フレームが最初に撮像器２４から取得された画像フレームであり、管理画像フレームおよびその良否判定情報が記憶デバイス２２に記憶されていないときは、予め定められた初期の画像フレームおよび初期の良否判定情報が記憶デバイス２２に記憶されている。 Further, in the above, when the latest image frame is acquired from the imaging device 24, the management image frame based on the previously acquired image frame and the pass/fail judgment information obtained by pass/fail judgment processing for the management image frame are: The case of being stored in the storage device 22 has been described. When the latest image frame is the image frame first acquired from the imaging device 24, and the management image frame and its pass/fail determination information are not stored in the storage device 22, a predetermined initial image frame and initial pass/fail Determination information is stored in the storage device 22 .

（４）位置判定
位置判定について詳細に説明する。位置判定では、画像フレームにおいて認識された自動車のバウンディングボックスが、撮影視野内に定義された判定枠の中に入っているか否かが判定される。図４には、２つのバウンディングボックス３６－１および３６－２と、判定枠４０が模式的に示されている。判定枠４０は、最小座標値を（ｃｕｔｉｎ_ｘｍｉｎ，ｃｕｔｉｎ_ｙｍｉｎ）とし、最大座標値を（ｃｕｔｉｎ_ｘｍａｘ，ｃｕｔｉｎ_ｙｍａｘ）とする矩形の枠である。 (4) Position determination Position determination will be described in detail. In the position determination, it is determined whether the bounding box of the vehicle recognized in the image frame is within the determination frame defined within the field of view. FIG. 4 schematically shows two bounding boxes 36-1 and 36-2 and a judgment frame 40. As shown in FIG. The determination frame 40 is a rectangular frame whose minimum coordinate value is (cutin_xmin, cutin_ymin) and whose maximum coordinate value is (cutin_xmax, cutin_ymax).

演算器１８は、以下の条件（Ｃ１）が成立するときは、バウンディングボックスが、判定枠４０の内側にある旨の枠内判定をする。一方、演算器１８は、条件（Ｃ１）が成立しないときは、バウンディングボックスが判定枠４０の内側にない旨の枠外判定をする。 When the following condition (C1) is satisfied, the arithmetic unit 18 makes an in-frame determination that the bounding box is inside the determination frame 40 . On the other hand, when the condition (C1) is not satisfied, the computing unit 18 makes an out-of-frame determination that the bounding box is not inside the determination frame 40 .

（Ｃ１）ｃｕｔｉｎ＿ｘｍｉｎ＜ｘｍｉｎ、かつ、ｘｍａｘ＜ｃｕｔｉｎ＿ｘｍａｘ、かつ、ｃｕｔｉｎ＿ｙｍｉｎ＜ｙｍｉｎ、かつ、ｙｍａｘ＜ｃｕｔｉｎ＿ｙｍａｘ (C1) cutin_xmin<xmin and xmax<cutin_xmax and cutin_ymin<ymin and ymax<cutin_ymax

例えば、バウンディングボックス３６－２については条件（Ｃ１）が成立しないため、演算器１８は、バウンディングボックス３６－２が求められた画像フレームに対しては枠外判定をする。一方、バウンディングボックス３６－１については条件（Ｃ１）が成立するため、演算器１８は、バウンディングボックス３６－１が求められた画像フレームに対しては枠内判定をする。 For example, since the condition (C1) is not satisfied for the bounding box 36-2, the computing unit 18 makes an out-of-frame determination for the image frame for which the bounding box 36-2 is obtained. On the other hand, since the condition (C1) is satisfied for the bounding box 36-1, the computing unit 18 performs the inside-of-frame determination for the image frame for which the bounding box 36-1 is obtained.

（５）他車両重なり判定
他車両重なり判定について詳細に説明する。他車両重なり判定では、オーバーラップ自動車が存在するか否かが判定される。具体的には、管理対象となっている自動車に対して求められたバウンディングボックス（管理対象車ボックス）に、他自動車に対して求められたバウンディングボックス（他車ボックス）が重なっており、かつ、管理対象車ボックスが、他車ボックスよりも撮影視野内で上方に位置している場合には、演算器１８は、オーバーラップ自動車が存在する旨の重なり判定をする。一方、この条件が成立しないときは、演算器１８は、オーバーラップ自動車が存在しない旨の非重なり判定をする。 (5) Determination of Overlapping with Other Vehicles Determination of overlapping with other vehicles will be described in detail. In other vehicle overlap determination, it is determined whether or not an overlapping vehicle exists. Specifically, the bounding box required for the vehicle to be managed (managed vehicle box) overlaps the bounding box required for the other vehicle (other vehicle box), and If the managed vehicle box is located above the other vehicle box within the field of view, the computing unit 18 determines that there is an overlapping vehicle. On the other hand, when this condition is not satisfied, the calculator 18 makes a non-overlapping determination that there is no overlapping vehicle.

演算器１８は、１つまたは複数の他自動車との間に、以下の条件（Ｃ２）が成立するときは重なり判定をする。ただし、座標値（ｘｍｉｎＡ，ｙｍｉｎＡ）は他自動車のバウンディングボックスの最小座標値であり、座標値（ｘｍａｘＡ，ｙｍａｘＡ）は他自動車の最大座標値である。 The computing unit 18 determines overlap when the following condition (C2) is established with one or more other vehicles. However, the coordinate values (xminA, yminA) are the minimum coordinate values of the bounding box of the other vehicle, and the coordinate values (xmaxA, ymaxA) are the maximum coordinate values of the other vehicle.

（Ｃ２）（ｘｍｉｎＡ＜ｘｍｉｎ＜ｘｍａｘＡ、または、ｘｍｉｎＡ＜ｘｍａｘ＜ｘｍａｘＡ）、かつ、ｙｍｉｎＡ＜ｙｍａｘ＜ｙｍａｘＡ (C2) (xminA<xmin<xmaxA or xminA<xmax<xmaxA) and yminA<ymax<ymaxA

演算器１８は、いずれの他自動車との間にも、条件（Ｃ２）が成立しないときは非重なり判定をする。 The computing unit 18 makes a non-overlapping determination when the condition (C2) is not established with any other vehicle.

図５には、２つの自動車１６Ａおよび１６Ｂに対してそれぞれ求められたバウンディングボックス３６－３および３６－４が模式的に示されている。バウンディングボックス３６－３およびバウンディングボックス３６－４は重なっており、バウンディングボックス３６－３の方が、バウンディングボックス３６－４よりも撮影視野３０内で上方に位置している。したがって、自動車１６Ａが管理対象である場合には重なり判定がされる。一方、自動車１６Ｂが管理対象である場合には非重なり判定がされる。 FIG. 5 schematically shows the bounding boxes 36-3 and 36-4 determined for the two cars 16A and 16B, respectively. The bounding box 36-3 and the bounding box 36-4 overlap each other, and the bounding box 36-3 is located above the bounding box 36-4 within the imaging field of view 30. FIG. Therefore, when the automobile 16A is to be managed, an overlap determination is made. On the other hand, when the automobile 16B is the object of management, non-overlapping determination is made.

（６）移動ベクトル演算判定
移動ベクトル演算判定について詳細に説明する。移動ベクトル演算判定では、最新画像フレームより１フレーム前に取得された画像フレームである先行画像フレームを基準として、最新画像フレームについて求められたバウンディングボックスの移動ベクトル（ｘｄｉｆｆ，ｙｄｉｆｆ）が求められる。ｘ軸方向の増加分ｘｄｉｆｆは、ｘｄｉｆｆ＝ｘｍａｘ－ｘｍａｘ０またはｘｄｉｆｆ＝ｘｍｉｎ－ｘｍｉｎ０として求められる。ｙ軸方向の増加分ｙｄｉｆｆは、ｙｄｉｆｆ＝ｙｍａｘ－ｙｍａｘ０またはｙｄｉｆｆ＝ｙｍｉｎ－ｙｍｉｎ０として求められる。ただし、座標値（ｘｍｉｎ０，ｙｍｉｎ０）は、先行画像フレームについて求められた最小座標値であり、座標値（ｘｍａｘ０，ｙｍａｘ０）は、先行画像フレームについて求められた最大座標値である。 (6) Moving Vector Calculation Determination Moving vector calculation determination will be described in detail. In motion vector calculation determination, a motion vector (xdiff, ydiff) of a bounding box obtained for the latest image frame is obtained with reference to a preceding image frame, which is an image frame obtained one frame before the latest image frame. The increment xdiff in the x-axis direction is obtained as xdiff=xmax-xmax0 or xdiff=xmin-xmin0. The increment ydiff in the y-axis direction is obtained as ydiff=ymax-ymax0 or ydiff=ymin-ymin0. However, the coordinate values (xmin0, ymin0) are the minimum coordinate values determined for the previous image frame, and the coordinate values (xmax0, ymax0) are the maximum coordinate values determined for the previous image frame.

なお、先行画像フレームは、最新画像フレームより２フレーム以上前に取得された画像フレームであってもよい。また、移動ベクトルは、最新画像フレームについて求められたバウンディングボックスの重心の座標値から、先行画像フレームについて求められたバウンディングボックスの重心の座標値を減算することで求めてもよい。また、移動ベクトルは、最新画像フレームについて求められたバウンディングボックスの所定の角（四隅のうち予め定められた１つ）の座標値から、先行画像フレームについて求められたバウンディングボックスの所定の角の座標値を減算することで求めてもよい。 Note that the preceding image frame may be an image frame acquired two or more frames before the latest image frame. Alternatively, the motion vector may be obtained by subtracting the coordinate value of the center of gravity of the bounding box obtained for the previous image frame from the coordinate value of the center of gravity of the bounding box obtained for the latest image frame. Also, the motion vector is the coordinates of the predetermined corner of the bounding box obtained for the preceding image frame from the coordinate values of the predetermined corner (one of the four corners) of the bounding box obtained for the latest image frame. It may be obtained by subtracting the value.

演算器１８は、ｘ軸方向の増加分ｘｄｉｆｆに対するｙ軸方向の増加分ｙｄｉｆｆの比率の絶対値である進行方向指標ｒ＝｜ｙｄｉｆｆ／ｘｄｉｆｆ｜を求める。進行方向指標ｒが大きい程、最新画像フレームにおいて認識されている自動車の前方または後方が画像に現れている可能性が高く、ナンバープレートが画像に現れている可能性が高い。 The arithmetic unit 18 obtains a traveling direction index r=|ydiff/xdiff| which is the absolute value of the ratio of the increment ydiff in the y-axis direction to the increment xdiff in the x-axis direction. The larger the traveling direction index r, the higher the possibility that the front or rear of the car recognized in the latest image frame appears in the image, and the higher the possibility that the license plate appears in the image.

図６（ａ）、図６（ｂ）、図６（ｃ）および図６（ｄ）には、それぞれ、自動車１６の右側面、左側面、正面および背面が画像に表されている場合における移動ベクトルの様子が示されている。図６（ａ）～図６（ｄ）に示されているように、自動車１６が撮影視野３０において上方向または下方向に走行しているときは、自動車１６が撮影視野において右方向または左方向に走行しているときに比べて、進行方向指標ｒ＝｜ｙｄｉｆｆ／ｘｄｉｆｆ｜が大きい。すなわち、自動車１６の前面または背面が画像に現れているときは、自動車１６の右側面または左側面が画像に現れているときに比べて、進行方向指標ｒ＝｜ｙｄｉｆｆ／ｘｄｉｆｆ｜が大きい。 FIGS. 6(a), 6(b), 6(c) and 6(d) show the movement when the right side, left side, front and back of the vehicle 16 are represented in the image, respectively. A vector is shown. As shown in FIGS. 6(a) to 6(d), when the vehicle 16 is traveling upward or downward in the imaging field of view 30, the vehicle 16 is moving rightward or leftward in the imaging field of view. The travel direction index r=|ydiff/xdiff| That is, when the front or back of the car 16 appears in the image, the traveling direction index r=|ydiff/xdiff| is larger than when the right side or left side of the car 16 appears in the image.

なお、演算器１８は、バウンディングボックスのｘ軸方向の長さｘｍａｘ－ｘｍｉｎに対する、ｙ軸方向の長さｙｍａｘ－ｙｍｉｎの比率を進行方向指標ｒとしてもよい。一般に、自動車は正面または背面から見た幅（車幅）に比べて、側面から見た幅（車長）の方が大きい。この場合も、進行方向指標ｒが大きい程、自動車の前方または後方が画像に現れている可能性が高く、ナンバープレートが画像に現れている可能性が高い。 Note that the computing unit 18 may take the ratio of the y-axis length ymax-ymin to the x-axis length xmax-xmin of the bounding box as the traveling direction index r. In general, the width (vehicle length) of an automobile seen from the side is larger than the width (vehicle width) seen from the front or back. Also in this case, the larger the traveling direction index r, the higher the possibility that the front or rear of the vehicle appears in the image, and the higher the possibility that the license plate appears in the image.

また、駐車場の出入口が撮像器２４の撮像方向にある場合、すなわち、駐車場の出入口を通る自動車が撮像器２４から見て正面または背面を向くように、撮像器２４が配置されている場合には、演算器１８は次のような演算によって進行方向指標ｒを求めてもよい。すなわち、演算器１８は、画像上に定義された駐車場出入口線のｙ座標値ｙｌｉｎｅと、バウンディングボックスの下辺のｙ座標値ｙｍａｘとの差の絶対値の逆数１／｜ｙｌｉｎｅ－ｙｍａｘ｜を進行方向指標としてもよい。ここで、駐車場出入口線は、駐車場の出入口を通り、ｘ軸方向に平行である仮想的な直線として定義されている。 When the entrance/exit of the parking lot is in the imaging direction of the imaging device 24, that is, when the imaging device 24 is arranged so that the vehicle passing through the entrance/exit of the parking lot faces the front or the back when viewed from the imaging device 24. Alternatively, the calculator 18 may obtain the traveling direction index r by the following calculation. That is, the calculator 18 advances the reciprocal of the absolute value of the difference between the y-coordinate value yline of the parking lot entrance/exit line defined on the image and the y-coordinate value ymax of the lower side of the bounding box, 1/|yline−ymax| It may also be used as a direction indicator. Here, the parking lot entrance/exit line is defined as a virtual straight line that passes through the parking lot entrance/exit and is parallel to the x-axis direction.

上記では、進行方向指標が大きい程、最新画像フレームにおいて認識されている自動車の前方または後方が画像に現れている可能性が高くなるように、進行方向指標が定義された実施形態が示された。進行方向指標は、その値が小さい程、最新画像フレームにおいて認識されている自動車の前方または後方が画像に現れている可能性が高くなるように定義されてもよい。 Above, an embodiment was presented in which the heading indicator was defined such that the larger the heading indicator, the more likely it is that the front or rear of the perceived vehicle in the most recent image frame appears in the image. . The direction-of-travel indicator may be defined such that the smaller the value, the higher the likelihood that the front or rear of the vehicle recognized in the latest image frame appears in the image.

この場合、演算器１８は、管理画像フレームに対応する進行方向指標が、最新画像フレームに対応する進行方向指標未満であるときは、管理画像フレームと、その管理画像フレームに対する良否判定情報が記憶デバイス２２に記憶された状態を維持する。他方、演算器１８は、管理画像フレームに対応する進行方向指標が、最新画像フレームに対応する進行方向指標以上であるときは、先に記憶されていた管理画像フレームに代えて、最新画像フレームを新たな管理画像フレームとして記憶デバイス２２に記憶する。演算器１８は、さらに、先に記憶されていた良否判定情報に代えて、最新画像フレームに対する良否判定情報を記憶デバイス２２に記憶する。 In this case, when the traveling direction index corresponding to the management image frame is less than the traveling direction index corresponding to the latest image frame, the computing unit 18 stores the management image frame and the pass/fail judgment information for the management image frame in the storage device. 22 is maintained. On the other hand, when the traveling direction index corresponding to the management image frame is greater than or equal to the traveling direction index corresponding to the latest image frame, the calculator 18 replaces the previously stored management image frame with the latest image frame. It is stored in the storage device 22 as a new management image frame. The computing unit 18 further stores the pass/fail judgment information for the latest image frame in the storage device 22 instead of the pass/fail judgment information previously stored.

図７には、公道５０から駐車場１４に侵入する自動車１６Ｃと、その自動車１６Ｃに対するバウンディングボックス３６－５が示されている。また、駐車場１４内を走行している自動車１６Ｄと、その自動車１６Ｄに対するバウンディングボックス３６－５が示されている。図７に示されているように、バウンディングボックス３６－６の下辺の方が、バウンディングボックス３６－６の下辺よりも、駐車場出入口線５２に近い。このように、バウンディングボックスの下辺が、駐車場出入口線５２に近い程、そのバウンディングボックスに対応する自動車は、その正面または背面を撮像器２４に向けている可能性が高い。したがって、１／｜ｙｌｉｎｅ－ｙｍａｘ｜を進行方向指標ｒとした場合、進行方向指標ｒが大きい程、最新画像フレームにおいて認識されている自動車の前方または後方が画像に現れている可能性が高く、ナンバープレートが画像に現れている可能性が高い。 FIG. 7 shows a vehicle 16C entering the parking lot 14 from the public road 50 and a bounding box 36-5 for the vehicle 16C. Also shown is a car 16D traveling in parking lot 14 and a bounding box 36-5 for car 16D. As shown in FIG. 7, the lower side of bounding box 36-6 is closer to parking lot entrance/exit line 52 than the lower side of bounding box 36-6. Thus, the closer the lower side of the bounding box is to the parking lot entrance/exit line 52 , the more likely it is that the vehicle corresponding to that bounding box has its front or back facing the imager 24 . Therefore, when 1/|yline−ymax| is taken as the traveling direction index r, the larger the traveling direction index r, the higher the possibility that the front or rear of the vehicle recognized in the latest image frame appears in the image. It is highly likely that the license plate is showing up in the image.

（７）入退場判定
演算器１８は、管理対象の自動車が駐車場に入場したこと、および管理対象の自動車が駐車場から退場したことを判定する入退場判定を実行する。上記のトラッキング処理において、演算器１８は、管理対象の自動車が最初に認識されたときに、バウンディングボックスの位置を出現点の座標値として求める。また、演算器１８は、管理対象の自動車が認識できなくなったときは、最後に自動車が認識されたときのバウンディングボックスの位置を消失点の座標値として求める。ここで、バウンディングボックスの位置は、バウンディングボックスの重心の位置または所定の角の位置であってよい。 (7) Entry/Exit Determination The computing unit 18 executes entry/exit determination to determine whether the vehicle to be managed has entered the parking lot and whether the vehicle to be managed has left the parking lot. In the tracking process described above, the calculator 18 obtains the position of the bounding box as the coordinate value of the appearance point when the vehicle to be managed is first recognized. Further, when the vehicle to be managed cannot be recognized, the computing unit 18 obtains the position of the bounding box when the vehicle was last recognized as the coordinate value of the vanishing point. Here, the position of the bounding box may be the position of the center of gravity of the bounding box or the position of a predetermined corner.

図８には、入退場判定を説明するための撮影視野３０が概念的に示されている。撮影視野３０に対しては、入退場検出範囲５４が定義されている。撮影視野３０の上辺は公道５０に面している。撮影視野３０のうち、公道５０に面した上方の横長の長方形の領域が入退場検出範囲５４である。軌跡５６－１および５６－２は、トラッキング処理によって認識された自動車の軌跡を示す。軌跡５６－１は、入退場検出範囲５４外にある出現点Ｓ１を始点とし、入退場検出範囲５４内にある消失点Ｆ１を終点とする。軌跡５６－２は、入退場検出範囲５４内にある出現点Ｓ２を始点とし、入退場検出範囲５４外にある消失点Ｆ２を終点とする。 FIG. 8 conceptually shows a field of view 30 for explaining entrance/exit determination. An entrance/exit detection range 54 is defined for the field of view 30 . The upper side of the imaging field of view 30 faces the public road 50. - 特許庁A horizontally long rectangular area facing the public road 50 in the field of view 30 is an entrance/exit detection range 54 . Trajectories 56-1 and 56-2 indicate the trajectories of the automobile recognized by the tracking process. The trajectory 56-1 has an appearance point S1 outside the entrance/exit detection range 54 as a starting point and a vanishing point F1 within the entrance/exit detection range 54 as an end point. The locus 56-2 has an appearance point S2 within the entrance/exit detection range 54 as a starting point and a vanishing point F2 outside the entrance/exit detection range 54 as an end point.

演算器１８は、出現点が入退場検出範囲５４内にあり、消失点が入退場検出範囲５４外にあるときに自動車が入場したとの判定をする。また、演算器１８は、出現点が入退場検出範囲５４外にあり、消失点が入退場検出範囲５４内にあるときに自動車が退場したとの判定をする。演算器１８は、さらに、出現点および消失点の両者が入退場検出範囲５４内にあるとき、あるいは、出現点および消失点の両者が入退場検出範囲５４外にあるときは、自動車が入場も退場もしていないと判定する。 The calculator 18 determines that the car has entered when the appearance point is within the entrance/exit detection range 54 and the vanishing point is outside the entrance/exit detection range 54 . Further, the computing unit 18 determines that the car has left when the appearance point is outside the entrance/exit detection range 54 and the vanishing point is within the entrance/exit detection range 54 . Further, when both the appearance point and the vanishing point are within the entrance/exit detection range 54, or when both the appearance point and the vanishing point are outside the entrance/exit detection range 54, the computing unit 18 determines whether the vehicle enters or exits. It is determined that he has not left.

図８に示されている例では、出現点Ｓ１が入退場検出範囲５４外にあり、消失点Ｆ１が入退場検出範囲５４内にあるため、演算器１８は、軌跡５６－１を描いた自動車が退場したとの判定をする。また、出現点Ｓ２が入退場検出範囲５４内にあり、消失点Ｆ２が入退場検出範囲５４外にあるため、演算器１８は、軌跡５６－２を描いた自動車が入場したとの判定をする。 In the example shown in FIG. 8, the appearance point S1 is outside the entrance/exit detection range 54, and the vanishing point F1 is within the entrance/exit detection range 54. is determined to have left. In addition, since the appearance point S2 is within the entrance/exit detection range 54 and the vanishing point F2 is outside the entrance/exit detection range 54, the computing unit 18 determines that the vehicle having drawn the trajectory 56-2 has entered. .

演算器１８は、自動車が入場したとの判定、または自動車が退場したとの判定をしたときに管理情報を生成し無線器２０に出力する。管理情報は、例えば、入場／退場時刻、記憶デバイス２２に記憶された管理画像フレーム、良否判定情報、管理画像フレームが示す画像に示されているナンバー等を含む。無線器２０は管理情報を基地局１２に送信する。管理情報を受信した基地局１２は、管理情報に含まれる入場／退場時刻、管理画像フレーム、ナンバー等を対応付けて記憶する。 The calculator 18 generates management information and outputs it to the wireless device 20 when it determines that the vehicle has entered or left the vehicle. The management information includes, for example, entry/exit times, management image frames stored in the storage device 22, acceptance/rejection determination information, numbers indicated in images indicated by the management image frames, and the like. Radio device 20 transmits management information to base station 12 . Upon receiving the management information, the base station 12 associates and stores the entry/exit time, management image frame, number, etc. included in the management information.

このように、演算器１８は、自動車が入場したというイベント、または自動車が退場したというイベントの発生に応じて、入場／退場時刻、管理画像フレーム、良否判定情報、ナンバー等を含む管理情報を無線器２０に送信させる。すなわち、演算器１８は、トラッキング処理を開始または終了させるイベントの発生に応じて、管理情報を無線器２０に送信させる。 In this way, the computing unit 18 wirelessly transmits management information including entry/exit times, management image frames, pass/fail judgment information, number, etc., in response to the occurrence of an event that a vehicle has entered or that a vehicle has left. device 20. That is, the calculator 18 causes the wireless device 20 to transmit the management information in response to the occurrence of an event that starts or ends the tracking process.

本発明の実施形態に係る車両管理システム１では、撮影視野に対応する駐車場の領域において、１つの撮像器２４によって自動車の管理が行われる。したがって、複数の駐車位置のそれぞれにカメラが配置される場合に比べて構成が簡単となる。 In the vehicle management system 1 according to the embodiment of the present invention, vehicles are managed by one imaging device 24 in the area of the parking lot corresponding to the field of view. Therefore, the configuration is simpler than when a camera is arranged at each of a plurality of parking positions.

１車両管理システム、１０車両管理装置、１２基地局、１４駐車場、１６，１６Ａ～１６Ｄ，Ｔ１～Ｔ４自動車、１８演算器、２０無線器、２２記憶デバイス、２４撮像器、３６－１～３６－６，Ｂ１～Ｂ４バウディングボックス、４０判定枠、５０公道、５２駐車場出入口線、５４入退場検出範囲、５６－１，５６－２軌跡、Ｓ１，Ｓ２出現点、Ｆ１，Ｆ２消失点。
1 vehicle management system, 10 vehicle management device, 12 base station, 14 parking lot, 16, 16A to 16D, T1 to T4 automobile, 18 calculator, 20 wireless device, 22 storage device, 24 imaging device, 36-1 to 36 -6, B1 to B4 bounding box, 40 judgment frame, 50 public road, 52 parking lot entrance/exit line, 54 entry/exit detection range, 56-1, 56-2 trajectory, S1, S2 appearance point, F1, F2 vanishing point.

Claims

車両の画像を時間経過と共に順次撮影する撮像器と、
前記撮像器から時間経過と共に順次出力される画像フレームに対して前記車両を追跡するトラッキング処理であって、前記撮像器から画像フレームが取得されるごとに、前記車両の幾何学的情報が得られるトラッキング処理を実行する演算器と、を備え、
前記演算器は、
先に前記撮像器から取得され記憶された管理画像フレームに対して得られた前記幾何学的情報と、新たに取得された画像フレームである最新画像フレームに対して得られた前記幾何学的情報とに基づいて、前記最新画像フレームの良否を判定する処理と、
前記最新画像フレームが良好であると判定されたときに、前記最新画像フレームを新たに前記管理画像フレームとして記憶する処理と、を実行することを特徴とする車両管理装置。 an imaging device for sequentially capturing images of a vehicle over time;
A tracking process for tracking the vehicle for image frames sequentially output from the image pickup device over time, wherein geometric information of the vehicle is obtained each time an image frame is acquired from the image pickup device. and a computing unit that performs tracking processing,
The calculator is
The geometric information obtained for a previously stored management image frame obtained from the imager, and the geometric information obtained for a newest image frame, which is a newly obtained image frame. a process of determining whether the latest image frame is good or bad based on;
and a process of newly storing the latest image frame as the management image frame when it is determined that the latest image frame is good.

請求項１に記載の車両管理装置において、
前記最新画像フレームの良否を判定する処理は、前記最新画像フレームによって前記車両のナンバープレートが示される可能性があるときに、前記最新画像フレームが良好であると判定する処理を含むことを特徴とする車両管理装置。 In the vehicle management device according to claim 1,
The processing for determining whether the latest image frame is acceptable includes processing for determining that the latest image frame is acceptable when there is a possibility that the latest image frame indicates the license plate of the vehicle. vehicle management device.

請求項１または請求項２に記載の車両管理装置において、
前記最新画像フレームの良否を判定する処理は、
前記管理画像フレームに対して得られた前記幾何学的情報に基づいて、前記車両が進行する方向に関する第１の進行方向指標を求める処理と、
前記最新画像フレームに対して得られた前記幾何学的情報に基づいて、前記車両が進行する方向に関する第２の進行方向指標を求める処理と、
前記第１の進行方向指標と前記第２の進行方向指標との比較に基づいて、前記最新画像フレームの良否を判定する処理と、を含むことを特徴とする車両管理装置。 In the vehicle management device according to claim 1 or claim 2,
The process of determining whether the latest image frame is good or bad includes:
a process of obtaining a first traveling direction index relating to the traveling direction of the vehicle based on the geometric information obtained for the management image frame;
a process of determining a second heading indicator for the direction in which the vehicle is traveling based on the geometric information obtained for the latest image frame;
and determining whether the latest image frame is good or bad based on a comparison between the first traveling direction indicator and the second traveling direction indicator.

請求項３に記載の車両管理装置において、
前記第１の進行方向指標は、前記管理画像フレームが示す画像に前記車両の前面または背面が現れる可能性を示し、
前記第２の進行方向指標は、前記最新画像フレームが示す画像に前記車両の前面または背面が現れる可能性を示すことを特徴とする車両管理装置。 In the vehicle management device according to claim 3,
the first traveling direction indicator indicates a possibility that the front or rear of the vehicle will appear in the image indicated by the management image frame;
The vehicle management device, wherein the second traveling direction indicator indicates a possibility that the front or rear of the vehicle will appear in the image indicated by the latest image frame.

請求項１から請求項４のいずれか１項に記載の車両管理装置において、
前記幾何学的情報は、
前記車両が存在する画像上の領域を示す情報を含み、
前記最新画像フレームの良否を判定する処理は、
前記車両が存在する領域が、予め定められた判定枠の内側にないときに、前記最新画像フレームが良好でないと判定する処理を含むことを特徴とする車両管理装置。 In the vehicle management device according to any one of claims 1 to 4,
The geometric information is
including information indicating an area on the image where the vehicle is present;
The process of determining whether the latest image frame is good or bad includes:
A vehicle management apparatus, comprising a process of determining that the latest image frame is not good when the area in which the vehicle exists is not inside a predetermined determination frame.

請求項１から請求項５のいずれか１項に記載の車両管理装置において、
前記幾何学的情報は、
前記車両とは異なる他車両が存在する画像上の領域を示す情報を含み、
前記最新画像フレームの良否を判定する処理は、
前記撮像器から見て前記車両の視界を遮る他車両が存在するか否かを判定する処理と、
前記撮像器から見て前記車両の視界を遮る他車両が存在するときに、前記最新画像フレームが良好でないと判定する処理と、を含むことを特徴とする車両管理装置。 In the vehicle management device according to any one of claims 1 to 5,
The geometric information is
including information indicating an area on the image where another vehicle different from the vehicle exists,
The process of determining whether the latest image frame is good or bad includes:
a process of determining whether or not there is another vehicle blocking the view of the vehicle as seen from the imaging device;
and determining that the latest image frame is not good when there is another vehicle blocking the view of the vehicle seen from the imaging device.

無線器を備える請求項１から請求項６のいずれか１項に記載の車両管理装置において、
前記演算器は、
前記トラッキング処理を開始または終了させるイベントが生じたときに、前記管理画像フレームを前記無線器に送信させることを特徴とする車両管理装置。
The vehicle management device according to any one of claims 1 to 6, comprising a wireless device,
The calculator is
A vehicle management device, wherein the management image frame is transmitted to the wireless device when an event for starting or ending the tracking process occurs.