JP5597746B2 - Vehicle detection system, vehicle detection device, and vehicle detection method for vehicle detection system - Google Patents

Vehicle detection system, vehicle detection device, and vehicle detection method for vehicle detection system Download PDF

Info

Publication number
JP5597746B2
JP5597746B2 JP2013102978A JP2013102978A JP5597746B2 JP 5597746 B2 JP5597746 B2 JP 5597746B2 JP 2013102978 A JP2013102978 A JP 2013102978A JP 2013102978 A JP2013102978 A JP 2013102978A JP 5597746 B2 JP5597746 B2 JP 5597746B2
Authority
JP
Japan
Prior art keywords
vehicle
road
vehicle information
image sensor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013102978A
Other languages
Japanese (ja)
Other versions
JP2013168178A (en
Inventor
喜秋 津田
仁史 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013102978A priority Critical patent/JP5597746B2/en
Publication of JP2013168178A publication Critical patent/JP2013168178A/en
Application granted granted Critical
Publication of JP5597746B2 publication Critical patent/JP5597746B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、例えば、ＤＳＳＳ（安全運転支援システム）において画像センサを用いて、他の車両の陰に隠れた車両も含めて走行車両を検知する車両検知システムおよび車両検知システムの車両検知方法に関するものである。   The present invention relates to a vehicle detection system for detecting a traveling vehicle including a vehicle hidden behind other vehicles using an image sensor in a DSSS (safety driving support system), and a vehicle detection method of the vehicle detection system, for example. It is.

ＤＳＳＳにおいて画像センサを用いて車両を検知し、検知した車両毎に車種、車両速度、車両位置（交差点の停止線から当該車両が位置している地点までの距離）および車両ＩＤ（車両毎に付与したもの）を特定する方法がある。   A vehicle is detected using an image sensor in DSSS, and the vehicle type, vehicle speed, vehicle position (distance from the stop line of the intersection to the point where the vehicle is located), and vehicle ID (given for each vehicle) for each detected vehicle There is a way to identify

現行のシステムでは、検知した車両が何らの要因（他車が前方に割り込む等）で影に隠れて車両の検知が一旦途切れるとその車両が未検知状況となり、実際には存在する車両が存在しないことになってしまう。この場合、車両の検知情報は対向車に提供する情報として不適格である。結果、出会いがしらの交通事故を未然に防ぐ等の安全運転支援機能の向上を妨げる。   In the current system, once the detected vehicle is hidden by the shadow due to some factor (such as another vehicle interrupting in front), the vehicle detection is interrupted, and the vehicle is not detected, and there is no actual vehicle. It will be. In this case, the vehicle detection information is ineligible as information provided to the oncoming vehicle. As a result, it prevents the improvement of safe driving support functions such as preventing traffic accidents.

特開平１１−２８４９９７号公報JP-A-11-284997 特開２００１−２２９４８８号公報JP 2001-229488 A 特開２００４−７８４５９号公報JP 2004-78459 A 特開２００５−１９０１４２号公報JP 2005-190142 A 特開２００１−１６７３８０号公報JP 2001-167380 A

画像センサを用いた従来の車両検知には、大型車両の後ろに隠れて追従する普通車両、小型車両や二輪車、また大型車両の横に隠れて並走する普通車両、小型車両や二輪車等を検知できないという課題がある。   Conventional vehicle detection using image sensors detects ordinary vehicles, small vehicles and two-wheeled vehicles that are hidden behind large vehicles, small vehicles and two-wheeled vehicles, and ordinary vehicles that are hidden beside large vehicles, and small vehicles and two-wheeled vehicles. There is a problem that it cannot be done.

さらに、画像センサを用いた従来の車両検知には、大型車両の陰に隠れて追従（または並走）する普通車両、小型車両や二輪車が、大型車両の車線変更により検知される状態になっても検知車両として扱われず未検知のままになるという課題がある。   Furthermore, in conventional vehicle detection using an image sensor, ordinary vehicles, small vehicles, and two-wheeled vehicles that follow (or run parallel) behind a large vehicle are detected by changing the lane of the large vehicle. However, there is a problem that it is not treated as a detection vehicle and remains undetected.

さらに、画像センサを用いた従来の車両検知には、大型車両に囲まれていたために画像センサで未検知であった普通車両、小型車両や二輪車が、自らの車線変更により検知される状態になっても検知車両として扱われず未検知のままになるという課題がある。   Furthermore, in conventional vehicle detection using an image sensor, ordinary vehicles, small vehicles, and two-wheeled vehicles that have not been detected by the image sensor because they are surrounded by a large vehicle are in a state where they are detected by their own lane change. However, there is a problem that it is not treated as a detection vehicle and remains undetected.

本発明は、例えば、画像センサから見て他の車両に隠れている車両を追尾できるようにすることを目的とする。   An object of the present invention is, for example, to enable tracking of a vehicle hidden behind another vehicle when viewed from an image sensor.

本発明の車両検知システムは、
道路の周辺に前記道路の進行方向と逆向きに設置され、前記道路を写した道路画像を連続して撮像する第１の画像センサと、
前記道路の脇に前記道路に向けて設置され、前記道路を写した道路画像を連続して撮像する第２の画像センサと、
車両検知装置とを備え、
前記車両検知装置は、
前記第１の画像センサにより撮像された道路画像と前記第２の画像センサにより撮像された道路画像とを入力し、入力した各道路画像に基づいて各道路画像に写った車両と車両の位置を示す車両位置とを検出し、検出した車両毎に車両を識別する車両ＩＤを一つだけ付与し、検出した車両毎に車両ＩＤと車両位置とを含んだ情報を車両情報として出力する道路画像処理部と、
前記道路画像処理部により出力された各車両情報を車両情報テーブルに設定する車両情報設定部と、
前記車両情報テーブルに設定されている各車両情報を出力する車両情報出力部とを備える。 The vehicle detection system of the present invention is
A first image sensor that is installed around the road in a direction opposite to the traveling direction of the road, and continuously captures a road image of the road;
A second image sensor that is installed on the side of the road toward the road, and continuously captures a road image of the road;
A vehicle detection device,
The vehicle detection device is
The road image picked up by the first image sensor and the road image picked up by the second image sensor are input, and the vehicle and the position of the vehicle appearing in each road image based on each input road image. Road image processing for detecting a vehicle position to be shown, giving only one vehicle ID for identifying the vehicle for each detected vehicle, and outputting information including the vehicle ID and the vehicle position as vehicle information for each detected vehicle And
A vehicle information setting unit that sets each vehicle information output by the road image processing unit in a vehicle information table;
A vehicle information output unit that outputs each vehicle information set in the vehicle information table.

本発明によれば、例えば、車両情報テーブルの更新を繰り返すことにより、他の車両に隠れている車両を追尾することができる。   According to the present invention, for example, a vehicle hidden behind another vehicle can be tracked by repeating the update of the vehicle information table.

実施の形態１における車両検知追尾システム１００の構成図。1 is a configuration diagram of a vehicle detection tracking system 100 according to Embodiment 1. FIG. 実施の形態１における第１画像センサ１１０および第２画像センサ１１１の撮像範囲を示す図。FIG. 3 is a diagram showing imaging ranges of the first image sensor 110 and the second image sensor 111 in the first embodiment. 実施の形態１における第１画像センサ１１０および第２画像センサ１１１の撮像範囲を示す図。FIG. 3 is a diagram showing imaging ranges of the first image sensor 110 and the second image sensor 111 in the first embodiment. 実施の形態１における画像センサデータ処理装置２００および情報処理判定装置３００の機能構成図。2 is a functional configuration diagram of an image sensor data processing device 200 and an information processing determination device 300 according to Embodiment 1. FIG. 実施の形態１における画像センサデータ処理装置２００および情報処理判定装置３００のハードウェア資源の一例を示す図。2 is a diagram illustrating an example of hardware resources of an image sensor data processing device 200 and an information processing determination device 300 according to Embodiment 1. FIG. 実施の形態１における車両検知追尾システム１００の車両検知追尾方法を示すフローチャート。3 is a flowchart illustrating a vehicle detection tracking method of the vehicle detection tracking system 100 according to the first embodiment. 実施の形態１における車両情報テーブル３９１を示す図。FIG. 4 shows a vehicle information table 391 in the first embodiment. 実施の形態１におけるメッシュ地図を示す図。FIG. 4 shows a mesh map in the first embodiment. 実施の形態１における車両情報テーブル３９１内の検知漏れ車両のレコードおよび検知範囲通過車両のレコードを示す図。The figure which shows the record of the detection-missing vehicle in the vehicle information table 391 in Embodiment 1, and the record of a detection range passage vehicle. 実施の形態１における車両の追尾例を示す図。FIG. 3 is a diagram showing a tracking example of the vehicle in the first embodiment.

実施の形態１．
走行している車両を画像センサを用いて検知する車両検知システムについて説明する。 Embodiment 1 FIG.
A vehicle detection system for detecting a traveling vehicle using an image sensor will be described.

図１は、実施の形態１における車両検知追尾システム１００の構成図である。
実施の形態１における車両検知追尾システム１００（車両検知システムの一例）について、図１に基づいて以下に説明する。 FIG. 1 is a configuration diagram of a vehicle detection tracking system 100 according to the first embodiment.
A vehicle detection tracking system 100 (an example of a vehicle detection system) in the first embodiment will be described below with reference to FIG.

車両検知追尾システム１００は、第１画像センサ１１０、第２画像センサ１１１、画像センサデータ処理装置２００および情報処理判定装置３００（車両検知装置の一例）を備える。   The vehicle detection tracking system 100 includes a first image sensor 110, a second image sensor 111, an image sensor data processing device 200, and an information processing determination device 300 (an example of a vehicle detection device).

車両にＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）用の車載器が搭載されていれば、車載器と通信して車両の情報（車種、速度など）を取得し、車載器と通信した路側機（図示省略）の設置箇所に基づいて車両の走行位置（車線、交差点からの距離など）を特定することができる。しかし、車両に車載器が搭載されていない場合、車両の情報や走行位置を得ることができない。   If the vehicle is equipped with an on-board device for DSRC (Dedicated Short Range Communication), it communicates with the on-board device to acquire vehicle information (vehicle type, speed, etc.) and communicates with the on-vehicle device (not shown). The travel position of the vehicle (lane, distance from the intersection, etc.) can be specified based on the installation location of the vehicle. However, when the vehicle-mounted device is not mounted on the vehicle, the vehicle information and the travel position cannot be obtained.

車両検知追尾システム１００は、画像センサ（第１画像センサ１１０、第２画像センサ１１１）（カメラ、ビデオカメラ、撮像装置ともいう）を備え、画像センサにより撮像された道路１０１の画像（以下、「道路画像」という）に基づいて車載器が搭載されている車両と車載器が搭載されていない車両との両方を検知すると共に車両の情報や走行位置など（以下、「車両情報」という）を取得する。
また、車両検知追尾システム１００は、他の車両に隠れて道路画像に写らない車両を減らすために、異なる向きから道路１０１を撮像する第１画像センサ１１０および第２画像センサ１１１を備える。
さらに、車両検知追尾システム１００は、他の車両に隠れてしまい第１画像センサ１１０の道路画像と第２画像センサ１１１の道路画像とのどちらにも写らない車両を過去の道路画像に基づいて検知すると共に、当該車両の車両情報を過去の道路画像に基づいて特定する。
これにより、車両検知追尾システム１００は、道路画像に写る道路１０１の特定の範囲（ここでは、交差点の手前の一定範囲）（以下、「検知範囲」という）を走行している車両の検知漏れおよび車両情報の取得漏れを減らす。 The vehicle detection and tracking system 100 includes image sensors (first image sensor 110 and second image sensor 111) (also referred to as a camera, a video camera, and an imaging device), and an image of the road 101 (hereinafter referred to as “the image sensor”). Based on "road image"), it detects both vehicles with onboard equipment and vehicles without onboard equipment, and acquires vehicle information and travel location (hereinafter referred to as "vehicle information"). To do.
In addition, the vehicle detection and tracking system 100 includes a first image sensor 110 and a second image sensor 111 that capture images of the road 101 from different directions in order to reduce the number of vehicles hidden behind other vehicles and not appearing in the road image.
Furthermore, the vehicle detection and tracking system 100 detects a vehicle that is hidden by another vehicle and is not shown in either the road image of the first image sensor 110 or the road image of the second image sensor 111 based on the past road image. At the same time, the vehicle information of the vehicle is specified based on the past road image.
As a result, the vehicle detection and tracking system 100 detects a detection omission of a vehicle traveling in a specific range of the road 101 shown in the road image (here, a certain range before the intersection) (hereinafter referred to as “detection range”). Reduce omissions in vehicle information acquisition.

例えば、車両情報は、ＤＳＳＳ（安全運転支援システム）において車載器を搭載した車両に提供され、交通事故の防止に活用される。   For example, the vehicle information is provided to a vehicle equipped with a vehicle-mounted device in DSSS (Safety Driving Support System), and is used to prevent a traffic accident.

第１画像センサ１１０は、交差点上空に車両の進行方向と逆向きに設置され、道路１０１を撮像し、交差点に向かって走行している各車両を正面から写した道路画像を取得する。
第１画像センサ１１０により取得される道路画像には、大型車両１２１と共に、大型車両１２１と並走している普通車両１２４が写る。
以下、第１画像センサ１１０の撮像範囲（検知範囲）を実線で示す。 The first image sensor 110 is installed above the intersection in the direction opposite to the traveling direction of the vehicle, images the road 101, and acquires a road image in which each vehicle traveling toward the intersection is captured from the front.
The road image acquired by the first image sensor 110 includes the large vehicle 121 and the ordinary vehicle 124 running in parallel with the large vehicle 121.
Hereinafter, the imaging range (detection range) of the first image sensor 110 is indicated by a solid line.

第２画像センサ１１１は、交差点近くの道路１０１脇の上空に道路１０１に向けて設置され、道路１０１を撮像し、各車両を側方から写した道路画像を取得する。第２画像センサ１１１は、広角レンズを備え、撮像範囲が第１画像センサ１１０とほぼ同じである。
第２画像センサ１１１により取得される道路画像には、大型車両１２１と共に、大型車両１２１の後ろを走行している普通車両１２２および二輪車１２３が写る。
以下、第２画像センサ１１１の撮像範囲（検知範囲）を点線で示す。 The second image sensor 111 is installed toward the road 101 above the road 101 near the intersection. The second image sensor 111 captures the road 101 and acquires a road image of each vehicle taken from the side. The second image sensor 111 includes a wide-angle lens, and the imaging range is substantially the same as the first image sensor 110.
The road image acquired by the second image sensor 111 includes the large vehicle 121 and the ordinary vehicle 122 and the two-wheeled vehicle 123 that are traveling behind the large vehicle 121.
Hereinafter, the imaging range (detection range) of the second image sensor 111 is indicated by a dotted line.

第１画像センサ１１０と第２画像センサ１１１とは、車両に隠れた死角を互いに補って道路１０１を撮像する。これにより、死角に位置している車両が第１画像センサ１１０の道路画像と第２画像センサ１１１の道路画像との少なくともいずれかに写る可能性が高まる。   The first image sensor 110 and the second image sensor 111 capture the road 101 while mutually compensating for the blind spots hidden in the vehicle. Thereby, the possibility that the vehicle located at the blind spot appears in at least one of the road image of the first image sensor 110 and the road image of the second image sensor 111 increases.

図２および図３は、実施の形態１における第１画像センサ１１０および第２画像センサ１１１の撮像範囲を示す図である。
図２において、大型車両１２１の後ろを走行している普通車両１２２および二輪車１２３は、第１画像センサ１１０の撮像範囲（実線）内に位置しているが、第１画像センサ１１０の視線方向において大型車両１２１に遮蔽されてしまう。このため、第１画像センサ１１０の道路画像には、普通車両１２２と二輪車１２３とが写らない。しかし、普通車両１２２および二輪車１２３は、第２画像センサ１１１の視線方向において大型車両１２１に遮蔽されない。このため、第２画像センサ１１１の道路画像には、大型車両１２１と共に普通車両１２２および二輪車１２３が写る。
図３において、大型車両１２１と並走している普通車両１２４は、第２画像センサ１１１の撮像範囲（点線）内に位置しているが、第２画像センサ１１１の視線方向において大型車両１２１に遮蔽されてしまう。このため、第２画像センサ１１１の道路画像には、普通車両１２４が写らない。しかし、普通車両１２４は、第１画像センサ１１０の視線方向において大型車両１２１に遮蔽されない。このため、第１画像センサ１１０の道路画像には、大型車両１２１と共に普通車両１２４が写る。 2 and 3 are diagrams illustrating imaging ranges of the first image sensor 110 and the second image sensor 111 according to the first embodiment.
In FIG. 2, the ordinary vehicle 122 and the two-wheeled vehicle 123 traveling behind the large vehicle 121 are located within the imaging range (solid line) of the first image sensor 110, but in the line-of-sight direction of the first image sensor 110. The large vehicle 121 is shielded. For this reason, the ordinary vehicle 122 and the two-wheeled vehicle 123 are not shown in the road image of the first image sensor 110. However, the ordinary vehicle 122 and the two-wheeled vehicle 123 are not shielded by the large vehicle 121 in the line-of-sight direction of the second image sensor 111. For this reason, the road image of the second image sensor 111 shows the ordinary vehicle 122 and the two-wheeled vehicle 123 together with the large vehicle 121.
In FIG. 3, the ordinary vehicle 124 running in parallel with the large vehicle 121 is located within the imaging range (dotted line) of the second image sensor 111, but the large vehicle 121 is in the line-of-sight direction of the second image sensor 111. It will be shielded. For this reason, the ordinary vehicle 124 does not appear in the road image of the second image sensor 111. However, the ordinary vehicle 124 is not shielded by the large vehicle 121 in the line-of-sight direction of the first image sensor 110. For this reason, the ordinary vehicle 124 is shown together with the large vehicle 121 in the road image of the first image sensor 110.

図１に戻り、車両検知追尾システム１００の構成について説明を続ける。   Returning to FIG. 1, the description of the configuration of the vehicle detection and tracking system 100 will be continued.

第１画像センサ１１０および第２画像センサ１１１は、連続撮影（動画撮影ともいう）により、単位時間あたりに所定枚数（例えば、１秒あたり３０枚）の道路画像を取得し、取得した道路画像を画像センサデータ処理装置２００へ順次出力する。   The first image sensor 110 and the second image sensor 111 acquire a predetermined number of road images per unit time (for example, 30 images per second) by continuous shooting (also referred to as moving image shooting), and obtain the acquired road images. The images are sequentially output to the image sensor data processing device 200.

画像センサデータ処理装置２００は、第１画像センサ１１０および第２画像センサ１１１の道路画像に写っている車両を検出し、検出した車両の車両情報２１１を生成し、生成した車両情報２１１を情報処理判定装置３００に出力する。   The image sensor data processing device 200 detects a vehicle in the road image of the first image sensor 110 and the second image sensor 111, generates vehicle information 211 of the detected vehicle, and processes the generated vehicle information 211 as information processing. The data is output to the determination device 300.

情報処理判定装置３００は、画像センサデータ処理装置２００により生成された各車両情報２１１に基づいて、検知範囲を現在走行している各車両についての情報（後述する「車両情報テーブル３９１」および「メッシュ地図データ３９２」という）を生成する。   Based on each vehicle information 211 generated by the image sensor data processing device 200, the information processing determination device 300 includes information about each vehicle currently traveling in the detection range (a “vehicle information table 391” and “mesh” described later). Map data 392 ").

第１画像センサ１１０と第２画像センサ１１１との他に、交差点の下流（交差点から遠い側）に第１画像センサ１１０と対向して設置される第３画像センサや道路１０１を挟んで第２画像センサ１１１と対向して設置される第４画像センサがあってもよい。   In addition to the first image sensor 110 and the second image sensor 111, the second image sensor is sandwiched between the third image sensor and the road 101 that are located downstream of the intersection (on the side far from the intersection) and opposed to the first image sensor 110. There may be a fourth image sensor installed facing the image sensor 111.

図４は、実施の形態１における画像センサデータ処理装置２００および情報処理判定装置３００の機能構成図である。
実施の形態１における画像センサデータ処理装置２００および情報処理判定装置３００の機能構成について、図４に基づいて以下に説明する。 FIG. 4 is a functional configuration diagram of the image sensor data processing device 200 and the information processing determination device 300 according to the first embodiment.
The functional configurations of the image sensor data processing device 200 and the information processing determination device 300 according to Embodiment 1 will be described below with reference to FIG.

画像センサデータ処理装置２００は、画像センサデータ処理部２１０（道路画像処理部の一例）および道路画像記憶部２９０を備える。   The image sensor data processing device 200 includes an image sensor data processing unit 210 (an example of a road image processing unit) and a road image storage unit 290.

画像センサデータ処理部２１０は、第１画像センサ１１０および第２画像センサ１１１から順次出力される道路画像を入力する。
画像センサデータ処理部２１０は、入力した道路画像をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて画像処理し、道路画像に写っている車両を検出する。
画像センサデータ処理部２１０は、検出した車両の車両情報２１１（車種、車両速度、車両位置、車線、車両ＩＤなど）を道路画像毎にＣＰＵを用いて特定し、特定した車両情報２１１を情報処理判定装置３００に出力する。 The image sensor data processing unit 210 inputs road images sequentially output from the first image sensor 110 and the second image sensor 111.
The image sensor data processing unit 210 performs image processing on the input road image using a CPU (Central Processing Unit), and detects a vehicle shown in the road image.
The image sensor data processing unit 210 identifies the vehicle information 211 (vehicle type, vehicle speed, vehicle position, lane, vehicle ID, etc.) of the detected vehicle for each road image using the CPU, and processes the identified vehicle information 211. The data is output to the determination device 300.

道路画像記憶部２９０は、道路画像および車両情報を記憶媒体を用いて記憶する記憶部（記憶装置）である。   The road image storage unit 290 is a storage unit (storage device) that stores a road image and vehicle information using a storage medium.

情報処理判定装置３００は、座標地図部３１０（車両情報設定部の一例）、追尾処理部３２０（不検出車両特定部および車両情報推定設定部の一例）、追尾比較処理部３３０、メッシュ地図情報部３４０（車両情報出力部の一例）、交差点通過車両管理部３５０および判定装置記憶部３９０を備える。   The information processing determination apparatus 300 includes a coordinate map unit 310 (an example of a vehicle information setting unit), a tracking processing unit 320 (an example of a non-detected vehicle specifying unit and a vehicle information estimation setting unit), a tracking comparison processing unit 330, and a mesh map information unit. 340 (an example of a vehicle information output unit), an intersection passing vehicle management unit 350, and a determination device storage unit 390 are provided.

判定装置記憶部３９０は、車両情報テーブル３９１、メッシュ地図データ３９２および交差点通過車両管理テーブル３９３を記憶媒体を用いて記憶する記憶部である。
車両情報テーブル３９１は、検知範囲を現在走行している各車両の車両情報が設定されるデータである。
メッシュ地図データ３９２は、検知範囲を道路１０１の進行方向と道路１０１の幅方向とのメッシュ状（格子状）に区切って表した地図（以下、「メッシュ地図」という）の情報を示し、検知範囲を現在走行している各車両の位置する地点をメッシュ地図上に表す。
交差点通過車両管理テーブル３９３は、車両ＩＤの管理に用いられるデータであり、複数の車両ＩＤそれぞれについて車両ＩＤと当該車両ＩＤの使用状態（「使用中」または「未使用」）とが対応付けて設定される。 The determination device storage unit 390 is a storage unit that stores the vehicle information table 391, the mesh map data 392, and the intersection passing vehicle management table 393 using a storage medium.
The vehicle information table 391 is data in which vehicle information of each vehicle currently traveling in the detection range is set.
The mesh map data 392 indicates information of a map (hereinafter referred to as “mesh map”) in which the detection range is divided into a mesh shape (lattice shape) of the traveling direction of the road 101 and the width direction of the road 101. The location of each vehicle currently traveling is represented on the mesh map.
The intersection passing vehicle management table 393 is data used for managing vehicle IDs, and for each of a plurality of vehicle IDs, a vehicle ID and a use state (“used” or “unused”) of the vehicle ID are associated with each other. Is set.

座標地図部３１０は、画像センサデータ処理装置２００から出力される車両情報を入力し、入力した車両情報を車両情報テーブル３９１にＣＰＵを用いて設定する。
さらに、座標地図部３１０は、各車両が位置する地点をメッシュ地図上に示したメッシュ地図データ３９２を車両情報テーブル３９１に基づいてＣＰＵを用いて生成する。 The coordinate map unit 310 inputs vehicle information output from the image sensor data processing device 200, and sets the input vehicle information in the vehicle information table 391 using the CPU.
Furthermore, the coordinate map unit 310 generates mesh map data 392 indicating the position where each vehicle is located on the mesh map using the CPU based on the vehicle information table 391.

追尾処理部３２０は、座標地図部３１０により車両情報テーブル３９１に設定されている各車両情報それぞれに含まれる車両ＩＤのうち、画像センサデータ処理装置２００により新たに出力された各車両情報それぞれに含まれる車両ＩＤのいずれとも一致しない車両ＩＤをＣＰＵを用いて特定する。
さらに、追尾処理部３２０は、特定した車両ＩＤを含んだ車両情報に含まれる車両位置に基づいて当該車両ＩＤで識別される車両（以下、「検知漏れ車両」という）の現在の車両位置をＣＰＵを用いて推定する。追尾処理部３２０は、推定した車両位置が検知範囲に含まれる場合、当該車両ＩＤと推定した車両位置とを含んだ車両情報を車両情報テーブル３９１に設定する。
さらに、追尾処理部３２０は、推定した車両位置に基づいて、検知範囲を通過した車両（以下、「検知範囲通過車両」という）の車両ＩＤをＣＰＵを用いて特定し、特定した車両ＩＤを含んだ車両情報を車両情報テーブル３９１から削除する。
さらに、追尾処理部３２０は、推定した車両位置に基づいてメッシュ地図データ３９２をＣＰＵを用いて修正する。 The tracking processing unit 320 is included in each vehicle information newly output by the image sensor data processing device 200 among the vehicle IDs included in each vehicle information set in the vehicle information table 391 by the coordinate map unit 310. A vehicle ID that does not match any of the vehicle IDs to be identified is specified using the CPU.
Further, the tracking processing unit 320 determines the current vehicle position of the vehicle (hereinafter referred to as “detected omission vehicle”) identified by the vehicle ID based on the vehicle position included in the vehicle information including the specified vehicle ID. Estimate using. When the estimated vehicle position is included in the detection range, the tracking processing unit 320 sets vehicle information including the vehicle ID and the estimated vehicle position in the vehicle information table 391.
Furthermore, the tracking processing unit 320 specifies the vehicle ID of a vehicle that has passed the detection range (hereinafter referred to as “detection range passing vehicle”) based on the estimated vehicle position, and includes the specified vehicle ID. The vehicle information is deleted from the vehicle information table 391.
Further, the tracking processing unit 320 corrects the mesh map data 392 using the CPU based on the estimated vehicle position.

追尾比較処理部３３０は、検知範囲を現在走行している車両の台数を車両情報テーブル３９１に基づいてＣＰＵを用いて算出する。   The tracking comparison processing unit 330 calculates the number of vehicles currently traveling in the detection range using the CPU based on the vehicle information table 391.

メッシュ地図情報部３４０は、車両情報テーブル３９１、メッシュ地図データ３９２および車両の台数を出力装置（例えば、表示装置）に出力する。   The mesh map information unit 340 outputs the vehicle information table 391, the mesh map data 392, and the number of vehicles to an output device (for example, a display device).

交差点通過車両管理部３５０は、追尾処理部３２０により特定された検知範囲通過車両の車両ＩＤを未使用ＩＤとして、交差点通過車両管理テーブル３９３を更新する。   The intersection passing vehicle management unit 350 updates the intersection passing vehicle management table 393 with the vehicle ID of the detection range passing vehicle specified by the tracking processing unit 320 as an unused ID.

図５は、実施の形態１における画像センサデータ処理装置２００および情報処理判定装置３００のハードウェア資源の一例を示す図である。
図５において、画像センサデータ処理装置２００および情報処理判定装置３００は、プログラムを実行するＣＰＵ９１１（中央処理装置、マイクロプロセッサ、マイクロコンピュータともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりにその他の記憶装置（例えば、ＲＡＭやフラッシュメモリなどの半導体メモリ）を用いてもよい。 FIG. 5 is a diagram illustrating an example of hardware resources of the image sensor data processing device 200 and the information processing determination device 300 according to the first embodiment.
In FIG. 5, the image sensor data processing device 200 and the information processing determination device 300 include a CPU 911 (also referred to as a central processing unit, a microprocessor, or a microcomputer) that executes a program. The CPU 911 is connected to the ROM 913, the RAM 914, the communication board 915, and the magnetic disk device 920 via the bus 912, and controls these hardware devices. Instead of the magnetic disk device 920, another storage device (for example, a semiconductor memory such as a RAM or a flash memory) may be used.

通信ボード９１５は、有線または無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、電話回線などの通信網に接続されている。   The communication board 915 is connected to a communication network such as a LAN (Local Area Network), the Internet, and a telephone line by wire or wireless.

磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、ＯＳ９２１により実行される。   The magnetic disk device 920 stores an OS 921 (operating system), a program group 923, and a file group 924. The programs in the program group 923 are executed by the CPU 911 and the OS 921.

上記プログラム群９２３には、実施の形態において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。   The program group 923 stores a program for executing a function described as “˜unit” in the embodiment. The program is read and executed by the CPU 911.

ファイル群９２４には、実施の形態において、「〜部」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。車両情報テーブル３９１、メッシュ地図データ３９２および交差点通過車両管理テーブル３９３はファイル群９２４に含まれるものの一例である。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。これらのＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、磁気ディスク装置９２０の磁気ディスク、その他の記録媒体に記録される。また、データや信号値は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。 In the file group 924, in the embodiment, result data such as “determination result”, “calculation result of”, “processing result of” when executing the function of “to part”, “to part” The data to be passed between programs that execute the function “,” other information, data, signal values, variable values, and parameters are stored as items “˜file” and “˜database”. The vehicle information table 391, the mesh map data 392, and the intersection passing vehicle management table 393 are examples included in the file group 924.
The “˜file” and “˜database” are stored in a recording medium such as a disk or a memory. Information, data, signal values, variable values, and parameters stored in a storage medium such as a disk or memory are read out to the main memory or cache memory by the CPU 911 via a read / write circuit, and extracted, searched, referenced, compared, and calculated. Used for CPU operations such as calculation, processing, output, printing, and display. During these CPU operations, information, data, signal values, variable values, and parameters are temporarily stored in the main memory, cache memory, and buffer memory.
In addition, arrows in the flowcharts described in the embodiments mainly indicate input / output of data and signals, and the data and signal values are recorded in the memory of the RAM 914, the magnetic disk of the magnetic disk device 920, and other recording media. . Data and signal values are transmitted online via a bus 912, signal lines, cables, or other transmission media.

また、実施の形態において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスクやその他の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、「〜部」としてコンピュータを機能させるものである。あるいは、「〜部」の手順や方法をコンピュータに実行させるものである。   In addition, what is described as “˜unit” in the embodiment may be “˜circuit”, “˜device”, “˜device”, and “˜step”, “˜procedure”, “˜”. Processing ". That is, what is described as “˜unit” may be realized by firmware stored in the ROM 913. Alternatively, it may be implemented only by software, or only by hardware such as elements, devices, substrates, and wirings, by a combination of software and hardware, or by a combination of firmware. Firmware and software are stored as programs on a magnetic disk or other recording medium. The program is read by the CPU 911 and executed by the CPU 911. That is, the program causes the computer to function as “to part”. Alternatively, the procedure or method of “to part” is executed by a computer.

図６は、実施の形態１における車両検知追尾システム１００の車両検知追尾方法を示すフローチャートである。
実施の形態１における車両検知追尾システム１００の車両検知追尾方法（車両検知方法の一例）について、図６に基づいて以下に説明する。
車両検知追尾システム１００の各「〜部」は、以下に説明する各処理（Ｓ１１０〜Ｓ１６０）をＣＰＵを用いて実行する。
以下に説明する各処理（Ｓ１１０〜Ｓ１６０）は、第１画像センサ１１０および第２画像センサ１１１により道路画像１１９が撮像されて出力される度に繰り返し実行される。 FIG. 6 is a flowchart showing a vehicle detection tracking method of vehicle detection tracking system 100 in the first embodiment.
A vehicle detection tracking method (an example of a vehicle detection method) of the vehicle detection tracking system 100 according to the first embodiment will be described below with reference to FIG.
Each "~ part" of the vehicle detection tracking system 100 performs each process (S110-S160) demonstrated below using CPU.
Each process (S110 to S160) described below is repeatedly executed each time the road image 119 is captured and output by the first image sensor 110 and the second image sensor 111.

画像センサデータ処理部２１０は第１画像センサ１１０および第２画像センサ１１１から出力された道路画像１１９を入力し、入力した道路画像１１９に基づいて車両情報２１１を生成する（Ｓ１１０）。
座標地図部３１０は車両情報２１１に基づいて車両情報テーブル３９１を更新し（Ｓ１２０）、道路画像１１９に基づいてメッシュ地図データ３９２を更新する（Ｓ１２１）。
追尾処理部３２０は車両情報２１１と旧車両情報テーブル３９１ｂとに基づいて検知漏れ車両および検知範囲通過車両を検出し（Ｓ１３０）、検知漏れ車両と検知範囲通過車両とについて車両情報テーブル３９１とメッシュ地図データ３９２とを更新する（Ｓ１３１）。
追尾比較処理部３３０は車両情報テーブル３９１に基づいて車両数を特定する（Ｓ１４０）。
メッシュ地図情報部３４０はメッシュ地図データ３９２および車両数を表示装置に表示する（Ｓ１５０）。
交差点通過車両管理部３５０は交差点通過車両管理テーブル３９３内の検知範囲通過車両の車両ＩＤの使用状態を「未使用」に変更する（Ｓ１６０）。
以下に、各処理（Ｓ１１０〜Ｓ１６０）の詳細について説明する。 The image sensor data processing unit 210 inputs the road image 119 output from the first image sensor 110 and the second image sensor 111, and generates vehicle information 211 based on the input road image 119 (S110).
The coordinate map unit 310 updates the vehicle information table 391 based on the vehicle information 211 (S120), and updates the mesh map data 392 based on the road image 119 (S121).
The tracking processing unit 320 detects the detection omission vehicle and the detection range passing vehicle based on the vehicle information 211 and the old vehicle information table 391b (S130), and the vehicle information table 391 and the mesh map for the detection omission vehicle and the detection range passage vehicle. The data 392 is updated (S131).
The tracking comparison processing unit 330 specifies the number of vehicles based on the vehicle information table 391 (S140).
The mesh map information unit 340 displays the mesh map data 392 and the number of vehicles on the display device (S150).
The intersection passing vehicle management unit 350 changes the use state of the vehicle ID of the vehicle passing the detection range in the intersection passing vehicle management table 393 to “unused” (S160).
Below, the detail of each process (S110-S160) is demonstrated.

＜Ｓ１１０＞
画像センサデータ処理部２１０は、第１画像センサ１１０および第２画像センサ１１１から出力された道路画像１１９を入力し、入力した道路画像１１９を道路画像記憶部２９０に記憶する。
画像センサデータ処理部２１０は、入力した道路画像１１９に基づいて道路画像１１９に写っている各車両の車両情報２１１（車種、車両速度、車両位置、車線、車両ＩＤなど）を生成し、生成した各車両の車両情報２１１を道路画像記憶部２９０に記憶する。
画像センサデータ処理部２１０は、道路画像１１９と当該道路画像１１９に基づいて生成した各車両の車両情報２１１とを情報処理判定装置３００に出力する。情報処理判定装置３００の判定装置記憶部３９０は、画像センサデータ処理部２１０により出力された道路画像１１９および各車両の車両情報２１１を記憶する。 <S110>
The image sensor data processing unit 210 inputs the road image 119 output from the first image sensor 110 and the second image sensor 111, and stores the input road image 119 in the road image storage unit 290.
The image sensor data processing unit 210 generates and generates vehicle information 211 (vehicle type, vehicle speed, vehicle position, lane, vehicle ID, etc.) of each vehicle shown in the road image 119 based on the input road image 119. The vehicle information 211 of each vehicle is stored in the road image storage unit 290.
The image sensor data processing unit 210 outputs the road image 119 and the vehicle information 211 of each vehicle generated based on the road image 119 to the information processing determination device 300. The determination device storage unit 390 of the information processing determination device 300 stores the road image 119 output from the image sensor data processing unit 210 and the vehicle information 211 of each vehicle.

例えば、画像センサデータ処理部２１０は、道路画像１１９を各画素の輝度（色情報）などに基づいてエッジング処理して車両が写っている画素領域を特定し、特定した画素領域の大きさおよび形状に基づいて車種（大型車両、普通車両または二輪車など）を特定する。   For example, the image sensor data processing unit 210 performs an edging process on the road image 119 based on the luminance (color information) of each pixel to identify a pixel area in which the vehicle is shown, and the size and shape of the identified pixel area The vehicle type (large vehicle, ordinary vehicle, two-wheeled vehicle, etc.) is specified based on the above.

また例えば、画像センサデータ処理部２１０は、連続する二枚の道路画像１１９（ｎ枚目の画像とｎ＋１枚目の画像）における車両の画素領域の移動量と撮像時間間隔とに基づいて車両速度を算出する。
第２画像センサ１１１の道路画像１１９（各車両を側上方から撮像した画像）において車両の画素領域が進行方向に「２画素」移動し、１画素に写る範囲が「０．２ｍ」である場合、１枚目の道路画像１１９が撮像されてから２枚目の道路画像１１９が撮像されるまでの時間（撮像時間間隔）に車両が進んだ距離は「０．４ｍ（＝０．２［ｍ／画素］×２［画素］）」となる。そして、撮像時間間隔が「１／３０秒」である場合、車両速度は「４３．２ｋｍ／ｈ（＝１２［ｍ／秒］＝０．４［ｍ］÷（１／３０［秒］））」となる。
画像センサデータ処理部２１０は、第１画像センサ１１０の道路画像１１９（各車両を正面上方から撮像した画像）を用いて車両速度を算出してもよい。例えば、先頭車両が交差点からある程度離れた地点を走行している場合、第１画像センサ１１０の道路画像１１９には先頭車両の正面全体が写る。また、道路画像１１９は第１画像センサ１１０の設置高さ（路面からの高さ）、視線方向（傾き）および焦点に基づいて定まる三次元の撮像範囲を二次元の平面に投影したものであるから、路面上の各地点が投影される道路画像１１９上の画素が定まる。つまり、道路画像１１９の画素毎に当該画素に写る路面上の地点を特定することができる。画像センサデータ処理部２１０は、二枚の道路画像車両情報２１１それぞれで、先頭車両の画素領域のうち路面上の地点が写っている画素を特定し、特定した画素の移動量に基づいて先頭車両の移動距離を算出し、移動距離と撮像時間間隔とに基づいて車両速度を算出する。 Further, for example, the image sensor data processing unit 210 determines the vehicle speed based on the moving amount of the pixel region of the vehicle and the imaging time interval in two consecutive road images 119 (the nth image and the n + 1th image). Is calculated.
In the road image 119 of the second image sensor 111 (an image obtained by imaging each vehicle from the upper side), the pixel area of the vehicle moves “2 pixels” in the traveling direction, and the range that appears in one pixel is “0.2 m” The distance traveled by the vehicle during the time from when the first road image 119 is captured until the second road image 119 is captured (imaging time interval) is “0.4 m (= 0.2 [m / Pixel] × 2 [pixel]) ”. When the imaging time interval is “1/30 second”, the vehicle speed is “43.2 km / h (= 12 [m / second] = 0.4 [m] ÷ (1/30 [second])). "
The image sensor data processing unit 210 may calculate the vehicle speed using the road image 119 of the first image sensor 110 (an image obtained by imaging each vehicle from the front upper side). For example, when the leading vehicle is traveling at a point away from the intersection to some extent, the road image 119 of the first image sensor 110 shows the entire front of the leading vehicle. The road image 119 is obtained by projecting a three-dimensional imaging range determined based on the installation height (height from the road surface), the line-of-sight direction (tilt), and the focus of the first image sensor 110 onto a two-dimensional plane. Therefore, the pixel on the road image 119 on which each point on the road surface is projected is determined. That is, for each pixel of the road image 119, the point on the road surface that appears in the pixel can be specified. The image sensor data processing unit 210 identifies, in each of the two road image vehicle information 211, a pixel in which a point on the road surface is captured in the pixel area of the leading vehicle, and based on the amount of movement of the identified pixel, the leading vehicle And the vehicle speed is calculated based on the movement distance and the imaging time interval.

また例えば、画像センサデータ処理部２１０は、車両の画素領域に基づいて車両位置を算出する。第２画像センサ１１１の道路画像１１９において交差点の停止線が写っている画素領域と車両の画素領域とが進行方向に「１００画素」ずれており、１画素に写る範囲が「０．２ｍ」である場合、車両位置は、交差点の停止線から「２０ｍ（＝０．２［ｍ／画素］×１００［画素］）」だけ手前の位置となる。画像センサデータ処理部２１０は、第１画像センサ１１０の道路画像１１９を用いて車両位置を算出してもよい。例えば、画像センサデータ処理部２１０は、先頭車両の画素領域のずれ量に基づいて先頭車両の車両位置を算出する。   For example, the image sensor data processing unit 210 calculates the vehicle position based on the pixel area of the vehicle. In the road image 119 of the second image sensor 111, the pixel region where the stop line of the intersection is shown and the pixel region of the vehicle are shifted by “100 pixels” in the traveling direction, and the range shown in one pixel is “0.2 m”. In some cases, the vehicle position is a position that is “20 m (= 0.2 [m / pixel] × 100 [pixel])” from the stop line at the intersection. The image sensor data processing unit 210 may calculate the vehicle position using the road image 119 of the first image sensor 110. For example, the image sensor data processing unit 210 calculates the vehicle position of the leading vehicle based on the shift amount of the pixel area of the leading vehicle.

また例えば、画像センサデータ処理部２１０は、車両の画素領域（道路画像１１９内の右寄り、中央、左寄りなど）に基づいて車線を特定する。例えば、先頭車両が交差点からある程度離れた地点を走行している場合、第１画像センサ１１０の道路画像１１９には先頭車両の正面全体が写る。また上記の通り、道路画像１１９の画素毎に当該画素に写る路面上の地点を特定することができる。画像センサデータ処理部２１０は、第１画像センサ１１０の道路画像１１９において先頭車両の画素領域のうち路面上の地点が写っている画素を特定し、特定した画素に基づいて先頭車両が走行している車線を特定する。   Further, for example, the image sensor data processing unit 210 identifies a lane based on a pixel region of the vehicle (right side, center, left side, etc. in the road image 119). For example, when the leading vehicle is traveling at a point away from the intersection to some extent, the road image 119 of the first image sensor 110 shows the entire front of the leading vehicle. Further, as described above, for each pixel of the road image 119, a point on the road surface that appears in the pixel can be specified. The image sensor data processing unit 210 identifies a pixel in the road image 119 of the first image sensor 110 where a spot on the road surface is shown in the pixel area of the leading vehicle, and the leading vehicle travels based on the identified pixel. Identify the lane you are in.

画像センサデータ処理部２１０は、各車両に異なる車両ＩＤを一つずつ付与する。
画像センサデータ処理部２１０は、第１画像センサ１１０の道路画像１１９（以下、「第１画像」という）と第２画像センサ１１１の道路画像１１９（以下、「第２画像」という）とに写った同一車両に２つの車両ＩＤを付与しないように、第１画像に写った車両と第２画像に写った画像とが同一車両であるか否かを判定する。まず、画像センサデータ処理部２１０は、第１画像に基づいて取得した第１の車両情報（車種、車両速度および車両位置）と第２画像に基づいて取得した第２の車両情報とを比較する。そして、画像センサデータ処理部２１０は、第１の車両情報と第２の車両情報とが一致する場合、第１画像に写った当該車両と第２画像に写った当該車両とが同一の車両であると判定し、第１の車両情報と第２の車両情報とが一致しない場合、第１画像に写った当該車両と第２画像に写った当該車両とが異なる車両であると判定する。
また、画像センサデータ処理部２１０は、連続する二枚の道路画像１１９（第１画像または第２画像）に写った同一車両に２つの車両ＩＤを付与しないように、連続する二枚の道路画像１１９それぞれに写った車両が同一車両であるか否かを判定する。まず、画像センサデータ処理部２１０は、一枚目の道路画像１１９における車両の画素領域と二枚目の道路画像１１９における車両の画素領域とを比較する。そして、画像センサデータ処理部２１０は、画素領域の移動量が所定範囲（例えば、１〜３画素）内である場合、一枚目の道路画像１１９に写った当該車両と二枚目の道路画像１１９に写った当該車両とを同一車両と判定し、画素領域の移動量が所定範囲外である場合、一枚目の道路画像１１９に写った当該車両と二枚目の道路画像１１９に写った当該車両とが異なる車両であると判定する。
画像センサデータ処理部２１０は、新たに検出した車両には未使用の車両ＩＤを付与する。 The image sensor data processing unit 210 assigns a different vehicle ID to each vehicle one by one.
The image sensor data processing unit 210 appears in a road image 119 (hereinafter referred to as “first image”) of the first image sensor 110 and a road image 119 (hereinafter referred to as “second image”) of the second image sensor 111. In order not to give two vehicle IDs to the same vehicle, it is determined whether or not the vehicle shown in the first image and the image shown in the second image are the same vehicle. First, the image sensor data processing unit 210 compares the first vehicle information (vehicle type, vehicle speed, and vehicle position) acquired based on the first image with the second vehicle information acquired based on the second image. . Then, when the first vehicle information and the second vehicle information match, the image sensor data processing unit 210 is the same vehicle as the vehicle shown in the first image and the vehicle shown in the second image. If it is determined that there is no match between the first vehicle information and the second vehicle information, it is determined that the vehicle shown in the first image is different from the vehicle shown in the second image.
In addition, the image sensor data processing unit 210 has two consecutive road images so as not to assign two vehicle IDs to the same vehicle shown in the two consecutive road images 119 (first image or second image). It is determined whether or not the vehicles shown in 119 are the same vehicle. First, the image sensor data processing unit 210 compares the pixel area of the vehicle in the first road image 119 with the pixel area of the vehicle in the second road image 119. Then, when the movement amount of the pixel area is within a predetermined range (for example, 1 to 3 pixels), the image sensor data processing unit 210 and the vehicle and the second road image that are reflected in the first road image 119 are displayed. If the vehicle shown in 119 is determined to be the same vehicle, and the amount of movement of the pixel area is outside the predetermined range, the vehicle shown in the first road image 119 and the second road image 119 are shown. It is determined that the vehicle is a different vehicle.
The image sensor data processing unit 210 assigns an unused vehicle ID to the newly detected vehicle.

Ｓ１１０の後、処理はＳ１２０に進む。   After S110, the process proceeds to S120.

＜Ｓ１２０＞
座標地図部３１０は、車両情報テーブル３９１のコピーを旧車両情報テーブル３９１ｂとして判定装置記憶部３９０に保存する。
そして、座標地図部３１０は、Ｓ１１０において判定装置記憶部３９０に記憶された各車両の車両情報２１１に基づいて車両情報テーブル３９１を更新する。 <S120>
The coordinate map unit 310 stores a copy of the vehicle information table 391 in the determination device storage unit 390 as an old vehicle information table 391b.
And the coordinate map part 310 updates the vehicle information table 391 based on the vehicle information 211 of each vehicle memorize | stored in the determination apparatus memory | storage part 390 in S110.

図７は、実施の形態１における車両情報テーブル３９１を示す図である。
Ｓ１２０（図６）において更新される車両情報テーブル３９１について、図７に基づいて以下に説明する。 FIG. 7 is a diagram showing the vehicle information table 391 in the first embodiment.
The vehicle information table 391 updated in S120 (FIG. 6) will be described below based on FIG.

車両情報テーブル３９１には、車両ＩＤに対応付けられて車種、車両速度、車両位置、車線などが設定される。
Ｓ１２０（図６）において、座標地図部３１０は、車両情報２１１に含まれる車両ＩＤを検索キーとして車両情報テーブル３９１を検索し、車両ＩＤが一致するレコード（行）の設定値を車両情報２１１に含まれる各値に変更する。座標地図部３１０は、車両ＩＤが一致するレコードが車両情報テーブル３９１に無い場合、車両情報２１１に含まれる各値を設定したレコードを生成し、生成したレコードを車両情報テーブル３９１に追加する。
例えば、座標地図部３１０は、図７に示すようにレコードを変更および追加して、車両情報テーブル３９１を更新する。 In the vehicle information table 391, a vehicle type, a vehicle speed, a vehicle position, a lane, and the like are set in association with the vehicle ID.
In S120 (FIG. 6), the coordinate map unit 310 searches the vehicle information table 391 using the vehicle ID included in the vehicle information 211 as a search key, and sets the set value of the record (row) with the matching vehicle ID in the vehicle information 211. Change to each included value. When there is no record in the vehicle information table 391 that matches the vehicle ID, the coordinate map unit 310 generates a record in which each value included in the vehicle information 211 is set, and adds the generated record to the vehicle information table 391.
For example, the coordinate map unit 310 updates and updates the vehicle information table 391 by changing and adding records as shown in FIG.

図６に戻り、車両検知追尾方法の説明を続ける。   Returning to FIG. 6, the description of the vehicle detection tracking method will be continued.

Ｓ１２０の後、処理はＳ１２１に進む。   After S120, the process proceeds to S121.

＜Ｓ１２１＞
座標地図部３１０は、Ｓ１１０において判定装置記憶部３９０に記憶された道路画像１１９に基づいてメッシュ地図データ３９２を更新する。メッシュ地図データ３９２は以下に説明するメッシュ地図を表す情報である。 <S121>
The coordinate map unit 310 updates the mesh map data 392 based on the road image 119 stored in the determination device storage unit 390 in S110. The mesh map data 392 is information representing a mesh map described below.

図８は、実施の形態１におけるメッシュ地図を示す図である。
Ｓ１２１（図６）において更新されるメッシュ地図データ３９２について、図８に基づいて以下に説明する。 FIG. 8 is a diagram showing a mesh map in the first embodiment.
The mesh map data 392 updated in S121 (FIG. 6) will be described below based on FIG.

メッシュ地図は、検知範囲を所定の幅（例えば、縦横１メートル）でメッシュ状に区切って図示したものである。メッシュ地図の各交点は、車両の進行方向を「ｘ軸」、道路１０１の幅方向を「ｙ軸」として、ｘｙ座標（ｘ、ｙ）で識別される。
図８は、（５、５）（５、７）（８、５）（８、７）の４点に囲まれた領域内に車両ＩＤ「ｎ」で識別される車両が位置していることを示している。
メッシュ地図データ３９２には、車両が位置する領域を示す４点のｘｙ座標が車両ＩＤ毎にレコードとして設定される。 The mesh map is illustrated by dividing the detection range into a mesh shape with a predetermined width (for example, 1 meter in length and width). Each intersection of the mesh map is identified by xy coordinates (x, y), where the traveling direction of the vehicle is “x axis” and the width direction of the road 101 is “y axis”.
FIG. 8 shows that the vehicle identified by the vehicle ID “n” is located in an area surrounded by four points (5, 5) (5, 7) (8, 5) (8, 7). Is shown.
In the mesh map data 392, four xy coordinates indicating an area where the vehicle is located are set as a record for each vehicle ID.

Ｓ１２１（図６）において、座標地図部３１０は、画像センサデータ処理部２１０と同様に（Ｓ１１０参照）、道路画像１１９に基づいて道路画像１１９に写った各車両の位置（または、各車両が位置している路面上の地点）をメッシュ地図のｘｙ座標系で特定する。座標地図部３１０は、車両情報テーブル３９１（車両位置、車線など）を参照して対応する車両ＩＤを特定し、ｘｙ座標を車両ＩＤに対応付けてメッシュ地図データ３９２に設定（変更・追加）する。このとき、座標地図部３１０は、車両ＩＤを検索キーとしてメッシュ地図データ３９２を検索し、車両ＩＤが一致するレコードの設定値（ｘｙ座標）を特定したｘｙ座標に変更する。座標地図部３１０は、車両ＩＤが一致するレコードがメッシュ地図データ３９２に無い場合、車両ＩＤとｘｙ座標とを設定したレコードを生成し、生成したレコードをメッシュ地図データ３９２に追加する。座標地図部３１０は、レコードの変更・追加により、車両情報テーブル３９１を更新する。   In S121 (FIG. 6), the coordinate map unit 310 is similar to the image sensor data processing unit 210 (see S110), and the position of each vehicle shown in the road image 119 based on the road image 119 (or the position of each vehicle). The point on the road surface) is specified in the xy coordinate system of the mesh map. The coordinate map unit 310 identifies the corresponding vehicle ID with reference to the vehicle information table 391 (vehicle position, lane, etc.), and sets (changes / adds) the xy coordinates in the mesh map data 392 in association with the vehicle ID. . At this time, the coordinate map unit 310 searches the mesh map data 392 using the vehicle ID as a search key, and changes the set value (xy coordinate) of the record with the matching vehicle ID to the specified xy coordinate. If there is no record in the mesh map data 392 that matches the vehicle ID, the coordinate map unit 310 generates a record in which the vehicle ID and xy coordinates are set, and adds the generated record to the mesh map data 392. The coordinate map unit 310 updates the vehicle information table 391 by changing / adding records.

図６に戻り、車両検知追尾方法の説明を続ける。   Returning to FIG. 6, the description of the vehicle detection tracking method will be continued.

Ｓ１２１の後、処理はＳ１３０に進む。   After S121, the process proceeds to S130.

＜Ｓ１３０＞
追尾処理部３２０は、Ｓ１１０において記憶された各車両の車両情報２１１とＳ１２０において保存された旧車両情報テーブル３９１ｂとに基づいて、検知漏れ車両および検知範囲通過車両を検出する。
検知漏れ車両とは、検知範囲内に位置しているが他の車両に隠れるなどの理由により画像センサデータ処理装置２００により検知されなかった車両のことである。
検知範囲通過車両とは、検知範囲を通過したため画像センサデータ処理装置２００により検知されなかった車両のことである。
このとき、追尾処理部３２０は、旧車両情報テーブル３９１ｂに設定されているレコードのうち各車両の車両情報２１１のいずれとも車両ＩＤが一致しないレコードを抽出する。
さらに、追尾処理部３２０は、抽出したレコードに設定されている車両位置（交差点からの距離）と所定の距離（例えば、１メートル）とを大小比較する。追尾処理部３２０は、車両位置が所定の距離以上であれば対応する車両情報テーブル３９１のレコードを検知漏れ車両のレコードと判定し、車両位置が所定の距離未満であれば対応する車両情報テーブル３９１のレコードを検知範囲通過車両のレコードと判定する。 <S130>
The tracking processing unit 320 detects the detection omission vehicle and the detection range passing vehicle based on the vehicle information 211 of each vehicle stored in S110 and the old vehicle information table 391b stored in S120.
A detection-missing vehicle is a vehicle that is located within the detection range but has not been detected by the image sensor data processing device 200 due to reasons such as being hidden by another vehicle.
A detection range passing vehicle is a vehicle that has not been detected by the image sensor data processing device 200 because it has passed the detection range.
At this time, the tracking processing unit 320 extracts a record whose vehicle ID does not match any of the vehicle information 211 of each vehicle among the records set in the old vehicle information table 391b.
Further, the tracking processing unit 320 compares the vehicle position (distance from the intersection) set in the extracted record with a predetermined distance (for example, 1 meter). If the vehicle position is equal to or greater than a predetermined distance, the tracking processing unit 320 determines that the corresponding vehicle information table 391 record is a record of a detection-missing vehicle, and if the vehicle position is less than the predetermined distance, the corresponding vehicle information table 391 Is determined to be a record of a vehicle passing through the detection range.

図９は、実施の形態１における車両情報テーブル３９１内の検知漏れ車両のレコードおよび検知範囲通過車両のレコードを示す図である。
例えば、図９に示すように、車両ＩＤ「２」で識別される車両の車両情報２１１があり、旧車両情報テーブル３９１ｂに３つのレコード（車両ＩＤ：「１」「２」「３」）が設定されているとする。Ｓ１３０（図６）において、追尾処理部３２０は、旧車両情報テーブル３９１ｂに設定されている３つのレコードのうち車両ＩＤ「２」のレコードを除いて、車両ＩＤ「１」のレコードと車両ＩＤ「３」のレコードとを抽出する。
さらに、追尾処理部３２０は、抽出した車両ＩＤ「１」のレコードに設定されている車両位置「０．５ｍ」と所定の距離「１ｍ」とを大小比較し、車両位置が所定の距離未満であるため車両情報テーブル３９１内の車両ＩＤ「１」のレコードを検知範囲通過車両のレコードと判定する。また、追尾処理部３２０は、抽出した車両ＩＤ「３」のレコードに設定されている車両位置「１０ｍ」と所定の距離「１ｍ」とを大小比較し、車両位置が所定の距離以上であるため車両情報テーブル３９１内の車両ＩＤ「３」のレコードを検知漏れ車両のレコードと判定する。 FIG. 9 is a diagram showing a record of a vehicle that is not detected and a record of a vehicle that has passed the detection range in the vehicle information table 391 in the first embodiment.
For example, as shown in FIG. 9, there is vehicle information 211 of a vehicle identified by a vehicle ID “2”, and three records (vehicle ID: “1” “2” “3”) are stored in the old vehicle information table 391b. Suppose that it is set. In S <b> 130 (FIG. 6), the tracking processing unit 320 excludes the record of the vehicle ID “2” from the three records set in the old vehicle information table 391 b and the record of the vehicle ID “1” and the vehicle ID “ 3 ”is extracted.
Further, the tracking processing unit 320 compares the vehicle position “0.5 m” set in the extracted record of the vehicle ID “1” with a predetermined distance “1 m”, and the vehicle position is less than the predetermined distance. Therefore, the record of the vehicle ID “1” in the vehicle information table 391 is determined as the record of the vehicle passing through the detection range. Further, the tracking processing unit 320 compares the vehicle position “10 m” set in the extracted record of the vehicle ID “3” with the predetermined distance “1 m”, and the vehicle position is equal to or greater than the predetermined distance. It is determined that the record of the vehicle ID “3” in the vehicle information table 391 is a record of a detection-missing vehicle.

図６に戻り、車両検知追尾方法の説明を続ける。   Returning to FIG. 6, the description of the vehicle detection tracking method will be continued.

Ｓ１３０の後、処理はＳ１３１に進む。   After S130, the process proceeds to S131.

＜Ｓ１３１＞
追尾処理部３２０は、Ｓ１３０において検出した検知漏れ車両と検知範囲通過車両とについて車両情報テーブル３９１とメッシュ地図データ３９２とを更新する。
例えば、追尾処理部３２０は、検知漏れ車両が車両速度を維持して走行したと仮定し、車両情報テーブル３９１を更新する。図９に示す車両情報テーブル３９１の車両ＩＤ「３」のレコードを更新する場合、追尾処理部３２０は、車両速度「５４ｋｍ／ｈ」と撮像時間間隔（「１／３０秒」とする）とに基づいて検知漏れ車両の走行距離「０．５ｍ」を算出し、車両位置「１０ｍ」を「９．５ｍ（＝１０ｍ−０．５ｍ）」に変更する。
また例えば、追尾処理部３２０は、メッシュ地図データ３９２に含まれる検知漏れ車両の座標を走行距離だけ交差点に近づけた座標に更新する。
また、追尾処理部３２０は、検知範囲通過車両のレコードを車両情報テーブル３９１およびメッシュ地図データ３９２から削除する。
Ｓ１３１の後、処理はＳ１４０に進む。 <S131>
The tracking processing unit 320 updates the vehicle information table 391 and the mesh map data 392 for the detection-missing vehicle and the detection range passing vehicle detected in S130.
For example, the tracking processing unit 320 updates the vehicle information table 391 on the assumption that the detection-missing vehicle has traveled while maintaining the vehicle speed. When the record of the vehicle ID “3” in the vehicle information table 391 shown in FIG. 9 is updated, the tracking processing unit 320 sets the vehicle speed “54 km / h” and the imaging time interval (referred to as “1/30 seconds”). Based on this, the travel distance “0.5 m” of the detected vehicle is calculated, and the vehicle position “10 m” is changed to “9.5 m (= 10 m−0.5 m)”.
Further, for example, the tracking processing unit 320 updates the coordinates of the detection-missing vehicle included in the mesh map data 392 to the coordinates closer to the intersection by the travel distance.
In addition, the tracking processing unit 320 deletes the record of the vehicle passing the detection range from the vehicle information table 391 and the mesh map data 392.
After S131, the process proceeds to S140.

＜Ｓ１４０＞
追尾比較処理部３３０は、車両情報テーブル３９１に含まれるレコード数を数えて、検知範囲を走行している車両の台数を特定する。車両情報テーブル３９１に含まれるレコード数は、検知範囲を走行している車両の台数に相当する。
Ｓ１４０の後、処理はＳ１５０に進む。 <S140>
The tracking comparison processing unit 330 counts the number of records included in the vehicle information table 391 and specifies the number of vehicles traveling in the detection range. The number of records included in the vehicle information table 391 corresponds to the number of vehicles traveling in the detection range.
After S140, the process proceeds to S150.

＜Ｓ１５０＞
メッシュ地図情報部３４０は、Ｓ１３１において更新されたメッシュ地図データ３９２に基づいて図８に示すようなメッシュ地図を特定の表示装置に表示する。また、メッシュ地図情報部３４０は、Ｓ１４０において特定された車両数も表示装置に表示する。メッシュ地図情報部３４０は、さらに、車両情報テーブル３９１を表示してもよい。
Ｓ１５０の後、処理はＳ１６０に進む。 <S150>
The mesh map information unit 340 displays a mesh map as shown in FIG. 8 on a specific display device based on the mesh map data 392 updated in S131. The mesh map information unit 340 also displays the number of vehicles specified in S140 on the display device. The mesh map information unit 340 may further display a vehicle information table 391.
After S150, the process proceeds to S160.

＜Ｓ１６０＞
交差点通過車両管理部３５０は、交差点通過車両管理テーブル３９３に設定されている車両ＩＤのうちＳ１３０において検出された検知範囲通過車両の車両ＩＤについて、使用状態を「使用中」から「未使用」に変更する。
Ｓ１１０において画像センサデータ処理部２１０は車両ＩＤを割り当てていない新たな車両を検出した場合、交差点通過車両管理テーブル３９３から使用状態が「未使用」である車両ＩＤを取得し、取得した車両ＩＤを新たな車両に割り当て、新たな車両に割り当てた車両ＩＤの使用状態を「未使用」から「使用中」に変更する。
交差点通過車両管理部３５０は、各検知範囲通過車両について検知範囲を通過した時刻、走行していた車線などの情報を記録してもよい。
Ｓ１６０の後、車両検知追尾方法の処理（Ｓ１１０〜Ｓ１６０）は終了する。車両検知追尾方法の処理（Ｓ１１０〜Ｓ１６０）は、第１画像センサ１１０および第２画像センサ１１１により道路画像１１９が撮像されて出力される度に繰り返し実行される。 <S160>
The intersection passing vehicle management unit 350 changes the use state from “in use” to “unused” for the vehicle ID of the detection range passing vehicle detected in S130 among the vehicle IDs set in the intersection passing vehicle management table 393. change.
When the image sensor data processing unit 210 detects a new vehicle to which no vehicle ID is assigned in S110, the image sensor data processing unit 210 acquires a vehicle ID whose use state is “unused” from the intersection passing vehicle management table 393, and uses the acquired vehicle ID. Assign to a new vehicle and change the usage state of the vehicle ID assigned to the new vehicle from “unused” to “in use”.
The intersection passing vehicle management unit 350 may record information such as the time of passing through the detection range and the lane in which the vehicle has traveled for each detection range passing vehicle.
After S160, the vehicle detection tracking method processing (S110 to S160) ends. The vehicle detection tracking method processing (S110 to S160) is repeatedly executed every time the road image 119 is captured and output by the first image sensor 110 and the second image sensor 111.

実施の形態１では、例えば、以下のような車両検知追尾システム１００について説明した。
車両検知追尾システム１００は、画像センサ（第１画像センサ１１０、第２画像センサ１１１）を道路１０１の正面（進行方向と逆方向）と道路１０１の横とに配置し、合計２台の画像センサで車両検知する。
車両検知追尾システム１００は、画像センサデータ処理装置２００および情報処理判定装置３００を備える。
画像センサデータ処理装置２００は、第１画像センサ１１０および第２画像センサ１１１により撮像された道路画像１１９に基づいて、道路１０１を走行している車両毎に車種判別情報、車両速度、交差点停止線からの距離などの情報を取得し、各車両にユニークな車両ＩＤを付与し、取得および付与した情報（車両情報２１１）を情報処理判定装置３００に通信する。
情報処理判定装置３００は、座標地図部３１０および追尾処理部３２０を備える。
座標地図部３１０は、画像センサデータ処理装置２００から送られたデータを画像センサの取り付け位置と車両検知角度とに基づいてＸＹ軸から成る２次元地図情報を計算し、画像センサデータ処理装置２００から取得した車両情報２１１と各車両とをメッシュ地図にプロットする。
追尾処理部３２０は、車両情報２１１に基づいて、メッシュ地図にプロットされた各車両を交差点入り口（検知範囲）まで地図上で動的に追尾する。追尾処理部３２０は、画像センサデータ処理装置２００から送られてくる最新の各車両の車両情報２１１とメッシュ地図上に既にあり動的に追尾を受けている各車両の車両情報２１１とを比較し、既追尾車両以外の新しい車両や急に何らの要因で検知できなくなった車両や検知できなくなった後に再び検知できた車両を引き続き動的に追尾する。 In the first embodiment, for example, the following vehicle detection tracking system 100 has been described.
In the vehicle detection and tracking system 100, image sensors (first image sensor 110 and second image sensor 111) are arranged in front of the road 101 (in the direction opposite to the traveling direction) and next to the road 101, for a total of two image sensors. Detect the vehicle with
The vehicle detection tracking system 100 includes an image sensor data processing device 200 and an information processing determination device 300.
The image sensor data processing device 200 determines the vehicle type identification information, vehicle speed, intersection stop line for each vehicle traveling on the road 101 based on the road image 119 captured by the first image sensor 110 and the second image sensor 111. Information such as the distance from the vehicle is acquired, a unique vehicle ID is assigned to each vehicle, and the acquired and assigned information (vehicle information 211) is communicated to the information processing determination device 300.
The information processing determination apparatus 300 includes a coordinate map unit 310 and a tracking processing unit 320.
The coordinate map unit 310 calculates two-dimensional map information composed of XY axes based on the data sent from the image sensor data processing device 200 based on the mounting position of the image sensor and the vehicle detection angle, and from the image sensor data processing device 200. The acquired vehicle information 211 and each vehicle are plotted on a mesh map.
The tracking processing unit 320 dynamically tracks each vehicle plotted on the mesh map on the map up to the intersection entrance (detection range) based on the vehicle information 211. The tracking processing unit 320 compares the latest vehicle information 211 of each vehicle sent from the image sensor data processing device 200 with the vehicle information 211 of each vehicle that is already on the mesh map and is dynamically tracked. New vehicles other than already tracked vehicles, vehicles that suddenly become undetectable due to any factors, and vehicles that can be detected again after being undetectable continue to be tracked dynamically.

図１０は、実施の形態１における車両の追尾例を示す図である。
画像センサデータ処理装置２００は、第１画像センサ１１０と第２画像センサ１１１とで同時に検出した一台の先行車両１２５（例えば、二輪車）に一つの車両ＩＤを付与する。また、画像センサデータ処理装置２００は、先行車両１２５に後続する後続車両１２６（例えば、大型車両または普通車両）を第１画像センサ１１０と第２画像センサ１１１との少なくともいずれかで検出した場合、後続車両１２６に先行車両１２５と異なる車両ＩＤを付与する（図１０（ａ））。
情報処理判定装置３００は、図１０（ｂ）に示すように、後続車両１２６が先行車両１２５に追いつき、先行車両１２５が後続車両１２６に並走された場合（第２画像センサ１１１から見て先行車両１２５が後続車両１２６の陰に隠れる場合）、第１画像センサ１１０の道路画像１１９を利用することにより、先行車両１２５と後続車両１２６とを動的に追尾することができる。
また、情報処理判定装置３００は、図１０（ｃ）に示すように、後続車両１２６が先行車両１２５を追い抜き、先行車両１２５が後続車両１２６に追従する場合（第１画像センサ１１０から見て先行車両１２５が後続車両１２６の陰に隠れる場合）、第２画像センサ１１１の道路画像１１９を利用することにより、先行車両１２５と後続車両１２６とを動的に追尾することができる。
また、情報処理判定装置３００は、図１０（ｄ）に示すように、先行車両１２５が後続車両１２６と並走する場合、第１画像センサ１１０の道路画像１１９と第２画像センサ１１１の道路画像１１９との少なくともいずれかを利用することにより、先行車両１２５と後続車両１２６とを動的に追尾することができる。
図１０（ｄ）の場合、第１画像センサ１１０の道路画像１１９（以下、「第１画像」という）と第２画像センサ１１１の道路画像１１９（以下、「第２画像」という）との両方に先行車両１２５が写る。画像センサデータ処理装置２００は、第１画像から取得した第１の車両情報（車種、車両速度および車両位置）と第２画像から取得した第２の車両情報とが一致するので、第１画像に写った先行車両１２５と第２画像に写った先行車両１２５とを同一車両と認識する。同様に、画像センサデータ処理装置２００は、第１画像に写った後続車両１２６と第２画像に写った後続車両１２６とを同一車両と認識する。 FIG. 10 is a diagram illustrating a tracking example of the vehicle in the first embodiment.
The image sensor data processing device 200 assigns one vehicle ID to one preceding vehicle 125 (for example, a two-wheeled vehicle) detected by the first image sensor 110 and the second image sensor 111 at the same time. Further, when the image sensor data processing device 200 detects the subsequent vehicle 126 (for example, a large vehicle or a normal vehicle) following the preceding vehicle 125 by at least one of the first image sensor 110 and the second image sensor 111, A vehicle ID different from that of the preceding vehicle 125 is assigned to the succeeding vehicle 126 (FIG. 10A).
As illustrated in FIG. 10B, the information processing determination apparatus 300 detects that the following vehicle 126 has caught up with the preceding vehicle 125 and the preceding vehicle 125 has run in parallel with the following vehicle 126 (seeing from the second image sensor 111). When the vehicle 125 is hidden behind the following vehicle 126), the preceding vehicle 125 and the following vehicle 126 can be dynamically tracked by using the road image 119 of the first image sensor 110.
In addition, as illustrated in FIG. 10C, the information processing determination device 300 is configured so that the following vehicle 126 passes the preceding vehicle 125 and the preceding vehicle 125 follows the following vehicle 126 (as viewed from the first image sensor 110). When the vehicle 125 is hidden behind the succeeding vehicle 126), the preceding vehicle 125 and the following vehicle 126 can be dynamically tracked by using the road image 119 of the second image sensor 111.
In addition, as illustrated in FIG. 10D, the information processing determination device 300, when the preceding vehicle 125 runs in parallel with the subsequent vehicle 126, the road image 119 of the first image sensor 110 and the road image of the second image sensor 111. By using at least one of 119, the preceding vehicle 125 and the following vehicle 126 can be dynamically tracked.
In the case of FIG. 10D, both the road image 119 of the first image sensor 110 (hereinafter referred to as “first image”) and the road image 119 of the second image sensor 111 (hereinafter referred to as “second image”). The preceding vehicle 125 is shown in FIG. The image sensor data processing device 200 matches the first vehicle information (vehicle type, vehicle speed, and vehicle position) acquired from the first image with the second vehicle information acquired from the second image. The reflected preceding vehicle 125 and the preceding vehicle 125 reflected in the second image are recognized as the same vehicle. Similarly, the image sensor data processing device 200 recognizes the following vehicle 126 shown in the first image and the following vehicle 126 shown in the second image as the same vehicle.

これにより、車両検知追尾システム１００は、大型車両の陰に隠れ追従する車両（普通車両、二輪車）、大型車両の陰に隠れ並走する車両、複数台の大型車両に囲まれた車両など、一時的に道路画像１１９に写らない車両を追尾（検知）し、車両の検知漏れを少なくすることができる。   As a result, the vehicle detection tracking system 100 can be used for temporary vehicles such as a vehicle (ordinary vehicle, two-wheeled vehicle) hidden behind a large vehicle, a vehicle running in parallel behind a large vehicle, or a vehicle surrounded by a plurality of large vehicles. In particular, it is possible to track (detect) a vehicle that is not shown in the road image 119 and reduce detection omission of the vehicle.

１００ 車両検知追尾システム、１０１ 道路、１０２ 交差点、１０３ 進行方向、１１０ 第１画像センサ、１１１ 第２画像センサ、１１８ 撮像範囲、１１９ 道路画像、１２１ 大型車両、１２２ 普通車両、１２３ 二輪車、１２４ 普通車両、１２５ 先行車両、１２６ 後続車両、１９０ 画像センサデータ、２００ 画像センサデータ処理装置、２１０ 画像センサデータ処理部、２１１ 車両情報、２９０ 道路画像記憶部、３００ 情報処理判定装置、３１０ 座標地図部、３２０ 追尾処理部、３３０ 追尾比較処理部、３４０ メッシュ地図情報部、３５０ 交差点通過車両管理部、３９０ 判定装置記憶部、３９１ 車両情報テーブル、３９１ｂ 旧車両情報テーブル、３９２ メッシュ地図データ、３９３ 交差点通過車両管理テーブル、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信ボード、９２０ 磁気ディスク装置、９２１ ＯＳ、９２３ プログラム群、９２４ ファイル群。   DESCRIPTION OF SYMBOLS 100 Vehicle detection tracking system, 101 Road, 102 Intersection, 103 Traveling direction, 110 1st image sensor, 111 2nd image sensor, 118 Imaging range, 119 Road image, 121 Large vehicle, 122 Normal vehicle, 123 Two-wheeled vehicle, 124 Normal vehicle , 125 preceding vehicle, 126 following vehicle, 190 image sensor data, 200 image sensor data processing device, 210 image sensor data processing unit, 211 vehicle information, 290 road image storage unit, 300 information processing determination device, 310 coordinate map unit, 320 Tracking processing unit, 330 Tracking comparison processing unit, 340 mesh map information unit, 350 intersection passing vehicle management unit, 390 determination device storage unit, 391 vehicle information table, 391b old vehicle information table, 392 mesh map data, 393 intersection passing vehicle management Te Bull, 911 CPU, 912 Bus, 913 ROM, 914 RAM, 915 communication board, 920 a magnetic disk device, 921 OS, 923 programs, 924 files.

Claims (3)

道路の周辺に前記道路の進行方向と逆向きに設置され、前記道路を写した道路画像を連続して撮像する第１の画像センサと、
前記道路の脇に前記道路に向けて設置され、前記道路を写した道路画像を連続して撮像する第２の画像センサと、
車両検知装置とを備え、
前記車両検知装置は、
前記第１の画像センサにより撮像された道路画像と前記第２の画像センサにより撮像された道路画像とを入力し、入力した各道路画像に基づいて各道路画像に写った車両と車両の位置を示す車両位置とを検出し、検出した車両毎に車両を識別する車両ＩＤを一つだけ付与し、検出した車両毎に車両ＩＤと車両位置とを含んだ情報を車両情報として出力する道路画像処理部と、
前記道路画像処理部により出力された各車両情報を車両情報テーブルに設定する車両情報設定部と、
前記車両情報設定部により前記車両情報テーブルに設定されている各車両情報に含まれる車両ＩＤのうち前記道路画像処理部により新たに出力された各車両情報に含まれる車両ＩＤのいずれとも一致しない車両ＩＤを不検出の車両ＩＤとして特定する不検出車両特定部と、
前記不検出車両特定部により特定された前記不検出の車両ＩＤを含んだ車両情報に含まれる車両位置に基づいて前記不検出の車両ＩＤで識別される車両の現在の車両位置を推定し、推定した現在の車両位置が道路画像に写る範囲に含まれる場合、前記不検出の車両ＩＤを含んだ車両情報に含まれる車両位置を前記推定した現在の車両位置に更新し、推定した現在の車両位置が道路画像に写る範囲に含まれない場合、前記不検出の車両ＩＤを含んだ車両情報を前記車両情報テーブルから削除する車両情報推定設定部と、
前記車両情報テーブルに設定されている各車両情報を出力する車両情報出力部と
を備えることを特徴とする車両検知システム。 A first image sensor that is installed around the road in a direction opposite to the traveling direction of the road, and continuously captures a road image of the road;
A second image sensor that is installed on the side of the road toward the road, and continuously captures a road image of the road;
A vehicle detection device,
The vehicle detection device is
The road image picked up by the first image sensor and the road image picked up by the second image sensor are input, and the vehicle and the position of the vehicle appearing in each road image based on each input road image. Road image processing for detecting a vehicle position to be shown, giving only one vehicle ID for identifying the vehicle for each detected vehicle, and outputting information including the vehicle ID and the vehicle position as vehicle information for each detected vehicle And
A vehicle information setting unit that sets each vehicle information output by the road image processing unit in a vehicle information table ;
It does not match any of the vehicle ID included in each vehicle information output newly by the road image processing unit of the vehicle ID included in each vehicle information set in the vehicle information table by the pre-Symbol vehicle information setting unit An undetected vehicle identifying unit that identifies the vehicle ID as an undetected vehicle ID;
Estimating the current vehicle position of the vehicle identified by the undetected vehicle ID based on the vehicle position included in the vehicle information including the undetected vehicle ID specified by the undetected vehicle specifying unit, and estimating The vehicle position included in the vehicle information including the undetected vehicle ID is updated to the estimated current vehicle position, and the estimated current vehicle position is included. Vehicle information estimation setting unit that deletes vehicle information including the undetected vehicle ID from the vehicle information table ,
A vehicle detection system, comprising: a vehicle information output unit that outputs each vehicle information set in the vehicle information table . 道路の周辺に前記道路の進行方向と逆向きに設置されて前記道路を写した道路画像を連続して撮像する第１の画像センサにより撮像された道路画像を入力し、前記道路の脇に前記道路に向けて設置されて前記道路を写した道路画像を連続して撮像する第２の画像センサにより撮像された道路画像を入力し、入力した各道路画像に基づいて各道路画像に写った車両と車両の位置を示す車両位置とを検出し、検出した車両毎に車両を識別する車両ＩＤを一つだけ付与し、検出した車両毎に車両ＩＤと車両位置とを含んだ情報を車両情報として出力する道路画像処理部と、A road image captured by a first image sensor that continuously captures a road image that is installed around the road and is opposite to the traveling direction of the road and that captures the road is input to the side of the road. A vehicle that is installed toward a road and inputs a road image captured by a second image sensor that continuously captures a road image of the road, and is reflected in each road image based on each input road image And a vehicle position indicating the position of the vehicle, a single vehicle ID for identifying the vehicle is assigned to each detected vehicle, and information including the vehicle ID and the vehicle position is detected as vehicle information for each detected vehicle. An output road image processing unit;
前記道路画像処理部により出力された各車両情報を車両情報テーブルに設定する車両情報設定部と、A vehicle information setting unit that sets each vehicle information output by the road image processing unit in a vehicle information table;
前記車両情報設定部により前記車両情報テーブルに設定されている各車両情報に含まれる車両ＩＤのうち前記道路画像処理部により新たに出力された各車両情報に含まれる車両ＩＤのいずれとも一致しない車両ＩＤを不検出の車両ＩＤとして特定する不検出車両特定部と、  Vehicles that do not match any of the vehicle IDs included in the vehicle information newly output by the road image processing unit among the vehicle IDs included in the vehicle information set in the vehicle information table by the vehicle information setting unit An undetected vehicle identifying unit that identifies an ID as an undetected vehicle ID;
前記不検出車両特定部により特定された前記不検出の車両ＩＤを含んだ車両情報に含まれる車両位置に基づいて前記不検出の車両ＩＤで識別される車両の現在の車両位置を推定し、推定した現在の車両位置が道路画像に写る範囲に含まれる場合、前記不検出の車両ＩＤを含んだ車両情報に含まれる車両位置を前記推定した現在の車両位置に更新し、推定した現在の車両位置が道路画像に写る範囲に含まれない場合、前記不検出の車両ＩＤを含んだ車両情報を前記車両情報テーブルから削除する車両情報推定設定部と、Estimating the current vehicle position of the vehicle identified by the undetected vehicle ID based on the vehicle position included in the vehicle information including the undetected vehicle ID specified by the undetected vehicle specifying unit, and estimating The vehicle position included in the vehicle information including the undetected vehicle ID is updated to the estimated current vehicle position, and the estimated current vehicle position is included. Vehicle information estimation setting unit that deletes vehicle information including the undetected vehicle ID from the vehicle information table,
前記車両情報テーブルに設定されている各車両情報を出力する車両情報出力部とA vehicle information output unit for outputting each vehicle information set in the vehicle information table;
を備えることを特徴とする車両検知装置。A vehicle detection device comprising: 道路の周辺に前記道路の進行方向と逆向きに設置された第１の画像センサと、
前記道路の脇に前記道路に向けて設置された第２の画像センサと、
道路画像処理部と車両情報設定部と不検出車両特定部と車両情報推定設定部と車両情報出力部とを備える車両検知装置と、を備える車両検知システムの車両検知方法であって、
前記第１の画像センサおよび前記第２の画像センサが、前記道路を写した道路画像を連続して撮像し、
前記道路画像処理部が、前記第１の画像センサにより撮像された道路画像と前記第２の画像センサにより撮像された道路画像とを入力し、入力した各道路画像に基づいて各道路画像に写った車両と車両の位置を示す車両位置とを検出し、検出した車両毎に車両を識別する車両ＩＤを一つだけ付与し、検出した車両毎に車両ＩＤと車両位置とを含んだ情報を車両情報として出力し、
前記車両情報設定部が、前記道路画像処理部により出力された各車両情報を車両情報テーブルに設定し、
前記不検出車両特定部が、前記車両情報設定部により前記車両情報テーブルに設定されている各車両情報に含まれる車両ＩＤのうち前記道路画像処理部により新たに出力された各車両情報に含まれる車両ＩＤのいずれとも一致しない車両ＩＤを不検出の車両ＩＤとして特定し、
前記車両情報推定設定部が、前記不検出車両特定部により特定された前記不検出の車両ＩＤを含んだ車両情報に含まれる車両位置に基づいて前記不検出の車両ＩＤで識別される車両の現在の車両位置を推定し、推定した現在の車両位置が道路画像に写る範囲に含まれる場合、前記不検出の車両ＩＤを含んだ車両情報に含まれる車両位置を前記推定した現在の車両位置に更新し、推定した現在の車両位置が道路画像に写る範囲に含まれない場合、前記不検出の車両ＩＤを含んだ車両情報を前記車両情報テーブルから削除し、
前記車両情報出力部が、前記車両情報テーブルに設定されている各車両情報を出力する
ことを特徴とする車両検知システムの車両検知方法。 A first image sensor installed around the road in a direction opposite to the traveling direction of the road;
A second image sensor installed on the side of the road toward the road;
A vehicle detection method of a vehicle detection system comprising a road image processing unit, a vehicle information setting unit, a non-detected vehicle specifying unit, a vehicle information estimation setting unit, and a vehicle information output unit,
The first image sensor and the second image sensor continuously capture a road image showing the road,
The road image processing unit inputs a road image taken by the first image sensor and a road image taken by the second image sensor, and appears on each road image based on each inputted road image. The vehicle position indicating the position of the vehicle and the vehicle position is detected, one vehicle ID for identifying the vehicle is assigned to each detected vehicle, and information including the vehicle ID and the vehicle position is provided for each detected vehicle. Output as information,
The vehicle information setting unit sets each vehicle information output by the road image processing unit in a vehicle information table,
The undetected vehicle specifying unit is included in each vehicle information newly output by the road image processing unit among vehicle IDs included in each vehicle information set in the vehicle information table by the vehicle information setting unit. A vehicle ID that does not match any of the vehicle IDs is specified as an undetected vehicle ID,
The vehicle information estimation setting unit is currently identified by the undetected vehicle ID based on the vehicle position included in the vehicle information including the undetected vehicle ID specified by the undetected vehicle specifying unit. When the estimated current vehicle position is included in the range shown in the road image, the vehicle position included in the vehicle information including the undetected vehicle ID is updated to the estimated current vehicle position. If the estimated current vehicle position is not included in the road image, the vehicle information including the undetected vehicle ID is deleted from the vehicle information table,
The vehicle detection method of a vehicle detection system, wherein the vehicle information output unit outputs each vehicle information set in the vehicle information table.
JP2013102978A 2013-05-15 2013-05-15 Vehicle detection system, vehicle detection device, and vehicle detection method for vehicle detection system Active JP5597746B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013102978A JP5597746B2 (en) 2013-05-15 2013-05-15 Vehicle detection system, vehicle detection device, and vehicle detection method for vehicle detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013102978A JP5597746B2 (en) 2013-05-15 2013-05-15 Vehicle detection system, vehicle detection device, and vehicle detection method for vehicle detection system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009016929A Division JP5275059B2 (en) 2009-01-28 2009-01-28 Vehicle detection device, vehicle detection system, vehicle detection method for vehicle detection device, and vehicle detection program

Publications (2)

Publication Number Publication Date
JP2013168178A JP2013168178A (en) 2013-08-29
JP5597746B2 true JP5597746B2 (en) 2014-10-01

Family

ID=49178465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013102978A Active JP5597746B2 (en) 2013-05-15 2013-05-15 Vehicle detection system, vehicle detection device, and vehicle detection method for vehicle detection system

Country Status (1)

Country Link
JP (1) JP5597746B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484998B (en) * 2014-12-25 2017-04-05 北京万集科技股份有限公司 Vehicle detection apparatus and anti-with car method
CN106373394B (en) * 2016-09-12 2019-01-04 深圳尚桥交通技术有限公司 Vehicle detection method and system based on video and radar
KR102374919B1 (en) * 2017-10-16 2022-03-16 주식회사 만도모빌리티솔루션즈 Device And Method of Automatic Driving Support
JP7243163B2 (en) * 2018-12-10 2023-03-22 株式会社Ihi object tracking device
CN113345269B (en) 2018-12-28 2022-11-08 北京百度网讯科技有限公司 Vehicle danger early warning method, device and equipment based on V2X vehicle networking cooperation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3507857B2 (en) * 1999-10-27 2004-03-15 国土交通省国土技術政策総合研究所長 Traffic flow detector
JP2003187398A (en) * 2001-12-19 2003-07-04 Toshiba Corp System and program for supporting vehicle traveling
JP2007148647A (en) * 2005-11-25 2007-06-14 Sumitomo Electric Ind Ltd Two-wheel vehicle detecting device, signal control system, two-wheel vehicle detecting system, two-wheel vehicle detecting method, and computer program
JP4735346B2 (en) * 2006-03-09 2011-07-27 株式会社豊田中央研究所 Driving support device and driving support system
JP2008041058A (en) * 2006-08-10 2008-02-21 Sumitomo Electric Ind Ltd System for notifying blind mobing body, image processor, on-vehicle device and notification method
JP4848893B2 (en) * 2006-08-29 2011-12-28 株式会社デンソー Intersection information providing system and driving support system
JP2008159031A (en) * 2006-11-27 2008-07-10 Sanyo Electric Co Ltd Locating method and locating device and system using the same method

Also Published As

Publication number Publication date
JP2013168178A (en) 2013-08-29

Similar Documents

Publication Publication Date Title
JP5275059B2 (en) Vehicle detection device, vehicle detection system, vehicle detection method for vehicle detection device, and vehicle detection program
CN106796648B (en) System and method for detecting objects
CN104680815B (en) Lane changing determines that equipment, intersection enter determining device and method thereof
JP5597746B2 (en) Vehicle detection system, vehicle detection device, and vehicle detection method for vehicle detection system
JP4858761B2 (en) Collision risk determination system and warning system
US20200175863A1 (en) Information providing system, server, onboard device, vehicle, storage medium, and information providing method
CN110867083B (en) Vehicle monitoring method, device, server and machine-readable storage medium
CN111145555B (en) Method and device for detecting vehicle violation
CN103716687A (en) Method and system for using fingerprints to track moving objects in video
JP2021510227A (en) Multispectral system for providing pre-collision alerts
WO2018020722A1 (en) Image processing apparatus and image processing method
US11738747B2 (en) Server device and vehicle
US20180224296A1 (en) Image processing system and image processing method
US11068727B2 (en) Information processing system, non-transitory storage medium storing program, and control method
CN104574954A (en) Vehicle checking method and system based on free flow system as well as control equipment
CN111862593A (en) Method and device for reporting traffic events, electronic equipment and storage medium
WO2016132769A1 (en) Imaging device, control method for imaging device, and control program
CN113111682A (en) Target object sensing method and device, sensing base station and sensing system
JP2005353004A (en) Vehicle traveling measurement system and vehicle tracking method
JP5697587B2 (en) Vehicle fire detection device
US11443619B2 (en) Vehicle recognition apparatus and vehicle recognition method
CN112070802A (en) Target tracking method, device, equipment and computer readable storage medium
JP2002367077A (en) Device and method for deciding traffic congestion
JP2002008019A (en) Railway track recognition device and rolling stock using railway track recognition device
CN115331181A (en) Vehicle image fusion method and device, computer equipment and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140811

R150 Certificate of patent or registration of utility model

Ref document number: 5597746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250