JP2002056494A - Method for tracking vehicle traveling on road and recording medium with program for executing the method recorded on it - Google Patents
Method for tracking vehicle traveling on road and recording medium with program for executing the method recorded on itInfo
- Publication number
- JP2002056494A JP2002056494A JP2000242565A JP2000242565A JP2002056494A JP 2002056494 A JP2002056494 A JP 2002056494A JP 2000242565 A JP2000242565 A JP 2000242565A JP 2000242565 A JP2000242565 A JP 2000242565A JP 2002056494 A JP2002056494 A JP 2002056494A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- points
- road
- tracking
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、道路上を走行す
る車両を撮影した画像データに基づき自動的に識別しそ
の位置を追跡する人工知能の技術分野に属する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention belongs to the technical field of artificial intelligence for automatically identifying and tracking the position of a vehicle traveling on a road based on image data obtained by photographing the vehicle.
【０００２】[0002]
【従来の技術】近年、大量輸送手段の必要から高速道路
が全国的に整備され、それによる物流が経済活動の基盤
となっているが、車両の急激な増加に伴い幹線道路の恒
常的渋滞などの問題が発生している。2. Description of the Related Art In recent years, expressways have been developed nationwide due to the need for mass transportation, and the resulting logistics have become the basis of economic activity. Problem has occurred.
【０００３】そのため、各道路における交通状態を把握
し、混雑情報等を流すことにより渋滞を回避し道路の管
理を行う必要性が増加しているし、渋滞の原因の一つで
ある高速道路の料金徴収所での一時停止を行わない手法
として、走行中の車両を特定して料金を徴収する方法も
検討されている。[0003] For this reason, the need to understand traffic conditions on each road and to manage congestion by avoiding congestion by flowing congestion information and the like has been increasing, and highway traffic, which is one of the causes of congestion, has been increasing. As a method of not stopping at a toll collection point, a method of collecting a toll by specifying a running vehicle is also being studied.
【０００４】たとえば、走行中の車両をゲートで停止さ
せることなく、料金の徴収を行うために車両を特定する
方法として、古くは車体にバーコードを書き込み、ゲー
トを通過する際に読み取る、あるいは道路に電磁コイル
と埋め込んで車両との通信を行う等の方法で車両を特定
し、後で精算する方法などが提案されている。[0004] For example, as a method of specifying a vehicle in order to collect a fee without stopping a running vehicle at a gate, a bar code is written on a vehicle body and read when passing through a gate, or a road is used. For example, a method has been proposed in which a vehicle is specified by a method of performing communication with the vehicle by embedding the electromagnetic coil in the vehicle and then performing settlement with the vehicle.
【０００５】また現在では、電波を利用してゲートのガ
ントリーと車両と通信を行うことで車両を特定すること
や、車両にプリペイドデータやクレジットカードの番号
のデータを記録した装置を搭載し、通信により料金を引
き去る方法などが実現している。[0005] At present, communication is performed between a gantry of a gate and a vehicle using radio waves to specify the vehicle, or a device that records prepaid data and data of a credit card number is mounted on the vehicle. Has realized a method of withdrawing fees.
【０００６】しかしながら、このような電波を利用する
方法では車両にも装備を必要とするし、ノイズや他の車
両等による反射波による影響のため、あるいは妨害電波
により誤動作の虞があるため、レーザや撮影画像を利用
し、ナンバープレートの番号を確認する方法も考えられ
ている。However, such a method using radio waves requires equipment also in a vehicle, and there is a risk of malfunction due to noise or reflected waves from other vehicles, or a malfunction due to jamming radio waves. There is also a method of confirming the license plate number by using an image or a photographed image.
【０００７】一方、走行中の車の安全性を向上させるた
めに、各車両の車間距離を一定以上に確保し、衝突を防
ぐ方法が検討され、車両用レーダーや赤外線や超音波に
よる距離計により先行車との間の距離を計算し、所定以
下の距離となったら警報を出したり、自動的にブレーキ
操作が作動したりする装置が検討されているが、それら
は単なる反射波の帰ってくるまでの時間を測定している
にすぎず、何により反射されたものであるかがはっきり
せず、正確な距離を算出できない場合もある。On the other hand, in order to improve the safety of a running vehicle, a method of securing a certain distance between each vehicle and preventing a collision has been studied. A radar using a vehicle or a distance meter using infrared rays or ultrasonic waves has been studied. Devices that calculate the distance to the preceding vehicle, issue an alarm when the distance is less than a predetermined value, and automatically activate the brake operation are being studied, but they are just reflected waves returning In some cases, it is simply measuring the time to the point, and it is not clear what caused the reflection, and it may not be possible to calculate an accurate distance.
【０００８】[0008]
【発明が解決しようとする課題】この発明は、上述のよ
うな背景の下になされたもので、高速道路上のガントリ
ーに設置したテレビカメラにより高速道路を走行する車
両等を撮影した画像から車両を特定したり、その移動を
追跡したり、あるいは走行中の車の危険を回避するため
に車両に取り付けたテレビカメラからみた道路上を走行
中の他車両の相対的動き、相対的位置を知るための基本
的な技術を提供することを目的としている。SUMMARY OF THE INVENTION The present invention has been made under the above-mentioned background, and is based on an image obtained by photographing a vehicle or the like traveling on a highway with a television camera installed on a gantry on the highway. To identify the relative movement and position of other vehicles traveling on the road viewed from the TV camera attached to the vehicle to identify the vehicle, track its movement, or avoid the danger of the vehicle while traveling It aims to provide basic techniques for:
【０００９】[0009]
【課題を解決するための手段】上記課題を解決するため
に本発明は以下の手段を採用している。即ち、請求項１
記載の発明は、１つの固定したテレビカメラで連続的に
撮影した画像から車両の複数の特徴点を検出する特徴点
検出ステップと、前記検出された複数の特徴点から同一
の車両に属する特徴点を判別する判別ステップと、前記
ステップで判別された車両をトラッキングするステップ
とを含む道路上を走行する車両のトラッキング方法であ
り、道路または車両の一方にのみ撮影装置を設置するこ
とで、状況判断を行うための監視者あるいは運転者と同
様な視覚的な画像情報に基づくものが取得できる。The present invention employs the following means to solve the above-mentioned problems. That is, claim 1
The described invention includes a feature point detecting step of detecting a plurality of feature points of a vehicle from images continuously captured by one fixed television camera, and a feature point belonging to the same vehicle from the detected plurality of feature points. A tracking method for a vehicle traveling on a road, comprising a determination step of determining the state of the vehicle and a step of tracking the vehicle determined in the step. The situation determination is performed by installing the photographing device on only one of the road and the vehicle. Can be obtained based on the same visual image information as the monitor or the driver for performing the operation.
【００１０】請求項２記載の発明は、請求項１記載の発
明において、判別ステップは、検出された特徴点から３
個の特徴点を選択し、この３個の点が前記道路上を同一
速度で動いているか否かを識別する識別ステップを含む
ものであり、車両は剛体であることを利用して容易に同
一車両に属する３個の特徴点を特定できるものである。According to a second aspect of the present invention, in the first aspect of the present invention, the determining step is performed based on the detected feature points.
Identifying the three feature points and identifying whether these three points are moving at the same speed on the road, and the vehicle can be easily identified by using the rigid body. The three feature points belonging to the vehicle can be specified.
【００１１】請求項３記載の発明は、判別ステップは、
前記検出された特徴点から３個の特徴点を選択し、この
３個の点の画像座標系での座標と速度のｘ、ｙ成分から
作成された行列のランクを求めることで３個の点が前記
道路上を同一速度で動いているか否かを識別する識別ス
テップを含むものであり、比較的簡単な具体的な計算に
より同一車両に属するか否かに関する情報を得ることが
できる。[0011] According to a third aspect of the present invention, the determining step comprises:
The three feature points are selected from the detected feature points, and the three points are obtained by calculating the rank of a matrix created from the x and y components of the coordinates and the velocity in the image coordinate system of the three points. Includes an identification step of identifying whether or not the vehicle is moving on the road at the same speed, and information on whether or not the vehicle belongs to the same vehicle can be obtained by a relatively simple specific calculation.
【００１２】請求項４記載の発明は、１つの固定したテ
レビカメラは、走行中の特定の車両に固定したカメラで
あり、トラッキングは該特定の車両からみた場合の相対
的な位置に対するトラッキングであるとし、走行中の車
両と他の車両との位置関係に関する情報を取得するもの
である。According to a fourth aspect of the present invention, the one fixed television camera is a camera fixed to a specific running vehicle, and the tracking is tracking for a relative position as viewed from the specific vehicle. This is to acquire information on the positional relationship between a running vehicle and another vehicle.
【００１３】請求項５記載の発明は、コンピュータプロ
グラムを記録した記録媒体であり、テレビカメラとＣＰ
Ｕを備えた装置、たとえば汎用小型コンピュータとし
て、パソコンに適用することで、請求項１記載の発明の
方法を実施するものである。According to a fifth aspect of the present invention, there is provided a recording medium on which a computer program is recorded.
The method according to the first aspect of the present invention is implemented by applying to a personal computer as an apparatus provided with U, for example, a general-purpose small computer.
【００１４】[0014]
【発明の実施形態】図１はこの発明の実施形態の基本的
なフローを示す図であり、図２はどのようにして特徴点
を抽出するかの一例を示す図である。図５は汎用小型コ
ンピュータを用いた本実施形態の構成図を示す。FIG. 1 is a diagram showing a basic flow of an embodiment of the present invention, and FIG. 2 is a diagram showing an example of how to extract a feature point. FIG. 5 shows a configuration diagram of the present embodiment using a general-purpose small computer.
【００１５】以下、図面を参照しつつ、この発明の実施
形態について説明する。最初に、ステップＳ１では１台
のテレビカメラで道路上の撮影を行う。次にステップＳ
２で、撮影した画像の１フレーム中から特徴点を検出す
る。特徴点を検出する方法はたとえば、図２を参照し
て、以下の（ａ）、（ｂ）のように行う。An embodiment of the present invention will be described below with reference to the drawings. First, in step S1, an image on a road is taken by one television camera. Next, step S
In step 2, feature points are detected from one frame of the captured image. The method of detecting a feature point is performed, for example, as shown in (a) and (b) below with reference to FIG.
【００１６】（ａ）画像中の近傍２点の明るさや色の違
いが生じている箇所を抽出する。具体的には画像をスキ
ャンしながら、輝度等の空間微分を行い、その極値の点
を抽出する。 （ｂ）極値の点を結ぶことで境界線がわかる。その境界
線が集積した点は物体の角等であり、その点を特徴点と
して抽出する。(A) Extracting a portion where a difference in brightness or color occurs between two neighboring points in an image. Specifically, while scanning an image, spatial differentiation such as luminance is performed, and the extreme point is extracted. (B) A boundary line can be found by connecting extreme points. The points where the boundary lines are accumulated are the corners of the object, and the points are extracted as feature points.
【００１７】画像中のすべての特徴点が抽出されたあ
と、テップＳ３で、それらのカメラ座標系における座標
を求めるとともに、ステップＳ４で記憶しておいた前フ
レームでの特徴点の座標データを読み出して、ステップ
Ｓ５で両方の座標データから各特徴点の位置と速度を算
出する。After all the feature points in the image have been extracted, the coordinates in the camera coordinate system are obtained in step S3, and the coordinate data of the feature points in the previous frame stored in step S4 is read out. Then, in step S5, the position and speed of each feature point are calculated from both coordinate data.
【００１８】連続撮影した画像中から車両上の特徴点の
位置および速度を算出する具体的方法を以下に説明す
る。はじめに時刻ｔ0で撮影した画像中の特徴点Ｐをト
ラッキング点Ｐとすると、次の時刻ｔ１＝ｔ０＋Δにお
ける次の画像フレーム中で、トラッキング点Ｐの座標を
中心にした周辺の画像とｔ０におけるＰ近傍の画像とを
比較することで、ｔ１においてトラッキング点Ｐがどこ
に移動したかを算出する。（なお、本出願人により既に
出願済である、カルマンフィルタにより次の時刻におけ
る特徴点Ｐの位置を予測する手法を用いることで、効率
的に各フレーム中の特徴点を求めることができる。）A specific method for calculating the position and speed of a feature point on a vehicle from continuously shot images will be described below. First, assuming that a feature point P in an image photographed at time t0 is a tracking point P, in the next image frame at the next time t1 = t0 + Δ, a peripheral image centered on the coordinates of the tracking point P and the vicinity of P at t0. By calculating the position of the tracking point P at t1, the position of the tracking point P is calculated. (Note that the feature point in each frame can be efficiently obtained by using the technique, which has already been filed by the present applicant, for predicting the position of the feature point P at the next time using the Kalman filter.)
【００１９】時間間隔Δの画像フレーム間でのトラッキ
ングＰの座標 ｘ(t0)、ｘ(t0+Δ) が判れば、その時間
間隔での平均速度は求めることができる。 ある時点ｔ
i における点ｘk の速度ｕk は、たとえば、Δだけ離れ
た前後の時刻における２点の値からIf the coordinates x (t0) and x (t0 + Δ) of the tracking P between the image frames at the time interval Δ are known, the average speed at the time interval can be obtained. At some point t
The speed u k of the point x k at i is, for example,
【式１】 ｕk(ｔi) ＝ ｛ｘk(ｔi+1) − ｘk(ｔi-1)｝／２Δｔ として計算する Central Difference 法 がよく利用さ
れている。これにより、車両表面に特定された複数個の
特徴点の速度を知ることができる。なお、この方法では
位置と速度を求めるために３フレームの画像データが必
要となる。## EQU1 ## The Central Difference method, which is calculated as u k (t i ) = {x k (t i + 1 ) −x k (t i-1 )} / 2Δt, is often used. This makes it possible to know the speeds of a plurality of characteristic points specified on the vehicle surface. Note that this method requires three frames of image data to determine the position and speed.
【００２０】ステップＳ６では、画像中の全ての特徴点
を抽出した後に、それらの特徴点を同一車両の特徴点に
グルーピングする。本実施形態では、以下に説明するよ
うにグルーピングを行っている。即ち、３つの特徴点を
選択し、それらの位置と座標とを評価式で評価すること
により３点が同一車両上のものであるか否かを判定して
グルーピングを行う。In step S6, after extracting all characteristic points in the image, those characteristic points are grouped into characteristic points of the same vehicle. In the present embodiment, grouping is performed as described below. That is, three feature points are selected, and their positions and coordinates are evaluated by an evaluation formula to determine whether the three points are on the same vehicle and perform grouping.
【００２１】画像中の同一車両上のあらゆる点Ｐ（Ｘ、
Ｙ、Ｚ）は車両が剛体であることから、それらの点Ｐに
おける位置の時間変化（速度）は、以下の同一の方程式Every point P (X,
Since the vehicle is a rigid body, the time change (velocity) of the position at the point P is represented by the same equation
【式２】ｄＰ／ｄｔ ＝ Ｑ・Ｐ ＋ Ｔ （ここで、Ｑは直交回転速度マトリックス、Ｔは並進速
度）で表せる。[Formula 2] dP / dt = QP + T (where Q is an orthogonal rotation speed matrix, and T is a translation speed).
【００２２】そして、車両がひとつの車線を走行してい
る場合には、たとえ車線を変更する間でも回転はわずか
であるので、その速度は並進速度からなると見なすこと
ができることから、When the vehicle is traveling in one lane, even if the lane is changed, since the rotation is slight, the speed can be regarded as consisting of the translation speed.
【式３】ｄＰ／ｄｔ ＝ Ｔ と表記できる。[Expression 3] dP / dt = T
【００２３】カメラ座標系で透視投影法を考えると画像
中の測定点（ｘ、ｙ）のピクセル座標系は、３次元点
（Ｘ、Ｙ、Ｚ）の射影であり、Considering the perspective projection method in the camera coordinate system, the pixel coordinate system of the measurement point (x, y) in the image is the projection of a three-dimensional point (X, Y, Z).
【式４】ｘ ＝ ｛ｆ／Ｚ｝・Ｘ ｙ ＝ ｛ｆ／Ｚ｝・Ｙ の関係があり（ｆはカメラの焦点距離）、上記関係式の
両辺にＺを乗じて、時間で微分すると、[Equation 4] There is a relation of x = {f / Z} .Xy = {f / Z} .Y (f is the focal length of the camera). When both sides of the above relational expression are multiplied by Z and differentiated with time, ,
【式５】 ｄｘ／ｄｔ・Ｚ ＋ ｘ・dＺ／dｔ ＝ ｆ・dＸ/dｔ ｄｙ／ｄｔ・Ｚ ＋ ｙ・dＺ／dｔ ＝ ｆ・dＹ/dｔ となる。[Formula 5] dx / dt · Z + x · dZ / dt = f · dX / dt dy / dt · Z + y · dZ / dt = f · dY / dt
【００２４】同一車体上にあるすべての点の速度ベクト
ル（ｄＸ／ｄｔ、ｄＹ／ｄｔ、ｄＺ／ｄｔ）は同一の速
度ベクトルを持つので、画像中の座標（ｘ、ｙ）の速度
を（ｕ＝ｄｘ／ｄｔ、ｖ＝ｄｙ／ｄｔ）と置き、時間微
分を［’］と表記すると、画像中の２点 （ｘk 、ｙk）
と（ｘl 、ｙl）に対し、Ｘ成分速度、Ｙ成分速度が同
じことから、次の式を得る。Since the velocity vectors (dX / dt, dY / dt, dZ / dt) of all points on the same vehicle have the same velocity vector, the velocity of the coordinates (x, y) in the image is represented by (u = Dx / dt, v = dy / dt) and the time derivative is denoted by ['], the two points (x k , y k ) in the image
Since the X component velocity and the Y component velocity are the same for and ( xl , yl ), the following equation is obtained.
【式６】 (Equation 6)
【００２５】上記式を満たす｛Ｚk、Ｚl、Ｚ’｝の組は
一意的には定まらず、２点（ｘk 、ｙ k）と（ｘl 、
ｙl）が同一の車両上の点あるとは言えないが、３点
（ｘk 、ｙk）、（ｘl 、ｙl）、（ｘm、ｙm）をとり、
その組｛ｋ、ｌ｝と｛ｋ、ｍ｝について上記と同じ式を
つくると、The set of {Zk, Zl, Z '} satisfying the above equation is
It is not uniquely determined and two points (xk , Y k) And (xl ,
yl) Cannot be said to be points on the same vehicle, but 3 points
(Xk , Yk), (Xl , Yl), (Xm, Ym)
For the pair {k, l} and {k, m},
When you make it,
【式７】 ｕk 、-ｕl 、０、 ｘk-ｘl ・ Ｚk ＝ Ｕ・Ｚ ＝ ０ ｖk 、-ｖl 、０、 ｙk-ｙl Ｚl ｕk 、０、 -ｕｍ 、ｘk-ｘｍ Ｚm ｖk 、０、 -ｖｍ 、ｙk-ｙｍ Ｚ’ となり、行列Ｕのランクが４より小さいのときにのみ非
自明の解を持つ。即ち、３点が同一の車両を表す必要条
件は、行列Ｕのランクが４より小さいことである。[Formula 7] uk , -Ul , 0, xk-xl ・ Zk = UZ = 0 vk , -Vl , 0, yk-yl Zl uk , 0, -um , Xk-xm Zm vk , 0, -vm , Yk-ym Z ′ and becomes non-existent only when the rank of the matrix U is smaller than 4.
Has an obvious solution. That is, the required condition that three points represent the same vehicle
The condition is that the rank of the matrix U is smaller than 4.
【００２６】逆に、同一車両上の３点｛ｋ、ｌ、ｍ｝は
上記式を満足し、カメラを校正しておかない限り、Ｚ
k、Ｚl、ＺmおよびＺ’の値自体はわからないものの、
その比は知ることができる。Conversely, the three points {k, l, m} on the same vehicle satisfy the above equation, and unless the camera is calibrated, Z
Although the values of k, Zl, Zm and Z 'are not known,
The ratio can be known.
【００２７】たとえば τk＝Ｚk／Ｚ’ は、Ｚ’ が一
定ならば、カメラからの距離Ｚkが０となるまでの時間
を表し、衝突時間と呼ばれる、車の走行において重要な
尺度であり、For example, τk = Zk / Z ′ represents the time until the distance Zk from the camera becomes 0 if Z ′ is constant, and is an important measure in the running of a car called collision time.
【式８】 の式で求めることができる。(Equation 8) Can be obtained by the following equation.
【００２８】このようにして画像中の近くに存在する複
数の特徴点について組をつくり、画像中の各点の座標と
速度のｘ成分およびｙ成分により作成した行列を分析す
ることで、同一の車両に属する特徴点を選び出してグル
ーピングを行う。In this way, a set of a plurality of nearby feature points in the image is formed, and a matrix formed by the x and y components of the coordinates and the velocity of each point in the image is analyzed to obtain the same value. The feature points belonging to the vehicle are selected and grouped.
【００２９】すべての特徴点がグルーピングされた後
は、ステップＳ７では、図３に示すように、同一のグル
ープに属する特徴点の重心を車両の座標として取得す
る。次にステップＳ８では、走行中の車両の数や各車両
の位置をリアルタイムで認識・記録することができる。
例えば、テレビカメラを高速道路上のガントリーに設置
した場合には、撮影範囲の道路（たとえば１００ｍの距
離）上の車両の数を自動的に数え、混雑の程度を表す密
度、あるいは車の流れの速度を自動的に取得することが
できる（図４参照）。After all the feature points have been grouped, in step S7, as shown in FIG. 3, the center of gravity of the feature points belonging to the same group is obtained as the coordinates of the vehicle. Next, in step S8, the number of running vehicles and the position of each vehicle can be recognized and recorded in real time.
For example, when a TV camera is installed on a gantry on a highway, the number of vehicles on a road (for example, a distance of 100 m) within a shooting range is automatically counted, and the density indicating the degree of congestion or the flow of vehicles The speed can be obtained automatically (see FIG. 4).
【００３０】そして、高速道路に一定間隔に本発明の方
法を実施する装置を設置すれば、得られるデータは道路
上を走行する車両の位置に関するデータであり、画像デ
ータに比べデータ量は極め小さいため、非常電話回線を
通じて中央監視センターに常時送ることができ、極めて
精度の高い道路情報を得ることができる。If an apparatus for implementing the method of the present invention is installed at regular intervals on an expressway, the obtained data is data relating to the position of a vehicle running on the road, and the data amount is extremely small as compared with image data. Therefore, it can be sent to the central monitoring center at all times through the emergency telephone line, and extremely accurate road information can be obtained.
【００３１】また、走行中の車両のテレビカメラからの
画像に適用した場合には、走行中の車両から見える範囲
で他の走行中の車両位置を特定することができ、その距
離が一定以下となった場合には警報を鳴らしたり、自動
的にブレーキをかける等の動作を自動的に行うことがで
きる。Further, when the present invention is applied to an image from a television camera of a running vehicle, the position of another running vehicle can be specified within a range that can be seen from the running vehicle. When it does, the operation such as sounding an alarm or automatically applying a brake can be performed automatically.
【００３２】以上、この発明の実施例を図面により述べ
たが、具体的な構成はこの実施例に限られるものではな
く、この発明の要旨を逸脱しない範囲の設計の変更等が
あってもこの発明に含まれる。例えば、画像中の特徴点
の抽出方法として、夜間においてはテールランプを特徴
点として検出する方法などを採用すること等である。Although the embodiment of the present invention has been described with reference to the drawings, the specific configuration is not limited to this embodiment, and even if there is a design change or the like without departing from the gist of the present invention. Included in the invention. For example, as a method of extracting a feature point in an image, a method of detecting a tail lamp as a feature point at night or the like may be employed.
【００３３】[0033]
【発明の効果】以上説明したように、この発明によれ
ば、検出対象である車両に装備を施すことなく、道路上
のガントリーに設置したテレビカメラで撮影した画像中
の複数の車両を個別に識別してトラッキングを行うこと
ができるので、道路上の状況を自動的に分析して数値化
することができ、その結果として道路管理の自動化が可
能となる。As described above, according to the present invention, a plurality of vehicles in an image photographed by a television camera installed on a gantry on a road can be individually provided without equipping a vehicle to be detected. Since identification and tracking can be performed, the situation on the road can be automatically analyzed and quantified, and as a result, road management can be automated.
【００３４】また、走行中の車両に設置した場合には、
走行中の車両のから見た周囲の車両の相対位置に関する
情報を得ることができ、車間距離が短くなるなど、危険
な状況に対して自動的に対処することができる。When installed on a running vehicle,
It is possible to obtain information on the relative positions of surrounding vehicles viewed from the running vehicle, and to automatically deal with dangerous situations such as a short inter-vehicle distance.
【００３５】[0035]
【図１】この発明の基本的な手順のフローチャートを示
す。FIG. 1 shows a flowchart of a basic procedure of the present invention.
【図２】画像中における特徴点の抽出方法の例を示す。FIG. 2 shows an example of a method for extracting feature points in an image.
【図３】グルーピングされた特徴点から各車両の位置お
よび車両数を算出する方法を示す。FIG. 3 shows a method of calculating the position and the number of vehicles of each vehicle from the grouped feature points.
【図４】道路上を走行する車両の位置・車両数の監視方
法を示す。FIG. 4 shows a method of monitoring the position and the number of vehicles traveling on a road.
【図５】汎用小型コンピュータと非常電話回線による高
速道路監視システムを示す。FIG. 5 shows a highway monitoring system using a general-purpose small computer and an emergency telephone line.
９・・・・道路上の車線（レーン） １０・・・道路上の車を表す点 9 ··· Lane on the road (lane) 10 · · · Points representing cars on the road
─────────────────────────────────────────────────────
────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成１３年１月１２日（２００１．１．１
２）[Submission Date] January 12, 2001 (2001.1.1)
2)
【手続補正１】[Procedure amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２４[Correction target item name] 0024
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００２４】同一車体上にあるすべての点の速度ベクト
ル（ｄＸ／ｄｔ、ｄＹ／ｄｔ、ｄＺ／ｄｔ）は同一の速
度ベクトルを持つので、画像中の座標（ｘ、ｙ）の速度
を（ｕ＝ｄｘ／ｄｔ、ｖ＝ｄｙ／ｄｔ）と置き、時間微
分を［’］と表記すると、画像中の２点 （ｘk 、ｙk）
と（ｘl 、ｙl）に対し、Ｘ成分速度、Ｙ成分速度が同
じことから、次の式を得る。Since the velocity vectors (dX / dt, dY / dt, dZ / dt) of all points on the same vehicle have the same velocity vector, the velocity of the coordinates (x, y) in the image is represented by (u = Dx / dt, v = dy / dt) and the time derivative is denoted by ['], the two points (x k , y k ) in the image
Since the X component velocity and the Y component velocity are the same for and ( xl , yl ), the following equation is obtained.
【式６】 (Equation 6)
【手続補正２】[Procedure amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２５[Correction target item name] 0025
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００２５】上記式を満たす｛Ｚk、Ｚl、Ｚ’｝の組は
一意的には定まらず、２点（ｘk 、ｙ k）と（ｘl 、
ｙl）が同一の車両上の点あるとは言えないが、３点
（ｘk 、ｙk）、（ｘl 、ｙl）、（ｘm、ｙm）をとり、
その組｛ｋ、ｌ｝と｛ｋ、ｍ｝について上記と同じ式を
つくると、The set of {Zk, Zl, Z '} satisfying the above equation is
It is not uniquely determined and two points (xk , Y k) And (xl ,
yl) Cannot be said to be points on the same vehicle, but 3 points
(Xk , Yk), (Xl , Yl), (Xm, Ym)
For the pair {k, l} and {k, m},
When you make it,
【式７】 となり、行列Ｕのランクが４より小さいのときにのみ非
自明の解を持つ。即ち、３点が同一の車両を表す必要条
件は、行列Ｕのランクが４より小さいことである。(Equation 7) And has a non-trivial solution only when the rank of the matrix U is less than 4. That is, a necessary condition that three points represent the same vehicle is that the rank of the matrix U is smaller than four.
【手続補正３】[Procedure amendment 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２７[Correction target item name] 0027
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００２７】たとえば τk＝Ｚk／Ｚ’ は、Ｚ’ が一
定ならば、カメラからの距離Ｚkが０となるまでの時間
を表し、衝突時間と呼ばれる、車の走行において重要な
尺度であり、For example, τk = Zk / Z ′ represents the time until the distance Zk from the camera becomes 0 if Z ′ is constant, and is an important measure in the running of a car called collision time.
【式８】 の式で求めることができる。(Equation 8) Can be obtained by the following equation.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｇ 1/01 Ｇ０８Ｇ 1/01 Ｋ 1/052 1/052 Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ Ｆターム(参考） 5B057 AA16 BA02 BA11 DA11 DC05 5C054 AA01 AA05 CA04 CC02 CE12 CH01 DA09 EA01 FC01 FC12 FC13 FD01 HA30 5H180 AA01 CC04 DD02 DD03 DD04 5L096 BA04 CA04 FA66 FA67 FA69 GA08 HA03 HA05 JA18 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G08G 1/01 G08G 1/01 K 1/052 1/052 H04N 7/18 H04N 7/18 K F term ( Reference) 5B057 AA16 BA02 BA11 DA11 DC05 5C054 AA01 AA05 CA04 CC02 CE12 CH01 DA09 EA01 FC01 FC12 FC13 FD01 HA30 5H180 AA01 CC04 DD02 DD03 DD04 5L096 BA04 CA04 FA66 FA67 FA69 GA08 HA03 HA05 JA18
Claims (5)
撮影した画像から道路上を走行する車両をトラッキング
する方法において、該撮影画像から車の複数の特徴点を
検出する特徴点検出ステップと、前記検出された複数の
特徴点から同一の車に属する特徴点を判別する判別ステ
ップと、前記ステップで判別された車をトラッキングす
るステップとを含むことを特徴とする道路上を走行する
車両のトラッキング方法。1. A method for tracking a vehicle traveling on a road from an image continuously photographed by one fixed television camera, wherein a feature point detecting step of detecting a plurality of characteristic points of the car from the photographed image; Tracking a vehicle traveling on a road, comprising: a step of determining a feature point belonging to the same vehicle from the plurality of detected feature points; and a step of tracking the vehicle determined in the step. Method.
徴点から３個の特徴点を選択し、この３個の点が前記道
路上を同一速度で動いているか否かを識別する識別ステ
ップを含むことを特徴とする請求項１に記載の道路上を
走行する車両のトラッキング方法。2. The method according to claim 1, wherein the determining includes selecting three characteristic points from the detected characteristic points, and identifying whether the three points are moving on the road at the same speed. The tracking method for a vehicle traveling on a road according to claim 1, wherein the tracking is performed.
徴点から３個の特徴点を選択し、この３個の点の画像座
標系での座標と速度のｘ、ｙ成分から作成された行列の
ランクを求めることで３個の点が前記道路上を同一速度
で動いているか否かを識別する識別ステップを含むこと
を特徴とする請求項１に記載の道路上を走行する車両の
トラッキング方法。3. The discrimination step includes selecting three feature points from the detected feature points, and forming a matrix formed from the x and y components of the coordinates and velocity of the three points in an image coordinate system. 2. The method according to claim 1, further comprising the step of identifying whether the three points are moving at the same speed on the road by determining the rank of the vehicle. .
行中の特定の車に固定したカメラであり、前記トラッキ
ングは該特定の車からみた場合の相対的な位置に対する
トラッキングである請求項１乃至請求項３のいずれか１
に記載の道路上を走行する車両のトラッキング方法。4. The one fixed television camera is a camera fixed to a specific car while traveling, and the tracking is tracking with respect to a relative position as viewed from the specific car. Any one of claims 3
2. The tracking method for a vehicle traveling on a road according to item 1.
影した画像から車両の複数の特徴点を検出する特徴点検
出ステップと、前記検出された複数の特徴点から同一の
車両に属する特徴点を判別する判別ステップと、前記ス
テップで判別された車をトラッキングするステップとを
含む道路上を走行する車両のトラッキング方法を実施す
るプログラムを記録した記録媒体。5. A feature point detecting step of detecting a plurality of feature points of a vehicle from an image continuously taken by one fixed television camera, and a feature point belonging to the same vehicle from the detected plurality of feature points. The recording medium which recorded the program which implements the tracking method of the vehicle which drives on the road including the discriminating step of discriminating | recognizing and the step of tracking the vehicle determined in said step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000242565A JP2002056494A (en) | 2000-08-10 | 2000-08-10 | Method for tracking vehicle traveling on road and recording medium with program for executing the method recorded on it |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000242565A JP2002056494A (en) | 2000-08-10 | 2000-08-10 | Method for tracking vehicle traveling on road and recording medium with program for executing the method recorded on it |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002056494A true JP2002056494A (en) | 2002-02-22 |
Family
ID=18733568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000242565A Pending JP2002056494A (en) | 2000-08-10 | 2000-08-10 | Method for tracking vehicle traveling on road and recording medium with program for executing the method recorded on it |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002056494A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013020417A (en) * | 2011-07-11 | 2013-01-31 | Clarion Co Ltd | External environment recognizing device for vehicle and vehicle control system using the same |
| CN104050818A (en) * | 2014-06-30 | 2014-09-17 | 武汉烽火众智数字技术有限责任公司 | Moving vehicle speed measurement method based on target tracking and feature point matching |
| CN109263637A (en) * | 2018-10-12 | 2019-01-25 | 北京双髻鲨科技有限公司 | A kind of method and device of prediction of collision |
| CN111445699A (en) * | 2020-04-13 | 2020-07-24 | 黑龙江工程学院 | Intersection traffic conflict discrimination method based on real-time vehicle track |
-
2000
- 2000-08-10 JP JP2000242565A patent/JP2002056494A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013020417A (en) * | 2011-07-11 | 2013-01-31 | Clarion Co Ltd | External environment recognizing device for vehicle and vehicle control system using the same |
| US8903603B2 (en) | 2011-07-11 | 2014-12-02 | Clarion Co., Ltd. | Environment recognizing device for a vehicle and vehicle control system using the same |
| CN104050818A (en) * | 2014-06-30 | 2014-09-17 | 武汉烽火众智数字技术有限责任公司 | Moving vehicle speed measurement method based on target tracking and feature point matching |
| CN109263637A (en) * | 2018-10-12 | 2019-01-25 | 北京双髻鲨科技有限公司 | A kind of method and device of prediction of collision |
| CN111445699A (en) * | 2020-04-13 | 2020-07-24 | 黑龙江工程学院 | Intersection traffic conflict discrimination method based on real-time vehicle track |
| CN111445699B (en) * | 2020-04-13 | 2021-10-26 | 黑龙江工程学院 | Intersection traffic conflict discrimination method based on real-time vehicle track |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1575014B1 (en) | Method and apparatus for processing pictures of vehicles | |
| KR100201739B1 (en) | Method for observing an object, apparatus for observing an object using said method, apparatus for measuring traffic flow and apparatus for observing a parking lot | |
| US7046822B1 (en) | Method of detecting objects within a wide range of a road vehicle | |
| JP4246766B2 (en) | Method and apparatus for locating and tracking an object from a vehicle | |
| US20110267460A1 (en) | Video speed detection system | |
| CN110543807B (en) | Method for verifying obstacle candidates | |
| WO2014172708A1 (en) | Pedestrian right of way monitoring and reporting system and method | |
| JP7024610B2 (en) | Detection device and detection system | |
| CN106295459A (en) | Based on machine vision and the vehicle detection of cascade classifier and method for early warning | |
| JP5471310B2 (en) | Operation analysis system | |
| CN111915883A (en) | Road traffic condition detection method based on vehicle-mounted camera shooting | |
| WO2016140250A1 (en) | Vehicle-axle-number detection device, vehicle-type determination system, vehicle-axle-number detection method, and program | |
| JP3456339B2 (en) | Object observation method, object observation device using the method, traffic flow measurement device and parking lot observation device using the device | |
| KR102306789B1 (en) | License Plate Recognition Method and Apparatus for roads | |
| CN111383248A (en) | Method and device for judging red light running of pedestrian and electronic equipment | |
| JP2002056494A (en) | Method for tracking vehicle traveling on road and recording medium with program for executing the method recorded on it | |
| CN115762153A (en) | Method and device for detecting backing up | |
| Khuc | Computer vision based structural identification framework for bridge health mornitoring | |
| KR102369824B1 (en) | License Plate Recognition Method and Apparatus for roads | |
| Wardha et al. | Development of automated technique for vehicle speed estimation and tracking in video stream | |
| Linjie et al. | Approach to obtaining traffic volume and speed based on video-extracted trajectories | |
| CN113128264A (en) | Vehicle area determination method and device and electronic equipment | |
| JP2000149181A (en) | Traffic stream measurement system | |
| Wu et al. | Detection of moving violations | |
| CN109325447A (en) | Non-guide based on video analysis travels detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060922 |