JP4375549B2 - Vehicle positioning device - Google Patents
Vehicle positioning device Download PDFInfo
- Publication number
- JP4375549B2 JP4375549B2 JP2004183615A JP2004183615A JP4375549B2 JP 4375549 B2 JP4375549 B2 JP 4375549B2 JP 2004183615 A JP2004183615 A JP 2004183615A JP 2004183615 A JP2004183615 A JP 2004183615A JP 4375549 B2 JP4375549 B2 JP 4375549B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- lane
- angle
- traffic
- traffic signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車両位置特定装置に係り、例えば、走行している道路上の車両位置を特定する車両位置特定装置に関する。 The present invention relates to a vehicle position specifying device, for example, a vehicle position specifying device for specifying a vehicle position on a running road.
例えば、車両の走行経路を案内したり、画面表示された地図上に車両位置を表示する場合には車両の現在位置を特定する必要がある。車両の現在位置を特定する場合、ナビゲーションシステムにおいてGPSからの電波を受信して現在位置を特定することが従来から広く行われている。 For example, when the travel route of a vehicle is guided or the vehicle position is displayed on a map displayed on the screen, it is necessary to specify the current position of the vehicle. When the current position of the vehicle is specified, it has been widely performed in the navigation system to receive the radio wave from the GPS and specify the current position.
また、走行経路案内をする場合等において、例えば、単に右折の案内をするだけでなく、予め右折専用の車線に車線変更をする案内をする場合もある。
この場合、車両がどの車線を走行しているかを認識する必要があり、特許文献1において、車載カメラで路上の白線を撮像し、自車両の走行している位置、及び、走行車線を認識する技術が提案されている。
In the case of running route guidance, for example, there is a case in which guidance for changing a lane to a lane for exclusive use of a right turn is made in advance as well as guidance for a right turn.
In this case, it is necessary to recognize which lane the vehicle is traveling. In
しかし、GPSにより現在位置を特定する場合、大きい場合には100m〜200m程度の位置誤差が含まれているため正確な現在位置を特定することはできなかった。
また、特許文献1に記載した方法により路上の白線を認識し、自車両の走行車線を認識する場合、夜間や雨等の天候により視界が悪くなっている場合には、撮像画像から白線を正確に捉えることができないという問題がある。さらに、古い道路の場合、路上の白線が消えてしまっていることがあり、この場合にも白線を撮像画像から認識することが難しかった。
このように、自車両が走行する車線を白線の撮像画像から認識する方法では、認識精度の低下、又は認識不可能な場合があった。
However, when the current position is specified by GPS, if it is large, a position error of about 100 m to 200 m is included, so that the accurate current position cannot be specified.
In addition, when the white line on the road is recognized by the method described in
Thus, in the method of recognizing the lane in which the host vehicle is traveling from the captured image of the white line, there are cases where the recognition accuracy is lowered or cannot be recognized.
そこで本発明は、車両の現在位置をより正確に特定することが可能な車両位置特定装置を提供することを第1の目的とする。
また、車両が走行している走行車線をより確実に特定することが可能な車両位置特定装置を提供することを第2の目的とする。
Accordingly, a first object of the present invention is to provide a vehicle position specifying device that can more accurately specify the current position of the vehicle.
It is a second object of the present invention to provide a vehicle position specifying device that can more reliably specify the traveling lane in which the vehicle is traveling.
請求項1に記載の発明では、車両の前後に存在する信号機の位置データを取得する取得手段と、車両に配置され、前記車両の前後に存在する信号機を撮像する撮像手段と、前記撮像した車両の前後に存在する信号機の撮像画像から、車両の前後に存在する信号機に対する仰角を検出する角度検出手段と、前記検出した車両の前後に存在する信号機に対する仰角と、前記取得した車両の前後に存在する信号機の位置データとから、車両位置を特定する位置特定手段と、を車両位置特定装置に具備させて前記第1の目的を達成する。
請求項2に記載した発明では、請求項1に記載の車両位置特定装置において、車両のオイラー角を検出するオイラー角検出手段と、をさらに備え、前記角度検出手段は、更に前記撮像画像から、前記車両の前後に存在する信号機に対する水平角を検出し、前記位置特定手段は、前記検出した車両の前後に存在する信号機に対する仰角と水平角と、前記取得した車両の前後に存在する信号機の位置データと、前記検出したオイラー角に基づき、信号機から車両までの車線方向の距離と車線幅方向の距離を算出し、車両位置を特定することを特徴とする。
請求項3に記載した発明では、請求項1又は請求項2に記載の車両位置特定装置において、道路の車線数及び車線幅が格納された車線格納手段と、前記特定した車両位置と、前記格納された車線数及び車線幅とから、自車両が走行する走行車線を特定する車線特定手段と、を具備することで前記第2の目的を達成する。
Vehicle in the invention according to
According to a second aspect of the present invention, the vehicle position specifying device according to the first aspect further comprises Euler angle detection means for detecting a Euler angle of the vehicle, wherein the angle detection means is further based on the captured image. The horizontal angle with respect to the traffic signal existing before and after the vehicle is detected, and the position specifying means detects the elevation angle and the horizontal angle with respect to the detected traffic signal before and after the vehicle, and the position of the traffic signal existing before and after the acquired vehicle. Based on the data and the detected Euler angle, the distance in the lane direction and the distance in the lane width direction from the traffic light to the vehicle are calculated, and the vehicle position is specified.
According to a third aspect of the present invention, in the vehicle position specifying device according to the first or second aspect, the lane storing means storing the number of lanes and the lane width of the road, the specified vehicle position, and the storing The second object is achieved by including lane specifying means for specifying the traveling lane on which the host vehicle travels based on the number of lanes and the lane width.
請求項1に記載の発明では、信号機を撮像しているので、信号機の認識と、認識した信号機と撮像画像中心点との相対角度の検出をより確実に行うことができる。そして、検出した相対角度と、信号機の位置データとから、車両位置を特定するので、車両の現在位置をより正確に特定することができる。
また、請求項2に記載した発明では、更に車両のオイラー角を使用して車両位置を特定するので、更に正確な車両位置を特定することができる。
請求項3に記載した発明では、信号機の撮像により、正確に車両位置を特定するので、より確実に自車両が走行する走行車線を特定することができる。
According to the first aspect of the present invention, since the traffic light is imaged, the traffic light can be recognized and the relative angle between the recognized traffic light and the captured image center point can be detected more reliably. Since the vehicle position is specified from the detected relative angle and the traffic signal position data, the current position of the vehicle can be specified more accurately.
In the invention described in
In the invention described in
以下、本発明の車両位置特定装置における好適な実施の形態について、図1から図5を参照して詳細に説明する。
(1)実施形態の概要
本実施形態では、魚眼レンズカメラで撮像した信号機の位置から、自車両の位置と、走行車線を特定する。
すなわち、本実施形態では、車両の重心点Gを通る鉛直線上の車体上面に取り付けられた魚眼レンズ付きカメラを配置し、車両の周囲360度の範囲を撮像し、撮像画像中から、光源を有する交通標識としての信号機の画像を画像処理により抽出する。
撮像した信号機がどの信号機であるかについては、ナビゲーション装置などからおおまかな車両位置を取得することで特定する。そして特定した信号機の形状(縦型、横型、青色信号機の有無と取付位置等)に対応したパターンマッチング用のデータを使用して、撮像画像から信号機画像を抽出する。
Hereinafter, preferred embodiments of the vehicle position specifying device of the present invention will be described in detail with reference to FIGS. 1 to 5.
(1) Outline of Embodiment In the present embodiment, the position of the host vehicle and the traveling lane are specified from the position of the traffic light imaged by the fisheye lens camera.
That is, in this embodiment, a camera with a fisheye lens attached to the upper surface of the vehicle body on the vertical line passing through the center of gravity G of the vehicle is arranged, and a 360-degree range around the vehicle is imaged. An image of a traffic light as a sign is extracted by image processing.
Which traffic signal is the captured traffic signal is specified by acquiring a rough vehicle position from a navigation device or the like. A traffic signal image is extracted from the captured image using data for pattern matching corresponding to the shape of the traffic signal (vertical type, horizontal type, presence / absence of blue traffic light, and mounting position, etc.).
そして、撮像画像全体における抽出した信号機画像の位置から、信号機と車両との相対角度(仰角、水平角)が求まる。
さらに、相対角度と、信号機の設置位置(絶対位置)及び高さのデータとから、車両の信号機からの距離と、道路幅方向の距離とが求まる。
これにより、信号機の設置位置から車両の正確な位置が特定され、さらに、道路幅方向の距離と車線データ(車線数と車線幅)から車両の走行車線が特定される。
Then, the relative angle (elevation angle, horizontal angle) between the traffic signal and the vehicle is obtained from the position of the extracted traffic signal image in the entire captured image.
Further, the distance from the traffic signal of the vehicle and the distance in the road width direction are obtained from the relative angle and the data of the installation position (absolute position) and the height of the traffic signal.
Thereby, the exact position of the vehicle is specified from the installation position of the traffic light, and further, the traveling lane of the vehicle is specified from the distance in the road width direction and the lane data (number of lanes and lane width).
本実施形態では、常時光りを発している信号機を撮像及び認識の対象としているので、夜間、雨天などの環境による撮像画質への影響は少なく、また、信号機は白線のように消えるということは無いので、認識精度は白線認識と比較して格段に向上する。
また、魚眼レンズ(画角180度以上)を用いることで、車両の前後の信号機を撮像、認識し、両信号機からの距離に基づきより正確な車両位置を特定することができる。
In this embodiment, since a signal device that constantly emits light is an object to be imaged and recognized, there is little influence on the image quality due to an environment such as nighttime or rainy weather, and the signal device does not disappear like a white line. Therefore, the recognition accuracy is remarkably improved as compared with the white line recognition.
Further, by using a fish-eye lens (angle of view of 180 degrees or more), it is possible to capture and recognize traffic lights before and after the vehicle and specify a more accurate vehicle position based on the distance from both traffic lights.
(2)実施形態の詳細
図1は、車両位置特定装置を含む車載装置の構成を表したものである。
この図1に示すように、車両位置特定装置は、各種制御及び演算処理を行うCPU(中央演算装置)10を備えており、システムバスを介してカメラI/F(インターフェイス)11、画像メモリ12、ナビI/F13、RAM/ROM14、通信I/F15、メモリ16が接続されている。
また、車両位置特定装置は、魚眼レンズ19が配置され、撮像手段として機能するカメラ18を備えている。
(2) Details of Embodiment FIG. 1 shows a configuration of an in-vehicle device including a vehicle position specifying device.
As shown in FIG. 1, the vehicle position specifying device includes a CPU (Central Processing Unit) 10 that performs various types of control and arithmetic processing. A camera I / F (interface) 11 and an
In addition, the vehicle position specifying device includes a
CPU10は、RAM/ROM14のRAMを作業領域として、ROMその他の記憶装置に格納された各種プログラムを実行することで、信号機の位置データを取得する取得手段、撮像画像から信号機画像を抽出する抽出手段、信号機画像と車両との相対角度を検出する角度検出手段、相対角度と信号機位置データとから車両位置を特定する位置特定手段、特定した車両位置から走行車線を特定する車線特定手段その他の各種機能実現手段として、又は機能実現手段の一部として機能する。
The
カメラI/F11には、カメラ18が接続されている。
カメラ18は、図2に示されるように、車両本体(ボディ)上面の、車両の重心点Gを通る鉛直線上に配置される。魚眼レンズ19の光軸も重心点Gを通る鉛直線上に配置される。このように、カメラ18を重心点Gを通る鉛直線上に配置することで、ブレーキや遠心力等による車両の傾きに対してもカメラの設置高さHをほぼ一定に保つことが可能になる。
なお、魚眼レンズ19のみを車両本体上面に配置し、カメラ18を本体内に配置するようにしてもよい。
A
As shown in FIG. 2, the
Only the
また、本実施形態における魚眼レンズ19の画角は180度であるが、それ以上の画角であってもよい。
In addition, the angle of view of the
カメラ18で撮像された撮像画像は画像メモリ12に格納される。
この画像メモリ12に格納された撮像画像から信号機を抽出し、その画像位置から車両に対する信号機の相対角が検出される。
The captured image captured by the
A traffic light is extracted from the captured image stored in the
ナビI/F13には、ナビゲーション装置21が接続されている。
ナビゲーション装置21は、GPS211(受信機)と地図データ212及び、図示しないコンピュータシステム(CPU、ROM、RAM等)を備えており、ディスプレイ(表示装置)22が接続されている。
地図データ212には、表示装置22に表示する地図情報の他、目的地までの経路探索に使用する道路データ、及び車線データ(車線数、車線幅等)が格納されている。
ナビゲーション装置21は、GPS211で受信する信号から大まかな車両の現在位置を検出して車線データと共に車両位置特定装置に送信し、車両位置特定装置からより正確な現在位置と走行車線、又はいずれか一方を取得する。
A
The
In addition to the map information displayed on the
The
ナビゲーション装置21は、目的までの経路探索、探索した走行経路の案内、車両位置特定装置から取得した走行車線から経路案内における車線変更の案内等の各種機能を備えている。
なお、車両の現在位置については、車両位置特定装置で特定されたより正確な車両位置を使用するが、GPS211により検出した車両位置と地図データとのマップマッチングにより車両位置を特定することも可能である。
The
As for the current position of the vehicle, the more accurate vehicle position specified by the vehicle position specifying device is used, but it is also possible to specify the vehicle position by map matching between the vehicle position detected by the
本実施形態では、地図データとGPSデータをナビゲーション装置から取得しているが、車両位置特定装置のメモリ(記憶装置)16に地図データを格納し、また、GPS211を車両位置特定装置が備えるようにしてもよい。 In this embodiment, map data and GPS data are acquired from the navigation device. However, the map data is stored in the memory (storage device) 16 of the vehicle position specifying device, and the vehicle position specifying device is provided with GPS 211. May be.
通信I/F15には、車両ECU24が接続されている。
車両ECU24は車両の走行に関連する各種制御を行う制御装置で、この車両ECU24には、オイラー角検出センサ25が接続されている。
オイラー角検出センサ25は、車両の水平面に対する角度(ピッチ角とロール角)及び鉛直面に対する角度(ヨー角)を検出するセンサである。
オイラー角検出センサ25で検出されたオイラー角は車両ECU24から、通信I/F15を介して車両位置特定装置に供給される。
A vehicle ECU 24 is connected to the communication I /
The vehicle ECU 24 is a control device that performs various controls related to the traveling of the vehicle, and an Euler
The Euler
The Euler angle detected by the Euler
図2に示されるように、重心点Gを原点とし、鉛直線をz軸、重心点Gを通る水平面で車両が直進する場合の進行方向をx軸、z軸とx軸に直交する軸をy軸とした場合、z軸がヨー軸、x軸がローリング軸、y軸がピッチング軸である。
そして、x軸上の点がz軸方向に移動した角度、すなわち、ピッチング軸(y軸)を中心に回転した角度がピッチ角である。
また、y軸上の点がz軸方向に移動した角度、すなわち、ローリング軸(x軸)を中心に回転した角度がロール角である。
x軸上の点がy軸方向に移動した角度、すなわち、ヨー軸(x軸)中心に回転した角度がヨー角である。
As shown in FIG. 2, the center of gravity G is the origin, the vertical line is the z axis, the traveling direction when the vehicle goes straight on the horizontal plane passing through the center of gravity G is the x axis, and the axis orthogonal to the z axis and the x axis is In the case of the y axis, the z axis is the yaw axis, the x axis is the rolling axis, and the y axis is the pitching axis.
The angle at which the point on the x-axis moves in the z-axis direction, that is, the angle rotated around the pitching axis (y-axis) is the pitch angle.
The roll angle is the angle at which the point on the y-axis is moved in the z-axis direction, that is, the angle rotated around the rolling axis (x-axis).
The angle at which the point on the x-axis moves in the y-axis direction, that is, the angle rotated about the yaw axis (x-axis) is the yaw angle.
本実施形態のオイラー角検出センサ25(図1)は、正確に振動している音叉により角速度を検出する3つの振動ジャイロセンサを備えており、各出力信号のそれぞれからピッチ角、ロール角、ヨー角を検出するようになっている。 The Euler angle detection sensor 25 (FIG. 1) of the present embodiment includes three vibration gyro sensors that detect angular velocities with a precisely vibrating tuning fork, and the pitch angle, roll angle, yaw from each output signal. A corner is detected.
なお、オイラー角検出センサ25としては、他に地磁気センサ、傾斜計等を用いて構成するようにしてもよい。
また、オイラー角検出センサ25による検出角度は直接車両信号I/F等から車両位置特定装置に供給するようにしてもよく、オイラー角検出センサ25自体を車両位置特定装置が備えるようにしてもよい。
The Euler
Further, the detection angle by the Euler
メモリ16には、信号機データ161とパターンマッチング用データ162、車両高データ163が格納されている。
信号機データ161は、信号機の位置データ(緯度、経度)、形式(形状)、高さH、車道境界線からの距離Lの各データが各信号機毎に格納されている。
信号機の形式(形状)は、縦長か横長か、青矢印式信号機の有無と有る場合にはその数と取付位置等に応じて決められている。
The
In the
The type (shape) of the traffic light is determined according to the number, the mounting position, etc., when it is vertically long or horizontally long, and when there is a blue arrow type traffic light.
パターンマッチング用データ162は、信号機データ161に格納されている各形式(形状)に対応したマッチング用の画像データが格納されている。
なお、信号機データとパターンマッチング用データの双方又は一方を、ナビゲーション装置21に格納するようにしてもよい。
車両高データ163には、自車両の高さ(撮像装置の高さ)Hを表すデータ等が格納される。
The
Note that both or one of the traffic signal data and the pattern matching data may be stored in the
The
次に、車両位置特定装置による、車両位置の特定方法について説明する。
図3は、信号機と車両の位置関係及び撮像した信号機画像の状態を表したものである。
図3(b)は、信号機A、信号機Bと、両信号機A、B間に存在する車両a〜fを上から見た状態を表したもので、図3(c)は側面から見た状態を表したものである。
また、図3(a)は、車両a〜fがカメラ18で撮像した信号機A、Bの撮像画像における位置関係を表したものである。
Next, a vehicle position specifying method by the vehicle position specifying device will be described.
FIG. 3 shows the positional relationship between the traffic signal and the vehicle and the state of the captured traffic signal image.
FIG. 3 (b) shows a state where the traffic lights A and B and the vehicles a to f existing between the traffic lights A and B are viewed from above, and FIG. 3 (c) is a state viewed from the side. It represents.
FIG. 3A shows the positional relationship in the captured images of the traffic lights A and B captured by the cameras a to f with the
信号機に対する車両位置の算出について、信号機Aと車両aを例に説明する。
図3(b)、(c)に示されるように、信号機Aの中心点が高さH1で、車道外側線から車道中央線方向の距離がL1であるものとする。
また、車両aのカメラ18位置が、高さHで、車道外側線からの距離がL4で有るものとする。
The calculation of the vehicle position with respect to the traffic light will be described using traffic light A and vehicle a as an example.
As shown in FIGS. 3B and 3C, it is assumed that the central point of the traffic light A is the height H1, and the distance from the road outer line to the road center line is L1.
Further, it is assumed that the position of the
まず、信号機Aから車両位置aまでの車線方向の距離Lxを求める。
信号機Aの高さH1及び自車の高さHは信号機データ161、車両高データ163から取得する。そして、車両a(車両aのカメラ18を意味する。以下同じ。)に対する信号機Aの仰角をθh1とすると、仰角θh1は、後述するように、信号機Aの撮像画像から求めることができる。
従って、Lxは次の式(1)で算出される。
First, the distance Lx in the lane direction from the traffic light A to the vehicle position a is obtained.
The
Therefore, Lx is calculated by the following equation (1).
Lx=(H1−H)/(tanθh1) (1) Lx = (H1-H) / (tan θh1) (1)
そして、信号機Aから車両aまでの車線幅方向の距離Lyを求める。
Lyは、式(1)で求めたLxと、車両aに対する信号機Aの水平角をθa1とすると、次の式(2)から算出される。
なお、車道外側線からの信号機Aの位置L1は信号機データ161から取得し、水平角θa1は後述するように、信号機Aの撮像画像から算出する。
Then, a distance Ly in the lane width direction from the traffic light A to the vehicle a is obtained.
Ly is calculated from the following equation (2), where Lx obtained by equation (1) and the horizontal angle of the traffic light A with respect to the vehicle a is θa1.
The position L1 of the traffic light A from the roadway outer line is obtained from the
Ly=Lx×tanθa1 (2) Ly = Lx × tan θa1 (2)
更に、車両の姿勢(傾き状態)を示す表すオイラー角に従ってLx、Lyを補正する。
オイラー角の3要素である、ヨー角をθY、ピッチ角をθP、ロール角をθRで表すと、補正後のLx、Lyは次の式(3)、(4)で表される。
Further, Lx and Ly are corrected in accordance with Euler angles representing the vehicle posture (tilt state).
If the yaw angle is represented by θY, the pitch angle is represented by θP, and the roll angle is represented by θR, which are the three elements of Euler angles, the corrected Lx and Ly are represented by the following equations (3) and (4).
Lx=(H1−H)/tan(θh1+θP+θR) (3)
Ly=〔(H1−H)/tan(θh1+θP+θR)〕×tan(θa1+θY) (4)
Lx = (H1−H) / tan (θh1 + θP + θR) (3)
Ly = [(H1−H) / tan (θh1 + θP + θR)] × tan (θa1 + θY) (4)
以上の式(3)、(4)で求めたLx、Ly及び、信号機Aの座標位置(X,Y)と距離L1から車両の正確な位置として、(X+Lx,Y+Ly+L1)が求まる。 (X + Lx, Y + Ly + L1) is obtained as an accurate position of the vehicle from Lx, Ly obtained by the above formulas (3) and (4) and the coordinate position (X, Y) of the traffic light A and the distance L1.
なお、信号機の座標が信号機Aの中心からではなくて支柱の座標である場合の車両位置は、(X+Lx,Y+Ly+L5)となる。
この場合のL5は、L5=L1+L4で、L4は、支柱から車道外側線までの距離であり、L1、L4、L5の内の少なくとも2つが信号機データ161に格納される。
Note that the vehicle position when the coordinates of the traffic light are not the center of the traffic light A but the coordinates of the column is (X + Lx, Y + Ly + L5).
In this case, L5 is L5 = L1 + L4, L4 is the distance from the support post to the roadway outer line, and at least two of L1, L4, and L5 are stored in the
更に、算出したLyと、道路車線情報(車線数と各車線の車線幅)とから、現在車両が走行している走行車線を認識することができる。
以上により、特定された車両位置および走行車線の双方又は一方は、例えば、ナビゲーション装置に送信されて、走行経路の案内用のデータとして使用される。
Furthermore, from the calculated Ly and road lane information (the number of lanes and the lane width of each lane), it is possible to recognize the travel lane in which the vehicle is currently traveling.
As described above, both or one of the specified vehicle position and travel lane is transmitted to, for example, a navigation device and used as data for guiding the travel route.
次に、カメラ18による信号機A、Bの撮像画像(魚眼画像)から、車両aの信号機Aに対する仰角θh1と水平各θa1の決定方法について説明する。
図3(a)において表示された各円形内の領域が撮像画像であり、撮像画像J1が車両a、bからの撮像画像、撮像画像J2が車両c、dからの撮像画像、撮像画像J3が車両e、fからの撮像画像である。ただし、両車両aとb、cとd、eとfからの撮像画像を合わせて表示しており、実際には6つの撮像画像が存在する。
Next, a method for determining the elevation angle θh1 and each horizontal θa1 with respect to the traffic light A of the vehicle a from the captured images (fisheye images) of the traffic lights A and B by the
The area within each circle displayed in FIG. 3A is a captured image, the captured image J1 is a captured image from the vehicles a and b, the captured image J2 is a captured image from the vehicles c and d, and the captured image J3 is a captured image. It is a captured image from vehicles e and f. However, the captured images from both vehicles a and b, c and d, and e and f are displayed together, and there are actually six captured images.
図3(a)において、車両a〜fから前方に存在する信号機Aの撮像画像(信号機画像)がそれぞれAa〜Afであり、後方に存在する信号機Bの撮像画像がそれぞれBa〜Bfである。
そして、図3(b)に示されるように、車両が信号機Aに近づくに従って、車両の信号機Aに対する水平角は大きくなり、図3(a)に示されるように、撮像画像J中の信号機画像はAe→Ac→Aaというように、進行方向と並行な中心線から離れた位置に移動する。
この信号機画像Ae、Ac、Aaと撮像画像中心Oとを結ぶ線分と、進行方向と並行な中心線との角度が水平角θe1、θc1>θa1(θe1<θc1<θa1)である。
In FIG. 3A, the captured images (signal images) of the traffic light A existing ahead of the vehicles a to f are Aa to Af, respectively, and the captured images of the traffic light B existing rearward are Ba to Bf, respectively.
As shown in FIG. 3 (b), as the vehicle approaches the traffic light A, the horizontal angle of the vehicle with respect to the traffic light A increases, and as shown in FIG. 3 (a), the traffic signal image in the captured image J. Moves to a position away from the center line parallel to the traveling direction, such as Ae → Ac → Aa.
The angles between the line segments connecting the traffic signal images Ae, Ac, Aa and the captured image center O and the center line parallel to the traveling direction are horizontal angles θe1, θc1> θa1 (θe1 <θc1 <θa1).
一方、カメラ18に対する信号機の仰角θhは、撮像画像中心Oから信号機画像までの距離から算出する。
図4は、仰角θhの算出方法を概念的に表したものである。
図4に示されるように、魚眼レンズ19の原点(撮像中心点)Oに対して仰角θhに存在する信号機からの光は、魚眼レンズ19で屈折され、撮像中心点Oから距離qの位置に結像したものとする。
この場合、撮像画像の半径をmとすると、式(5)から仰角θhが算出される。
On the other hand, the elevation angle θh of the traffic signal with respect to the
FIG. 4 conceptually shows a method for calculating the elevation angle θh.
As shown in FIG. 4, the light from the traffic light existing at the elevation angle θh with respect to the origin (imaging center point) O of the
In this case, if the radius of the captured image is m, the elevation angle θh is calculated from Equation (5).
θh=arcCOS(q/m) (5) θh = arcCOS (q / m) (5)
なお、上記計算式(5)は画角180度の魚眼レンズを使用した場合の計算の1例であり、魚眼レンズの射影方式に応じた計算式が使用される。 The calculation formula (5) is an example of calculation when a fisheye lens having an angle of view of 180 degrees is used, and a calculation formula corresponding to the projection method of the fisheye lens is used.
次に、車両位置特定装置による走行車線特定処理の動作について説明する。
図5は、走行車線特定処理の動作を表したフローチャートである。
車両位置特定装置のCPU10は、ROMに格納された走行車線特定プログラムに従って、ナビI/F13を介して、GPS211で特定された車両のおおまかな現在位置と、現在位置に対応する走行道路の車線データ(車線数、及び車線幅等)をナビゲーション装置21に要求し、取得する(ステップ51)。
Next, the operation of the traveling lane specifying process by the vehicle position specifying device will be described.
FIG. 5 is a flowchart showing the operation of the traveling lane specifying process.
The
CPU10は、取得した車線データから、車線数を判断する(ステップ52)。
走行車線の数が1車線の場合(ステップ52;N)、走行車線を認識する必要がないので、CPU10は処理終了してメインルーチンにリターンする。
ただし、走行車線を特定するだけではなく、撮像した信号機画像から車両位置を特定する場合には、車線数に関係なくステップ53に移行する。(すなわち、この場合にはステップ52の判断は行わない。)
CPU10 judges the number of lanes from the acquired lane data (step 52).
When the number of travel lanes is one lane (step 52; N), since there is no need to recognize the travel lane, the
However, when not only specifying the traveling lane but also specifying the vehicle position from the captured traffic signal image, the process proceeds to step 53 regardless of the number of lanes. (That is, the determination in step 52 is not performed in this case.)
次にCPU10は、ステップ51で取得した自車両の現在位置と道路形状から、自車のカメラ18で撮像される信号機の位置を推測し、該推測した信号機のデータ(信号機の位置、形式、高さH、車道境界線からの距離L)をメモリ16の信号機データ161から取得する。
Next, the
そして、CPU10は、カメラ18により、車両周辺の全方位(360度)の画像を撮像し、その撮像画像を画像メモリ12に格納することで、撮像画像を取得する(ステップ54)。
Then, the
ついでCPU10は、ステップ53で取得した信号機形式に対応する信号機画像データをパターンマッチング用データ162から読み出し、撮像画像とのパターンマッチングにより信号機画像を検出(抽出)し、車両(カメラ18)に対する信号機の仰角θhと水平角θa(撮像画像中心点Oに対してなす相対角度)を特定する(ステップ55)。
なお、パターンマッチングする範囲は、ステップ51で取得しておいた車線数と車線幅に基づき、範囲を決定する。これにより、マッチング処理の負荷を低減することが可能となる。
Next, the
Note that the range for pattern matching is determined based on the number of lanes and the lane width acquired in step 51. Thereby, it is possible to reduce the load of the matching process.
CPU10は、車両の姿勢に伴ってカメラの傾きが変化することで測定に誤差が生じることを防ぐために、オイラー角検出センサ25で検出したオイラー角(ヨー角θY、ピッチ角θP、ロール角θR)を補正パラメータとして車両ECU24から取得する(ステップ56)。
The
CPU10は、それぞれ取得、算出した信号機の座標(X、Y)、信号機の高さHと距離L1、仰角θh、水平角θa、ヨー角θY、ピッチ角θP、ロール角θRを用いて式(3)、(4)から、信号機から車両位置までの車線方向の距離Lxと、車線幅方向の距離Lyを算出する(ステップ57)。
なお、算出したLx、Ly及び、信号機Aの座標位置(X,Y)と距離L1から、車両の正確な位置(X+Lx,Y+Ly+L1)まで求めて、ナビゲーション装置21に供給するようにしてもよい。
The
In addition, from the calculated Lx, Ly, and the coordinate position (X, Y) of the traffic light A and the distance L1, an accurate position (X + Lx, Y + Ly + L1) of the vehicle may be obtained and supplied to the
次にCPU10は、算出したLyと、道路車線情報(車線数と各車線の車線幅)とから、現在車両が走行している走行車線を特定し(ステップ58)、特定した走行車線を示す走行車線データをナビI/F13を介してナビゲーション装置21に供給して(ステップ59)、メインルーチンにリターンする。
Next, the
ナビゲーション装置21では、特定された走行車線データに基づいて、車線案内に使用する。すなわち、ナビゲーション装置21は、右折や左折の案内をする前に、右左折可能な走行車線を走行しているか否かを判断し、走行していなければ車線変更を促す案内を音声や画像表示により行う。
The
また、車両位置特定装置のCPU10は、走行している自車両の位置が車線(車道外側線、車線境界線、車道中央線)を跨いで走行していると判断された場合、どの車線を跨いでいるかを示す警告情報をナビゲーション装置21に供給する。
ナビゲーション装置21では、受信した警告情報に従って、音声や表示により運転者に警告をするようにしてもよい。その際、警告と共に、どちらに移動すべきかを告知するようにしてもよい。
Further, the
The
以上説明したように本実施形態の車両位置特定装置によれば、信号機を魚眼レンズで撮像し、その撮像画像から抽出した信号機画像から車両(撮像カメラ)に対する信号機の仰角と水平角を算出し、これと撮像した信号機の位置座標と高さのデータとから車両のより正確な現在位置を特定することができる。
更に、車道外側線から信号機までの道路幅方向の距離と、斜線データ(車線数と車線幅)とから、車両が現在走行している走行車線を特定することができる。
As described above, according to the vehicle position specifying apparatus of the present embodiment, the traffic light is imaged with a fisheye lens, and the elevation angle and horizontal angle of the traffic signal with respect to the vehicle (imaging camera) are calculated from the traffic signal image extracted from the captured image. Further, it is possible to specify a more accurate current position of the vehicle from the position coordinates and height data of the captured traffic signal.
Furthermore, the travel lane in which the vehicle is currently traveling can be identified from the distance in the road width direction from the roadway outer line to the traffic light and the oblique line data (number of lanes and lane width).
そして、本実施形態によれば、カメラによる撮像対象として、走行する道路上及び周辺に多数存在する信号機を撮像するようにしているので、頻繁に走行道路上の正確な車両位置を特定することが可能になる。
また、常時光りを発している信号機(光源を有する交通標識)を撮像及び認識の対象としているので、夜間、雨天などの悪環境であっても、確実に信号機の認識、抽出が可能になる。従って、夜間や雨天等であっても、車両位置や走行車線を確実に特定することができる。
また、魚眼レンズ(画角180度以上)を用いることで、車両の前後の信号機を撮像、認識することで、両信号機からの距離に基づき、より正確な車両位置を特定することができる。
And according to this embodiment, since it is trying to image many traffic lights which exist on the road which runs, and its circumference as a subject for imaging with a camera, it is possible to frequently specify an accurate vehicle position on the road. It becomes possible.
In addition, since a traffic light (traffic sign having a light source) that constantly emits light is a target for imaging and recognition, the traffic light can be reliably recognized and extracted even in a bad environment such as nighttime and rainy weather. Therefore, the vehicle position and the traveling lane can be reliably specified even at night or in the rainy weather.
Further, by using a fisheye lens (angle of view of 180 degrees or more), it is possible to specify a more accurate vehicle position based on the distance from both traffic lights by capturing and recognizing the traffic lights before and after the vehicle.
以上、本発明の車両位置特定装置における1実施形態について説明したが、本発明は説明した実施形態に限定されるものではなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
例えば、説明した実施形態では、魚眼レンズによる撮像画像の全領域に対して信号機画像データ(パターンマッチング用データ)のパターンマッチングを行うことで信号機画像を抽出する場合について説明したが、撮像画像内の特定の領域、例えば前後約45度の領域についてパターンマッチングを行うことで、その領域内に存在する信号機画像を抽出するようにしてもよい。
このように、撮像画像の全領域のうち、特定領域内に存在する信号機を抽出対象とすることで、車両位置や走行車線の特定に有効な位置に存在する信号機に限定して抽出することが可能になると共に、画像処理(パターンマッチング処理)に伴う処理負荷も低減できる。
As mentioned above, although one embodiment in the vehicle position specifying device of the present invention has been described, the present invention is not limited to the described embodiment, and various modifications can be made within the scope described in each claim. is there.
For example, in the embodiment described above, a case has been described in which a traffic signal image is extracted by performing pattern matching of traffic signal image data (pattern matching data) on the entire region of a captured image by a fisheye lens. For example, a signal image existing in the area may be extracted by performing pattern matching on this area, for example, an area of about 45 degrees before and after.
In this way, by extracting the traffic lights existing in the specific area out of the entire area of the captured image, it is possible to extract only the traffic lights existing at positions effective for specifying the vehicle position and the traveling lane. In addition, the processing load associated with image processing (pattern matching processing) can be reduced.
説明した実施形態では、魚眼レンズを用いて車両の周囲360度の範囲を撮像するようにしたが、魚眼レンズ以外に広角レンズを使用するようにしてもよい。この場合、車両の前後の信号機を撮像する場合には、前後用2つのカメラを設置することになる。
そして、広角レンズの撮像範囲としては、車両に対して、車両位置や走行車線の特定に有効な位置(領域内)に存在する信号機を撮像可能な画角のレンズを使用する。
この場合、撮像画像から、撮像画像中心(カメラ)に対する信号機の仰角と水平角の算出式は、使用する広角レンズに対応した式を使用する。
In the embodiment described, a 360-degree range around the vehicle is imaged using a fisheye lens, but a wide-angle lens may be used in addition to the fisheye lens. In this case, when imaging the traffic lights before and after the vehicle, two front and rear cameras are installed.
Then, as the imaging range of the wide-angle lens, a lens having an angle of view capable of imaging a traffic signal existing at a position (in a region) effective for specifying the vehicle position and the traveling lane is used for the vehicle.
In this case, the calculation formula for the elevation angle and the horizontal angle of the traffic light with respect to the center of the captured image (camera) from the captured image is an expression corresponding to the wide-angle lens to be used.
説明した実施形態では、カメラ18による信号機の撮像は、所定時間間隔毎に撮像することを前提に説明したが、車両の位置や走行車線の特定が必要なときに撮像するようにしてもよい。
例えば、ナビゲーション装置21による走行経路の案内中で、右左折等の進路変更の案内を実行する所定距離手前において、走行車線を変更する案内の必要があるか否かを判断するために、ナビゲーション装置21からの要求に応じて走行車線を特定するために撮像を行う。
In the described embodiment, the traffic signal is captured by the
For example, in order to determine whether or not there is a need to provide guidance for changing the travel lane before a predetermined distance for executing a route change guidance such as turning right or left during guidance of a travel route by the
また、ナビゲーション装置21において、通常はGPS211により特定した車両位置とマップマッチングを行い、より正確な車両位置を特定する必要がある場合に撮像するようにしてもよい。例えば、複雑な交差点を通過する前後において、走行道路を正確に特定するために、信号機の撮像を行い、正確な車両位置を特定するようにする。
Further, the
また、車両位置の特定に有効な信号機と車両との位置関係(距離)に車両が到達したとき等に撮像するようにしてもよい。
例えば、ナビゲーション装置21から取得するおおまかな車両位置と信号機との距離が、ナビゲーション装置21の誤差を考慮した一定の距離Umに到達した際に撮像するようにしてもよい。
Alternatively, an image may be taken when the vehicle reaches the positional relationship (distance) between the traffic light effective for specifying the vehicle position and the vehicle.
For example, an image may be taken when the distance between the approximate vehicle position acquired from the
また、カメラ11による撮像をする場合、ステアリング角センサからの検出角を取得し、ステアリング角が0度、すなわちハンドルを切っていない場合に信号機を撮像するようにしてもよい。これにより、車線変更等で走行車線に対して車両が傾いていることによる、車両位置や走行車線の誤認識を回避することができる。
また、ステアリング角0度で所定距離、または所定時間走行した後に撮像することで、より車両の傾きの可能性を少なくするようにしてもよい。
Moreover, when imaging with the
Further, the possibility of the vehicle leaning may be further reduced by taking an image after traveling a predetermined distance or a predetermined time at a steering angle of 0 degree.
説明した実施形態では、信号機画像の抽出をパターンマッチング用データとのマッチング処理により抽出していたが、他の各種公知の方法により信号機画像を抽出するようにしてもよい。
例えば、撮像画像をHSV表色系で2値化し、輝点の位置から、撮像画像における信号機の位置を特定するようにしてもよい。
In the described embodiment, the signal image is extracted by the matching process with the pattern matching data. However, the signal image may be extracted by various other known methods.
For example, the captured image may be binarized using the HSV color system, and the position of the traffic light in the captured image may be specified from the position of the bright spot.
10 CPU
11 カメラI/F
12 画像メモリ
13 ナビI/F
14 RAM/ROM
15 通信I/F
16 メモリ
161 信号機データ
162 パターンマッチング用データ
18 カメラ
19 魚眼レンズ
21 ナビゲーション装置
211 GPS
212 地図データ
22 ディスプレイ
24 車両ECU
25 オイラー角検出センサ
10 CPU
11 Camera I / F
12
14 RAM / ROM
15 Communication I / F
16
212
25 Euler angle sensor
Claims (3)
車両に配置され、前記車両の前後に存在する信号機を撮像する撮像手段と、
前記撮像した車両の前後に存在する信号機の撮像画像から、車両の前後に存在する信号機に対する仰角を検出する角度検出手段と、
前記検出した車両の前後に存在する信号機に対する仰角と、前記取得した車両の前後に存在する信号機の位置データとから、車両位置を特定する位置特定手段と、を具備することを特徴とする車両位置特定装置。
Obtaining means for obtaining position data of traffic lights existing before and after the vehicle ;
An imaging means arranged in a vehicle for imaging traffic lights existing before and after the vehicle ;
From the captured image of the traffic signal present in the front and rear of the vehicle of which an image is captured, an angle detection means for detecting an elevation for traffic signals existing before and after the vehicle,
Vehicle position comprising: an elevation angle with respect to the traffic signal existing before and after the detected vehicle; and a position specifying means for specifying a vehicle position from the acquired position data of the traffic signal existing before and after the vehicle. Specific device.
前記角度検出手段は、更に前記撮像画像から、前記車両の前後に存在する信号機に対する水平角を検出し、
前記位置特定手段は、前記検出した車両の前後に存在する信号機に対する仰角と水平角と、前記取得した車両の前後に存在する信号機の位置データと、前記検出したオイラー角に基づき、信号機から車両までの車線方向の距離と車線幅方向の距離を算出し、車両位置を特定することを特徴とする請求項1に記載の車両位置特定装置。
Euler angle detection means for detecting the Euler angle of the vehicle, and
The angle detection means further detects a horizontal angle with respect to a traffic signal existing before and after the vehicle from the captured image,
It said position specifying means, the elevation angle and the horizontal angle for traffic signals existing before and after the vehicle the detected, and the position data of the traffic signal present before and after the acquired vehicle, based on the Euler angles the detection, the traffic to the vehicle The vehicle position specifying device according to claim 1 , wherein the vehicle position is specified by calculating a distance in the lane direction and a distance in the lane width direction .
前記特定した車両位置と、前記格納された車線数及び車線幅とから、自車両が走行する走行車線を特定する車線特定手段と、を具備することを特徴とする請求項1又は請求項2に記載の車両位置特定装置。 Lane storage means for storing the number of road lanes and the lane width;
The vehicle according to claim 1, further comprising: a lane specifying unit that specifies a travel lane on which the host vehicle travels from the specified vehicle position and the stored number of lanes and lane width. The vehicle position specifying device described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004183615A JP4375549B2 (en) | 2004-06-22 | 2004-06-22 | Vehicle positioning device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004183615A JP4375549B2 (en) | 2004-06-22 | 2004-06-22 | Vehicle positioning device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006010328A JP2006010328A (en) | 2006-01-12 |
JP4375549B2 true JP4375549B2 (en) | 2009-12-02 |
Family
ID=35777767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004183615A Expired - Fee Related JP4375549B2 (en) | 2004-06-22 | 2004-06-22 | Vehicle positioning device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4375549B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007232690A (en) * | 2006-03-03 | 2007-09-13 | Denso Corp | Present position detection apparatus, map display device and present position detecting method |
JP4677981B2 (en) * | 2006-12-20 | 2011-04-27 | アイシン・エィ・ダブリュ株式会社 | Own vehicle position identification method and own vehicle position identification device |
GB0802444D0 (en) * | 2008-02-09 | 2008-03-19 | Trw Ltd | Navigational device for a vehicle |
KR101301667B1 (en) | 2010-07-13 | 2013-08-29 | 유민규 | Method for measuring distance, height, length using mobile communication terminal |
JP5962771B2 (en) * | 2012-12-12 | 2016-08-03 | 日産自動車株式会社 | Moving object position / posture angle estimation apparatus and moving object position / posture angle estimation method |
JP6378594B2 (en) * | 2014-09-18 | 2018-08-22 | 株式会社Subaru | Outside environment recognition device |
KR101706455B1 (en) * | 2015-04-15 | 2017-02-27 | 한양대학교 산학협력단 | Road sign detection-based driving lane estimation method and apparatus |
DE102017203236A1 (en) * | 2017-02-28 | 2018-08-30 | Conti Temic Microelectronic Gmbh | Device and method for detecting a traffic light phase for a motor vehicle |
-
2004
- 2004-06-22 JP JP2004183615A patent/JP4375549B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006010328A (en) | 2006-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8239131B2 (en) | Navigation device, navigation method, and navigation program | |
US9389093B2 (en) | Traffic signal recognition apparatus | |
US9740942B2 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
CN102183257B (en) | Travel guiding apparatus for vehicle, travel guiding method for vehicle, and computer-readable storage medium | |
JP5157067B2 (en) | Automatic travel map creation device and automatic travel device. | |
US10710583B2 (en) | Vehicle control apparatus | |
US20090248284A1 (en) | Travel support system and travel support method | |
JP2011013039A (en) | Lane determination device and navigation system | |
JP2011118482A (en) | In-vehicle device and recognition support system | |
JP6129268B2 (en) | Vehicle driving support system and driving support method | |
JP2019099138A (en) | Lane-keep auxiliary method and device | |
JP4483305B2 (en) | Vehicle periphery monitoring device | |
JP2009211624A (en) | Driving support device, driving support method, and computer program | |
JP4596566B2 (en) | Self-vehicle information recognition device and self-vehicle information recognition method | |
JP4775658B2 (en) | Feature recognition device, vehicle position recognition device, navigation device, feature recognition method | |
JP2010078387A (en) | Lane determining apparatus | |
US11650321B2 (en) | Apparatus and method for detecting tilt of LiDAR apparatus mounted to vehicle | |
JP2007278813A (en) | Vehicle-position positioning device | |
JP2011012965A (en) | Lane determination device and navigation system | |
JP4375549B2 (en) | Vehicle positioning device | |
JP4968369B2 (en) | In-vehicle device and vehicle recognition method | |
JP2006344133A (en) | Road division line detector | |
JP4687381B2 (en) | Vehicle recognition method and in-vehicle device | |
JP2007140992A (en) | Method and device for supporting driving at intersection | |
JP3381312B2 (en) | Navigation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090608 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4375549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090901 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |