JP2009140192A - Road white line detection method, road white line detection program and road white line detection apparatus - Google Patents
Road white line detection method, road white line detection program and road white line detection apparatus Download PDFInfo
- Publication number
- JP2009140192A JP2009140192A JP2007315266A JP2007315266A JP2009140192A JP 2009140192 A JP2009140192 A JP 2009140192A JP 2007315266 A JP2007315266 A JP 2007315266A JP 2007315266 A JP2007315266 A JP 2007315266A JP 2009140192 A JP2009140192 A JP 2009140192A
- Authority
- JP
- Japan
- Prior art keywords
- road
- edge
- white line
- divided
- horizontal curvature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Navigation (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、道路白線を検出する道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置に関する。 The present invention relates to a road white line detection method, a road white line detection program, and a road white line detection device for detecting a road white line.
現代社会において自動車は、人間にとって最も身近で欠くことのできない交通手段の一つである。その自動車の運転を支援するものとしてカーナビゲーションシステムが普及しており、現在その販売台数は年間400万台にも上っている。しかし、その普及に伴い、ドライバが走行中にナビゲーション画面を注視し過ぎ、脇見運転をしたことに起因する交通事故が年々増加している。そこで、ナビゲーション画面を注視し過ぎるのを防止するために、ナビゲーション画面の見易さを改善する取り組みがなされている。その取り組みの一つとして、例えば、車載カメラで撮影した実写映像を用いてナビゲーションを行う直接視覚ナビゲーションシステム(VICNAS)の開発が盛んに行われている。このVICNASが実用化されることによって、ドライバがナビゲーション画面をひと目ちらっと見るだけで、直感的に現実世界との対応付けを行うことができるので、カーナビゲーションの使用に起因する交通事故を低減することができるものと多くの人が期待している。 Automobiles are one of the most familiar and indispensable means of transportation in modern society. Car navigation systems are widely used to support the driving of such vehicles, and the number of units sold is currently over 4 million units per year. However, with the widespread use, the number of traffic accidents caused by drivers driving too close to the navigation screen while driving and driving aside is increasing year by year. Therefore, in order to prevent the navigation screen from being watched too much, efforts are being made to improve the visibility of the navigation screen. As one of such efforts, for example, development of a direct visual navigation system (VICNAS) that performs navigation using live-action images taken with an in-vehicle camera has been actively conducted. With this VICNAS being put into practical use, the driver can intuitively associate with the real world just by looking at the navigation screen at a glance, thus reducing traffic accidents resulting from the use of car navigation. Many people expect what they can do.
このVICNASの構築には、自車両の正確な位置をリアルタイムに把握し、実写映像上へ仮想物体を正しい位置に投影することが必要となる。しかし、現在のカーナビゲーションシステムで使用されているGPSでは、GPS衛星から1秒周期でしかGPSデータが出力されないので、例えば、3軸ジャイロセンサや、車速センサなどを用いて、GPSデータの出力されていない期間における自車両の正確な位置および方位角を求めてやることが望ましい(非特許文献1参照)。 In order to construct this VICNAS, it is necessary to grasp the exact position of the host vehicle in real time and to project the virtual object on the real image on the correct position. However, in the GPS used in the current car navigation system, GPS data is output from the GPS satellite only at a cycle of 1 second. For example, GPS data is output using a 3-axis gyro sensor or a vehicle speed sensor. It is desirable to obtain the exact position and azimuth angle of the vehicle during a period when the vehicle is not in use (see Non-Patent Document 1).
しかし、3軸ジャイロセンサや車速センサなどを用いて自車両の位置および方位角を求めた場合であっても、それらのデータには依然として大きな誤差が含まれている。そのため、実写映像上の正しい位置に仮想物体を配置することができる程度にまで、これらの誤差を小さくする新たな方策を導入することが求められている。 However, even when the position and azimuth of the host vehicle are obtained using a three-axis gyro sensor, a vehicle speed sensor, or the like, the data still contains a large error. Therefore, it is required to introduce a new measure for reducing these errors to such an extent that a virtual object can be arranged at a correct position on a real image.
現在、この問題を解決する有力な方策の一つとして、道路白線の検知により自車両の位置および方位角を推定する方策が注目されている。従来の検知方法では、実写映像の輝度値を利用して道路白線を検出していたので、処理が非常に単純で高速である。しかし、道路画像上に路面表示や横断歩道といった白線以外のエッジが多く存在する様な状況では安定した白線認識が難しく、精度面に関して問題があった。また、他の車両が道路白線を遮蔽したり、悪天候によって輝度値が変化した場合にも、道路白線をうまく検知することができないことがあるという問題があった。 At present, as one of the promising measures for solving this problem, a measure for estimating the position and azimuth of the host vehicle by detecting a white road line is drawing attention. In the conventional detection method, the road white line is detected by using the luminance value of the live-action image, so the processing is very simple and high speed. However, in the situation where there are many edges other than the white line such as road surface display and pedestrian crossing on the road image, it is difficult to recognize the stable white line, and there is a problem in terms of accuracy. In addition, there is a problem in that the road white line may not be detected well even when another vehicle blocks the road white line or the luminance value changes due to bad weather.
本発明はかかる問題点に鑑みてなされたもので、その目的は、道路白線を精度良く検出することの可能な道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置を提供することにある。 The present invention has been made in view of such problems, and an object of the present invention is to provide a road white line detection method, a road white line detection program, and a road white line detection apparatus capable of accurately detecting a road white line.
本発明による道路白線検出方法は、以下の(A1)〜(A8)の各ステップを含むものである。
(A1)センサ出力データから得られた移動体の位置および方位角に基づいて移動体近傍のノード、道路リンク、補間点および道路リンクの道路属性についてのデータを地図データから抽出するステップ
(A2)地図データから抽出された道路リンクを、道路属性に基づいて直線段、円弧段およびこれらと繋がった緩和曲線段に分けたのち、複数の区間に分割し、分割した区間ごとに道路水平曲率を求めるステップ
(A3)実写画像データに対して所定の画像処理を行うことにより得られたエッジ画像データからエッジ線分を抽出したのち、抽出したエッジ線分を複数の区間に分割し、分割した区間ごとにエッジ水平曲率を求めるステップ
(A4)道路水平曲率とエッジ水平曲率とを対比して、エッジ画像データにおいて道路白線に対応するエッジ線分を探索する範囲を決定するステップ
(A5)探索範囲内において、所定の検索条件に基づいてエッジ線分を選択し、選択したエッジ線分に対応した座標を観測値として取得するステップ
(A6)道路水平曲率から得られる線分をエッジ画像データに投影したときに得られる仮想道路白線に対応した座標を推定値の初期値として取得すると共に、車線幅、道路白線からのオフセット幅、偏向角および俯角のそれぞれの標準誤差を用いて得られたものを誤差共分散の初期値として取得し、さらに推定値を用いてカルマンゲインを算出するステップ
(A7)観測値とカルマンゲインとに基づいて推定値を更新すると共に、カルマンゲインに基づいて誤差共分散を更新するステップ
(A8)更新した推定値を用いてカルマンゲインを更新したのち、観測値と更新したカルマンゲインとに基づいて推定値を更に更新すると共に、更新したカルマンゲインに基づいて誤差共分散を更に更新するステップ
The road white line detection method according to the present invention includes the following steps (A1) to (A8).
(A1) A step of extracting data about nodes, road links, interpolation points, and road attributes of road links from map data based on the position and azimuth of the mobile body obtained from sensor output data (A2) The road link extracted from the map data is divided into straight steps, arc steps and relaxation curve steps connected to them based on road attributes, and then divided into multiple sections, and the road horizontal curvature is obtained for each divided section. Step (A3) After extracting the edge line segment from the edge image data obtained by performing predetermined image processing on the photographed image data, the extracted edge line segment is divided into a plurality of sections, and for each divided section Step for obtaining edge horizontal curvature (A4) The road horizontal curvature is compared with the edge horizontal curvature to correspond to the road white line in the edge image data. A step of determining a search range for wedge line segments (A5) A step of selecting an edge line segment based on a predetermined search condition within the search range and acquiring coordinates corresponding to the selected edge line segment as observation values (A6) The coordinates corresponding to the virtual road white line obtained when the line segment obtained from the road horizontal curvature is projected on the edge image data are acquired as the initial value of the estimated value, the lane width, the offset width from the road white line, A step of obtaining the initial value of the error covariance obtained using the standard error of each of the deflection angle and the depression angle, and further calculating the Kalman gain using the estimated value (A7) Based on the observed value and the Kalman gain Updating the estimated value and updating the error covariance based on the Kalman gain (A8) updating the Kalman gain using the updated estimated value. Later, with further updates the estimated value based on the Kalman gain updating the observed values, the step of further updating the error covariance based on the Kalman gain updated
本発明による道路白線検出プログラムは、以下の(B1)〜(B8)の各ステップをコンピュータに実行させるものである。
(B1)センサ出力データから得られた移動体の位置および方位角に基づいて移動体近傍のノード、道路リンク、補間点および道路リンクの道路属性についてのデータを地図データから抽出するステップ
(B2)地図データから抽出された道路リンクを、道路属性に基づいて直線段、円弧段およびこれらと繋がった緩和曲線段に分けたのち、複数の区間に分割し、分割した区間ごとに道路水平曲率を求めるステップ
(B3)実写画像データに対して所定の画像処理を行うことにより得られたエッジ画像データからエッジ線分を抽出したのち、抽出したエッジ線分を複数の区間に分割し、分割した区間ごとにエッジ水平曲率を求めるステップ
(B4)道路水平曲率とエッジ水平曲率とを対比して、エッジ画像データにおいて道路白線に対応するエッジ線分を探索する範囲を決定するステップ
(B5)探索範囲内において、所定の検索条件に基づいてエッジ線分を選択し、選択したエッジ線分に対応した座標を観測値として取得するステップ
(B6)道路水平曲率から得られる線分をエッジ画像データに投影したときに得られる仮想道路白線に対応した座標を推定値の初期値として取得すると共に、車線幅、道路白線からのオフセット幅、偏向角および俯角のそれぞれの標準誤差を用いて得られたものを誤差共分散の初期値として取得し、さらに推定値を用いてカルマンゲインを算出するステップ
(B7)観測値とカルマンゲインとに基づいて推定値を更新すると共に、カルマンゲインに基づいて誤差共分散を更新するステップ
(B8)更新した推定値を用いてカルマンゲインを更新したのち、観測値と更新したカルマンゲインとに基づいて推定値を更に更新すると共に、更新したカルマンゲインに基づいて誤差共分散を更に更新するステップ
The road white line detection program according to the present invention causes a computer to execute the following steps (B1) to (B8).
(B1) A step of extracting data about nodes, road links, interpolation points, and road attributes of the road links from the map data based on the position and azimuth of the mobile body obtained from the sensor output data (B2) The road link extracted from the map data is divided into straight steps, arc steps and relaxation curve steps connected to them based on road attributes, and then divided into multiple sections, and the road horizontal curvature is obtained for each divided section. Step (B3) After extracting the edge line segment from the edge image data obtained by performing predetermined image processing on the photographed image data, the extracted edge line segment is divided into a plurality of sections, and for each divided section Step (B4) of obtaining edge horizontal curvature in step S4 is performed by comparing the road horizontal curvature with the edge horizontal curvature to correspond to the road white line in the edge image data. A step of determining a search range for the wedge line segment (B5) A step of selecting an edge line segment based on a predetermined search condition within the search range, and acquiring coordinates corresponding to the selected edge line segment as an observed value (B6) The coordinates corresponding to the virtual road white line obtained when the line segment obtained from the road horizontal curvature is projected onto the edge image data are acquired as initial values of the estimated value, the lane width, the offset width from the road white line, A step of obtaining the initial value of the error covariance obtained using the standard errors of the deflection angle and the depression angle, and further calculating the Kalman gain using the estimated value (B7) Based on the observed value and the Kalman gain Updating the estimated value and updating the error covariance based on the Kalman gain (B8), updating the Kalman gain using the updated estimated value. Later, with further updates the estimated value based on the Kalman gain updating the observed values, the step of further updating the error covariance based on the Kalman gain updated
本発明による道路白線検出装置は、以下の(C1)〜(C8)の各構成を備えたものである。
(C1)センサ出力データから得られた移動体の位置および方位角に基づいて移動体近傍のノード、道路リンク、補間点および道路リンクの道路属性についてのデータを地図データから抽出する抽出手段
(C2)地図データから抽出された道路リンクを、道路属性に基づいて直線段、円弧段およびこれらと繋がった緩和曲線段に分けたのち、複数の区間に分割し、分割した区間ごとに道路水平曲率を求める道路水平曲率導出手段
(C3)実写画像データに対して所定の画像処理を行うことにより得られたエッジ画像データからエッジ線分を抽出したのち、抽出したエッジ線分を複数の区間に分割し、分割した区間ごとにエッジ水平曲率を求めるエッジ水平曲率導出手段
(C4)道路水平曲率とエッジ水平曲率とを対比して、エッジ画像データにおいて道路白線に対応するエッジ線分を探索する範囲を決定する探索範囲決定手段
(C5)探索範囲内において、所定の検索条件に基づいてエッジ線分を選択し、選択したエッジ線分に対応した座標を観測値として取得する観測値取得手段
(C6)道路水平曲率から得られる線分をエッジ画像データに投影したときに得られる仮想道路白線に対応した座標を推定値の初期値として取得すると共に、車線幅、道路白線からのオフセット幅、偏向角および俯角のそれぞれの標準誤差を用いて得られたものを誤差共分散の初期値として取得し、さらに推定値を用いてカルマンゲインを算出する初期値取得手段
(C7)観測値とカルマンゲインとに基づいて推定値を更新すると共に、カルマンゲインに基づいて誤差共分散を更新する第1更新手段
(C8)更新した推定値を用いてカルマンゲインを更新したのち、観測値と更新したカルマンゲインとに基づいて推定値を更に更新すると共に、更新したカルマンゲインに基づいて誤差共分散を更に更新する第2更新手段
The road white line detection apparatus according to the present invention has the following configurations (C1) to (C8).
(C1) Extraction means (C2) for extracting data about nodes, road links, interpolation points, and road attributes of road links in the vicinity of the moving body from map data based on the position and azimuth of the moving body obtained from the sensor output data ) After dividing the road links extracted from the map data into straight steps, arc steps and relaxation curve steps connected to them based on road attributes, it is divided into multiple sections, and the road horizontal curvature is calculated for each divided section. Obtaining road horizontal curvature derivation means (C3) After extracting edge line segments from edge image data obtained by performing predetermined image processing on real image data, the extracted edge line segments are divided into a plurality of sections. Edge horizontal curvature deriving means for obtaining edge horizontal curvature for each divided section (C4) By comparing road horizontal curvature and edge horizontal curvature, edge image data In the search range determining means (C5) for determining the search range for the edge line segment corresponding to the road white line, the edge line segment is selected based on a predetermined search condition within the search range, and the selected edge line segment is supported. Observation value acquisition means for acquiring the obtained coordinates as observation values (C6) The coordinates corresponding to the virtual road white line obtained when the line segment obtained from the road horizontal curvature is projected onto the edge image data are acquired as initial values of the estimated values. In addition, the lane width, the offset width from the road white line, the standard error of the deflection angle and the depression angle are obtained as the initial value of the error covariance, and the estimated value is used to calculate the Kalman gain. Initial value acquisition means (C7) First update means for updating the estimated value based on the observed value and the Kalman gain, and updating the error covariance based on the Kalman gain ( 8) After updating the Kalman gain using the updated estimated value, the estimated value is further updated based on the observed value and the updated Kalman gain, and the error covariance is further updated based on the updated Kalman gain. 2 Update means
本発明による道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置では、地図データから抽出された道路リンクが、道路属性に基づいて直線段、円弧段およびこれらと繋がった緩和曲線段に分けられたのち、複数の区間に分割され、分割された区間ごとに道路水平曲率が求められる。これにより、地図データから道路水平曲率を簡単に抽出することができる。また、推定されたエッジ水平曲率を道路水平曲率と対応付けることができるので、現在位置の推定に使うことができる。 In the road white line detection method, the road white line detection program, and the road white line detection device according to the present invention, the road link extracted from the map data is divided into a straight line stage, an arc stage, and a relaxation curve stage connected thereto based on the road attributes. After that, it is divided into a plurality of sections, and the road horizontal curvature is obtained for each of the divided sections. Thereby, the road horizontal curvature can be easily extracted from the map data. Further, since the estimated edge horizontal curvature can be associated with the road horizontal curvature, it can be used to estimate the current position.
本発明による道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置によれば、地図データから道路水平曲率を簡単に抽出することができると共に、推定されたエッジ水平曲率を道路水平曲率と対応付けることができるようにしたので、道路白線を精度良く検出することができる。 According to the road white line detection method, the road white line detection program, and the road white line detection device according to the present invention, the road horizontal curvature can be easily extracted from the map data, and the estimated edge horizontal curvature is associated with the road horizontal curvature. Therefore, it is possible to detect the road white line with high accuracy.
以下、本発明を実施するための最良の形態について図面を参照して詳細に説明する。 Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings.
図1は、本発明の一実施の形態に係るナビゲーション装置1の概要構成を表したものである。なお、本発明の一実施の形態に係る白線検出方法は、このナビゲーション装置1の動作によって具現化されるものであるから、以下、それらを併せて説明する。
FIG. 1 shows a schematic configuration of a
このナビゲーション装置1は、運転者の運転する移動体(例えば自動車)に搭載されたものであり、例えば、センサ入力部10と、地図管理部20と、中央処理部30と、映像表示部40とを、その主要部として備えている。
The
センサ入力部10は、CCD(固体撮像素子)カメラ101(車載カメラ)と、GPSセンサ102と、ジャイロセンサ103(慣性センサ)と、車速センサ104とを備えている。
The
CCDカメラ101は、例えば運転者がフロントガラス越しに見る視線とほぼ同様のカメラアングルで車両前方の景観を撮影(撮像)することができるように、移動体に固定されている。このCCDカメラ101は、例えば固定焦点距離の単眼方式のものであり、道路を含んだ前方の景観を例えば1/30秒ごとに撮像して、撮像により得られた実写画像データを中央処理部30に転送するようになっている。
The
GPSセンサ102は、例えば、地球上の現在位置を調べるための衛星測位システム(GPS)において、宇宙空間に打ち上げられた多数のGPS衛星から地表に向けて送信されてくる電波を受信するレシーバであり、受信した電波に含まれる各種データ(GPSデータ)を中央処理部30に転送するようになっている。なお、中央処理部30は、GPSデータから、移動体の位置(緯度および経度)と、移動体の方位角とを算出することができる。
The
GPS衛星からは、例えば1秒ごとにGPSデータを含む電波が出力されているが、その電波は、地表に到達するまでの間に電離層などの影響を受けて、1秒から2秒の不確定性を持ってレシーバに到達する。ここで、廉価な商用GPSでは、位置(緯度および経度)の精度がおよそ20メートル、方位角の精度がおよそ10度となっている。 For example, radio waves including GPS data are output from the GPS satellites every second, but the radio waves are affected by the ionosphere before reaching the surface of the earth and are uncertain for 1 to 2 seconds. Reach the receiver with sexuality. Here, an inexpensive commercial GPS has a position (latitude and longitude) accuracy of about 20 meters and an azimuth angle accuracy of about 10 degrees.
なお、GPS衛星から送信されてくる電波を受信する代わりに、DGPS(Differential GPS)において、基準局から送信されてくる中波やFM放送などの地上波を受信するようにしてもよい。このDGPSとは、位置の分かっている基準局でGPSによる測量を行い、実際の位置とGPSで算出された位置とのずれを中波やFM放送などの地上波で送信することにより、GPS衛星からの信号により計測した結果を補正することの可能なシステムであり、GPSよりも精度よく測位することが可能である。 Instead of receiving radio waves transmitted from GPS satellites, DGPS (Differential GPS) may receive medium waves and terrestrial waves such as FM broadcasts transmitted from a reference station. This DGPS is a standard station where the position is known, performs GPS surveying, and transmits the difference between the actual position and the position calculated by GPS using terrestrial waves such as medium waves and FM broadcasts. It is a system that can correct the result measured by the signal, and can measure with higher accuracy than GPS.
ジャイロセンサ103は、例えば、コリオリ力による振動を電気的に検出する3次元振動ジャイロからなり、検出した振動データを中央処理部30に転送するようになっている。なお、中央処理部30は、得られた振動データから、例えば1/60秒ごとに移動体の角速度を算出することが可能である。
The
車速センサ104は、例えば、車速の大きさに応じたパルス信号を出力するパルスセンサであり、出力されたパルス信号を中央処理部30に転送するようになっている。なお、中央処理部30は、得られたパルス信号から、例えば1/50秒ごとに移動体の車速を算出することが可能である。
The
地図管理部20は、所定の地理的領域の地図データが記録された記録媒体201と、この記録媒体201から地図データを読み出すドライバ202とを有している。この地図管理部20は、中央処理部30からの読み出し命令に従って、地図データ(例えば、所定の地域に含まれる道路に関するデータや、その道路に付随するデータなど)を記録媒体201から読み出して、中央処理部30に転送するようになっている。
The map management unit 20 includes a
ここで、道路に関するデータには、例えば、ノードと呼ばれる交差点、分岐点、補間点(変曲点)および補曲点などの位置(緯度、経度、海抜)や、ノード間を繋ぐ道路リンクの道路属性が含まれている。道路属性とは、等級(国道、県道、農道などにそれぞれ割り当てられている数値)、車線数、車線幅、最高速度などのことを指す。また、道路に付随するデータには、例えば、ランドマーク、鉄道の駅、病院およびガソリンスタンドなどの位置、形状、大きさおよびアイコンなどが含まれている。 Here, the road-related data includes, for example, intersections, branch points, interpolation points (inflection points), interpolation points, etc. (latitude, longitude, sea level) and road link roads connecting nodes. Contains attributes. Road attributes refer to grades (numbers assigned to national roads, prefectural roads, agricultural roads, etc.), the number of lanes, lane width, maximum speed, and the like. Further, the data associated with the road includes, for example, positions, shapes, sizes, icons, and the like of landmarks, railway stations, hospitals, and gas stations.
中央処理部30は、例えば、測位処理モジュール301と、白線検知モジュール302と、画像処理モジュール303とをその主要部として有している。
The
測位処理モジュール301は、センサ入力部10から入力された各種データおよびパルス信号から、移動体の位置、方位角、角速度および車速を算出し、算出した移動体の位置、方位角、角速度および車速と、地図管理部20から読み出された道路に関するデータとに基づいて、移動体の位置および方位角を特定する演算を行うデバイスである。なお、移動体の位置および方位角の特定方法については後に詳述する。
The
白線検知モジュール302は、測位処理モジュール301で特定された移動体の位置および方位角と、CCDカメラ101から得られた実写画像データと、地図管理部20から読み出された道路に関するデータとに基づいて、実写画像データに含まれる道路白線を検知する演算や、測位処理モジュール301で特定された移動体の位置および方位角を修正する演算を行うデバイスである。なお、道路白線の検知方法については後に詳述する。
The white
画像処理モジュール303は、白線検知モジュール302で修正された移動体の位置および方位角などに基づいて、実写画像データ上に、道路に付随するデータをアイコンで表現したものや、道路白線を重ね合わせた合成画像データを生成する演算を行うデバイスである。
Based on the position and azimuth angle of the moving body corrected by the white
映像表示部40は、例えば液晶表示装置からなり、画像処理モジュール302によって生成された画像データを画面に表示するようになっている。
The
次に、移動体の位置および方位角の特定方法について説明する。 Next, a method for specifying the position and azimuth angle of the moving body will be described.
図2(1),(2),(3)は、各センサからデータが出力されるタイミングを模式的に表したものである。図2(1),(2),(3)に示したように、GPSデータは周期TgでGPSセンサ102から出力され、ジャイロデータは周期Twでジャイロセンサ103から出力され、車速データは周期Tvで車速センサ104から出力され、実写画像データは周期TmでCCDカメラ101から出力される。ここで、ジャイロデータの周期Twおよび車速データの周期Tvは、GPSデータの周期Tgよりも短い。そのため、測位処理モジュール301は、GPSデータがこない間は、ジャイロデータおよび車速データを用いて移動体の位置および方位角を推定する。また、各センサおよびカメラからデータが出力されるタイミングは、一般に互いに同期していない。そこで、測位処理モジュール301は、各センサからの出力タイミングが互いに同期していない場合には、例えば、ジャイロセンサ103、車速センサ104またはCCDカメラ101の出力タイミングの時刻に合わせて、移動体の位置および方位角を推定する。なお、本実施の形態では、CCDカメラ101の出力タイミングの時刻に合わせて、移動体の位置および方位角を推定するものとする。
2 (1), (2), and (3) schematically show the timing at which data is output from each sensor. Figure 2 (1), (2), as shown in (3), GPS data is output from the
図3は、移動体の位置および方位角が時々刻々と変化する様子を模式的に表したものである。なお、図3には、図2(1)〜(4)の時刻t0,t1,t2における移動体の変位を高さ方向から眺めた様子が例示されている。測位処理モジュール301は、時刻t0における移動体の位置(xg(t0),yg(t0))および方位角(orig(t0))を、GPSデータから直接得ることができる。他方、時刻t1における移動体の位置(xg(t1),yg(t1))および方位角(orig(t1))を、GPSデータから直接得ることができない。そこで、測位処理モジュール301は、車速データから得られた移動体の車速v(t0)にΔt(=時刻t1−時刻t0)を乗算することにより移動距離Δd(t0)を求めると共に、ジャイロデータから得られた移動体の角速度w(t0)にΔtを乗算することにより方位角の変位量Δori(t0)を求めたのち、移動距離Δd(t0)を(orig(t0)+Δori(t0))(=orig(t1))を用いてx成分とy成分とに分解することにより、時刻t1における移動体の位置(xg(t1),yg(t1))および方位角(orig(t1))を推定する。これらを一般化したものを以下の数1〜3に示す。
FIG. 3 schematically shows how the position and azimuth of the moving body change from moment to moment. FIG. 3 illustrates a state in which the displacement of the moving body at time t 0 , t 1 , t 2 in FIGS. 2 (1) to 2 (4) is viewed from the height direction. The
このように、測位処理モジュール301において、GPSデータから直接得られた時刻t0における移動体の位置(xg(t0),yg(t0))および方位角(orig(t0))を始点として、時刻tiにおける移動体の位置((xg(ti),yg(ti))および方位角(orig(ti))を、ジャイロデータおよび車速データを利用して推定する。
Thus, in the
なお、さらに、GPSデータ、ジャイロデータおよび車速データを利用して得られた時刻tiにおける移動体の位置((xg(ti),yg(ti))および方位角(orig(ti))に対してマップマッチング処理を行うことにより、道路上の移動体の位置および方位角を求めるようにしてもよい。 Furthermore, the position ((x g (t i ), y g (t i )) and azimuth (ori g () of the moving object at time t i obtained using GPS data, gyro data, and vehicle speed data. by performing the map matching processing for t i)), may be obtained the position and azimuth of the moving body on the road.
マップマッチング処理は、例えば、生成された道路形状モデルと、移動体の種々の情報とを対比し、その対比の結果に基づいて、移動体が実際に存在する可能性の最も高い道路上に移動体が存在するように移動体の位置を強制的に移動させる処理である。上記の道路形状モデルは、例えば、移動体の位置および方位角をベースに、移動***置の前方の道路に関するデータを検索し、検索により得られた道路に関するデータに基づいて、道路の水平形状を表す数学モデルであるクロソイド(clothoid)曲線モデルのパラメータを推定することにより生成することが可能である。 In the map matching process, for example, the generated road shape model is compared with various information of the moving object, and the moving object is most likely to actually exist based on the comparison result. This is a process for forcibly moving the position of the moving body so that the body exists. The above road shape model searches, for example, data related to the road ahead of the moving object position based on the position and azimuth of the moving object, and determines the horizontal shape of the road based on the data related to the road obtained by the search. It can be generated by estimating the parameters of a clothoid curve model, which is a mathematical model to represent.
次に、道路白線の検知方法について説明する。 Next, a method for detecting a road white line will be described.
図4,5は、道路白線を検知する手順を表したものである。図6(A)は、道路白線検知用の道路線形モデルを模式的に表したものであり、図6(B)は、図6(A)の道路線形モデルの道路水平曲率Chmを表したものである。図7はエッジ画像データを、図8は図7のエッジ画像データにおける道路白線の探索範囲Sを、図9は図7のエッジ画像データから抽出された中央線分W1,W2および観測値m(j)を、図10は地図データから得られた仮想道路白線E1,E2、推定値Xd(j)および誤差共分散Cxd(j)(C11,C12,C21,C22)をそれぞれ模式的に表したものである。 4 and 5 show procedures for detecting a road white line. 6A schematically shows a road linear model for detecting a road white line, and FIG. 6B shows a road horizontal curvature C hm of the road linear model of FIG. 6A . Is. FIG. 7 shows edge image data, FIG. 8 shows a road white line search range S in the edge image data of FIG. 7, and FIG. 9 shows center line segments W 1 and W 2 extracted from the edge image data of FIG. FIG. 10 shows virtual road white lines E 1 and E 2 , estimated value Xd (j) and error covariance C xd (j) (C 11 , C 12 , C 21 , C 22 ) are each schematically represented.
まず、白線検知モジュール302は、測位処理モジュール301で特定された時刻tiにおける移動体の位置および方位角に基づいて、移動体近傍のノードN、道路リンクL、補間点(変曲点)Pおよび補曲点Q(図6参照)の位置データおよび道路リンクLの属性を地図データから抽出し、それらのデータに基づいて時刻tiにおける移動体前方(CCDカメラ101の視野範囲)の道路水平曲率Chmを推定する(ステップS101)。
First, the white
具体的には、まず、地図データから抽出された道路リンクL(L1,L2)を、道路属性および道路構造令に基づいて直線段LA、円弧段LBおよび緩和曲線段LCに分ける。なお、緩和曲線段LCは、直線段LAと円弧段LBとを滑らかに繋げるクロソイド曲線で近似されたものである。次に、直線段LA、円弧段LBおよび緩和曲線段LCの道路水平曲率Chmをそれぞれ求める。このとき、道路水平曲率Chmを、直線段LAにおいて0(ゼロ)とし、円弧段LBにおいて1/ri(riは、曲率半径)とし、緩和曲線段LCにおいては線形的に変化するものとする。次に、道路リンクL(L1,L2)を細かな区間に分割し、区間ごとに道路水平曲率Chmを求める。つまり、各道路リンクL(L1,L2)には、離散化した複数の道路水平曲率Chmが与えられる。このようにして、各道路リンクL(L1,L2)の道路水平曲率Chmを求めたのち、測位処理モジュール301で特定された時刻tiにおける移動体の位置を基準として、測位処理モジュール301で特定された時刻tiにおける移動体の方位角の方向の視野範囲内の道路水平曲率Chmを抽出する。このとき、視野範囲内を、移動体の方位角の方向において等間隔で複数に(例えば40に)区分し、区分したエリアごとに道路水平曲率Chmを割り振る。従って、視野範囲内のエリアごとに割り振られた道路水平曲率Chmx(x=1,2,…,n)の集合として道路水平曲率Chmを抽出する。
Specifically, first, the road link extracted from the map data L (L 1, L 2) , the linear stage on the basis of the road attribute and road structure Ordinance L A, the arc stage L B and the relaxation curve stage L C Divide. Incidentally, transition curve stage L C is one which is approximated by clothoid curve smoothly connecting the circular arc stage L B linear segment L A. Next, the road horizontal curvature C hm of the straight line stage L A , the circular arc stage L B, and the relaxation curve stage L C is obtained. At this time, the roads horizontal curvature C hm, and 0 (zero) in the linear stage L A, 1 / r i in the arc stage L B (r i is the radius of curvature), and the linearly in the transition curve stage L C It shall change. Next, the road link L (L 1 , L 2 ) is divided into fine sections, and the road horizontal curvature C hm is obtained for each section. That is, each road link L (L 1 , L 2 ) is provided with a plurality of discretized road horizontal curvatures C hm . After obtaining the road horizontal curvature C hm of each road link L (L 1 , L 2 ) in this way, the positioning processing module is based on the position of the moving body at the time t i specified by the
次に、時刻tiにおける実写画像データからR成分を抽出することによりR画像データを生成したのち(ステップS102)、R画像データに対して、左エッジおよび右エッジを抽出するフィルタを掛け、2値化処理を行うことによりエッジ画像データを生成する(ステップS103)。なお、R画像データを実写画像データ全体から生成する必要はなく、実写画像データにおける道路の最遠部(フェードアウトする部分)を含む下方の領域、つまり、実写画像データにおいて道路の存在可能な領域だけから生成すれば充分である。また、他の方法を用いてエッジ画像データを生成することも可能である。 Next, R image data is generated by extracting the R component from the photographed image data at time ti (step S102), and then a filter for extracting the left edge and the right edge is applied to the R image data. Edge image data is generated by performing the conversion process (step S103). Note that it is not necessary to generate the R image data from the entire photographed image data, but only the lower region including the farthest portion of the road (the portion to fade out) in the photographed image data, that is, the region where the road can exist in the photographed image data. It is sufficient to generate from It is also possible to generate edge image data using other methods.
次に、Hough変換および逆変換を行うことにより、エッジ画像データから左エッジ線分WL1,WL2および右エッジ線分WR1,WR2を検出する(ステップS104、図7参照)。なお、図7には、左エッジ線分WL1,WL2および右エッジ線分WR1,WR2のいずれもが連続した線分となっているが、仮に実写画像データ内に道路白線を遮蔽する物体(他の移動体や、標識など)が存在する場合や、悪天候などにより実写画像データ内の道路白線のエッジが不鮮明となっている場合には、左エッジ線分WL1,WL2および右エッジ線分WR1,WR2において、遮蔽物体で遮蔽されている部分や、エッジの不鮮明な部分に対応する箇所に欠けが生じることになる。また、実写画像データ上に路面表示や横断歩道といった白線以外のエッジが多く存在する場合には、左エッジ線分WL1,WL2および右エッジ線分WR1,WR2の他にも多数のエッジ線分が検出されることとなる。 Next, Hough transformation and inverse transformation are performed to detect left edge line segments W L1 and W L2 and right edge line segments W R1 and W R2 from the edge image data (step S104, see FIG. 7). In FIG. 7, the left edge line segments W L1 and W L2 and the right edge line segments W R1 and W R2 are all continuous line segments. However, the road white lines are temporarily blocked in the actual image data. Left edge line segments W L1 , W L2, and the like when there is a moving object (other moving objects, signs, etc.) or when the edge of the road white line in the photographed image data is unclear due to bad weather or the like In the right edge line segments W R1 and W R2 , a portion corresponding to the portion shielded by the shielding object or the unclear portion of the edge is generated. In addition, when there are many edges other than white lines such as road surface display and pedestrian crossing on the actual image data, there are many other than the left edge line segments W L1 and W L2 and the right edge line segments W R1 and W R2 . Edge line segments are detected.
次に、エッジ画像データを複数の仮想線分Lj(0≦j≦n)で複数のセクションSjに分割し、左エッジ線分WL1,WL2および右エッジ線分WR1,WR2のセクションSjごとのエッジ水平曲率Chejを、CCDカメラ101の姿勢(偏向角ψ、俯角α)を考慮して推定する(ステップS105、図7参照)。つまり、左エッジ線分WL1,WL2および右エッジ線分WR1,WR2に、離散化した複数のエッジ水平曲率Chejを与える。このとき、実空間において等間隔(例えば1m間隔)となるように、仮想線分Ljを、エッジ画像データ内において上に向かうにつれて狭い間隔で配置する。図7には、仮想線分Ljが10本配置されている場合が例示されているが、道路白線の探索し易さの観点からは、仮想線分Ljの本数をそれよりも多く(例えば40本)して、セクションSjの数を多くすることが好ましい。 Next, the edge image data is divided into a plurality of sections S j by a plurality of virtual line segments L j (0 ≦ j ≦ n), and left edge line segments W L1 and W L2 and right edge line segments W R1 and W R2. The edge horizontal curvature C hej for each section S j is estimated in consideration of the posture (deflection angle ψ, depression angle α) of the CCD camera 101 (see step S105, FIG. 7). That is, a plurality of discretized edge horizontal curvatures C hej are given to the left edge line segments W L1 and W L2 and the right edge line segments W R1 and W R2 . At this time, the virtual line segments Lj are arranged at narrower intervals in the edge image data so as to be equidistant (for example, 1 m intervals) in the real space. FIG. 7 illustrates a case where ten virtual line segments L j are arranged. From the viewpoint of ease of searching for road white lines, the number of virtual line segments L j is larger than that ( For example, it is preferable to increase the number of sections S j by 40).
次に、セクションSjごとのエッジ水平曲率Chejと道路水平曲率Chmとを対比して、エッジ画像データにおいて道路白線に対応するエッジ線分を探索する範囲(探索範囲S)を決定する(ステップS106、図8参照)。例えば、左エッジ線分WL1,WL2および右エッジ線分WR1,WR2と、道路水平曲率Chmから得られる道路との全体としての位置ずれがなるべく小さくなるように、左エッジ線分WL1,WL2および右エッジ線分WR1,WR2を含む領域上に、道路水平曲率Chmから得られる道路を投影したときに、エッジ画像データに対して道路Rを投影し得る領域を探索範囲Sとする。 Next, by comparing the edge horizontal curvature C hej and the road horizontal curvature C hm for each section S j , a range (search range S) for searching the edge line segment corresponding to the road white line in the edge image data is determined ( Step S106, see FIG. 8). For example, the left edge line segment W L1 , W L2 and the right edge line segment W R1 , W R2 and the left edge line segment so that the overall positional shift between the road obtained from the road horizontal curvature C hm is as small as possible. When a road obtained from the road horizontal curvature C hm is projected onto a region including W L1 , W L2 and right edge line segments W R1 , W R2 , a region where the road R can be projected with respect to the edge image data The search range is S.
次に、道路白線の探索範囲S内において、左エッジ線分WL1,WL2および右エッジ線分WR1,WR2の中から道路白線に対応するエッジ線分(道路白線の候補)を所定の検索条件を用いて選択し、選択した左エッジ線分WL1と選択した右エッジ線分WR1との中央線分W1、および選択した左エッジ線分WL2と選択した右エッジ線分WR2との中央線分W2を求めたのち、各中央線分W1,W2と仮想線分Ljとの交点の座標m1j,m2jを時刻tiにおける観測値m(j)として求める(ステップS107、図9参照)。 Next, in the road white line search range S, edge line segments (road white line candidates) corresponding to the road white line are predetermined from the left edge line segments W L1 and W L2 and the right edge line segments W R1 and W R2. , The center line W 1 of the selected left edge line segment W L1 and the selected right edge line segment W R1 , and the selected left edge line segment W L2 and the selected right edge line segment. After obtaining the central line segment W 2 with WR2 , the coordinates m 1j and m 2j of the intersections of the central line segments W 1 and W 2 and the virtual line segment L j are observed values m (j) at time t i . (See step S107, FIG. 9).
なお、実写画像データ上に路面表示や横断歩道といった白線以外のエッジが多く存在していたために、左エッジ線分WL1,WL2および右エッジ線分WR1,WR2の他にも多数のエッジ線分が検出されていた場合には、上記検索条件が甘いと、左エッジ線分WL1,WL2および右エッジ線分WR1,WR2以外の多くの線分も選択されることとなる。そのため、所望の線分だけうまく選択することができるような検索条件を設定することが好ましいが、検索条件をあまり厳しくし過ぎると、所望の線分までも選択対称から除外されてしまう可能性がある。従って、エッジ画像データに対して検索条件をかける前に、探索範囲Sを充分に小さくしておき、探索範囲S内に不要なエッジ線分が含まれないようにしておくことがより好ましい。もっとも、本実施の形態では、探索範囲Sはエッジ水平曲率Chejと道路水平曲率Chmとの対比によって設定されているので、エッジ画像データに占める探索範囲Sの割合は充分に小さくなっており、不要なエッジ線分がほとんど排除されている。 Since there are many edges other than white lines such as road surface display and pedestrian crossing on the actual image data, there are many other than the left edge line segments W L1 and W L2 and the right edge line segments W R1 and W R2 . If edge line segments are detected, if the above search conditions are not good, many line segments other than the left edge line segments W L1 and W L2 and the right edge line segments W R1 and W R2 are selected. Become. Therefore, it is preferable to set a search condition so that only a desired line segment can be selected well. However, if the search condition is too strict, there is a possibility that the desired line segment is also excluded from the selection symmetry. is there. Therefore, it is more preferable that the search range S is made sufficiently small so that unnecessary edge line segments are not included in the search range S before applying the search condition to the edge image data. However, in the present embodiment, the search range S is set by comparing the edge horizontal curvature C hej and the road horizontal curvature C hm , so the ratio of the search range S to the edge image data is sufficiently small. Unnecessary edge line segments are almost eliminated.
次に、道路水平曲率Chmから得られる線分をCCDカメラ101の2次元座標面(例えばエッジ画像データ)に投影したときに得られる仮想道路白線E1,E2と、仮想線分Ljとの交点の座標u1j,u2jを推定値Xd(j)の時刻tiにおける初期値として与えると共に、車線幅L、左側道路白線からのオフセット幅X0、CCDカメラ101の偏向角ψ、CCDカメラ101の俯角αおよび道路垂直曲率Clのそれぞれの標準誤差Se(j)を用いて得られたものを誤差共分散Cxd(j)の時刻tiにおける初期値として与える(ステップS108、図10参照)。なお、推定値Xd(j)、座標u1j、座標u2jについては、以下の数(4)〜(6)で表され、誤差共分散Cxd(j)については、以下の数(7)で表される。また、誤差共分散Cxd(j)を求める際に、道路垂直曲率Clの影響は小さいことから、道路垂直曲率Clを省略することも可能である。
Next, the virtual road white lines E 1 and E 2 obtained when the line segment obtained from the road horizontal curvature C hm is projected onto the two-dimensional coordinate plane (for example, edge image data) of the
ここで、数4〜数6において、EvはCCDカメラ101のx方向の焦点距離を、EuはCCDカメラ101のy方向の焦点距離をそれぞれ指している。
Here, the
なお、数5,6に示した拡張カルマンフィルタの基本式は、以下のようにして求めることができる。図11に示したように、現在道路位置を(xo,zo)とし、現在位置から前方視認距離Nメートル以内の道路白線点の座標を(xi,zi)(i=0,1,2,…,N)とする。このとき、点(xi,zi)と、次の点(xi+1,zi+1)の間の距離が十分短い場合(例えば1m)には、この部分の道路各点の曲率をCiで近似できる。そのため、点(xi+1,zi+1)から点(xi,zi)までのずれdxi’、dzi’は、以下の数8で計算できる。
The basic expression of the extended Kalman filter shown in
上記のずれを、(xo,zo)を原点とする座標系へ数9を用いて換算する。ここで、θiは、数10に示した式で表される。
The above deviation is converted into a coordinate system with the origin at (x o , z o ) using
これにより、現在位置から見えた視認距離内の各点座標を、以下の数11,12で求めることができ、それを2次元平面へ射影すれば、上記した数5,6 を得ることができる。
次に、推定値Xd(j)を用いて時刻tiにおけるカルマンゲインKd(j)を算出する(ステップS109)。このようにして、時刻tiにおける観測値m(j)と、推定値Xd(j)および誤差共分散Cxd(j)の時刻tiにおける初期値と、時刻tiにおけるカルマンゲインKd(j)とを準備したのち、以下の数(13)〜(15)に示したように、観測値m(j)と、カルマンゲインKd(j)とに基づいて、時刻tiにおける推定値Xd(j)を更新すると共に(ステップS110)、カルマンゲインKd(j)に基づいて、時刻tiにおける誤差共分散Cxd(j)を更新する(ステップS111)。 Then calculated Kalman gain Kd to (j) at time t i using an estimated value Xd (j) (step S109). In this way, the observed value m (j) at time t i, the estimated value X d (j) and the error covariance C xd and the initial value at time t i of (j), the Kalman gain at time t i Kd ( j), and as shown in the following formulas (13) to (15), based on the observed value m (j) and the Kalman gain Kd (j), the estimated value Xd ( j) is updated (step S110), and the error covariance Cxd (j) at time ti is updated based on the Kalman gain Kd (j) (step S111).
ここで、Hdは、x(j)=Hd(j)Xd(j)となる値である。x(j)は、推定値である。m(j)は観測値である。 Here, Hd is a value such that x (j) = Hd (j) Xd (j). x (j) is an estimated value. m (j) is an observed value.
次に、更新した推定値Xd(j)および誤差共分散Cxd(j)を用いて上記のステップS109〜S111を複数回、繰り返し実行し、時刻tiにおける最適な推定値Xd(j)を取得する(ステップS112)。ここで、最適か否かについては、例えば、誤差共分散Cxd(j)の収束の有無を基準に判断する。このようにして、時刻tiにおける道路白線の位置座標としての推定値Xd(j)を求めることができる。 Next, using the updated estimated value Xd (j) and error covariance Cxd (j), the above-described steps S109 to S111 are repeatedly executed a plurality of times to obtain the optimum estimated value Xd (j) at time ti. (Step S112). Here, whether or not it is optimal is determined based on, for example, whether or not the error covariance Cxd (j) has converged. In this way, the estimated value Xd (j) as the position coordinate of the road white line at time ti can be obtained.
なお、実写画像データ内に道路白線を遮蔽する物体が存在したり、悪天候などにより実写画像データ内の道路白線のエッジが不鮮明となっていたために、左エッジ線分WL1,WL2および右エッジ線分WR1,WR2に欠けが生じていた場合には、その欠けに対応する領域において、最適な推定値Xd(j)を取得することができず、道路白線の検出を失敗してしまう。 It should be noted that the edge of the road white line in the live-action image data is unclear due to the presence of an object that blocks the road white line in the live-action image data or bad weather, etc., so the left edge line segments W L1 and W L2 and the right edge If the line segments W R1 and W R2 are missing, the optimum estimated value Xd (j) cannot be acquired in the area corresponding to the missing, and the detection of the road white line fails. .
そこで、そのような場合に、移動体から見て左側と右側との両側に対となって存在する2つの道路白線のうち他方の道路白線を検出することができているときには、一つ前の時刻ti−1のフレームにおいて検出した道路白線間の距離を用いて、時刻tiのフレームにおける一方の道路白線の位置を推定する。また、対となる2つの道路白線の双方を検出することができなかったときには、対となる2つの道路白線の検出に成功したことのある過去のフレームのうち最新のフレームにおいて検出した道路白線の位置を、時刻tiのフレームにおける道路白線の位置として推定する。 Therefore, in such a case, when the other road white line of the two road white lines existing in pairs on the left side and the right side when viewed from the moving body can be detected, Using the distance between the road white lines detected in the frame at time t i−1 , the position of one road white line in the frame at time t i is estimated. In addition, when it is not possible to detect both of the pair of two road white lines, the road white line detected in the latest frame among the past frames that have been successfully detected in the pair of two road white lines. The position is estimated as the position of the road white line in the frame at time t i .
なお、最適な推定値Xd(j)および誤差共分散Cxd(j)を取得することができた座標数が少ない場合や、最適な推定値Xd(j)および誤差共分散Cxd(j)を取得することができたものの、取得した推定値Xd(j)が実際の道路白線からずれてしまっている割合が大きい場合には、検索条件を緩和して再度、道路白線を検出することが好ましい。 It should be noted that the optimum estimated value Xd (j) and the error covariance Cxd (j) are obtained when the number of coordinates is small, or the optimum estimated value Xd (j) and the error covariance Cxd (j) are obtained. If the ratio of the obtained estimated value Xd (j) deviating from the actual road white line is large, it is preferable to relax the search condition and detect the road white line again.
以上のようにして、白線検知モジュール302において、時刻tiにおける道路白線の位置を検出することができるが、時刻ti+1における道路白線の位置を検出し、道路白線を追跡する際には、時刻tiにおける最適な推定値Xd(j)および誤差共分散Cxd(j)を時刻ti+1における初期値として上記ステップS109〜S112を実行すればよい(ステップS113)。
As described above, the white
ところで、本実施の形態では、上記のようにして求めた、時刻tiにおける道路白線の位置座標としての推定値Xd(j)を利用して、カメラパラメータX(j)を取得することができる。そこで、白線検知モジュール302において、数16に示したように、推定値Xd(j)を利用してカメラパラメータX(j)を求め、カメラパラメータX(j)から移動体の位置および方位角を推定し、測位処理モジュール301で特定された移動体の位置(特に道路幅方向の位置)および方位角を修正する。
By the way, in the present embodiment, the camera parameter X (j) can be acquired using the estimated value Xd (j) as the position coordinate of the road white line obtained at the time ti as described above. Therefore, in the white
ここで、カメラパラメータX(j)とは、車線幅L、オフセット幅X0、偏向角ψ、俯角αおよび道路垂直曲率Clのことであり、数16に示したように、初期カメラパラメータX(0)に、推定値Xd(j)の初期データからの変化量を考慮することにより算出される。 Here, the camera parameter X (j) is the lane width L, the offset width X 0 , the deflection angle ψ, the depression angle α, and the road vertical curvature C 1 , and as shown in Equation 16, the initial camera parameter X (0) is calculated by considering the amount of change from the initial data of the estimated value Xd (j).
このとき、両側白線検出時には全てのパラメータを、片側白線検出時にはL,α以外のパラメータだけを更新するようにゲインKを調整し、両側の白線検知に失敗した時にはカメラパラメータの更新を行わない。 At this time, the gain K is adjusted so as to update all the parameters when detecting both-side white lines, and only the parameters other than L and α when detecting one-side white lines, and the camera parameters are not updated when the detection of both-side white lines fails.
白線検出から得られるパラメータは正常な白線検出時においても微小な揺れを生じ、また誤検出時においてはパラメータの大幅な変動を招く。このようなパラメータの変動は安定した自車両位置の推定が出来ないだけでなく、VICNASの表示アイコンのジャンプ化にも繋がる。そこで、道路走行時に変化量の少ないと考えられる車線幅L,俯角αのパラメータを安定制御するために近似メディアンフィルタ(AMF)法と確率密度関数(PDF)を適用する。これにより、高速かつロバストなパラメータの更新を行うことができる。 The parameter obtained from the white line detection causes a slight fluctuation even when a normal white line is detected, and causes a large fluctuation of the parameter when an error is detected. Such parameter fluctuations not only prevent stable vehicle position estimation, but also lead to jumping of VICNAS display icons. Therefore, an approximate median filter (AMF) method and a probability density function (PDF) are applied in order to stably control the parameters of the lane width L and the depression angle α that are considered to have a small amount of change when traveling on the road. This makes it possible to update parameters at high speed and robustly.
ここで、AMF法とは、平均値を求める代わりに中央値を随時更新することで近似的にメディアンフィルタ(MF)を実現する手法である。現在の取得パラメータ観測値をx、前回までのフレームの中央値をmean、パラメータ更新の変化量をnとしたとき、AMFによる中央値の更新は、以下の数17に示したようにして行われる。 Here, the AMF method is a method of approximating a median filter (MF) by updating a median value as needed instead of obtaining an average value. When the current acquired parameter observation value is x, the median value of the previous frame is mean, and the amount of parameter update change is n, the median update by AMF is performed as shown in Equation 17 below. .
AMFで大きなメモリを確保する必要がなく、他の手法に比べ処理効率が良い。しかも、過去数フレームの平均値を取る様な処理と同程度の安定化が期待できる。このAMFによって更新された中央値からの取得パラメータの誤差を、PDFを用いることで安定制御を行う。本実施の形態では、この確率密度関数にガウス分布を用いてパラメータの補正を行なう。 It is not necessary to secure a large memory with AMF, and processing efficiency is better than other methods. Moreover, it can be expected to be as stable as a process that takes an average value of several past frames. The error of the acquired parameter from the median value updated by this AMF is controlled stably using PDF. In the present embodiment, parameters are corrected using a Gaussian distribution for the probability density function.
ここで、数18がパラメータの補正式であり、数19が確率密度関数である。xnewは、新たに更新されたデータを表す.xは白線検出から取得したパラメータ観測値であり、μは平均(ここでは中央値mean)であり、σは偏差である。これにより正しい検出結果におけるパラメータの安定化を図ると共に、誤検出時におけるパラメータの急激な変動を抑制することができる。 Here, Equation 18 is a parameter correction equation, and Equation 19 is a probability density function. x new represents newly updated data. x is a parameter observation value obtained from white line detection, μ is an average (in this case, the median mean), and σ is a deviation. As a result, it is possible to stabilize the parameter in the correct detection result, and to suppress rapid fluctuation of the parameter at the time of erroneous detection.
さらに、本実施の形態では、上記のようにして求めた、時刻tiにおける道路白線の位置座標としての推定値Xd(j)を利用して、測位処理モジュール301で特定された移動体の位置(特に道路延在方向の位置)を修正することが可能である。
Further, in the present embodiment, the position of the moving body specified by the
具体的には、測位処理モジュール301で特定された移動体の位置を含む、道路延在方向(前後方向)の複数の位置に移動体がいるものとしたときに、道路水平曲率Chmから得られる線分を、それぞれの位置でCCDカメラ101の2次元座標面(例えばエッジ画像データ)に投影したときに得られる仮想道路白線E1,E2と、推定値Xd(j)から得られる線分を、測位処理モジュール301で特定された移動体の位置でCCDカメラ101の2次元座標面(例えばエッジ画像データ)に投影したときに得られる仮想道路白線との全体としての位置ずれが最も小さなときの、仮想道路白線E1,E2が投影された移動体の位置を求め、その位置を移動体の位置として、測位処理モジュール301で特定された移動体の位置と置き換える修正を行う。
Specifically, when the moving body has a plurality of positions in the road extending direction (front-rear direction) including the position of the moving body specified by the
特に、仮想道路白線E1,E2の道路水平曲率Chmが、仮想道路白線E1,E2が投影された2次元座標面内にいずれかの場所において、0よりも十分に大きい場合には、移動体の位置を道路延在方向において高精度に修正することができる。 In particular, road horizontal curvature C hm virtual road white line E 1, E 2 is the case in any location in the virtual road white line E 1, E 2 is two-dimensional coordinate plane projected sufficiently larger than 0 The position of the moving body can be corrected with high accuracy in the road extending direction.
次に、本実施の形態のナビゲーション装置1の動作について説明する。
Next, operation | movement of the
この移動***置検出装置1では、測位処理モジュール301において、GPSデータから直接得られた時刻t0における移動体の位置(xg(t0),yg(t0))および方位角(orig(t0))を始点として、時刻tiにおける移動体の位置((xg(ti),yg(ti))および方位角(orig(ti))が、ジャイロデータおよび車速データを利用して推定される。また、必要に応じて、GPSデータ、ジャイロデータおよび車速データを利用して得られた時刻tiにおける移動体の位置((xg(ti),yg(ti))および方位角(orig(ti))に対してマップマッチング処理を行うことにより、道路上の移動体の位置および方位角を求める。
In this moving body
次に、白線検知モジュール302において、まず、時刻tiにおける観測値m(j)と、推定値Xd(j)および誤差共分散Cxd(j)の時刻tiにおける初期値と、時刻tiにおけるカルマンゲインKd(j)とが求められる。その後、観測値m(j)と、カルマンゲインKd(j)とに基づいて、時刻tiにおける推定値Xd(j)が更新されると共に、カルマンゲインKd(j)に基づいて、時刻tiにおける誤差共分散Cxd(j)が更新され、その結果、時刻tiにおける道路白線の位置座標としての推定値Xd(j)が導出される。
Then, the white
さらに、画像処理モジュール303において、まず、白線検知モジュール302で求められた、時刻tiにおける道路白線の位置座標としての推定値Xd(j)を利用して、カメラパラメータX(j)が導出され、カメラパラメータX(j)から移動体の位置および方位角が推定され、測位処理モジュール301で特定された移動体の位置および方位角が修正される。その後、修正した移動体の位置および方位角と、白線検知モジュール302で特定されたカメラパラメータと、CCDカメラ101から得られた実写画像データと、地図管理部20から読み出された道路に付随するデータとに基づいて、実写画像データ上に、道路に付随するデータをアイコンで表現したものを重ね合わせた合成画像データが生成される。そして、画像処理モジュール303において生成された合成画像データが、映像表示部40にて表示される。
Further, in the
ところで、車載カメラによる自動運転や運転補助のために開発された従来の白線検知方法では、視野内にある白線線形が一本の曲線(つまり、1つの水平曲率)で近似されていた。そのため、白線線形において水平曲率が大きく変化する部分において誤差が大きくなるので、そのような場所では、現在位置が分かった場合であっても、前方道路地図の設計図面から道路白線検出用水平曲率の参考値を抽出することができない。また、鮮明な道路白線を検出した場合であっても、推定された道路水平曲率の値を地図の設計数値と対応付けることができないので、現在位置の推定に使うことができない。 By the way, in the conventional white line detection method developed for automatic driving or driving assistance by an in-vehicle camera, the white line alignment in the field of view is approximated by a single curve (that is, one horizontal curvature). Therefore, since the error becomes large in the portion where the horizontal curvature greatly changes in the white line alignment, even if the current position is known in such a place, the horizontal curvature for detecting the road white line is determined from the design drawing of the road map ahead. The reference value cannot be extracted. Even when a clear road white line is detected, the estimated road horizontal curvature value cannot be associated with the design value of the map and cannot be used for estimation of the current position.
一方、本実施の形態では、道路属性および道路構造令に基づいて直線段LA、円弧段LBおよび緩和曲線段LCに分けられた道路リンクL(L1,L2)を細かな区間に分割し、分割した区間ごとに道路水平曲率Chmを求めているので、現在位置が分かれば、地図データから道路水平曲率Chmを簡単に抽出することができる。また、鮮明な道路白線を検出することができれば、推定された道路水平曲率(エッジ水平曲率Chej)を地図の設計数値(道路水平曲率Chm)と対応付けることができるので、現在位置の推定に使うことができる。 On the other hand, in this embodiment, the road attributes and road structure Ordinance linear segment based L A, the arc stage L B and the relaxation curve stage L C road link divided into L (L 1, L 2) fine interval Since the road horizontal curvature C hm is obtained for each divided section, if the current position is known, the road horizontal curvature C hm can be easily extracted from the map data. Further, if a clear white road line can be detected, the estimated road horizontal curvature (edge horizontal curvature C hej ) can be associated with a map design value (road horizontal curvature C hm ), so that the current position can be estimated. Can be used.
また、本実施の形態では、道路水平曲率Chmとエッジ水平曲率Chejとを対比して、エッジ画像データにおいて道路白線を探索する範囲(探索範囲S)が決定されるので、エッジ画像データの全ての領域に対して道路白線を検索する必要がない。これにより、検知速度を高速化することができる。さらに、検索範囲Sを絞り込んだ結果、道路白線の候補を選択する条件を緩和することができるので、よりロバストな検知を実現することができる。 In the present embodiment, the road horizontal curvature C hm and the edge horizontal curvature C hej are compared to determine a range (search range S) for searching for a road white line in the edge image data. There is no need to search for road white lines for all areas. Thereby, the detection speed can be increased. Furthermore, as a result of narrowing down the search range S, conditions for selecting candidate road white lines can be relaxed, so that more robust detection can be realized.
また、本実施の形態では、拡張カルマンフィルタを用いて求めた推定値Xd(j)を利用して、カメラパラメータを取得している。このカメラパラメータには、上述したように、車線幅L、オフセット幅X0、偏向角ψおよび俯角αが少なくとも含まれていることから、これらのパラメータから、移動体の、道路幅方向の位置を精確に求めることができる。さらに、エッジ水平曲率Chejおよび道路水平曲率Chmから、移動体の、道路延在方向(進行方向)の位置を精確に求めることができる。 In the present embodiment, camera parameters are acquired using an estimated value Xd (j) obtained using an extended Kalman filter. As described above, since the camera parameters include at least the lane width L, the offset width X 0 , the deflection angle ψ, and the depression angle α, the position of the moving body in the road width direction can be determined from these parameters. It can be determined accurately. Furthermore, the position of the moving body in the road extending direction (traveling direction) can be accurately determined from the edge horizontal curvature C hej and the road horizontal curvature C hm .
また、本実施の形態では、白線検知モジュール302において修正された、時刻tiにおける道路白線の位置および方位角と、白線検知モジュール302で特定されたカメラパラメータと、CCDカメラ101から得られた実写画像データと、地図管理部20から読み出された道路に付随するデータとに基づいて、画像データ上に、道路に付随するデータをアイコンで表現したものや、道路白線を重ね合わせた画像データを生成することができる。これにより、他の車両が前方を遮っていたり、夜間や悪天候などによって前方が暗いときなど、前方の視認性が低い場合に、実写画像に道路白線を重ね合せることにより、ドライバに安心感を与えることができる。
In the present embodiment, the position and azimuth of the road white line at time ti corrected by the white
以上、実施の形態およびその変形例ならびに実施例を挙げて本発明を説明したが、本発明はこれに限定されるものではなく、種々の変形が可能である。 While the present invention has been described with reference to the embodiment, its modifications, and examples, the present invention is not limited to this, and various modifications can be made.
例えば、上記実施の形態では、測位処理モジュール301、白線検知モジュール302および画像処理モジュール303はデバイス(ハードウェア)として記述されていたが、中央処理部30にロードされたプログラムであってもよい。また、記録媒体2に記録されている地図データについても、あらかじめ中央処理部30にロードされていてもよい。
For example, in the above embodiment, the
1…ナビゲーション装置、10…センサ入力部、20…地図管理部、30…中央処理部、40…映像表示部。101…CCDカメラ、102…GPSセンサ、103…ジャイロセンサ、104…車速センサ、201…記録媒体、202…ドライバ、301…測位処理モジュール、302…白線検知モジュール、303…画像処理モジュール。
DESCRIPTION OF
Claims (4)
前記地図データから抽出された道路リンクを、前記道路属性に基づいて直線段、円弧段およびこれらと繋がった緩和曲線段に分けたのち、複数の区間に分割し、分割した区間ごとに道路水平曲率を求めるステップと、
実写画像データに対して所定の画像処理を行うことにより得られたエッジ画像データからエッジ線分を抽出したのち、抽出したエッジ線分を複数の区間に分割し、分割した区間ごとにエッジ水平曲率を求めるステップと、
前記道路水平曲率と前記エッジ水平曲率とを対比して、前記エッジ画像データにおいて道路白線に対応するエッジ線分を探索する範囲を決定するステップと、
前記探索範囲内において、所定の検索条件に基づいてエッジ線分を選択し、選択したエッジ線分に対応した座標を観測値として取得するステップと、
前記道路水平曲率から得られる線分を前記エッジ画像データに投影したときに得られる仮想道路白線に対応した座標を推定値の初期値として取得すると共に、車線幅、道路白線からのオフセット幅、偏向角および俯角のそれぞれの標準誤差を用いて得られたものを誤差共分散の初期値として取得し、さらに前記推定値を用いてカルマンゲインを算出するステップと、
前記観測値と前記カルマンゲインとに基づいて前記推定値を更新すると共に、前記カルマンゲインに基づいて前記誤差共分散を更新するステップと、
更新した推定値を用いてカルマンゲインを更新したのち、前記観測値と更新したカルマンゲインとに基づいて前記推定値を更に更新すると共に、更新したカルマンゲインに基づいて前記誤差共分散を更に更新するステップと
を含むことを特徴とする道路白線検出方法。 Extracting from the map data data about road attributes of nodes, road links, interpolation points and road links in the vicinity of the mobile body based on the position and azimuth of the mobile body obtained from the sensor output data;
The road link extracted from the map data is divided into a linear step, an arc step and a relaxation curve step connected thereto based on the road attribute, and then divided into a plurality of sections, and the road horizontal curvature is divided for each divided section. A step of seeking
After extracting edge line segments from edge image data obtained by performing predetermined image processing on live-action image data, the extracted edge line segments are divided into a plurality of sections, and the edge horizontal curvature is divided for each divided section. A step of seeking
Comparing the road horizontal curvature with the edge horizontal curvature to determine a range for searching for an edge line segment corresponding to a road white line in the edge image data;
In the search range, selecting an edge line segment based on a predetermined search condition, and obtaining coordinates corresponding to the selected edge line segment as an observation value;
The coordinates corresponding to the virtual road white line obtained when the line segment obtained from the road horizontal curvature is projected on the edge image data are obtained as the initial value of the estimated value, and the lane width, the offset width from the road white line, the deflection Obtaining the initial value of the error covariance obtained using the standard error of each of the angle and the depression angle, and further calculating the Kalman gain using the estimated value;
Updating the estimated value based on the observed value and the Kalman gain, and updating the error covariance based on the Kalman gain;
After updating the Kalman gain using the updated estimated value, the estimated value is further updated based on the observed value and the updated Kalman gain, and the error covariance is further updated based on the updated Kalman gain. A method for detecting a road white line, comprising:
ことを特徴とする請求項1に記載の道路白線検出方法。 The position and azimuth angle of the moving body obtained from the sensor output data are corrected using the line segment obtained from the estimated value obtained by the update and the line segment obtained from the road horizontal curvature. The road white line detection method according to claim 1.
前記地図データから抽出された道路リンクを、前記道路属性に基づいて直線段、円弧段およびこれらと繋がった緩和曲線段に分けたのち、複数の区間に分割し、分割した区間ごとに道路水平曲率を求めるステップと、
実写画像データに対して所定の画像処理を行うことにより得られたエッジ画像データからエッジ線分を抽出したのち、抽出したエッジ線分を複数の区間に分割し、分割した区間ごとにエッジ水平曲率を求めるステップと、
前記道路水平曲率と前記エッジ水平曲率とを対比して、前記エッジ画像データにおいて道路白線に対応するエッジ線分を探索する範囲を決定するステップと、
前記探索範囲内において、所定の検索条件に基づいてエッジ線分を選択し、選択したエッジ線分に対応した座標を観測値として取得するステップと、
前記道路水平曲率から得られる線分を前記エッジ画像データに投影したときに得られる仮想道路白線に対応した座標を推定値の初期値として取得すると共に、車線幅、道路白線からのオフセット幅、偏向角および俯角のそれぞれの標準誤差を用いて得られたものを誤差共分散の初期値として取得し、さらに前記推定値を用いてカルマンゲインを算出するステップと、
前記観測値と前記カルマンゲインとに基づいて前記推定値を更新すると共に、前記カルマンゲインに基づいて前記誤差共分散を更新するステップと、
更新した推定値を用いてカルマンゲインを更新したのち、前記観測値と更新したカルマンゲインとに基づいて前記推定値を更に更新すると共に、更新したカルマンゲインに基づいて前記誤差共分散を更に更新するステップと
をコンピュータに実行させることを特徴とする道路白線検出プログラム。 Extracting from the map data data about road attributes of nodes, road links, interpolation points and road links in the vicinity of the mobile body based on the position and azimuth of the mobile body obtained from the sensor output data;
The road link extracted from the map data is divided into a linear step, an arc step and a relaxation curve step connected thereto based on the road attribute, and then divided into a plurality of sections, and the road horizontal curvature is divided for each divided section. A step of seeking
After extracting edge line segments from edge image data obtained by performing predetermined image processing on live-action image data, the extracted edge line segments are divided into a plurality of sections, and the edge horizontal curvature is divided for each divided section. A step of seeking
Comparing the road horizontal curvature with the edge horizontal curvature to determine a range for searching for an edge line segment corresponding to a road white line in the edge image data;
In the search range, selecting an edge line segment based on a predetermined search condition, and obtaining coordinates corresponding to the selected edge line segment as an observation value;
The coordinates corresponding to the virtual road white line obtained when the line segment obtained from the road horizontal curvature is projected on the edge image data are obtained as the initial value of the estimated value, and the lane width, the offset width from the road white line, the deflection Obtaining the initial value of the error covariance obtained using the standard error of each of the angle and the depression angle, and further calculating the Kalman gain using the estimated value;
Updating the estimated value based on the observed value and the Kalman gain, and updating the error covariance based on the Kalman gain;
After updating the Kalman gain using the updated estimated value, the estimated value is further updated based on the observed value and the updated Kalman gain, and the error covariance is further updated based on the updated Kalman gain. A road white line detection program that causes a computer to execute steps.
前記地図データから抽出された道路リンクを、前記道路属性に基づいて直線段、円弧段およびこれらと繋がった緩和曲線段に分けたのち、複数の区間に分割し、分割した区間ごとに道路水平曲率を求める道路水平曲率導出手段と、
実写画像データに対して所定の画像処理を行うことにより得られたエッジ画像データからエッジ線分を抽出したのち、抽出したエッジ線分を複数の区間に分割し、分割した区間ごとにエッジ水平曲率を求めるエッジ水平曲率導出手段と、
前記道路水平曲率と前記エッジ水平曲率とを対比して、前記エッジ画像データにおいて道路白線に対応するエッジ線分を探索する範囲を決定する探索範囲決定手段と、
前記探索範囲内において、所定の検索条件に基づいてエッジ線分を選択し、選択したエッジ線分に対応した座標を観測値として取得する観測値取得手段と、
前記道路水平曲率から得られる線分を前記エッジ画像データに投影したときに得られる仮想道路白線に対応した座標を推定値の初期値として取得すると共に、車線幅、道路白線からのオフセット幅、偏向角および俯角のそれぞれの標準誤差を用いて得られたものを誤差共分散の初期値として取得し、さらに前記推定値の初期値を用いてカルマンゲインの初期値を算出する初期値取得手段と、
前記観測値と前記カルマンゲインとに基づいて前記推定値を更新すると共に、前記カルマンゲインに基づいて前記誤差共分散を更新する第1更新手段と、
更新した推定値を用いてカルマンゲインを更新したのち、前記観測値と更新したカルマンゲインとに基づいて前記推定値を更に更新すると共に、更新したカルマンゲインに基づいて前記誤差共分散を更に更新する第2更新手段と
を備えたことを特徴とする道路白線検出装置。 Extracting means for extracting data about road attributes of nodes, road links, interpolation points and road links in the vicinity of the moving body from map data based on the position and azimuth of the moving body obtained from the sensor output data;
The road link extracted from the map data is divided into a linear step, an arc step and a relaxation curve step connected thereto based on the road attribute, and then divided into a plurality of sections, and the road horizontal curvature is divided for each divided section. Road horizontal curvature derivation means for obtaining
After extracting edge line segments from edge image data obtained by performing predetermined image processing on live-action image data, the extracted edge line segments are divided into a plurality of sections, and the edge horizontal curvature is divided for each divided section. Edge horizontal curvature deriving means for obtaining
A search range determining means for comparing the road horizontal curvature with the edge horizontal curvature to determine a range for searching for an edge line segment corresponding to a road white line in the edge image data;
Within the search range, an edge line segment is selected based on a predetermined search condition, and an observed value acquisition unit that acquires coordinates corresponding to the selected edge line segment as an observed value;
The coordinates corresponding to the virtual road white line obtained when the line segment obtained from the road horizontal curvature is projected on the edge image data are obtained as the initial value of the estimated value, and the lane width, the offset width from the road white line, the deflection Initial value obtaining means for obtaining the initial value of the error covariance obtained using the standard error of each angle and depression angle, and further calculating the initial value of the Kalman gain using the initial value of the estimated value;
Updating the estimated value based on the observed value and the Kalman gain, and updating the error covariance based on the Kalman gain;
After updating the Kalman gain using the updated estimated value, the estimated value is further updated based on the observed value and the updated Kalman gain, and the error covariance is further updated based on the updated Kalman gain. A road white line detection device comprising: a second update means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007315266A JP5028662B2 (en) | 2007-12-05 | 2007-12-05 | Road white line detection method, road white line detection program, and road white line detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007315266A JP5028662B2 (en) | 2007-12-05 | 2007-12-05 | Road white line detection method, road white line detection program, and road white line detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009140192A true JP2009140192A (en) | 2009-06-25 |
JP5028662B2 JP5028662B2 (en) | 2012-09-19 |
Family
ID=40870746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007315266A Expired - Fee Related JP5028662B2 (en) | 2007-12-05 | 2007-12-05 | Road white line detection method, road white line detection program, and road white line detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5028662B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013125301A (en) * | 2011-12-13 | 2013-06-24 | Alpine Electronics Inc | Vehicle movement amount estimating device and obstacle detection device |
JP2014160064A (en) * | 2013-01-24 | 2014-09-04 | Aisan Technology Co Ltd | Road map preparation device, road map preparation method and navigation system |
WO2016031753A1 (en) * | 2014-08-25 | 2016-03-03 | 株式会社デンソー | Road shape recognition device |
JP2017105260A (en) * | 2015-12-07 | 2017-06-15 | 株式会社豊田中央研究所 | Course parameter estimation device and program |
WO2017154464A1 (en) * | 2016-03-07 | 2017-09-14 | 株式会社デンソー | Travel position detection device and travel position detection method |
JP2017161501A (en) * | 2016-03-07 | 2017-09-14 | 株式会社デンソー | Travelling location detection device and travelling location detection method |
JP2019056635A (en) * | 2017-09-21 | 2019-04-11 | 株式会社Subaru | Position detection device |
JP2020034441A (en) * | 2018-08-30 | 2020-03-05 | トヨタ自動車株式会社 | Own vehicle position estimation device |
JP2023111474A (en) * | 2022-01-31 | 2023-08-10 | 本田技研工業株式会社 | Vehicle control apparatus |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6989284B2 (en) * | 2017-05-01 | 2022-01-05 | 株式会社Soken | Vehicle position estimation device and program |
WO2018212283A1 (en) * | 2017-05-19 | 2018-11-22 | パイオニア株式会社 | Measurement device, measurement method and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0727541A (en) * | 1993-07-14 | 1995-01-27 | Nissan Motor Co Ltd | Measuring device for road shape and vehicle position |
JPH08261756A (en) * | 1994-11-10 | 1996-10-11 | Toyota Central Res & Dev Lab Inc | Running lane recognizing device |
JPH09319872A (en) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | Road white line detector, curvature radium calculator, and navigation device |
JPH11296799A (en) * | 1998-04-09 | 1999-10-29 | Fujitsu Ten Ltd | Running road shape recognition device |
JP2000036037A (en) * | 1998-07-16 | 2000-02-02 | Toyota Central Res & Dev Lab Inc | Travel path recognition device |
JP2007299045A (en) * | 2006-04-27 | 2007-11-15 | Nissan Motor Co Ltd | Lane recognition device |
-
2007
- 2007-12-05 JP JP2007315266A patent/JP5028662B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0727541A (en) * | 1993-07-14 | 1995-01-27 | Nissan Motor Co Ltd | Measuring device for road shape and vehicle position |
JPH08261756A (en) * | 1994-11-10 | 1996-10-11 | Toyota Central Res & Dev Lab Inc | Running lane recognizing device |
JPH09319872A (en) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | Road white line detector, curvature radium calculator, and navigation device |
JPH11296799A (en) * | 1998-04-09 | 1999-10-29 | Fujitsu Ten Ltd | Running road shape recognition device |
JP2000036037A (en) * | 1998-07-16 | 2000-02-02 | Toyota Central Res & Dev Lab Inc | Travel path recognition device |
JP2007299045A (en) * | 2006-04-27 | 2007-11-15 | Nissan Motor Co Ltd | Lane recognition device |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013125301A (en) * | 2011-12-13 | 2013-06-24 | Alpine Electronics Inc | Vehicle movement amount estimating device and obstacle detection device |
JP2014160064A (en) * | 2013-01-24 | 2014-09-04 | Aisan Technology Co Ltd | Road map preparation device, road map preparation method and navigation system |
WO2016031753A1 (en) * | 2014-08-25 | 2016-03-03 | 株式会社デンソー | Road shape recognition device |
JP2016043837A (en) * | 2014-08-25 | 2016-04-04 | 株式会社日本自動車部品総合研究所 | Road shape recognition device |
JP2017105260A (en) * | 2015-12-07 | 2017-06-15 | 株式会社豊田中央研究所 | Course parameter estimation device and program |
JP2017161501A (en) * | 2016-03-07 | 2017-09-14 | 株式会社デンソー | Travelling location detection device and travelling location detection method |
WO2017154464A1 (en) * | 2016-03-07 | 2017-09-14 | 株式会社デンソー | Travel position detection device and travel position detection method |
US10984551B2 (en) | 2016-03-07 | 2021-04-20 | Denso Corporation | Traveling position detection apparatus and traveling position detection method |
JP2019056635A (en) * | 2017-09-21 | 2019-04-11 | 株式会社Subaru | Position detection device |
JP7132704B2 (en) | 2017-09-21 | 2022-09-07 | 株式会社Subaru | Position detector |
JP2020034441A (en) * | 2018-08-30 | 2020-03-05 | トヨタ自動車株式会社 | Own vehicle position estimation device |
JP7020348B2 (en) | 2018-08-30 | 2022-02-16 | トヨタ自動車株式会社 | Vehicle position estimation device |
JP2023111474A (en) * | 2022-01-31 | 2023-08-10 | 本田技研工業株式会社 | Vehicle control apparatus |
JP7377294B2 (en) | 2022-01-31 | 2023-11-09 | 本田技研工業株式会社 | Vehicle control device |
Also Published As
Publication number | Publication date |
---|---|
JP5028662B2 (en) | 2012-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5028662B2 (en) | Road white line detection method, road white line detection program, and road white line detection device | |
JP4600357B2 (en) | Positioning device | |
JP4897542B2 (en) | Self-positioning device, self-positioning method, and self-positioning program | |
KR102558055B1 (en) | Suboptimal estimation method | |
US8239131B2 (en) | Navigation device, navigation method, and navigation program | |
US20210199437A1 (en) | Vehicular component control using maps | |
US9448074B2 (en) | Curve modeling device, curve modeling method, and vehicular navigation device | |
JP4847090B2 (en) | Position positioning device and position positioning method | |
WO2018179616A1 (en) | Vehicle position deduction apparatus | |
JP5261842B2 (en) | Moving body position detecting method and moving body position detecting apparatus | |
EP3137850A1 (en) | Method and system for determining a position relative to a digital map | |
JP4596566B2 (en) | Self-vehicle information recognition device and self-vehicle information recognition method | |
JP6342104B1 (en) | Vehicle position estimation device | |
KR102037129B1 (en) | Apparatus and Method for Compensating Position of Vehicle, System for Compensating Position of Vehicle and Unmanned Vehicle Using the Same | |
CN111351502A (en) | Method, apparatus and computer program product for generating an overhead view of an environment from a perspective view | |
EP3998593A1 (en) | Information processing device, information processing method, and program | |
JP2008298699A (en) | Own vehicle position recognition device and own vehicle position recognition method | |
WO2004048895A1 (en) | Moving body navigate information display method and moving body navigate information display device | |
JP2008256620A (en) | Map data correction device, method, and program | |
JP2005347945A (en) | Apparatus and method of monitoring vehicle periphery | |
JP4600391B2 (en) | Display device, display system, and display method | |
JP2010139478A (en) | Navigation device | |
JP2009014555A (en) | Navigation device, navigation method, and navigation program | |
JP5108057B2 (en) | Vehicle display device | |
CN115917255A (en) | Vision-based location and turn sign prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5028662 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150706 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |