JP2009211715A - Lane position detecting system - Google Patents
Lane position detecting system Download PDFInfo
- Publication number
- JP2009211715A JP2009211715A JP2009131067A JP2009131067A JP2009211715A JP 2009211715 A JP2009211715 A JP 2009211715A JP 2009131067 A JP2009131067 A JP 2009131067A JP 2009131067 A JP2009131067 A JP 2009131067A JP 2009211715 A JP2009211715 A JP 2009211715A
- Authority
- JP
- Japan
- Prior art keywords
- white line
- road surface
- vehicle
- detection system
- lane position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求めて白線の位置を検出する車線位置検知システムに関する。 The image obtained by capturing the road surface with the in-vehicle camera is converted into a bird's-eye view image. The present invention relates to a lane position detection system for detection.
従来より、車両の進行方向前方又は後方に向けてカメラを設置し、視点変換技術を用いて撮影されたカメラの画像を俯瞰画像に変換する方法が知られており(例えば、特許文献1、特許文献2、特許文献3、特許文献4参照)、さらに、変換された俯瞰画像より路面の白線(レーンマーカー)位置を検出するレーンマーカー位置検出装置が提案されている(特願2002−246859号明細書、特願2003−146535号明細書参照)。
2. Description of the Related Art Conventionally, a method is known in which a camera is installed facing forward or backward in the traveling direction of a vehicle, and a camera image captured using a viewpoint conversion technique is converted into a bird's-eye view image (for example,
図7は、上述したレーンマーカー位置検出装置の概略構成を示したブロック図である。レーンマーカー位置検出装置1は、カメラ2と、俯瞰画像変換装置3と、白線検知/逸脱警報装置4と、モニタ5とを備えている。図8は車両後方に設置したカメラ(リアカメラ)2により撮影された画像である。カメラ2で撮影された画像は、俯瞰画像変換装置3で、図9(a)に示すように俯瞰画像に変化される。
FIG. 7 is a block diagram showing a schematic configuration of the above-described lane marker position detection apparatus. The lane marker
白線検知/逸脱警報装置4は、マイコン6と、ワークメモリ7と、エンコーダ8と、バッファメモリ9と、警報装置10とを備えている。マイコン6は、俯瞰画像変換装置3で変換された俯瞰画像を、ワークメモリ7を用いて画像の縦方向の輝度を画素毎に積算し、積算した輝度を横方向の画素毎にグラフ化して俯瞰画像の輝度プロファイルを生成する(図10のステップS1)。図9(b)は、図9(a)に示した俯瞰画像の理想的な輝度プロファイルを示したものである。路面において白色で記される標識・白線等は、高い強度(輝度値)を示すので、強度値の強さ(輝度の高さ)やその位置、ピーク幅等から白線に対応するピークを輝度プロファイルより求めることが可能となる(図10のステップS2)。俯瞰画像をモニタ5に出力する場合には、俯瞰画像の画像信号がエンコーダ8によりコンポジット信号などに変換されてモニタに出力される。なお、警報装置10は、車両位置と白線位置との比較に基づいて車両が白線に従って(沿って)走行していないと判断した場合に、運転者にブザー等の警告を発する(図10のステップ3)。俯瞰画像変換装置3とマイコン6の間に設置されるバッファメモリ9は両者の同期をとるためのメモリである。
The white line detection /
上述したようにマイコン6により生成された輝度プロファイルは、理想的な値で検出されれば、図9(b)、図11(a)に示すようなグラフとなるが、現実的に生成される輝度プロファイルは、ノイズ等の影響を受けて、図11(b)に示すような連続した曲線等により構成されたグラフとなる。このため、マイコン6は、ハイパスフィルタ等を用いたフィルタ処理を輝度プロファイルに施すことによって、図11(c)に示すように白線に関連した信号部分を強調する処理を行った後に車線検知を行う。
As described above, if the brightness profile generated by the
しかしながら、道路環境は多様であり、路面には白線以外の特徴点も多く存在することから、白線以外の部分が生成された輝度プロファイル内でピーク強度として現れてしまう場合がある。また、状況によってはこのピーク強度が顕著に現れてしまう場合があり、白線との強度比において差異がない場合には車線を誤認識するおそれがある。特に、天候や時間帯の変化に伴って路面状況が変化する場合には誤認識してしまうおそれが高いので、単一のフィルタ処理を用いて全ての路面状況に対応することが困難であるという問題があった。 However, since the road environment is diverse and there are many feature points other than the white line on the road surface, a part other than the white line may appear as a peak intensity in the generated luminance profile. Also, depending on the situation, this peak intensity may appear prominently, and if there is no difference in the intensity ratio with the white line, there is a risk of erroneously recognizing the lane. In particular, there is a high risk of misrecognition when the road surface condition changes due to changes in the weather and time zone, so it is difficult to handle all road surface conditions using a single filter process. There was a problem.
本発明は、上述した問題に鑑みてなされたものであり、種々の道路状況・道路環境に応じて自動的に最適な白線検知処理を行うことが可能な車線位置検知システムを提供することを課題とする。 The present invention has been made in view of the above-described problems, and it is an object of the present invention to provide a lane position detection system capable of automatically performing optimal white line detection processing according to various road conditions and road environments. And
上記課題を解決するために、請求項1に係る発明は、車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、該輝度プロファイルにフィルタ処理を施すことによって白線の位置を検出する車線位置検知システムにおいて、車両が走行する路面状況に基づいて、前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更する車線位置検知システムであることを特徴とする。
In order to solve the above-mentioned problem, the invention according to
請求項2に係る発明は、請求項1に記載の車線位置検知システムにおいて、前記路面状況は、前記車両に設置されたセンサの情報に基づいて判定することを特徴とする。 According to a second aspect of the present invention, in the lane position detection system according to the first aspect, the road surface condition is determined based on information from a sensor installed in the vehicle.
請求項3に係る発明は、請求項2に記載の車線位置検知システムにおいて、前記フィルタ処理においてハイパスフィルタを使用し、前記センサにより前記路面状況が雨天状況であると判定された場合に、前記ハイパスフィルタの遮断周波数を晴天時に比べて高い周波数に変更することを特徴とする。 According to a third aspect of the present invention, in the lane position detection system according to the second aspect, when a high-pass filter is used in the filtering process and the road surface condition is determined to be rainy by the sensor, the high-pass filter is used. The cutoff frequency of the filter is changed to a higher frequency than that in fine weather.
請求項4に係る発明は、請求項3に記載の車線位置検知システムにおいて、前記輝度プロファイルにおいて車両の車輪位置に対応する部分と、ピーク強度の強度幅が広がっている部分との重み付けを低くして白線検知を行うこと特徴とする。 According to a fourth aspect of the present invention, in the lane position detection system according to the third aspect, the weighting of the portion corresponding to the wheel position of the vehicle and the portion where the intensity range of the peak intensity is widened is reduced in the luminance profile. And white line detection.
請求項5に係る発明は、車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、前記輝度プロファイルに対して時間軸を基準としたフィルタ処理を施すことによって白線の位置を検出する車線位置検知システムにおいて、車両に設置したセンサによって判定した路面状況に基づいて、前記前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更する車線位置検出システムであることを特徴とする。 The invention according to claim 5 converts an image obtained by imaging a road surface with an in-vehicle camera into an overhead view image, integrates the brightness of the overhead view image in parallel with the vehicle traveling direction, and brightness in a direction perpendicular to the traveling direction. In a lane position detection system for obtaining a profile and detecting the position of a white line by applying a filtering process based on a time axis to the luminance profile, based on the road surface condition determined by a sensor installed in the vehicle, It is a lane position detection system that changes the cut-off frequency of the filter used for the filter processing.
請求項6に係る発明は、請求項2に記載の車線位置検知システムにおいて、判定された当該路面状況に基づいて、前記俯瞰画像全体を用いて前記輝度プロファイルを求めるか、前記俯瞰画像の一部の領域のみを用いて前記輝度プロファイルを求めるかの判断を行うことを特徴とする。 According to a sixth aspect of the present invention, in the lane position detection system according to the second aspect, the luminance profile is obtained using the entire overhead image based on the determined road surface condition, or a part of the overhead image It is characterized in that it is determined whether to obtain the luminance profile using only the region.
請求項7に係る発明は、請求項6に記載の車線位置検知システムにおいて、前記センサにより走行路面がカーブしているものと判断された場合に、前記俯瞰画像の近景領域のみを用いて前記輝度プロファイルを求めることを特徴とする。 According to a seventh aspect of the present invention, in the lane position detection system according to the sixth aspect, when it is determined by the sensor that the traveling road surface is curved, the brightness is determined using only the foreground area of the overhead image. It is characterized by obtaining a profile.
請求項8に係る発明は、請求項6に記載の車線位置検知システムにおいて、前記センサにより前記路面状況が夜間であると判定された場合に、前記俯瞰画像の近景領域のみを用いて前記輝度プロファイルを求めることを特徴とする。 According to an eighth aspect of the present invention, in the lane position detection system according to the sixth aspect, when the road surface condition is determined to be nighttime by the sensor, the brightness profile is used only using the foreground area of the overhead image. It is characterized by calculating | requiring.
請求項9に係る発明は、請求項2乃至請求項8のいずれか1項の車線位置検出システムにおいて、前記センサが、車速パルスセンサ、ギアスイッチ、ワイパースイッチ、光センサ、ヘッドライトスイッチ、方向指示器スイッチ、舵角センサ、カーナビゲーションシステムの少なくとも1つであることを特徴とする。
The invention according to
請求項10に係る発明において、請求項1に記載の車線位置検知システムにおいて、前記俯瞰画像を車両に近い側から複数の領域に分割して、各領域でそれぞれ輝度プロファイルを求めて白線の位置を検出し、各領域で検出した白線位置を比較して道路がカーブかどうかを判定し、道路がカーブであると判定した場合には、前記俯瞰画像の近景領域のみから求めた白線の位置をもって車線位置の特定を行う車線位置検知システムであることを特徴とする。
In the lane position detection system according to
本発明に係る車線位置検知システムによれば、路面状況を判断して、路面状況毎にフィルタ処理に用いられるフィルタの遮断周波数の高低を変更するので、路面状況の違いに起因する白線検知の誤検出を低減させることができる。 According to the lane position detection system according to the present invention, the road surface condition is judged and the cut-off frequency of the filter used for the filter processing is changed for each road surface condition, so that the white line detection error caused by the difference in the road surface condition is detected. Detection can be reduced.
以下、本発明に係る車線位置検知システムを、図面を用いて説明する。本発明に係る車線位置検知システムは複数の情報を利用して白線検知精度を高めることを特徴とするものである。このようにして白線検知精度を高める方法として、(1)車両に設置されるセンサ等により検出される結果及び電装機器の稼働状況等を参考にして道路状況を判断する方法と、(2)複数の処理を並列化してその結果の違いを評価しながら、適切なフィルタ処理或いは結果等を選択する方法との2種類の方法を用いる。なお、この2種類の方法を原理的な説明と代表的な複数の実施例を用いて説明するが、現実の道路状況・道路環境は多種多様であるため、本発明の処理方法は実施例に示したものだけに限定されるものではない。 Hereinafter, a lane position detection system according to the present invention will be described with reference to the drawings. The lane position detection system according to the present invention is characterized in that white line detection accuracy is enhanced by using a plurality of information. As a method of improving the white line detection accuracy in this way, (1) a method of judging road conditions with reference to results detected by sensors installed in vehicles and operating conditions of electrical equipment, and (2) a plurality of methods Two types of methods are used: a method of selecting an appropriate filter process or a result while evaluating the difference in the results by parallelizing the above processes. These two types of methods will be described using a principle description and a plurality of representative examples. However, since there are a wide variety of actual road conditions and road environments, the processing method of the present invention is not limited to the examples. It is not limited to what is shown.
(1)センサ等の検出結果及び電装機器の稼働状況等に基づいて道路状況を判断する方法
図1は、本発明に係る車線位置検知しシステムを示したブロック図である。車線位置検知システム20は、カメラ21と俯瞰図生成部22とプロファイル生成部23とレーン検知部24と警報部25と、環境判定部26とを備えている。環境判定部26には、車両に設置される各種センサ27の検出結果及び電装機器の稼働状況等が伝達される。具体的に、環境判定部26は、車速パルスセンサ、ギアスイッチ、ワイパースイッチ、光センサ(ヘッドライト自動点消灯用光センサ)、ヘッドライト、方向指示器スイッチ、舵角センサ、ナビゲーションシステム(道路情報(マップ情報)、位置情報、日付・時間情報、加速度センサ)等の情報を受信することによって、路面状況(周囲の明るさ、ウェット・ドライ状況等)、道路環境情報(高速道・一般道、車線数・道路幅)、車両走行状況、走行車線特定、道路カーブ・直線状況、車線変更の有無等の判断を行う。
(1) Method for Determining Road Conditions Based on Detection Results of Sensors and the like and Operational Conditions of Electrical Equipment FIG. 1 is a block diagram showing a lane position detection system according to the present invention. The lane
環境判定部26は、路面状況等の判断結果を、俯瞰図生成部22、プロファイル生成部23、レーン検知部24等に送信する。プロファイル生成部23では、受信した判断結果に基づいて、俯瞰画像のうち輝度プロファイルを作成する領域を選択する処理(着目領域制御処理)や輝度プロファイルに施すフィルタ処理用のフィルタの選択・調整を行い、1つ或いは複数の輝度プロファイルを生成する。
The
図2(a)は、雨天時に高速走行中する車両の後方路面状況を示した俯瞰画像である。このような雨天時の環境では、晴天時の場合に比べて、
特徴1.後車輪により轍状の水しぶきが発生し疑似的に白線30が発生してしまう。
FIG. 2A is a bird's-eye view showing the rear road surface condition of a vehicle traveling at high speed in rainy weather. In such an environment in rainy weather, compared to that in fine weather,
特徴2.雨天により外周の照度が低下するため(低照度)、俯瞰画像において背景ノイズが相対的に増加してしまう。
という特徴がある。特に、特徴1は、図2(b)に示すように輝度プロファイルを生成する場合に水しぶきが疑似白線として誤認識される可能性が高くなるので重要な問題となる。
There is a feature. In particular, the
このため、環境判定部26は、ワイパースイッチと速度センサとを用いて周囲の状況が雨天であるかどうかを判断する。特に、ワイパースイッチは、雨の状況によって間欠動作状態から連続動作状態へと段階的に切り替え設定されるので、雨の強弱を判断することができる。例えば、路面に水しぶきがあがる状況は、路面に水がそれなりに溜まる必要があるため、ワイパーが連続動作状態に切り替えられたときに水しぶきが発生し得るものと推定することができる。
For this reason, the
また、車両が一定の速度以上で走行しなければ長い水しぶき跡が路面に残らないため、環境判定部26は、走行速度情報をワイパーの連続動作状況と併用して判断することにより水しぶき対応処理を行うか否かの判断を行う。
In addition, if the vehicle does not travel at a certain speed or longer, a long splash mark does not remain on the road surface. Therefore, the
ワイパーの稼動状況と車両走行速度情報との2つの条件を満たす場合、環境判断部26は、道路状況は水しぶきがあがり得る環境にあるものと判断し、プロファイル生成部23対して水しぶき対応した処理を実施するように指示を出す。
When the two conditions of the wiper operating condition and the vehicle traveling speed information are satisfied, the
水しぶきがあがり得る環境と判定した場合、プロファイル生成部23は、まず、輝度プロファイルにフィルタ処理を施すためのハイパスフィルタ(HPF)の遮断周波数を変更する。例えば、水しぶきによる白線状の軌跡30は、実際の白線31に比べ俯瞰画像においてエッジがぼけて示される。また、水しぶきはタイヤの外に広がるため、俯瞰画像における見た目の幅が白線よりも広がってしまう。水しぶきのピーク値は白線のピーク値に比べて低周波成分を多く含むので、ハイパスフィルタの遮断周波数を通常よりも高く設定することによって、図2(c)に示すように水しぶきによる信号強度を選択的に低下させる。この遮断周波数は、事前に実験などによりあらかじめ決めておく。この遮断周波数の変更は、信号強度を弱めるため、こうした水しぶきの問題がない晴天時などは、低い方が望ましい。
When it is determined that the environment can be splashed, the
以上のように、雨天状況専用のフィルタ処理を施した後に、レーン検知部24が白線位置の検出処理を行うが、このレーン検知部24における白線検知処理においても雨天状況専用の判定処理を行う。水しぶきによる擬似白線30は後車輪の位置で発生する特徴があるため、その特徴を利用した処理を行うことで誤検出を低減させることができる。
As described above, the
例えば、水しぶきはタイヤの外に広がるため、俯瞰画像における見た目の幅が白線よりも広がってしまい、水しぶきのピーク幅と白線のピーク幅には幅差が現れやすい。このため、ピーク幅の誤差をより重く評価することで、水しぶきと白線31との判定精度を上げることができ、誤検出を低減させることが可能となる。また、検出されるピーク位置に置いて、車輪位置33にある信号の重み付けを相対的に軽くすることによって、タイヤからのびる水しぶきの擬似白線の誤検出を低減させることができる。
For example, since the splash spreads outside the tire, the apparent width in the overhead view image is wider than the white line, and a width difference tends to appear between the peak width of the splash and the peak width of the white line. For this reason, by evaluating the error of the peak width more heavily, it is possible to increase the determination accuracy between the splash and the
さらに、輝度プロファイルの変化を経時的(時間的)に判断したものに対して、時間軸を基準としたフィルタ処理(時間軸に関するフィルタ処理、時間フィルタ)を変更することにより、また、雨天等による外周の照度の低下(低照度)により、俯瞰画像において背景ノイズが混入しやすくなっていると考えられる場合には、時間的なローパスフィルタ(LPF)において遮断周波数を低周側にずらしたフィルタに切り替えることによって、ノイズを減少させて検出強度の安定性を高めることが可能である。なお、フィルタ部(空間フィルタ)での変更処理、判定部での処理変更、時間フィルタ部での処理変更の3つの要素を全て実行する構成だけに限定されるものではなく、道路状況等によっては、いずれかの処理を選択的に施すだけで十分な精度で車線検知を行うことが可能な場合もある。従って、車線検知処理は上述したものに限定されるものではなく、各種センサで道路状況等を特定し、最適なフィルタ特性を選ぶことで総合的に信頼性を向上させることが可能である。 Furthermore, by changing the filter processing (filter processing related to the time axis, time filter) based on the time axis for changes in the luminance profile determined over time (temporal), it may also be due to rainy weather, etc. When it is considered that background noise is likely to be mixed in a bird's-eye view image due to a decrease in peripheral illuminance (low illuminance), a filter with a cut-off frequency shifted to the low peripheral side in a temporal low-pass filter (LPF) By switching, it is possible to reduce noise and improve the stability of detection intensity. In addition, it is not limited only to the structure which performs all three elements of the change process in a filter part (spatial filter), the process change in a determination part, and the process change in a time filter part, depending on road conditions etc. In some cases, it is possible to detect the lane with sufficient accuracy by selectively performing one of the processes. Accordingly, the lane detection processing is not limited to the above-described one, and it is possible to improve the reliability comprehensively by specifying road conditions and the like with various sensors and selecting the optimum filter characteristics.
車線検出の信頼性を向上させるためには、[実施例1]に示したようにフィルタ特性を制御するだけでなく、俯瞰図生成部22を制御して車線検出を行うための俯瞰画像の俯瞰パターン或いは画像処理領域を制御する方法も有効である。このような画像処理には、俯瞰パターンの縮尺そのものを変更する方法と、画像の特定の走査線領域のみを処理する方法との2種類の方法がある。俯瞰パターンの縮尺変更方法は俯瞰図生成部22における処理により実現され、特定の走査線領域のみを処理する方法は、プロファイル生成部23における処理により実現される。それぞれ、俯瞰画像の粗調整及び微調整に有効な方法である。
In order to improve the reliability of the lane detection, not only the filter characteristics are controlled as shown in [Embodiment 1], but also an overhead view of the overhead view image for performing the lane detection by controlling the overhead
例えば、車両走行中の道路が直線道路であるか、カーブであるかによって、車線検出に用いられる俯瞰画像を適宜切り替えることが望ましい。車両が直線走行している場合には、できるだけ俯瞰画像の前端から後端までの広い画像領域を用いて輝度プロファイルを作成することにより、白線31のピークを高く高精度に検出することが可能になるとともに、ノイズによるピークを白線ピークに比べて低減させることができる。また、水しぶきのような擬似白線(白波線)30のピークとの違いを明確にすることが可能となり、白線31の信号強度を安定的に確保することが可能となる。一方、図3(a)に示すようなカーブを走行している場合には、車線位置の検出精度を確保するために、直線道路に近似することができる車両近景部分(車両に近い側)35の俯瞰画像を車線検出処理に用いることが望ましい。カーブの検知は、前述したセンサ27、例えばカーナビゲーションシステムからのナビ情報、舵角センサによるハンドルの操舵角度情報、或いは左右車速センサの回転数差などの情報を用いて判断する。環境判断部26により車両がカーブを走行していると判断された場合、プロファイル生成部23は環境判断部26からの信号に基づいて俯瞰画像の範囲を俯瞰画像の全範囲から近景範囲35に変更してプロファイルを生成する。このとき、前述した2種類の方法のうちどちらの方法を採用するのかはハードウェアの制約など考慮して適切な選択する。図3(b)は俯瞰画像の全範囲を対象として生成した輝度プロファイルを示しており、図3(c)は俯瞰画像のうち近景範囲35だけを対象として生成した輝度プロファイルを示している。図3(b)、(c)より明らかなように、近景範囲35だけを用いた輝度プロファイルでは、遠景範囲36の白線部分のピーク強度(図3(c)の鎖線で示されている部分)が含まれていないため、ピーク幅が狭くなり、車線位置の検出精度が向上する。
For example, it is desirable to appropriately switch the bird's-eye view image used for lane detection depending on whether the road on which the vehicle is traveling is a straight road or a curve. When the vehicle is traveling in a straight line, it is possible to detect the peak of the
図4は、夜間時に高速走行中する車両の後方路面状況を示した俯瞰画像である。夜間は図4に示すように遠方までライトの光が届かないため、白線31の輝度に基づいて車線検知処理を行う場合、有効に白線検知処理を行うことが可能な範囲は、ライセンスプレートの光が路面を照射可能な範囲である車両に近い領域(図4の処理領域1)だけである。
FIG. 4 is a bird's-eye view image showing the rear road surface condition of a vehicle traveling at high speed at night. As shown in FIG. 4, the light of the light does not reach far away at night, so when performing the lane detection process based on the brightness of the
環境判断部26は、ランプ類の点灯の有無を検知したり、時刻情報をカーナビゲーションシステムナビから受信したりすることによって、走行時刻が夜間であるか否かの判断を行う。環境判断部26が夜間であると判断した場合、プロファイル生成部が、図4の処理領域1の範囲だけを抽出して、この範囲だけを用いて輝度プロファイルを作成する。処理領域1だけを用いて輝度プロファイルを生成することによって、輝度プロファイルの信頼性を高めることができ、白線の検知精度を向上させることが可能となる。なお、この具体的手法を用いる場合には[実施例2]と同様に2種類の方法を用いることが可能である。(2)複数の処理を並列化してその結果の違いを評価しながら、適切なフィルタ処理或いは結果等を選択する方法
次に複数の処理を並列化(並列フィルタ処理による自立的判定)を行う方法を説明する。
The
上述する各種センサ27の情報が十分に得られない場合には、特定の条件に適応したフィルタ処理を幾つか動作させ、複数のプロファイルを生成する。その後、各プロファイルを用いて総合的に或いは選択的に判断することにより白線の検出精度を高める。この方法は、以下の2つの手法に分類される。
When the information of the
方法1 輝度プロファイルを比較し誤信号を排除してから白線検知を行う方法(実施例4)。 Method 1 A method of performing white line detection after comparing luminance profiles and eliminating erroneous signals (Example 4).
方法2 輝度プロファイル毎に白線検知を行い比較により判断する方法(実施例5)
以下、上述した2つの方法について説明を行う。なお、以下の説明において便宜的にフィルタを2つ併用した例を用いて説明を行うが、フェイルセーフ的な考え方の下では3つ以上のフィルタを併用して判断することが望ましい場合も多くあり、その数は状況に応じて変化するので、2つに限定されるわけではない。
Method 2 A method in which white lines are detected for each luminance profile and judged by comparison (Example 5)
Hereinafter, the two methods described above will be described. In the following description, the description will be made using an example in which two filters are used together for the sake of convenience. However, in many cases, it is desirable to make a determination using three or more filters under a fail-safe idea. The number varies depending on the situation, and is not limited to two.
で述べた轍状の水しぶきによる疑似白線が路面上に表示されている場合には、水しぶきの特性として表されるエッジぼけ部分を対象にして遮断周波数を決定し、フィルタ処理を施すことによって、図2(c)のように水しぶきが原因となって輝度プロファイルに発生するピーク強度を低下或いは強調させることができる。従って複数のフィルタ処理を施された輝度プロファイルを比較した場合に、ピーク強度の状態が異なる部分ほどそのピークが白線31以外の部分(例えば、水しぶき部分)である可能性が高いと判断できる。このため、同時に2つのフィルタ処理を施して、そのピーク強度の差が一定以上大きさを示す信号を無視するか、或いは重み付けを軽くすることで、車線検知の誤検出を低減させることが可能となる。 When the pseudo white line due to the spider-like spray described in (1) is displayed on the road surface, the cutoff frequency is determined for the edge blurring portion expressed as the characteristics of the spray, and the filter processing is performed. As in 2 (c), the peak intensity generated in the luminance profile due to the splash can be reduced or enhanced. Therefore, when comparing the luminance profiles subjected to a plurality of filter processes, it can be determined that the portion with a different peak intensity state is more likely to be a portion other than the white line 31 (for example, a sprayed portion). For this reason, it is possible to reduce false detection of lane detection by applying two filter processes at the same time and ignoring signals whose peak intensity difference is greater than a certain level or reducing the weighting. Become.
図5(a)は、路面表面の色合いが補修等によって異なる道路を示す俯瞰画像である。 FIG. 5A is a bird's-eye view image showing roads in which the color of the road surface is different due to repair or the like.
図5(a)に示すように、広範囲の暗い領域(補修面40)と、明るい領域(路面41)とがある場合、境界42付近で輝度プロファイルの強度がステップ関数のように変化することとなり高周波成分を含むため、フィルタ処理を施しても信号強度か残りやすくなり誤認識を生じやすいという問題がある(図5(b))。
As shown in FIG. 5A, when there is a wide range of dark areas (repair surface 40) and bright areas (road surface 41), the intensity profile intensity changes in the vicinity of the
このような問題を回避するため、微分フィルタを併用することにより変曲点を検出して輝度プロファイルのピークの値が白線31であるか、明暗領域の境界42であるかの判断を行う。微分フィルタを用いたフィルタ処理を施すと、図5(c)に示すように、明暗領域の境界42部分では変化点が1つであるためピークが1つになるが、白線31のように明るい領域が一定幅の部分では二重にピークが現れる。従って、微分フィルタを用いたフィルタ処理を施すことによって、輝度プロファイルに二重ピークが生じた箇所を白線31位置の候補とし、それ以外の場所は白線31位置以外の場所であるもの判断して無視したり、評価関数での重み付けを軽くしたりすることによって、検出誤差を低減させることが可能となる。
In order to avoid such a problem, an inflection point is detected by using a differential filter together to determine whether the value of the peak of the luminance profile is the
なお、最初から微分フィルタのみを用いて白線位置の判断処理を行うことも原理的に可能である。しかしながら、微分フィルタは強度の低いノイズでも急激に変化していればピークが強調されてしまうため、ピークの数が増加しやすくなりそのままでは計算量が増えてしまうので、かえって誤認識を増加させる可能性もある。従って、図5(b)に示すような、ハイパスフィルタを用いたフィルタ処理と、図5(c)に示すような、微分フィルタを用いたフィルタ処理との2つの処理を同時に利用し、その相乗効果により誤認識を抑制させることが有効である。さらに、一方のフィルタで着目領域を先に抽出し、その領域のみに対して局所的に他方のフィルタ処理を施すことによって全体のフィルタ処理の軽減を図ることも可能である。すなわち、フィルタ処理の併用により、白線認識率の向上と負荷低減の2面の相乗効果が期待できる。 In principle, it is possible to determine the position of the white line using only the differential filter from the beginning. However, the differential filter emphasizes the peaks if the noise is abruptly changing even with low-intensity noise, so the number of peaks tends to increase, and the amount of calculation increases. There is also sex. Therefore, the two processes of the filter process using the high-pass filter as shown in FIG. 5B and the filter process using the differential filter as shown in FIG. It is effective to suppress misrecognition by the effect. Further, it is possible to reduce the overall filter processing by extracting the region of interest first with one filter and locally applying the other filter processing to only that region. That is, the combined use of the filter processing can be expected to produce a synergistic effect of two aspects of improving the white line recognition rate and reducing the load.
また、暗い領域と明るい領域とにより境界42が現れる道路状況であれば、図5(a)に示すように境界が補修面と通常路面とにより生ずる場合だけでなく、道路の一部が日陰になってしまって、他の日の当たる部分との比較により暗い領域と明るい領域との境界が現れてしまう場合にも同様に適用することが可能である。
Further, in the road situation in which the
輝度プロファイルを作成して白線検知を行うためには、できるだけ車両の遠方から車両側近までの広い範囲の俯瞰画像を用いて輝度積算を行い、ピーク強度を求めることが望ましく、このようにしてピーク強度を求めることによって安定的に白線検出を行うこと可能となる。しかしながら、あまりに遠方の情報を用いると、[実施例2]で示したように、車両がカーブを走行している場合に正確な白線位置を検出することが困難となり、また、異常に接近してきた車両が存在する場合には誤検出を起こしやすいという問題があった。 In order to create a brightness profile and detect white lines, it is desirable to perform brightness integration using a bird's-eye view of a wide range from the far side of the vehicle to the side of the vehicle as much as possible to obtain the peak intensity. Thus, it is possible to stably detect the white line. However, if too far away information is used, as shown in [Example 2], it is difficult to detect an accurate white line position when the vehicle is traveling on a curve, and the vehicle has approached abnormally. There is a problem that erroneous detection is likely to occur when a vehicle is present.
そこで、例えば、図3に示すように俯瞰画像を領域毎に分割し、近景と遠景とを独立に処理することにより道路がカーブであるか否かを自立的に検出することができる。 Therefore, for example, as shown in FIG. 3, it is possible to independently detect whether the road is a curve by dividing the bird's-eye view image for each region and processing the near view and the distant view independently.
具体的な処理手順を例示すると
1.俯瞰画像の全範囲(全画面)を用いて輝度プロファイルを生成し、白線位置(位置1とする)を推定する。
2.俯瞰画像の近景領域を用いて輝度プロファイルを生成し、位置1付近より白線位置(位置2とする)を推定する。
3.俯瞰画像の遠近景領域を用いて輝度プロファイルを生成し、位置1付近より白線位置(位置3とする)を推定する。
4.位置1及び位置2の誤差が許容値以下の場合、その位置を白線位置と認定する
5.位置2に対して位置3がシフトしている場合はカーブであると判定する。
6.位置2に対して位置3が大きく異なる場合には異常事態(接近車等)であると判定する。
となる。このステップを経ることでカーブ走行などを自動検知し、白線検知の精度・信頼性を向上することが可能となる。
Specific processing procedures are exemplified as follows: A brightness profile is generated using the entire range (full screen) of the overhead image, and the white line position (position 1) is estimated.
2. A luminance profile is generated using the foreground area of the overhead image, and the white line position (position 2) is estimated from the vicinity of
3. A luminance profile is generated using the perspective view area of the overhead image, and the white line position (position 3) is estimated from the vicinity of
4). 4. If the error between
6). When
It becomes. By passing through this step, it is possible to automatically detect a curve run or the like and improve the accuracy and reliability of white line detection.
図6(a)は、正常な白線と傷みや汚れにより見えにくくなった白線とを示した俯瞰画像である。白線検知において検知を行う白線が道路工事や経年劣化などによって激しく傷み、白線が見えにくくなっている場合には、輝度プロファイルを作成しても正常な白線45に比べプロファイル強度が低下してしまい十分なピーク強度を得ることができないので、白線検知の誤検出を招くおそれがある。 FIG. 6A is a bird's-eye view image showing a normal white line and a white line that has become difficult to see due to damage or dirt. If the white line to be detected in white line detection is severely damaged due to road construction or aging deterioration, and it is difficult to see the white line, the profile intensity will be lower than the normal white line 45 even if a brightness profile is created. Since it is not possible to obtain an appropriate peak intensity, there is a risk of erroneous detection of white line detection.
元来、フィルタ処理は信号強度の絶対値を弱くする性質を有するため、正常な白線45に合わせてフィルタ処理(例えば、バンドパスフィルタを用いたフィルタ処理。このときに用いるフィルタをフィルタ1とする。)を施すと、図6(b)に示すように、弱い信号を有効に分離できない場合がある。一方で、弱い信号に合わせたフィルタ処理(例えば、ハイパスフィルタを用いたフィルタ処理。このときに用いるフィルタをフィルタ2とする。)を通常強度の輝度プロファイに適用すると、図6(c)に示すように弱い背景ノイズまで拾ってしまい、処理が煩雑になりやすいとく問題がある。
Originally, the filter process has the property of weakening the absolute value of the signal strength, so the filter process is performed in accordance with the normal white line 45 (for example, the filter process using a bandpass filter. The filter used at this time is the
このような状況に対応するために、白線検知が可能な強度範囲が異なる2種類以上のフィルタを併用し、強い強度に対応したフィルタから順に信号検出判定を行い、信号が検出できなかった場合に順に低い強度のフィルタ処理結果を参照することで、白線検知に用いるフィルタを選択する。図6(a)の例で示せば、
1.通常はフィルタ1を用いたフィルタ処理により白線位置を検知する(図6(b))。
To cope with such a situation, when two or more types of filters with different intensity ranges that can detect white lines are used together, signal detection determination is performed in order from the filter corresponding to the strong intensity, and the signal cannot be detected The filter used for white line detection is selected by referring to the filter processing results of lower strength in order. In the example of FIG.
1. Usually, the position of the white line is detected by filter processing using the filter 1 (FIG. 6B).
2.一定時間、白線未検出状態が連続したときには、フィルタ2を用いたフィルタ処理により白線位置を検出する(図6(c))。
となる。フィルタ2は先に述べたように疑似ピークがあるため、フィルタ処理の処理負担が重くなり、単位時間に処理できる回数が低下するが、フィルタ1を用いた未検出状態に比べれば大幅に白線検知精度を改善することができる。また、フィルタ1で検出したピーク強度の信頼性は高いと考えられるため、このピーク強度を信頼して、見えにくくなった白線46の位置をフィルタ2の結果から検索することで、信頼性の向上を図ることが可能となる。このようにしたフィルタ構成例として、遮断周波数帯及びフィルタ次数を調整したハイパスフィルタ(HPF)或いはバンドパスフィルタ(BPF)等が用いられる。
2. When the white line undetected state continues for a certain time, the white line position is detected by filter processing using the filter 2 (FIG. 6C).
It becomes. Since the
以上、本発明に係る車線位置検知システムを、図面を用いて説明したが、本発明に係る車線位置検知システムは、上述したものに限定されるものではなく、当業者が考え得る範囲での設計変更・改良を施したものも本発明に係る車線位置検知システムに含まれるものである。 The lane position detection system according to the present invention has been described above with reference to the drawings. However, the lane position detection system according to the present invention is not limited to the above-described one, and is designed within a range that can be considered by those skilled in the art. Changes and improvements are also included in the lane position detection system according to the present invention.
20 車線位置検出システム
21 カメラ
22 俯瞰図生成部
23 プロファイル生成部
24 レーン検知部
25 警報部
26 環境判定部
27 センサ
20 lane
Claims (10)
車両が走行する路面状況に基づいて、前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更することを特徴とする車線位置検知システム。 An image obtained by imaging the road surface with the in-vehicle camera is converted into a bird's-eye view image, and the luminance profile of the bird's-eye view image is integrated in parallel with the vehicle traveling direction to obtain a luminance profile in a direction perpendicular to the traveling direction. In the lane position detection system that detects the position of the white line by applying filter processing,
A lane position detection system, wherein the cut-off frequency of the filter used for the filter processing is changed based on a road surface condition where the vehicle travels.
前記センサにより前記路面状況が雨天状況であると判定された場合に、前記ハイパスフィルタの遮断周波数を晴天時に比べて高い周波数に変更することを特徴とする請求項2に記載の車線位置検知システム。 Use a high-pass filter in the filtering process,
3. The lane position detection system according to claim 2, wherein when the road surface condition is determined to be rainy by the sensor, the cutoff frequency of the high-pass filter is changed to a frequency that is higher than that in fine weather.
車両に設置したセンサによって判定した路面状況に基づいて、前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更することを特徴とする車線位置検出システム。 An image obtained by capturing the road surface with the in-vehicle camera is converted into a bird's-eye view image, the luminance of the bird's-eye view image is integrated in parallel with the vehicle traveling direction to obtain a luminance profile in a direction perpendicular to the traveling direction, and the luminance profile In the lane position detection system that detects the position of the white line by performing a filtering process based on the time axis,
A lane position detection system, wherein the cut-off frequency of a filter used for the filter processing is changed based on a road surface condition determined by a sensor installed in a vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009131067A JP4927908B2 (en) | 2009-05-29 | 2009-05-29 | Lane position detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009131067A JP4927908B2 (en) | 2009-05-29 | 2009-05-29 | Lane position detection system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004091403A Division JP4451179B2 (en) | 2004-03-26 | 2004-03-26 | Lane position detection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009211715A true JP2009211715A (en) | 2009-09-17 |
JP4927908B2 JP4927908B2 (en) | 2012-05-09 |
Family
ID=41184734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009131067A Expired - Fee Related JP4927908B2 (en) | 2009-05-29 | 2009-05-29 | Lane position detection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4927908B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011186722A (en) * | 2010-03-08 | 2011-09-22 | Nippon Soken Inc | In-vehicle white line recognition apparatus |
KR20140006463A (en) * | 2012-07-05 | 2014-01-16 | 현대모비스 주식회사 | Method and apparatus for recognizing lane |
US9470788B2 (en) | 2012-10-26 | 2016-10-18 | Hyundai Motor Company | Lane recognition method and system |
WO2020196367A1 (en) * | 2019-03-27 | 2020-10-01 | いすゞ自動車株式会社 | Detection device and detection method |
WO2021235209A1 (en) * | 2020-05-22 | 2021-11-25 | 本田技研工業株式会社 | Traffic lane estimation device and traffic lane estimation method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62221800A (en) * | 1985-12-11 | 1987-09-29 | 株式会社デンソー | Recognition equipment for lane on road |
JPH02118705A (en) * | 1988-10-28 | 1990-05-07 | Mazda Motor Corp | Picture processor of mobile vehicle |
JPH0719882A (en) * | 1993-06-30 | 1995-01-20 | Mazda Motor Corp | Traveling area recognition apparatus of vehicle and safety apparatus with the device |
JPH08149342A (en) * | 1994-11-18 | 1996-06-07 | Nissan Motor Co Ltd | Circumference monitoring device |
JP2001092970A (en) * | 1999-09-22 | 2001-04-06 | Fuji Heavy Ind Ltd | Lane recognizing device |
JP2002109695A (en) * | 2000-10-02 | 2002-04-12 | Nissan Motor Co Ltd | Traveling road recognition device for vehicle |
JP2003331398A (en) * | 2002-05-15 | 2003-11-21 | Toshiba Corp | Region setting method, region setting program, collision determining method and collision determining program |
-
2009
- 2009-05-29 JP JP2009131067A patent/JP4927908B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62221800A (en) * | 1985-12-11 | 1987-09-29 | 株式会社デンソー | Recognition equipment for lane on road |
JPH02118705A (en) * | 1988-10-28 | 1990-05-07 | Mazda Motor Corp | Picture processor of mobile vehicle |
JPH0719882A (en) * | 1993-06-30 | 1995-01-20 | Mazda Motor Corp | Traveling area recognition apparatus of vehicle and safety apparatus with the device |
JPH08149342A (en) * | 1994-11-18 | 1996-06-07 | Nissan Motor Co Ltd | Circumference monitoring device |
JP2001092970A (en) * | 1999-09-22 | 2001-04-06 | Fuji Heavy Ind Ltd | Lane recognizing device |
JP2002109695A (en) * | 2000-10-02 | 2002-04-12 | Nissan Motor Co Ltd | Traveling road recognition device for vehicle |
JP2003331398A (en) * | 2002-05-15 | 2003-11-21 | Toshiba Corp | Region setting method, region setting program, collision determining method and collision determining program |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011186722A (en) * | 2010-03-08 | 2011-09-22 | Nippon Soken Inc | In-vehicle white line recognition apparatus |
US8385601B2 (en) | 2010-03-08 | 2013-02-26 | Nippon Soken, Inc. | In-vehicle white line recognition apparatus |
KR20140006463A (en) * | 2012-07-05 | 2014-01-16 | 현대모비스 주식회사 | Method and apparatus for recognizing lane |
US9470788B2 (en) | 2012-10-26 | 2016-10-18 | Hyundai Motor Company | Lane recognition method and system |
WO2020196367A1 (en) * | 2019-03-27 | 2020-10-01 | いすゞ自動車株式会社 | Detection device and detection method |
CN113646820A (en) * | 2019-03-27 | 2021-11-12 | 五十铃自动车株式会社 | Detection device and detection method |
WO2021235209A1 (en) * | 2020-05-22 | 2021-11-25 | 本田技研工業株式会社 | Traffic lane estimation device and traffic lane estimation method |
Also Published As
Publication number | Publication date |
---|---|
JP4927908B2 (en) | 2012-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5887219B2 (en) | Lane departure warning device | |
US8896687B2 (en) | Lane departure prevention support apparatus, method of displaying a lane boundary line and program | |
JP5981322B2 (en) | In-vehicle image processing device | |
JP5682304B2 (en) | Image providing device | |
US9773177B2 (en) | Surrounding environment recognition device | |
JP6163207B2 (en) | In-vehicle device | |
JP4539415B2 (en) | Image processing device | |
JP5233583B2 (en) | In-vehicle monitoring device | |
EP2618304B1 (en) | Imaging apparatus, vehicle system having the same, and image-processing method | |
JP6364797B2 (en) | Image analysis apparatus and image analysis method | |
WO2014129312A1 (en) | Device for suppressing deviation from lane boundary line | |
JP2001519266A (en) | Method and apparatus for determining the state of light in front of a moving object, for example in front of a car | |
US9892331B2 (en) | Imaging system and method with ego motion detection | |
JP2002197470A (en) | Device for detecting traffic lane | |
JP7229804B2 (en) | Image processing device and image processing method | |
JP2010218528A (en) | Lane departure warning method and system using virtual lane | |
JP2012155612A (en) | Lane detection apparatus | |
JP2013147112A (en) | Vehicle driving environment recognition apparatus | |
JP4927908B2 (en) | Lane position detection system | |
WO2013035828A1 (en) | Device and method for predicting turning of vehicle | |
JP2008213744A (en) | Vehicle periphery monitoring device | |
JP4451179B2 (en) | Lane position detection system | |
JP2011174794A (en) | Device and method for detecting state of road surface | |
JP4211483B2 (en) | In-vehicle camera exposure control system | |
WO2018074076A1 (en) | Image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090605 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120209 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4927908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |