JP6014534B2 - Vehicle white line recognition device - Google Patents
Vehicle white line recognition device Download PDFInfo
- Publication number
- JP6014534B2 JP6014534B2 JP2013070129A JP2013070129A JP6014534B2 JP 6014534 B2 JP6014534 B2 JP 6014534B2 JP 2013070129 A JP2013070129 A JP 2013070129A JP 2013070129 A JP2013070129 A JP 2013070129A JP 6014534 B2 JP6014534 B2 JP 6014534B2
- Authority
- JP
- Japan
- Prior art keywords
- white line
- point
- vehicle
- white
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車載カメラで撮像した画像に基づいて道路の白線を認識する車両用白線認識装置に関する。 The present invention relates to a vehicle white line recognition device that recognizes a white line on a road based on an image captured by an in-vehicle camera.
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、自車前方の撮像画像等に基づいて道路の白線を認識し、認識した白線に基づいて自車走行レーンを推定する等して車線逸脱防止等の運転支援機能を実現している。 In recent years, in order to improve the safety of vehicles, driving support devices that actively support driving operations of drivers have been developed. This driving support device realizes a driving support function such as lane departure prevention by recognizing a white line on the road based on a captured image etc. in front of the host vehicle and estimating a driving lane based on the recognized white line. ing.
このような画像認識による白線検出は、一般的に、路面画像中から輝度が変化するエッジ点を検出し、これらの各エッジ点からハフ変換等による直線成分を求めて自車走行レーンを区画する白線としている。このため、道路の轍等を白線と誤認識する可能性があり、従来かが白線の誤認識を防止するため、各種提案がなされている。 Such white line detection by image recognition generally detects edge points whose luminance changes from the road surface image, and determines a straight line component by Hough transformation or the like from each of these edge points to partition the vehicle lane. White line. For this reason, there is a possibility that roadsides and the like may be mistakenly recognized as white lines, and various proposals have been made in order to prevent erroneous recognition of white lines.
例えば、特許文献１には、画像のエッジ点を抽出して複数のエッジ点の点列データである直線成分を探索し、各直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比に、所定の補正係数を乗じる補正処理を施して評価値を算出し、探索された直線成分のうちから評価値が所定閾値より大きい直線成分を、道路の線型のレーンマークに対応する直線成分の候補（レーンマークの候補）として選別することで、道路の路面上の轍を白線として誤検出することを防止する技術が開示されている。 For example, in Patent Document 1, an edge point of an image is extracted and a linear component that is a point sequence data of a plurality of edge points is searched, and the number of edge points constituting each linear component, The evaluation value is calculated by performing a correction process by multiplying the ratio with the number of consecutive edge points by a predetermined correction coefficient, and the straight line component whose evaluation value is larger than the predetermined threshold is calculated from the searched straight line components. A technique for preventing erroneous detection of a wrinkle on the road surface of a road as a white line by selecting as a straight line candidate (lane mark candidate) corresponding to the lane mark is disclosed.
しかしながら、特許文献１の技術は、直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比に基づくものであり、道路上に、雪の轍や小山状の雪塊等、車両進行方向に所定区間に渡って連続的に残雪帯が存在する場合、この残雪帯のエッジによる直線成分を白線と誤認識する可能性がある。 However, the technique of Patent Document 1 is based on the ratio between the number of edge points constituting a linear component and the number of consecutive edge points among the edge points. When there is a remaining snow zone continuously over a predetermined section in the vehicle traveling direction, such as a snow block, there is a possibility that a straight line component due to the edge of the remaining snow zone is erroneously recognized as a white line.
本発明は上記事情に鑑みてなされたもので、道路上に連続的な残雪帯が存在する場合にも雪と白線との誤認識を防止し、白線認識性能を向上することのできる車両用白線認識装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, and can prevent erroneous recognition of snow and white lines even when there is a continuous residual snow zone on the road, and can improve white line recognition performance. The object is to provide a recognition device.
本発明による車両用白線認識装置は、自車走行環境を撮像した画像上の水平方向に設定した複数の探索ライン上での輝度変化に基づいて、白線開始点及び白線終了点の点群を白線候補点として検出する白線候補点検出部と、前記白線開始点の点群から直線成分を算出する直線成分算出部と、前記白線開始点の点群が前記直線成分上にある割合を、白線開始点の特徴量として算出する白線開始点特徴量算出部と、前記白線開始点の点群に対応する前記白線終了点の点群の割合を、白線終了点の特徴量として算出する白線終了点特徴量算出部と、少なくとも前記白線開始点の特徴量と前記白線終了点の特徴量とに基づいて前記白線候補点を評価し、前記直線成分が白線か否かを判定する白線判定部とを備える。 A white line recognition device for a vehicle according to the present invention uses a white line as a white line start point and a white line end point based on luminance changes on a plurality of search lines set in a horizontal direction on an image obtained by capturing an image of the traveling environment of the vehicle. White line candidate point detection unit for detecting as a candidate point, straight line component calculation unit for calculating a straight line component from the point group of the white line start point, and the ratio of the point group of the white line start point on the straight line component A white line start point feature amount calculation unit that calculates a feature amount of a point, and a white line end point feature that calculates a ratio of the point group of the white line end point corresponding to the point group of the white line start point as a feature amount of the white line end point A white line determination unit that evaluates the white line candidate point based on at least the white line start point feature and the white line end point feature and determines whether the straight line component is a white line; .
本発明によれば、道路上に連続的な残雪帯が存在する場合にも雪と白線との誤認識を防止することができ、白線認識性能を向上して白線に基づく各種車両制御を効果的に実行することが可能となる。 According to the present invention, it is possible to prevent misrecognition of snow and white lines even when there is a continuous residual snow zone on the road, and it is possible to improve white line recognition performance and effectively control various vehicles based on white lines. Can be executed.
以下、図面を参照して本発明の実施の形態を説明する。
図１において、符号１は自動車等の車両（自車両）であり、この車両１には、車載カメラで撮像した画像を処理して外部環境を認識し、その認識結果に基づいてドライバに対する各種運転支援を行う運転支援システム２が搭載されている。この運転支援システム２は、車載カメラとしてのステレオカメラ３、画像処理エンジン４、制御ユニット５等を主要部として構成されている。
Embodiments of the present invention will be described below with reference to the drawings.
In FIG. 1, reference numeral 1 denotes a vehicle such as an automobile (own vehicle). The vehicle 1 recognizes an external environment by processing an image captured by an in-vehicle camera, and performs various operations for a driver based on the recognition result. A
ステレオカメラ３は、例えばＣＣＤやＣＭＯＳ等のイメージセンサを有する複数台のカメラで構成され、対象物を異なる視点から撮像するデバイスである。本実施の形態においては、ステレオカメラ３として、シャッタースピード可変で互いに同期した左右２台のカメラを用い、互いの光軸が略平行となるように所定の基線長（光軸間隔）で機械的に固定した上で、例えば画像処理エンジン４と一体化する等してユニット化している。このステレオカメラ３は、例えば車室内の天井前方に取り付けられて車外の対象を異なる視点からステレオ撮像し、画像データを画像処理エンジン４に出力する。
The stereo camera 3 is composed of a plurality of cameras having image sensors such as a CCD and a CMOS, for example, and is a device that images an object from different viewpoints. In the present embodiment, the left and right cameras that are synchronized with each other with variable shutter speed are used as the stereo camera 3, and mechanically with a predetermined base length (optical axis interval) so that the optical axes of the stereo camera 3 are substantially parallel to each other. And then unitized with the
尚、以下の説明において、ステレオ撮像された元画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。 In the following description, one of the stereo captured original images (for example, the right image) is referred to as a reference image, and the other image (for example, the left image) is referred to as a comparative image.
画像処理エンジン４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を探索して領域毎の左右画像の画素ずれ量（視差）を求め、この画素ずれ量を距離情報として備えた分布画像（距離画像）を生成する。この距離画像上の点は、三角測量の原理から、自車両の車幅方向すなわち左右方向をＸ軸、車高方向をＹ軸、車長方向すなわち距離方向をＺ軸とする実空間上の点に座標変換される。画像処理エンジン４は、撮像画像とその距離情報に基づいて、自車前方の道路の白線、側壁、立体物等を認識し、認識した各データに、それぞれ異なるＩＤを割り当て、これらをＩＤ毎にフレーム間で連続して監視し、自車両１前方の走行環境情報として制御ユニット５に送信する。
First, the
制御ユニット５には、画像処理エンジン４からの走行環境情報に加えて、自車両１の状態を検出する各種センサ類からの信号が入力される。自車両１に備えられるセンサ類としては、自車速を検出する車速センサ１１、ヨーレートを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角を検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）を検出するアクセル開度センサ１５等が備えられ、これらのセンサ類からの信号が制御ユニット５に入力される。
In addition to the travel environment information from the
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御
ユニット５は、画像処理エンジン４で認識した先行車方向を読み込み、自車走行路上に、追従対象の先行車が走行しているか否かを識別する。その結果、追従対象の先行車が検出されない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速を維持させる定速走行制御を実行する。
For example, when an instruction to execute an ACC (Adaptive Cruise Control) function, which is one of the functions of the driving support control, is issued through the operation of the
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
On the other hand, when a preceding vehicle that is a tracking target vehicle is detected and the vehicle speed of the preceding vehicle is equal to or lower than the set vehicle speed, the following traveling control is performed in which the following distance is converged to the target inter-vehicle distance. Executed. During this follow-up running control, the
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線に基づいて警報判定用ラインを設定するとともに、自車両１の車速とヨーレートとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
Further, when execution of the lane departure prevention function, which is one of the functions of the driving support control, is instructed through the operation of the
このような制御ユニット５による運転支援制御は、白線認識装置としての画像処理エンジン４による白線の認識結果を基本としている。本実施の形態における白線とは、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、さらに、黄色線等をも含む。また、本実施の形態における白線認識においては、道路上に実在する白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
Such driving support control by the
画像処理エンジン４は、白線の認識に際して、画像上に設定された白線検出領域内において、水平方向（車幅方向）に設定した複数の探索ラインＬ上で輝度が所定以上変化するエッジの検出を行うことで、探索ライン毎に１組の白線開始点Ｐｓ及び白線終了点Ｐｅを検出する。具体的には、画像処理エンジン４は、例えば、基準画像上に設定された左右の各白線検出領域内において、各探索ラインＬ上で車幅方向内側から外側に向けて各画素の輝度値の変化を調べることによりエッジ点を検出し、検出したエッジ点に基づいて、探索ラインＬ毎に左右各１組の白線開始点Ｐｓ及び白線終了点Ｐｅを検出する。そして、画像処理エンジン４は、白線開始点Ｐｓの点群を白線候補点として直線成分を算出し、自車走行レーンを規定する左右の白線として制御ユニット５に出力する。
When recognizing a white line, the
このとき、画像処理エンジン４は、白線候補点から求めた直線成分が本当に白線を表しているものかどうかの判定を行い、白線の誤認識による運転支援制御の不具合発生を未然に防止する。例えば、路面上に雪が積もっており、雪の轍や小山状の雪塊等、車両進行方向に所定区間に渡って存在する残雪帯がある場合、このような残雪帯のエッジによる直線成分を白線と誤認識する可能性があり、運転支援制御に支障が生じる虞がある。
At this time, the
このため、画像処理エンジン４は、白線開始点及び白線終了点における白線候補点を評価し、エッジによる直線成分が本当に白線か否かを判定するための機能を備えている。すなわち、画像処理エンジン４は、白線候補点検出部、直線成分算出部、白線開始点特徴量算出部、白線終了点特徴量算出部、白線判定部としての機能を備え、白線候補点検出部で、自車走行環境を撮像した画像上の水平方向に設定した複数の探索ライン上での輝度変化に基づいて白線開始点及び白線終了点の点群を白線候補点として検出し、直線成分算出部で白線開始点の点群から直線成分を算出する。
For this reason, the
そして、白線開始点特徴量算出部で白線開始点の点群が直線成分上にある割合を白線開始点の特徴量として算出し、また、白線終了点特徴量算出部で白線開始点の点群に対応する白線終了点の点群の割合を、白線終了点の特徴量として算出すると、白線判定部で、少なくとも白線開始点の特徴量と白線終了点の特徴量とに基づいて白線候補点を評価し、直線成分が白線か否かを判定する。本実施の形態においては、白線候補点の路面からの高さを、路面高さの特徴量として算出する路面高さ特徴量算出部を更に備え、白線開始点の特徴量と白線終了点の特徴量と路面高さの特徴量とに基づいて白線候補点を評価し、直線成分が白線か否かを判定する。 The white line start point feature quantity calculation unit calculates the ratio of the white line start point point group on the straight line component as the white line start point feature quantity, and the white line end point feature quantity calculation unit calculates the point group of the white line start point feature quantity. When the white line end point point group ratio corresponding to the white line end point is calculated as a feature amount of the white line end point, the white line determination unit determines a white line candidate point based on at least the white line start point feature amount and the white line end point feature amount. Evaluate and determine whether the straight line component is a white line. The present embodiment further includes a road surface height feature amount calculation unit that calculates the height of the white line candidate point from the road surface as a feature amount of the road surface height, and features the white line start point feature amount and the white line end point feature. The white line candidate point is evaluated based on the amount and the feature amount of the road surface height, and it is determined whether or not the straight line component is a white line.
以下、画像処理エンジン４の白線認識とその評価に係る処理について、図２，図９のフローチャートを用いて説明する。
Hereinafter, processing relating to white line recognition and evaluation of the
図２のフローチャートは、白線認識のメイン処理である白線認識ルーチンを示し、このルーチンがスタートすると、画像処理エンジン４は、白線候補点検出部の機能により、最初のステップＳ１０１において白線開始点Ｐｓの検出を行い、続くステップＳ１０２において白線終了点Ｐｅの検出を行う。すなわち、画像処理エンジン４は、例えば、基準画像上に設定された左右の各白線検出領域内において、画像中心線（或いは、舵角等から推定される自車進行方向）を基準とする車幅方向内側から外側に向けて、各探索ラインＬ上でのエッジ検出を行い、白線開始点Ｐｓを示すエッジ点の探索を行う。
The flowchart of FIG. 2 shows a white line recognition routine that is a main process of white line recognition. When this routine starts, the
具体的には、画像処理エンジン４は、例えば、図３に示すように、車幅方向内側から外側への探索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点）を白線開始点Ｐｓとして検出する。ここで、演算を簡素化するため、画像処理エンジン４は、各探索ラインＬ上の車幅方向内側から車幅方向外側への探索において、前述の要件に基づいて最初に検出したエッジ点（すなわち、前述の要件に基づいて最も車幅方向内側で検出したエッジ点）のみを白線開始点Ｐｓとして検出する。
Specifically, for example, as shown in FIG. 3, the
また、白線終了点Ｐｅの検出では、画像処理エンジン４は、例えば、基準画像上に設定された左右の各白線検出領域内において、画像中心線（或いは、舵角等から推定される自車進行方向）を基準として車幅方向内側から外側に向けて、各探索ラインＬ上でのエッジ検出を行い、白線終了点Ｐｅを示すエッジ点の探索を行う。
In the detection of the white line end point Pe, the
具体的には、例えば、図３に示すように、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の設定閾値以下となる点（エッジ点）を白線終了点Ｐｅとして検出する。ここで、演算を簡素化するため、画像処理エンジン４は、各探索ラインＬ上の車幅方向内側から車幅方向外側への探索において、前述の要件に基づいて最初に検出したエッジ点（すなわち、前述の要件に基づいて最も車幅方向内側で検出したエッジ点）のみを白線終了点Ｐｅとして検出する。
Specifically, for example, as shown in FIG. 3, in the search from the inner side to the outer side in the vehicle width direction, the luminance of the pixels on the outer side in the vehicle width direction is relatively lower than the luminance of the inner pixels, and A point (edge point) at which the differential value of luminance indicating the amount of change is equal to or less than the negative threshold is detected as the white line end point Pe. Here, in order to simplify the calculation, the
尚、本実施の形態において、上述のステップＳ１０１及びステップＳ１０２で検出される各白線開始点Ｐｓ及び各白線終了点Ｐｅには、距離画像上で対応する距離情報がそれぞれ付与される。 In the present embodiment, the corresponding distance information on the distance image is assigned to each white line start point Ps and each white line end point Pe detected in the above-described step S101 and step S102.
次にステップＳ１０３へ進み、画像処理エンジン４は、直線成分算出部の機能により、例えば、白線開始点Ｐｓからなる点群の中から予め設定された条件に基づいて判定されるばらつきが小さい点群を選定し、直線成分を算出する。本実施の形態においては、画像処理エンジン４は、直線成分の算出をハフ変換によって行う。尚、以下では、ハフ変換によって直線成分を求める例について説明するが、最小二乗法を用いて直線成分を求めるようにしても良い。
Next, the process proceeds to step S103, and the
各白線開始点Ｐｓを点Ｐと略称して具体的に説明すると、画像処理エンジン４は、例えば、図４に示すように、点群を構成する各点Ｐそれぞれに対し、点Ｐ（ｘ，ｚ）を通る直線Ｌｈの傾きθを０°から１８０°まで所定の角度Δθ毎変化させ、以下の（１）式に基づいて、各θにおける原点Ｏから直線Ｌｈまでの距離（垂線の長さ）ρを求める。
ρ＝ｘ・ｃｏｓθ＋ｚ・ｓｉｎθ …（１）
Specifically, each white line start point Ps is abbreviated as a point P. For example, as shown in FIG. 4, the
ρ = x · cos θ + z · sin θ (1)
そして、画像処理エンジン４は、各点Ｐについて求めた各θとρの関係を、例えば、図５に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、画像処理エンジン４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組み合わせを抽出し、当該θとρを用いて（１）式で規定されるハフ直線Ｌｈ(Ｈ)を、点群を近似する直線成分とする。
Then, the
続くステップＳ１０４において、画像処理エンジン４は、路面高さ特徴量算出部の機能により、白線候補点の対応する実空間上の位置を路面からの高さＰＨとして求める。以下、この路面からの高さの算出について簡単に説明する。図６に示すように、基準画像上の探索画素Ｍが属する水平ラインｊに消失点Ｖｐから引いた垂線の足を画素ｍとすると、画素ｍに対応する実空間上の点ｍは自車両の正面に位置する。
In subsequent step S104, the
点ｍが道路面上にあるとすると、自車両に搭載されたステレオカメラ３のうち基準画像を撮像するメインカメラ３ａから点ｍまでの距離をＬm、メインカメラ３ａの焦点距離をｆ、メインカメラ３ａの取付高さをｈとすると、メインカメラ３ａの結像位置における点ｍの映像と消失点Ｖｐとのずれｙは、以下の（２）式で表される。
ｙ＝ｈ・ｆ／Ｌm …（２）
Assuming that the point m is on the road surface, among the stereo cameras 3 mounted on the host vehicle, the distance from the
y = h · f / Lm (2)
基準画像上での画素ｍと消失点Ｖｐとの画素間隔をｙpixelとすると、ピクセル長をｐｌとしたときｙpixel＝ｙ／ｐｌの関係が成り立つから、画素ｍと消失点Ｖｐとの画素間隔ｙpixelとメインカメラ３ａから点ｍまでの距離Ｌmとは、以下の（３）式の関係となり、結果的に（４）式の関係が成り立つ。
ｙpixel＝ｙ／ｐｌ＝ｈ・ｆ／（Ｌm・ｐｌ） …（３）
Ｌm＝ｈ・ｆ／（ｐｌ・ｙpixel） …（４）
If the pixel interval between the pixel m and the vanishing point Vp on the reference image is ypixel, the relationship ypixel = y / pl is established when the pixel length is pl. Therefore, the pixel interval ypixel between the pixel m and the vanishing point Vp is The distance Lm from the
ypixel = y / pl = h · f / (Lm · pl) (3)
Lm = h · f / (pl · ypixel) (4)
消失点Ｖｐのｊ座標は予め分かっているから、水平ラインｊのｊ座標から（４）式に基づいて実空間上の自車両から点ｍまでの距離Ｌmが算出される。また、同様にして、基準画像の画素ｍと探索画素Ｍとの画素間隔ｘpixelから実空間上の点ｍと探索画素Ｍに対応する道路面上の点Ｍとの距離Ｌm-Mが算出でき、この距離Ｌm-Mと距離Ｌmとから自車両と道路面上の点Ｍとの実空間上の距離ＬMが算出される。 Since the j coordinate of the vanishing point Vp is known in advance, the distance Lm from the host vehicle to the point m in the real space is calculated from the j coordinate of the horizontal line j based on the equation (4). Similarly, the distance Lm-M between the point m on the real space and the point M on the road surface corresponding to the search pixel M can be calculated from the pixel interval xpixel between the pixel m of the reference image and the search pixel M. From this distance Lm-M and the distance Lm, the distance LM in the real space between the vehicle and the point M on the road surface is calculated.
そして、この実空間上の自車両と道路面上の点Ｍとの距離ＬMと、画素ｍの距離Ｌijとの差を路面からの高さＰＨとする。距離ＬMと距離Ｌijとが一定の誤差範囲で一致する場合には、探索画素Ｍに対応する実空間上の点Ｍは道路面上にある判断することができ、距離Ｌijが距離ＬMより小さければ、探索画素Ｍに対応する実空間上の点Ｍは道路面より高い位置に存在すると判断することができる。 The difference between the distance LM between the vehicle in the real space and the point M on the road surface and the distance Lij of the pixel m is defined as a height PH from the road surface. When the distance LM and the distance Lij coincide with each other within a certain error range, it is possible to determine that the point M in the real space corresponding to the search pixel M is on the road surface, and if the distance Lij is smaller than the distance LM. It can be determined that the point M in the real space corresponding to the search pixel M exists at a position higher than the road surface.
その後、ステップＳ１０５において、画像処理エンジン４は図９のフローチャートに示す白線判定ルーチンを実行し、直線成分が本当に白線を表すものか否かの判定を行う。画像から距離情報を得る本実施の形態においては、以下の（ａ）〜（ｃ）に示すように、直線成分に対する白線開始点の特徴量、白線終了点の特徴量、及び白線候補点の路面からの高さの特徴量に基づいて判定を行い、白線候補の正当性を判定する（白線開始点特徴量算出部、白線終了点特徴量算出部、路面高さ特徴量算出部、白線判定部の機能）。
Thereafter, in step S105, the
（ａ）白線開始点の特徴量
通常の場合、図７（ａ）に示すように、白線開始点で変換された直線成分Ｌwは、この直線ＬW上に乗る候補点Ｐw1の割合が大きいが、図７（ｂ）に示すように、道路上の進行方向の所定範囲に渡って白線を跨いて不規則な塊状の領域Ｒ1に残雪がある場合には、この領域Ｒ1のエッジが白線開始点として抽出されてしまい、直線Ｌw上の候補点Ｐw1の割合が小さくなる。従って、白線開始の各候補点Ｐw1が直線上にある割合を、白線開始点の特徴量として評価する。
(A) Feature amount of white line start point Normally, as shown in FIG. 7A, the linear component Lw converted at the white line start point has a large proportion of candidate points Pw1 on the straight line LW. As shown in FIG. 7 (b), when there is residual snow in an irregular lump area R1 across the white line over a predetermined range in the traveling direction on the road, the edge of this area R1 serves as the white line start point. As a result, the ratio of candidate points Pw1 on the straight line Lw is reduced. Accordingly, the ratio of the white line start candidate points Pw1 on the straight line is evaluated as the feature amount of the white line start point.
（ｂ）白線終了点の特徴量
図７（ａ）に示すように、通常の白線であれば、白線開始の候補点Ｐw1の数に対して、略同数の白線終了の候補点Ｐw2が検出される。一方、図７（ｃ）に示すように、進行方向に所定の範囲で残雪が轍状となって路肩側まで広がる領域Ｒ2がある場合には、この領域Ｒ2の轍状のエッジから抽出される白線開始点の直線Ｌw上の候補点Ｐw1の割合は大きいものの、白線開始の候補点Ｐw1に対応する白線終了の候補点Ｐw2の割合は少なくなる。従って、白線開始の候補点Ｐw1に対応する白線終了の候補点Ｐw2の割合を、白線終了点の特徴量として評価する。
(B) Feature amount of white line end point As shown in FIG. 7A, if a white line is normal, approximately the same number of white line end candidate points Pw2 are detected as the number of white line start candidate points Pw1. The On the other hand, as shown in FIG. 7C, when there is a region R2 in which the remaining snow is in the shape of a hook and spreads to the roadside in a predetermined range in the traveling direction, it is extracted from the hook-shaped edge of this region R2. Although the ratio of the candidate point Pw1 on the straight line Lw at the white line start point is large, the ratio of the candidate point Pw2 at the end of the white line corresponding to the candidate point Pw1 at the start of the white line is small. Therefore, the ratio of the white line end candidate point Pw2 corresponding to the white line start candidate point Pw1 is evaluated as the feature amount of the white line end point.
（ｃ）白線候補点の路面からの高さ
図８に示すように、白線の上に尾根状の残雪帯Ｒ3がある場合、この尾根状の残雪帯Ｒ3から抽出される白線開始点の直線Ｌw上の候補点Ｐw1の割合が大きく、候補点Ｐw1に対応する白線終了の候補点Ｐw2の割合も大きい。このため、（ａ），（ｂ）の特徴量に加えて、白線候補点の路面からの高さを評価することで、道路上にない候補点を排除する。
(C) Height of white line candidate point from road surface As shown in FIG. 8, when there is a ridge-like residual snow zone R3 on the white line, the straight line Lw of the white line start point extracted from this ridge-like residual snow zone R3 The ratio of the upper candidate point Pw1 is large, and the ratio of the candidate point Pw2 at the end of the white line corresponding to the candidate point Pw1 is also large. Therefore, candidate points that are not on the road are eliminated by evaluating the height of the white line candidate points from the road surface in addition to the feature values of (a) and (b).
尚、図７（ａ），（ｂ），（ｃ）及び図８においては、左右の白線のうち、右側の白線についての候補点を例示している。また、図８に示す連続的な尾根状の残雪帯は、単眼カメラの画像を処理して白線認識を行う場合等には、簡易的に、少なくとも（ａ），（ｂ）の直線成分に対する白線開始及び白線終了の候補点の特徴量を用いた判定として、例えば、認識した物体全体の高さをレーザレーダ装置等を用いて計測することで白線と区別するようにしても良い。また、残雪帯が尾根状であっても実際の白線の幅より広いことが多いことから、（ｃ）の特徴量に代えて白線開始点と白線終了点との幅に対する閾値を設けるようにしても良い。 7A, 7B, 8C, and 8 illustrate candidate points for the right white line among the left and right white lines. In addition, the continuous ridge-shaped residual snow belt shown in FIG. 8 is simply a white line for at least the straight line components (a) and (b) when white line recognition is performed by processing an image of a monocular camera. As the determination using the feature amount of the candidate point of the start and the end of the white line, for example, the height of the entire recognized object may be distinguished from the white line by measuring using a laser radar device or the like. Also, even if the remaining snow belt is ridge-shaped, it is often wider than the actual width of the white line. Therefore, instead of the feature amount of (c), a threshold for the width of the white line start point and the white line end point is provided. Also good.
具体的には、図９の白線判定ルーチンにおいて、画像処理エンジン４は、最初のステップＳ２０１で、白線開始点として抽出した候補点の数に対して、この候補点から算出したハフ直線上に乗る候補点の数の割合Ｒ1を算出し、その割合Ｒ1が第１の閾値Ｈ1以上か否かを調べる。第１の閾値Ｈ1は、通常の白線であれば、ハフ直線上にあると見なせる候補点の割合であり、例えば、Ｈ1＝７０〜９０％程度に設定されている。
Specifically, in the white line determination routine of FIG. 9, the
ステップＳ２０１においてＲ1＜Ｈ1であり、ハフ直線上の候補点の割合が小さい場合には、ステップＳ２０１からステップＳ２０５へ進み、非白線（白線ではなく残雪帯）であると判定して本ルーチンを抜ける。この場合、例えば、図７（ｂ）の領域Ｒ1のような残雪帯による誤認識を防止することはできるが、図７（ｃ）の轍状の領域Ｒ2のような残雪帯を除外することはできない。 If R1 <H1 in step S201 and the ratio of candidate points on the Hough line is small, the process proceeds from step S201 to step S205, where it is determined that the line is a non-white line (a remaining snow belt instead of a white line), and this routine is exited. . In this case, for example, it is possible to prevent erroneous recognition due to the remaining snow belt such as the region R1 in FIG. 7B, but it is not possible to exclude the remaining snow belt such as the bowl-shaped region R2 in FIG. Can not.
従って、ステップＳ２０１においてＲ1≧Ｈ1であり、ハフ直線上の候補点の割合が大きい場合には、更に、ステップＳ２０２で白線開始の候補点に対応する白線終了の候補点の割合Ｒ2を算出し、この割合Ｒ2が第２の閾値Ｈ2以上か否かを調べる。第２の閾値Ｈ2は、通常の白線であれば白線幅で互いに対応する開始点の数と終了点の数が略同じになることから、例えば、Ｈ2＝７０〜１００％程度に設定されている。 Accordingly, when R1 ≧ H1 in step S201 and the ratio of candidate points on the Hough line is large, the ratio R2 of white line end candidate points corresponding to the white line start candidate points is further calculated in step S202. It is checked whether the ratio R2 is equal to or greater than the second threshold value H2. The second threshold value H2 is set to, for example, about H2 = 70 to 100% because the number of start points and the number of end points corresponding to each other in the white line width are approximately the same for a normal white line. .
その結果、ステップＳ２０２においてＲ2＜Ｈ2であり、白線開始の候補点に対応する白線終了の候補点の割合が小さい場合には、同様に、ステップＳ２０５で白線ではなく残雪帯であると判定して本ルーチンを抜ける。この場合においては、図７（ｃ）の轍状の領域Ｒ2のような残雪帯による誤認識を防止することができるが、図８の尾根状の残雪帯Ｒ3のような状態を見逃す虞がある。 As a result, if R2 <H2 in step S202 and the ratio of the white line end candidate points corresponding to the white line start candidate points is small, it is similarly determined in step S205 that the remaining snow zone is not a white line. Exit this routine. In this case, it is possible to prevent erroneous recognition due to the remaining snow zone such as the bowl-shaped region R2 in FIG. 7C, but there is a possibility of overlooking the state like the ridge-like remaining snow zone R3 in FIG. .
従って、ステップＳ２０２においてＲ2≧Ｈ2であり、白線開始の候補点に対応する白線終了の候補点の割合が大きい場合には、ステップＳ２０２からステップＳ２０３へ進んで白線候補点の路面からの高さＰＨを読込み、この路面からの高さＰＨが第３の閾値Ｈ3以下である割合が設定値以上であるか否かを調べる。第３の閾値Ｈ3は、道路面上にあると見なせる高さ、例えば、Ｈ3＝２０ｃｍ程度に設定されている。 Accordingly, if R2 ≧ H2 in step S202 and the ratio of the white line end candidate points corresponding to the white line start candidate points is large, the process proceeds from step S202 to step S203, and the height PH of the white line candidate points from the road surface is reached. Is checked to determine whether the ratio of the height PH from the road surface being equal to or smaller than the third threshold value H3 is equal to or greater than a set value. The third threshold value H3 is set to a height that can be regarded as being on the road surface, for example, about H3 = 20 cm.
そして、ステップＳ２０３で白線候補点の路面からの高さＰＨが第３の閾値Ｈ3以下である割合が設定値以上である場合、ステップＳ２０４で、白線候補点から変換した直線は白線であると判定する。一方、白線候補点の路面からの高さＰＨが第３の閾値Ｈ3以下である割合が設定値未満の場合、ステップＳ２０５で、白線候補点から変換した直線は白線ではなく、残雪帯であると判定する。 If the ratio of the height PH of the white line candidate point from the road surface being equal to or smaller than the third threshold value H3 is equal to or greater than the set value in step S203, it is determined in step S204 that the straight line converted from the white line candidate point is a white line. To do. On the other hand, if the ratio of the white line candidate point height PH from the road surface is equal to or smaller than the third threshold value H3 is less than the set value, the straight line converted from the white line candidate point is not a white line but a remaining snow zone in step S205. judge.
このように本実施の形態においては、道路上で検出した白線候補点から直線成分を算出し、算出した直線成分を、白線開始点の点群が直線成分上にある割合、白線開始点の点群に対応する白線終了点の点群の割合に基づいて評価し、更に、白線候補点の路面からの高さに基づいて評価することで、直線成分が本当に白線を表すものか否かを判定する。これにより、道路上に白線に類似した連続的な残雪帯が存在する場合にも雪と白線との誤認識を防止し、白線認識性能を向上して、白線を使用した運転支援機能の誤動作を未然に回避することができる。 As described above, in the present embodiment, the straight line component is calculated from the white line candidate points detected on the road, the calculated straight line component is the ratio of the white line start point point group on the straight line component, the white line start point point Evaluate based on the percentage of the point group of the white line end point corresponding to the group, and further evaluate based on the height of the white line candidate point from the road surface to determine whether the straight line component really represents a white line To do. This prevents misrecognition of snow and white lines even when there are continuous residual snow bands similar to white lines on the road, improves white line recognition performance, and prevents malfunction of the driving support function using white lines. It can be avoided in advance.
１ 車両
２ 運転支援システム
３ ステレオカメラ
４ 画像処理エンジン（白線候補点検出部、直線成分算出部、白線開始点特徴量算出部、白線終了点特徴量算出部、路面高さ特徴量算出部、白線判定部）
５ 制御ユニット
Ｐｅ 白線終了点
Ｐｓ 白線開始点
Ｈ1 第１の閾値
Ｈ2 第２の閾値
Ｈ3 第３の閾値
DESCRIPTION OF SYMBOLS 1
5 Control unit Pe White line end point Ps White line start point H1 1st threshold H2 2nd threshold H3 3rd threshold
Claims (4)
前記白線開始点の点群から直線成分を算出する直線成分算出部と、
前記白線開始点の点群が前記直線成分上にある割合を、白線開始点の特徴量として算出する白線開始点特徴量算出部と、
前記白線開始点の点群に対応する前記白線終了点の点群の割合を、白線終了点の特徴量として算出する白線終了点特徴量算出部と、
少なくとも前記白線開始点の特徴量と前記白線終了点の特徴量とに基づいて前記白線候補点を評価し、前記直線成分が白線か否かを判定する白線判定部と
を備えることを特徴とする車両用白線認識装置。 A white line candidate point detection unit that detects a point group of a white line start point and a white line end point as a white line candidate point based on luminance changes on a plurality of search lines set in a horizontal direction on an image obtained by capturing an image of the traveling environment of the vehicle. When,
A linear component calculation unit for calculating a linear component from the point group of the white line start point;
A white line start point feature amount calculating unit that calculates a ratio of the point group of the white line start point on the straight line component as a feature amount of the white line start point;
A white line end point feature amount calculating unit that calculates a ratio of the point group of the white line end point corresponding to the point group of the white line start point as a feature amount of the white line end point;
A white line determination unit that evaluates the white line candidate point based on at least the feature amount of the white line start point and the feature amount of the white line end point, and determines whether or not the linear component is a white line. Vehicle white line recognition device.
前記白線判定部は、前記白線開始点の特徴量と前記白線終了点の特徴量と前記路面高さの特徴量とに基づいて前記白線候補点を評価し、前記直線成分が白線か否かを判定することを特徴とする請求項１記載の車両用白線認識装置。 A road surface height feature amount calculating unit that calculates the height of the white line candidate point from the road surface as a road surface height feature amount;
The white line determination unit evaluates the white line candidate point based on the feature amount of the white line start point, the feature amount of the white line end point, and the feature amount of the road surface height, and determines whether or not the straight line component is a white line. The white line recognition device for a vehicle according to claim 1, wherein the determination is made.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013070129A JP6014534B2 (en) | 2013-03-28 | 2013-03-28 | Vehicle white line recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013070129A JP6014534B2 (en) | 2013-03-28 | 2013-03-28 | Vehicle white line recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014194605A JP2014194605A (en) | 2014-10-09 |
| JP6014534B2 true JP6014534B2 (en) | 2016-10-25 |
Family
ID=51839834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013070129A Active JP6014534B2 (en) | 2013-03-28 | 2013-03-28 | Vehicle white line recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6014534B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6809166B2 (en) * | 2016-11-25 | 2021-01-06 | 日産自動車株式会社 | Road surface judgment method and road surface judgment device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11219435A (en) * | 1998-02-03 | 1999-08-10 | Honda Motor Co Ltd | White line detector for automobile |
| JP2004145501A (en) * | 2002-10-23 | 2004-05-20 | Nissan Motor Co Ltd | Road white line recognizing device |
-
2013
- 2013-03-28 JP JP2013070129A patent/JP6014534B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014194605A (en) | 2014-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10922561B2 (en) | Object recognition device and vehicle travel control system | |
| US9676333B2 (en) | Vehicle control system | |
| US9223311B2 (en) | Vehicle driving support control apparatus | |
| JP5363920B2 (en) | Vehicle white line recognition device | |
| JP5363921B2 (en) | Vehicle white line recognition device | |
| JP5603687B2 (en) | Vehicle white line recognition device | |
| JP6805965B2 (en) | Collision avoidance control device | |
| JP6787157B2 (en) | Vehicle control device | |
| WO2016117603A1 (en) | Vehicle travel control device and travel control method | |
| JP4937933B2 (en) | Outside monitoring device | |
| JP5538098B2 (en) | Vehicle white line recognition device | |
| JP7007856B2 (en) | White line recognition device for vehicles | |
| JP6322024B2 (en) | Outside monitoring device | |
| JP6185367B2 (en) | Driving assistance device | |
| JP6340738B2 (en) | Vehicle control device, vehicle control method, and vehicle control program | |
| JP5444130B2 (en) | Vehicle white line recognition device | |
| JP6014534B2 (en) | Vehicle white line recognition device | |
| JP6200780B2 (en) | Lane recognition determination device | |
| JP6082293B2 (en) | Vehicle white line recognition device | |
| JP5452518B2 (en) | Vehicle white line recognition device | |
| JP6259239B2 (en) | Vehicle white line recognition device | |
| JP4807763B1 (en) | Outside monitoring device | |
| JP5568029B2 (en) | Vehicle white line recognition device | |
| JP6259238B2 (en) | Vehicle white line recognition device | |
| US10867397B2 (en) | Vehicle with a driving assistance system with a low power mode |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160926 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6014534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |