JP4572826B2 - Road marking line detection device - Google Patents
Road marking line detection device Download PDFInfo
- Publication number
- JP4572826B2 JP4572826B2 JP2005352517A JP2005352517A JP4572826B2 JP 4572826 B2 JP4572826 B2 JP 4572826B2 JP 2005352517 A JP2005352517 A JP 2005352517A JP 2005352517 A JP2005352517 A JP 2005352517A JP 4572826 B2 JP4572826 B2 JP 4572826B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- feature point
- road
- edge
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、道路区画線検出装置に係り、特に、車両に搭載され、車両周辺の路面を撮像する撮像手段により撮像された撮像画像に基づいて、路面上に描かれ又は設置される複数種類の道路区画線を検出することが可能な道路区画線検出装置に関する。 The present invention relates to a road marking line detection device, and more particularly, a plurality of types of images drawn or installed on a road surface based on captured images that are mounted on a vehicle and captured by an imaging unit that images a road surface around the vehicle. The present invention relates to a road marking line detection device capable of detecting a road marking line.
従来から、路面上に描かれた車両の走行する車線を区切る白線などの道路区画線を検出する装置が知られている（例えば、特許文献１参照）。この装置は、自車両に搭載された車両前方領域を撮影するＣＣＤカメラを備えており、そのＣＣＤカメラにより撮像された撮像画像を処理することにより道路区画線を検出する。具体的には、白線などの道路区画線が含まれる撮像画像から道路区画線と道路との輝度変化が所定値以上に大きい部分をエッジ点として抽出し、それら複数のエッジ点についてハフ変換を施して直線近似線を求め、道路区画線の形状を検出する。 2. Description of the Related Art Conventionally, an apparatus that detects road marking lines such as white lines that divide a lane in which a vehicle drawn on a road runs is known (for example, see Patent Document 1). This apparatus includes a CCD camera that captures a vehicle front area mounted on the host vehicle, and detects a road marking line by processing a captured image captured by the CCD camera. Specifically, a portion where the luminance change between the road lane marking and the road is larger than a predetermined value is extracted as an edge point from the captured image including the road lane marking such as a white line, and Hough transformation is performed on the plurality of edge points. Thus, a straight line approximation line is obtained, and the shape of the road marking line is detected.
ところで、車線を区切る道路区画線を構成する物標としては、道路上に進行方向に向かって隙間なく実線状に描かれ或いは隙間を空けて破線状に描かれる白線などの他に、道路上に進行方向に向かって所定間隔をあけて間欠的に描かれ或いは配置されて互いに隣り合うもの同士を結ぶことにより仮想的に線状となる点列状のボッツドッツ（直径１０ｃｍ程度の点）やキャッツアイ（反射板）などが存在する。 By the way, as a target constituting the road lane marking that divides the lane, in addition to the white line drawn on the road in a solid line shape with no gap in the traveling direction or drawn in a broken line shape with a gap, on the road A dot-bottom bots dot (a point having a diameter of about 10 cm) or a cat's eye that is drawn or arranged intermittently at predetermined intervals in the direction of travel and is connected to each other and is virtually linear. (Reflector) etc. exist.
上記した実線状や破線状の道路区画線は、カメラ撮像画像内に少なくとも連続して隙間なく映し出される部分が存在する線である。この点、上記した特許文献１記載の装置によれば、抽出したエッジ点にノイズによるものが含まれていても、その線状の道路区画線を表したエッジ点は線状に並ぶこととなるので、検出エッジ点に基づいて道路区画線を正確に検出することは容易となる。一方、上記した間欠的な点列状の物標の大きさは線状の道路区画線を構成する物標の大きさに比して小さいので、間欠的な物標に対して、線状の道路区画線を構成する物標と同様の手法によりエッジ点抽出を施すものとすると、ノイズによる影響を受け易くなり、その結果、道路区画線を正確に検出することが困難となることがある。 The above-mentioned solid line-like or broken line-like road dividing line is a line in which there is a portion that is projected at least continuously without a gap in the camera-captured image. In this regard, according to the apparatus described in Patent Document 1 described above, even if the extracted edge point includes noise, the edge point representing the linear road demarcation line is arranged in a line. Therefore, it is easy to accurately detect the road marking line based on the detected edge point. On the other hand, since the size of the above-mentioned intermittent point-sequence target is smaller than the size of the target constituting the linear road lane marking, If edge points are extracted by a method similar to that for a target constituting a road lane marking, it is likely to be affected by noise, and as a result, it may be difficult to accurately detect the road lane marking.
そこで、線状の道路区画線に対してエッジ点を抽出する手法と、間欠的な点列状の道路区画線に対してエッジ点を抽出する手法と、を互いに異ならせることが考えられる（例えば、特許文献２参照）。
しかしながら、上記した特許文献２には、線状の道路区画線に対してエッジ点を抽出する手法と、点列状の道路区画線に対してエッジ点を抽出する手法と、を切り替える条件は何ら記載されていない。従って、路面上に描かれ或いは設置された道路区画線について線状のものと点列状のものとが混在する道路においては、カメラ撮像画像から複数種類の道路区画線をそれぞれ検出するのに、その道路区画線検出が適切に行われないおそれがある。 However, in Patent Document 2 described above, there is no condition for switching between a method for extracting edge points for a linear road lane marking and a method for extracting edge points for a point-like road lane marking. Not listed. Therefore, on roads in which linear and dotted lines of road lane markings drawn or installed on the road surface are mixed, to detect each of a plurality of types of road lane markings from a camera captured image, The road lane marking may not be detected properly.
本発明は、上述の点に鑑みてなされたものであり、路面上の複数種類の道路区画線をできるだけ正確に検出できる道路区画線検出装置を提供することを目的とする。 The present invention has been made in view of the above-described points, and an object of the present invention is to provide a road marking line detection device that can detect a plurality of types of road marking lines on a road surface as accurately as possible.
上記の目的は、車両周辺の路面を撮像する撮像手段と、前記撮像手段により撮像された撮像画像から、路面上の道路区画線を表す特徴点を抽出する特徴点抽出手段と、を備え、前記特徴点抽出手段により抽出された前記特徴点に基づいて、路面上の複数種類の道路区画線を検出可能な道路区画線検出装置であって、前記特徴点抽出手段が、前記撮像手段により撮像された撮像画像から前記特徴点を抽出するうえで、主に路面上に点列状に描かれ又は設置された道路区画線を表す特徴点を抽出するのに適した第１の特徴点抽出手段と、前記撮像手段により撮像された撮像画像から前記特徴点を抽出するうえで、主に路面上に線状に描かれ又は設置された道路区画線を表す特徴点を抽出するのに適した、前記第１の特徴点抽出手段とは異なる第２の特徴点抽出手段と、を有すると共に、前記第１の特徴点抽出手段及び前記第２の特徴点抽出手段により抽出された前記特徴点からのエッジ線の生成が成功するか否かを判別するエッジ線生成可否判別手段と、前記エッジ線生成可否判別手段によりエッジ線の生成が成功すると判別された場合に、該生成されたすべてのエッジ線に対して、前記第１の特徴点抽出手段及び前記第２の特徴点抽出手段により抽出された前記特徴点による投票を行う投票手段と、前記投票手段により投票された結果として所定しきい値以上の得票数を獲得したエッジ線を道路区画線の候補線として設定する候補線設定手段と、前記候補線設定手段により設定された道路区画線の候補線のうちから所定条件に合致するものを道路区画線として検出する検出手段と、道路区画線の検出に用いる前記特徴点の抽出が前記第１の特徴点抽出手段により行われている状況において、前記エッジ線生成可否判別手段により該第１の特徴点抽出手段により抽出された前記特徴点からのエッジ線の生成が成功すると判別され、かつ、該生成されたエッジ線に基づいて前記検出手段により前記所定条件に合致する道路区画線の候補線が道路区画線として検出された場合、該道路区画線として検出された候補線であるエッジ線が前記投票手段による投票の結果として獲得していた得票数が、前記所定しきい値よりも大きな所定数以上であるか否かを判別する得票数判別手段と、前記得票数判別手段により肯定判定がなされる場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第１の特徴点抽出手段によるものから前記第２の特徴点抽出手段によるものへ切り替える第１の切替手段と、を備える道路区画線検出装置により達成される。 The above object includes: an imaging unit that images a road surface around a vehicle; and a feature point extraction unit that extracts a feature point representing a road marking line on a road surface from a captured image captured by the imaging unit, A road marking line detection device capable of detecting a plurality of types of road marking lines on a road surface based on the feature points extracted by the feature point extraction means, wherein the feature point extraction means is imaged by the imaging means. First feature point extraction means suitable for extracting feature points representing road lane markings drawn or installed mainly on a road surface when extracting the feature points from the captured image In extracting the feature points from the picked-up image picked up by the image pickup means, it is suitable for extracting feature points representing road lane markings mainly drawn or installed in a line on the road surface, Second different from the first feature point extraction means And having a characteristic point extracting means, the edge that determines whether generation of edge line from the feature points extracted by the first feature point extraction means and the second feature point extraction means is successful When it is determined that the generation of the edge line is successful by the line generation availability determination unit and the edge line generation availability determination unit, for all the generated edge lines, the first feature point extraction unit and the Voting means for voting based on the feature points extracted by the second feature point extracting means, and edge lines that have obtained a vote count equal to or greater than a predetermined threshold as a result of voting by the voting means as road lane line candidates a candidate line setting means for setting as a line, a detection means for detecting that satisfies a predetermined condition from among the candidate stripes of the road lane lines set by the candidate line setting means as a road lane lines, road In situations where the extraction of the feature points used for the detection of a lane mark is being performed by said first feature point extraction unit, the features extracted by the first feature point extraction means by the edge line generating permission determining means When it is determined that the generation of the edge line from the point is successful, and the candidate line of the road lane line that matches the predetermined condition is detected as the road lane line by the detection unit based on the generated edge line, It is determined whether or not the number of votes obtained as a result of voting by the voting means on the edge line that is a candidate line detected as the road marking line is equal to or greater than a predetermined number greater than the predetermined threshold value. When the affirmative determination is made by the vote number discriminating means and the vote number discriminating means , the extraction of the feature points used for the detection of road lane markings is performed by the first feature point extracting means from the above A first switching means for switching to one of the second feature point extraction means is accomplished by road segment ray detection device comprising a.
この態様の発明においては、道路区画線の検出に用いる特徴点の抽出が、点列状の道路区画線を表す特徴点を抽出するのに適した第１の特徴点抽出手段を用いて行われている状況において、その抽出された特徴点に基づいて実際に検出された道路区画線を構成した特徴点に関するパラメータが、線状の道路区画線であることを示す所定の要件を満たした場合に、以後の道路区画線の検出に用いる特徴点の抽出が、線状の道路区画線を表す特徴点を抽出するのに適した第２の特徴点抽出手段を用いたものへ切り替わる。かかる構成によれば、路面上に線状及び点列状などの複数種類の道路区画線が混在してその道路区画線が点列状のものから線状のものへ移行する状況においても、それら複数種類の道路区画線をそれぞれできるだけ正確に検出することが可能となる。
In the invention of this aspect, the feature points used for detecting the road lane markings are extracted using the first feature point extracting means suitable for extracting the feature points representing the point-like road lane markings. When the parameters related to the feature points constituting the road lane markings actually detected based on the extracted feature points satisfy the predetermined requirements indicating that they are linear road lane markings Then, the extraction of the feature points used for the detection of the road lane markings is switched to that using the second feature point extracting means suitable for extracting the feature points representing the linear road lane markings. According to such a configuration, even in a situation where a plurality of types of road lane markings such as lines and dot trains are mixed on the road surface, and the road lane markings shift from a dot train to a linear one, A plurality of types of road lane markings can be detected as accurately as possible.
尚、上記した道路区画線検出装置において、前記第１の切替手段は、前記得票数判別手段により肯定判定がなされる状態が第１所定時間継続した或いは第１所定フレーム数連続した場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第１の特徴点抽出手段によるものから前記第２の特徴点抽出手段によるものへ切り替えることとしてもよい。 In the road lane marking detection device described above, the first switching unit may be configured to switch the road when the affirmative determination by the vote number determination unit continues for the first predetermined time period or the first predetermined frame number continues. The extraction of the feature points used for the detection of the lane markings may be switched from that by the first feature point extraction unit to that by the second feature point extraction unit.
また、上記した道路区画線検出装置において、道路区画線の検出に用いる前記特徴点の抽出が前記第２の特徴点抽出手段により行われている状況において、該抽出された前記特徴点に基づく前記検出手段による道路区画線の検出が成功するか否かを判別する検出可否判別手段と、前記検出可否判別手段により否定判定がなされる場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第２の特徴点抽出手段によるものから前記第１の特徴点抽出手段によるものへ切り替える第２の切替手段と、を備えることとすれば、道路区画線が線状のものから点列状のものへ移行する状況においても、それら複数種類の道路区画線をそれぞれできるだけ正確に検出することが可能となる。
また、上記した道路区画線検出装置において、前記第２の切替手段は、前記検出可否判別手段により否定判定がなされる状態が第２所定時間継続した或いは第２所定フレーム数連続した場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第２の特徴点抽出手段によるものから前記第１の特徴点抽出手段によるものへ切り替えることとしてもよい。
また、上記した道路区画線検出装置において、前記投票手段による投票は、一特徴点が一エッジ線に対して行う投票の数が、特徴点がエッジ線に近い位置にあるほど高くなり、特徴点がエッジ線から離れた位置にあるほど低くなるように行われることとしてもよい。
Further, in the above road marking line detection device, in the situation where the extraction of the feature points used for detection of road marking lines is performed by the second feature point extraction means, the feature points based on the extracted feature points Detection capability determining means for determining whether or not the detection of road lane markings by the detection means is successful , and extraction of the feature points used for detection of road lane markings when a negative determination is made by the detection capability determination means the second switching means for switching to by the first feature point extraction means from those of the second feature point extraction unit, if it comprises a point rows from those road segment line is linear Even in the situation of shifting to a vehicle, it is possible to detect the plurality of types of road lane markings as accurately as possible.
Further, in the road marking line detection device described above, the second switching unit is configured to perform a road operation when the negative determination by the detection possibility determination unit continues for a second predetermined time or the second predetermined number of frames. The extraction of the feature points used for detection of the lane markings may be switched from that by the second feature point extraction unit to that by the first feature point extraction unit.
In the road marking line detection device described above, the number of votes that one feature point performs for one edge line increases as the feature point is closer to the edge line. It is good also as performing so that it may become so low that it exists in the position far from an edge line.
尚、上記した道路区画線検出装置において、前記第１の特徴点抽出手段は、前記撮像手段により撮像された撮像画像から、輝度をモルフォロジ演算して得られた輝度演算値が所定範囲にある部分を前記特徴点として抽出することとしてもよく、また、前記第２の特徴点抽出手段は、前記撮像手段により撮像された撮像画像から、輝度を微分演算して得られた輝度微分値が所定値以上である部分を前記特徴点として抽出することとしてもよい。 In the road marking line detection device described above, the first feature point extraction unit includes a portion in which a luminance calculation value obtained by performing a morphological calculation on luminance from a captured image captured by the imaging unit is within a predetermined range. May be extracted as the feature point, and the second feature point extracting unit may obtain a predetermined value of the luminance differential value obtained by differentiating the luminance from the captured image captured by the imaging unit. It is good also as extracting the part which is the above as the said feature point.
本発明によれば、路面上に線状及び点列状などの複数種類の道路区画線が混在する状況においても、それら複数種類の道路区画線をそれぞれできるだけ正確に検出することができる。 According to the present invention, even in a situation where a plurality of types of road lane markings such as lines and dot trains are mixed on the road surface, the plurality of types of road lane markings can be detected as accurately as possible.
図１は、本発明の一実施例である車両に搭載される道路区画線検出装置１０を備えるシステムの構成図を示す。本実施例の道路区画線検出装置１０は、カメラ１２及び画像処理部１４を備えている。カメラ１２は、車体前部のバンパやグリルに或いは車室内前部のアウタービューミラーのステイに配設されている。カメラ１２は、車両前方の進行方向に向いた光軸を有し、車両前方領域を撮影する例えばＣＣＤカメラである。
FIG. 1 shows a configuration diagram of a system including a road marking line detection device 10 mounted on a vehicle according to an embodiment of the present invention. The road lane marking detection apparatus 10 according to the present embodiment includes a
カメラ１２には、画像処理部１４が接続されている。カメラ１２が撮影した結果得られた撮像画像は、映像信号として画像処理部１４に供給される。画像処理部１４は、後に詳述する如く、カメラ１２から送られてくる映像信号に基づいて、道路上に描かれ或いは配置されている車両の走行する車線の両側を区切る実線状や破線状の白線や点列状などの物標（ボッツドッツ，キャッツアイなど）を検出し、その物標により構成される道路区画線を検出・推定する。そして、道路区画線検出装置１０は、その画像処理部１４において検出・推定した道路区画線に対する自車両の横位置を算出する。
An
本実施例のシステムは、上記した道路区画線検出装置１０に接続する自動操舵制御装置１６を備えている。自動操舵制御装置１６は、電子制御ユニット（以下、操舵ＥＣＵと称す）１８を備えている。操舵ＥＣＵ１８には、操舵モータ２０及び車速センサ２２が接続されている。操舵モータ２０は、操舵ＥＣＵ１８から供給される指令信号に従って車両を操舵させるためのトルクを発生する。車速センサ２２は、車両の速度に応じた信号を出力する。操舵ＥＣＵ１８は、車速センサ２２の出力信号に基づいて車速を検出する。また、操舵ＥＣＵ１８には、道路区画線検出装置１０の算出した自車両の横位置情報が供給される。操舵ＥＣＵ１８は、自車両の横位置から例えば自車両が道路区画線から逸脱しそうになったときに、逸脱回避のための車速に応じた車両の自動操舵を実現すべく操舵モータ２０に対して指令信号を供給する（逸脱回避制御）。
The system of the present embodiment includes an automatic steering control device 16 connected to the road marking line detection device 10 described above. The automatic steering control device 16 includes an electronic control unit (hereinafter referred to as a steering ECU) 18. A
以下、本実施例の道路区画線検出装置１０の具体的な動作について説明する。 Hereinafter, a specific operation of the road marking line detection apparatus 10 of the present embodiment will be described.
図２は、車両の走行する車線を区切る道路区画線の種類を表した図を示す。尚、図２には、道路区画線を構成する物標として、（Ａ）白線が用いられている道路、及び、（Ｂ）ボッツドッツ（Botts Dots）が用いられている道路を、車両に搭載されたカメラ１２を用いて撮影した際の撮像画像がそれぞれ示されている。
FIG. 2 is a diagram showing the types of road lane markings that divide the lane in which the vehicle travels. In FIG. 2, (A) a road where a white line is used and (B) a road where Botts Dots are used are mounted on a vehicle as targets constituting a road marking line. The captured images when captured using the
車両の走行する路面上に描かれ或いは設置される道路区画線としては、一般的に日本や北米など世界中で使用されている、図２（Ａ）に示す如く進行方向へ向けて隙間のない実線状に延びた白線や黄線のみで構成される道路区画線や、進行方向へ向けて隙間の空いた破線状の白線等のみで構成される道路区画線がある（何れも幅２０ｃｍ程度）。また、主に北米などで使用されている、図２（Ｂ）に示す如きボッツドッツで構成される道路区画線がある。このボッツドッツは、直径１０ｃｍ程度の円盤状のセラミックスなどで構成された部材であり、道路に所定間隔（例えば１メートル）をあけて埋め込まれている。更に、日本ではカーブ路で北米では直線路でも使用されている、キャッツアイ（Cats Eye）で構成される道路区画線がある。このキャッツアイは、入射光を反射させる反射体で構成された部材であり、道路に所定間隔（例えば１メートル）をあけて埋め込まれている。 As road marking lines drawn or installed on the road surface on which the vehicle travels, there are no gaps in the direction of travel as shown in FIG. There are road lane markings that consist only of white lines and yellow lines that extend in a solid line, and road lane markings that consist only of dashed white lines with gaps in the direction of travel (both are about 20 cm wide). . In addition, there is a road lane marking composed of botsdots as shown in FIG. 2B, which is mainly used in North America and the like. The botsdots are members made of disk-shaped ceramics having a diameter of about 10 cm, and are embedded in the road with a predetermined interval (for example, 1 meter). In addition, there is a road lane marking consisting of Cats Eye, which is also used for curved roads in Japan and straight roads in North America. The cat's eye is a member made of a reflector that reflects incident light, and is embedded in the road with a predetermined interval (for example, 1 meter).
道路は一般にアスファルトで舗装されていることが多いので、取得した撮像画像には道路路面が輝度（明るさ）の低い黒色で映し出される。一方、白線やボッツドッツなどの道路区画線は、比較的高い輝度で描かれ或いは設置されるので、取得した撮像画像には道路区画線が輝度の高い色（白色や黄色）で映し出される。従って、道路と道路区画線を構成する物標との輝度の違いを利用してカメラ撮像画像から線状や点列状の物標を抽出することが可能である。 Since roads are generally paved with asphalt, the road surface of the road is displayed in black with low luminance (brightness) in the acquired captured image. On the other hand, road lane markings such as white lines and botsdots are drawn or installed with a relatively high luminance, so that the road lane markings are displayed in a high luminance color (white or yellow) in the acquired captured image. Therefore, it is possible to extract a line-shaped or point-sequence-shaped target from a camera-captured image using the difference in luminance between the road and the target constituting the road lane marking.
図３は、本実施例の道路区画線検出装置１０の有する画像処理部１４の要部構成図を示す。本実施例の道路区画線検出装置１０において、画像処理部１４は、定期的にカメラ１２の撮像した撮像画像を取得する。そして、撮像画像を１フレーム取得するごとに、まず、その１フレームの撮像画像全体を所定間隔で左右方向に走査することにより、画素ごとの輝度値を測定した画像データを生成する。
FIG. 3 is a block diagram of the main part of the
画像処理部１４は、図３に示す如く、カメラ１２からの入力画像データが入力される、主に実線状や破線状の道路区画線を表す特徴点を抽出するのに適したライン検出フィルタ３０と、主にボッツドッツなどの点列状の道路区画線を表す特徴点を抽出するのに適した点列検出フィルタ３２と、を有している。尚、これらのフィルタ３０，３２によるエッジ点の抽出は、撮像画像全体のうち道路区画線を構成する物標が存在する可能性が高い領域のみについて行うこととすれば、処理時間を短縮するうえで好適であるが、撮像画像全体についてそのエッジ点抽出を行った後に、道路区画線を構成する物標が存在する可能性が高い領域のみをフィルタ処理することとしても、同様の効果を得ることができる。
As shown in FIG. 3, the
ライン検出フィルタ３０は、入力画像データの画素ごとの輝度について微分演算を施すことにより、カメラ撮像画像から輝度変化（コントラスト）が所定閾値を超えて大きい画素部分のみを通過させるフィルタである。画像処理部１４は、取得した１フレームの撮像画像から、ライン検出フィルタ３０を用いて、画像左側から右側へ向けて輝度が所定閾値を超えて高く変化する画素部分を上がりエッジ点として抽出し、また、画像左側から右側へ向けて輝度が所定閾値を超えて低く変化する画素部分を下がりエッジ点として抽出する。
The
また、点列検出フィルタ３２は、入力画像データの輝度についてモルフォロジ演算を施すことにより、輝度が所定値を超えて高い部分のうち、ボッツドッツやキャッツアイなどの点列状の道路区画線を構成する一物標と同程度の大きさ（横幅）を有するものを構成する画素部分のみを通過させるフィルタである。画像処理部１４は、取得した１フレームの撮像画像から、点列検出フィルタ３２を用いて、点列状の道路区画線を構成する一物標と同程度の大きさを有する物標を構成する輝度が所定値を超えて高い画素部分すべてを特徴点であるエッジ点として抽出する。
Further, the point
画像処理部１４は、また、カメラ１２からの入力画像データが入力されるフィルタを上記のライン検出フィルタ３０と上記の点列検出フィルタ３２とで切り替えるための切替スイッチ３４を有している。切替スイッチ３４は、後に詳述する如く、所定の切替条件に従って、ライン検出フィルタ３０及び点列検出フィルタ３２の何れか一方が選択的に入力画像データのフィルタ処理を行うように制御される。ライン検出フィルタ３０及び点列検出フィルタ３２はそれぞれ、切替スイッチ３４の切替状態に応じて選択的に、１フレームの撮像画像からエッジ点を抽出してそのエッジ点情報を出力する。
The
画像処理部１４は、ライン検出フィルタ３０又は点列フィルタ３２からのエッジ点についてハフ変換を施し、線状のエッジ線の生成を試みる。道路区画線を構成する物標が実線状や破線状の白線などであるときは、抽出されるエッジ点が１フレーム内にほとんど隙間なく現れる部分が存在するので、その１フレームの撮像画像からその道路区画線に沿ったエッジ線を生成することは比較的容易である。また、道路区画線を構成する物標がボッツドッツなどであるときは、抽出されるエッジ点が１フレーム内に仮想的に線を示す点列となって現れるので、その１フレームの撮像画像からその道路区画線に沿ったエッジ線を生成することは可能である。
The
画像処理部１４は、上記処理の結果、エッジ線の生成に成功したときは、生成されたすべてのエッジ線に対して抽出エッジ点による投票を行い、各エッジ線の得票数をそれぞれ算出する。尚、エッジ線に対して投票を行うエッジ点は、そのエッジ線の位置から隣接する画素までの間に存在するエッジ点であって、また、一エッジ点が一エッジ線に対して行う投票の数は、エッジ点がエッジ線に近い位置にあるほど高くなり、エッジ線から離れた位置にあるほど低くなることとする。この場合、エッジ線の得票数は、そのエッジ線に近接するエッジ点の数が多いほど多くなり、また、そのエッジ線に対してエッジ点が近いほど多くなる。
As a result of the above processing, when the generation of the edge line is successful, the
道路路面上に描かれ或いは設置された真の道路区画線は画像処理部１４によりカメラ撮像画像から多数のエッジ点の集まりとして抽出される筈であるので、抽出エッジ点に基づいて生成されたエッジ線が道路路面上に描かれ或いは設置された真の道路区画線を表すものであれば、そのエッジ線の得票数は多くなる傾向にある。
Since the true road lane marking drawn or installed on the road surface should be extracted as a collection of a large number of edge points from the camera captured image by the
画像処理部１４は、生成したすべてのエッジ線について得票数を算出した後、所定しきい値以上の得票数を獲得したエッジ線を道路区画線の候補線として定める。そして、その候補線のうちに、例えば車線両側左右にある道路区画線同士の間隔程度の距離だけ離れた位置を中心にした所定範囲内に対となる候補線が存在することや前回検出・推定された道路区画線の前回撮像画像上での位置からその位置を中心にして所定範囲内にあることなどの、道路区画線としての所定条件に合致するものが存在するか否かを判別し、肯定判定がなされた場合に、その所定条件に合致する候補線を車線両側の左右それぞれの境界に対応する道路区画線として検出・推定する。
After calculating the number of votes for all the generated edge lines, the
図４は、入力画像データが入力されるフィルタを設定すべく、本実施例の道路区画線検出装置１０において画像処理部１４が実行する制御ルーチンの一例のフローチャートを示す。図４に示すルーチンは、所定時間ごとに繰り返し実行されるルーチンである。図４に示すルーチンが起動されると、まずステップ１００の処理が実行される。
FIG. 4 shows a flowchart of an example of a control routine executed by the
ステップ１００では、現状においてカメラ１２からの入力画像データが入力されて撮像画像からエッジ点を抽出するのに用いているフィルタが、ライン検出フィルタ３０であるか点列検出フィルタ３２であるかを判定する処理が実行される。その結果、ライン検出フィルタ３０であると判定されるときは、次にステップ１０２の処理が実行され、一方、点列検出フィルタ３２であるときは、次にステップ１１０の処理が実行される。
In
ステップ１０２では、エッジ点抽出にライン検出フィルタ３０を用いた結果として、抽出したエッジ点に基づいて所定条件に合致する候補線が存在することにより道路区画線の検出・推定が成功したか否かが判別される。その結果、道路区画線の検出・推定が成功したと判別された場合は、以後、フィルタ切替を行うことなく今回のルーチンは終了される。一方、道路区画線の検出・推定が、所定しきい値以上の得票数を獲得したエッジ線がない或いは所定条件に合致するエッジ線がないことなどに起因して成功しなかったと判別された場合は、次にステップ１０４の処理が実行される。
In
ステップ１０４では、エッジ点抽出にライン検出フィルタ３０を用いた結果として道路区画線の検出・推定が成功しない状態の継続時間Ｔ１が所定時間Ｔ１０（少なくとも複数フレームの撮像画像が取得できる時間であり、例えば２秒など）以上であるか否かが判別される。その結果、Ｔ１≧Ｔ１０が成立しないと判別された場合は、次にステップ１０６においてその継続時間Ｔ１をインクリメントする処理が実行される。一方、Ｔ１≧Ｔ１０が成立すると判別された場合は、次にステップ１０８の処理が実行される。
In
ステップ１０８では、切替スイッチ３４の切替状態を変化させることにより、カメラ１２からの入力画像データが入力されて撮像画像からエッジ点を抽出するのに用いるフィルタを、ライン検出フィルタ３０から点列検出フィルタ３２へ切り替えると共に、上記の継続時間Ｔ１をゼロにクリアする処理が実行される。本ステップ１０８の処理が実行されると、以後、カメラ１２の撮像画像からエッジ点を抽出するのに点列検出フィルタ３２が利用されることとなる。
In
また、ステップ１１０では、エッジ点抽出に点列検出フィルタ３２を用いた結果として、抽出したエッジ点に基づいて所定条件に合致する候補線が存在することにより道路区画線の検出・推定が成功したか否かが判別される。その結果、道路区画線の検出・推定が成功しなかったと判別された場合は、以後、フィルタ切替を行うことなく今回のルーチンは終了される。一方、道路区画線の検出・推定が成功したと判別された場合は、次にステップ１１２の処理が実行される。
Further, in
ステップ１１２では、上記ステップ１１０で道路区画線として検出・推定が成功したと判別されたエッジ線が獲得していた得票数Ｎが所定数Ｎ０以上であるか否かが判別される。尚、この所定数Ｎ０は、エッジ線を道路区画線の候補線として定める際に用いる上記の所定しきい値よりも大きな数であり、通常はボッツドッツなどの点列状の道路区画線では獲得することがなくかつ実線状や破線状の道路区画線では獲得する可能性の高い数に設定されている。その結果、Ｎ≧Ｎ０が成立しないと判別された場合は、以後もエッジ点抽出に用いるフィルタを点列検出フィルタ３２に維持すべく、今回のルーチンは終了される。一方、Ｎ≧Ｎ０が成立すると判別された場合は、次にステップ１１４の処理が実行される。
In
ステップ１１４では、エッジ点抽出に点列検出フィルタ３２を用いた結果として道路区画線の検出・推定が成功する一方で、Ｎ≧Ｎ０が成立する状態の継続時間Ｔ２が所定時間Ｔ２０（少なくとも複数フレームの撮像画像が取得できる時間であり、例えば２秒など）以上であるか否かが判別される。その結果、Ｔ２≧Ｔ２０が成立しないと判別された場合は、次にステップ１１６においてその継続時間Ｔ２をインクリメントする処理が実行される。一方、Ｔ２≧Ｔ２０が成立すると判別された場合は、次にステップ１１８の処理が実行される。
In
ステップ１１８では、切替スイッチ３４の切替状態を変化させることにより、カメラ１２からの入力画像データが入力されて撮像画像からエッジ点を抽出するのに用いるフィルタを、点列検出フィルタ３２からライン検出フィルタ３０へ切り替えると共に、上記の継続時間Ｔ２をゼロにクリアする処理が実行される。本ステップ１１８の処理が実行されると、以後、カメラ１２の撮像画像からエッジ点を抽出するのにライン検出フィルタ３０が利用されることとなる。
In
上記図４に示すルーチンによれば、道路区画線検出に用いるエッジ点の抽出がライン検出フィルタ３０を用いて行われている状況において、道路区画線が検出・推定されなくなった場合に、エッジ点抽出をライン検出フィルタ３０から点列検出フィルタ３２へ切り替え、一方、道路区画線検出に用いるエッジ点の抽出が点列検出フィルタ３２を用いて行われている状況において、道路区画線として検出・推定されたエッジ線が獲得していた得票数Ｎが所定数Ｎ０以上である場合に、エッジ点抽出を点列検出フィルタ３２からライン検出フィルタ３０へ切り替えることができる。
According to the routine shown in FIG. 4 described above, when a road lane line is no longer detected / estimated in the situation where an edge point used for road lane line detection is extracted using the
カメラ撮像画像からエッジ点を抽出する手法が線状の道路区画線を表すエッジ点を抽出するのに適したライン検出フィルタ３０を用いたものであるときは、路面上に描かれ或いは設置された道路区画線について実線状のものや破線状のもの，ボッツドッツなどの点列状のものが混在する道路上の、道路区画線が線状のものから点列状のものへ変化するシーンにおいて、その前後を通じて撮像画像から抽出される上がりエッジ点及び下がりエッジ点の数が極端に減少することで、その後、１フレームの撮像画像からその点列に沿った所定しきい値以上の得票数を獲得するエッジ線を生成することが困難となり、点列状の道路区画線が検出・推定されなくなる事態が生じ得る。
When the method for extracting the edge point from the camera-captured image uses the
これに対して、本実施例において、ライン検出フィルタ３０を用いた道路区画線検出が成功しなくなった場合、上述の如く、以後、道路区画線検出に用いるエッジ点の抽出が点列状の道路区画線を表すエッジ点を抽出するのに適した点列検出フィルタ３２を用いたものへ切り替わるため、点列状の道路区画線を表すエッジ点が適切に抽出されることとなり、所定しきい値以上の得票数を獲得するエッジ線を生成し難くなるのは回避される。従って、本実施例の道路区画線検出装置１０によれば、路面上の道路区画線が線状のものから点列状のものへ移行する状況において、それら複数種類の道路区画線をそれぞれできるだけ正確に検出することが可能となっている。
On the other hand, in this embodiment, when the road lane marking detection using the
また、カメラ撮像画像からエッジ点を抽出する手法が点列状の道路区画線を表すエッジ点を抽出するのに適した点列検出フィルタ３２を用いたものであるときは、路面上に描かれ或いは設置された道路区画線について実線状のものや破線状のもの，ボッツドッツなどの点列状のものが混在する道路上の、道路区画線が点列状のものから線状のものへ変化するシーンにおいて、その前後を通じて撮像画像から道路区画線として検出・推定されるエッジ線の得票数が極端に上昇する事態は生じ得るが、線状の道路区画線及び点列状の道路区画線を共に正常に検出・推定することは可能である。しかし、モルフォロジ演算を施す点列検出フィルタ３２は、微分演算を施すライン検出フィルタ３０に比べて、演算量の多い演算負荷が高いフィルタであるため、点列検出フィルタ３２を用いたエッジ点抽出では、そのエッジ点抽出のための処理時間が長くなるなどの不都合が生じ得る。
Further, when the method of extracting edge points from the camera-captured image uses a point
これに対して、本実施例において、点列検出フィルタ３２を用いた道路区画線検出によって道路区画線として検出・推定されたエッジ線の得票数が、通常の点列状の道路区画線では獲得することのないほどに多くなった場合、上述の如く、以後、道路区画線検出に用いるエッジ点の抽出が線状の道路区画線を表すエッジ点を抽出するのに適したライン検出フィルタ３０を用いたものへ切り替わるため、線状の道路区画線を表すエッジ点が大きな演算負荷を強いることなく適切に抽出されることとなる。従って、本実施例の道路区画線検出装置１０によれば、路面上の道路区画線が点列状のものから線状のものへ移行する状況において、それら複数種類の道路区画線をそれぞれできるだけ演算負荷の軽減を図りつつ正確に検出することが可能となっている。
On the other hand, in the present embodiment, the number of votes of edge lines detected and estimated as road lane markings by road lane marking detection using the point
このため、本実施例のシステムによれば、誤った道路区画線に対する自車両の横位置が算出される事態や点列状の道路区画線に対する自車両の横位置が全く算出されない事態を抑止することができ、自動操舵制御装置１６による自車両の道路区画線からの逸脱を回避させる逸脱回避制御を、正確な検出道路区画線を用いて適切かつ確実に実行することが可能となっている。 For this reason, according to the system of the present embodiment, the situation in which the lateral position of the own vehicle with respect to the wrong road lane marking is calculated or the situation in which the lateral position of the own vehicle with respect to the dotted road lane marking is not calculated at all is suppressed. Therefore, the departure avoidance control for avoiding the departure of the own vehicle from the road lane line by the automatic steering control device 16 can be appropriately and reliably executed using the accurate detected road lane line.
尚、本実施例において、ライン検出フィルタ３０から点列検出フィルタ３２へのフィルタ切替は、ライン検出フィルタ３０を用いた道路区画線検出が成功しない状態が所定時間Ｔ１０だけ継続した場合に行われ、また、点列検出フィルタ３２からライン検出フィルタ３０へのフィルタ切替は、点列検出フィルタ３２を用いた道路区画線検出によって道路区画線として検出・推定されたエッジ線の各エッジ点による得票数Ｎが所定数Ｎ０以上である状態が所定時間Ｔ２０だけ継続した場合に行われる。この点、各フィルタ切替は、その切替条件が複数フレームの撮像画像にわたって連続する場合にのみ行われることとなる。複数フレームに亘って同じ状態が連続すれば、実際にその状態が実現されている可能性は高くなる。従って、本実施例の道路区画線検出装置１０によれば、道路区画線が線状のものと点列状のものとで変化するシーンでない状況において、フィルタ切替が誤って行われるのを抑制することが可能であり、正確な道路区画線検出を実現することが可能となっている。
In the present embodiment, the filter switching from the
ところで、上記の実施例においては、カメラ１２が特許請求の範囲に記載した「撮像手段」に、エッジ点が特許請求の範囲に記載した「特徴点」に、点列検出フィルタ３２が特許請求の範囲に記載した「第１のフィルタ」に、ライン検出フィルタ３０が特許請求の範囲に記載した「第２のフィルタ」に、エッジ点に基づいて道路区画線として検出・推定されたエッジ線の獲得した得票数Ｎが特許請求の範囲に記載した「特徴点に関するパラメータ」に、それぞれ相当している。
By the way, in the above-described embodiment, the
また、上記の実施例においては、画像処理部１４が、点列検出フィルタ３２を用いてエッジ点を抽出することにより特許請求の範囲に記載した「特徴点抽出手段」及び「第１の特徴点抽出手段」が、ライン検出フィルタ３０を用いてエッジ点を抽出することにより特許請求の範囲に記載した「特徴点抽出手段」及び「第２の特徴点抽出手段」が、図４に示すルーチン中ステップ１１８の処理を実行することにより特許請求の範囲に記載した「第１の切替手段」が、ステップ１０８の処理を実行することにより特許請求の範囲に記載した「第２の切替手段」が、それぞれ実現されている。
In the above-described embodiment, the
尚、上記の実施例においては、道路区画線として検出・推定されるエッジ線を、各エッジ点による得票数Ｎが所定しきい値以上になるものとし、点列検出フィルタ３２からライン検出フィルタ３０へのフィルタ切替を、点列検出フィルタ３２を用いた道路区画線検出によって道路区画線として検出・推定されたエッジ線の得票数Ｎが上記の所定しきい値よりも大きい所定数Ｎ０以上である場合に行うこととしているが、本発明はこれに限定されるものではなく、単に、道路区画線として検出・推定されるエッジ線をそのエッジ線を構成するエッジ点の数が所定しきい値以上になるものとし、点列検出フィルタ３２からライン検出フィルタ３０へのフィルタ切替を、点列検出フィルタ３２を用いた道路区画線検出によって道路区画線として検出・推定されたエッジ線を構成するエッジ点の数が上記の所定しきい値よりも大きな所定数以上である場合に行うこととしてもよい。
In the above embodiment, the edge line detected / estimated as a road lane marking is such that the number N of votes obtained from each edge point is equal to or greater than a predetermined threshold value, and the
また、上記の実施例においては、ライン検出フィルタ３０から点列検出フィルタ３２へのフィルタ切替を、ライン検出フィルタ３０を用いた道路区画線検出が成功しない状態が所定時間Ｔ１０だけ継続した場合に行い、また、点列検出フィルタ３２からライン検出フィルタ３０へのフィルタ切替を、点列検出フィルタ３２を用いた道路区画線検出によって道路区画線として検出・推定されたエッジ線の各エッジ点による得票数Ｎが所定数Ｎ０以上である状態が所定時間Ｔ２０だけ継続した場合に行うこととしているが、これは、各フィルタ切替を所定の状態が所定フレーム数連続した場合に行うこととしても等価である。
Further, in the above-described embodiment, the filter switching from the
また、上記の実施例においては、カメラ１２の撮像画像から道路上の白線やボッツドッツ，キャッツアイ等の道路区画線を検出する手法として、輝度の微分演算を利用したライン検出フィルタ３０によるエッジ点検出、及び、輝度のモルフォロジ演算を利用した点列検出フィルタ３２によるエッジ点検出を用いることとしているが、本発明はこれに限定されるものではなく、例えば、円形検出フィルタやパターンマッチング，トップハット変換などを用いて道路区画線の示す特徴量を抽出することとしてもよい。
Further, in the above embodiment, as a method for detecting road marking lines such as white lines on the road, botsdots, cat's eyes, etc., from the captured image of the
また、上記の実施例においては、検出・推定した道路区画線を、自車両の横位置を算出する基準とし、自車両が道路区画線から逸脱しそうになったときにおける逸脱回避のための車両の自動操舵に用いることとしているが、本発明はこれに限定されるものではなく、自車両が道路区画線から逸脱しそうになったときにおける車両運転者へのスピーカ出力や表示出力を行う警報・警告制御に用いるものであってもよく、また、走行中に道路区画線に沿ってヘッドライトを点灯させるべくその点灯方向を切り替える制御に用いるものであってもよい。 In the above embodiment, the detected / estimated road lane marking is used as a reference for calculating the lateral position of the host vehicle, and the vehicle is designed to avoid the departure when the host vehicle is about to depart from the road lane marking. Although the present invention is used for automatic steering, the present invention is not limited to this, and an alarm / warning that performs speaker output or display output to the vehicle driver when the vehicle is about to depart from the road marking line. It may be used for control, or may be used for control for switching the lighting direction so that the headlight is turned on along the road marking line during traveling.
１０ 道路区画線検出装置
１２ カメラ
１４ 画像処理部
Ｎ 得票数
10 Road Marking
Claims (7)
前記特徴点抽出手段が、前記撮像手段により撮像された撮像画像から前記特徴点を抽出するうえで、主に路面上に点列状に描かれ又は設置された道路区画線を表す特徴点を抽出するのに適した第１の特徴点抽出手段と、前記撮像手段により撮像された撮像画像から前記特徴点を抽出するうえで、主に路面上に線状に描かれ又は設置された道路区画線を表す特徴点を抽出するのに適した、前記第１の特徴点抽出手段とは異なる第２の特徴点抽出手段と、を有すると共に、
前記第１の特徴点抽出手段及び前記第２の特徴点抽出手段により抽出された前記特徴点からのエッジ線の生成が成功するか否かを判別するエッジ線生成可否判別手段と、
前記エッジ線生成可否判別手段によりエッジ線の生成が成功すると判別された場合に、該生成されたすべてのエッジ線に対して、前記第１の特徴点抽出手段及び前記第２の特徴点抽出手段により抽出された前記特徴点による投票を行う投票手段と、
前記投票手段により投票された結果として所定しきい値以上の得票数を獲得したエッジ線を道路区画線の候補線として設定する候補線設定手段と、
前記候補線設定手段により設定された道路区画線の候補線のうちから所定条件に合致するものを道路区画線として検出する検出手段と、
道路区画線の検出に用いる前記特徴点の抽出が前記第１の特徴点抽出手段により行われている状況において、前記エッジ線生成可否判別手段により該第１の特徴点抽出手段により抽出された前記特徴点からのエッジ線の生成が成功すると判別され、かつ、該生成されたエッジ線に基づいて前記検出手段により前記所定条件に合致する道路区画線の候補線が道路区画線として検出された場合、該道路区画線として検出された候補線であるエッジ線が前記投票手段による投票の結果として獲得していた得票数が、前記所定しきい値よりも大きな所定数以上であるか否かを判別する得票数判別手段と、
前記得票数判別手段により肯定判定がなされる場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第１の特徴点抽出手段によるものから前記第２の特徴点抽出手段によるものへ切り替える第１の切替手段と、
を備えることを特徴とする道路区画線検出装置。 Image pickup means for picking up a road surface around the vehicle, and feature point extraction means for extracting a feature point representing a road marking line on the road surface from a picked-up image picked up by the image pickup means, and the feature point extraction means A road marking line detection device capable of detecting a plurality of types of road marking lines on a road surface based on the extracted feature points,
When the feature point extraction unit extracts the feature point from the captured image captured by the imaging unit, the feature point extraction unit mainly extracts a feature point that represents a road lane marking drawn or installed on the road surface. A first feature point extraction unit suitable for performing the operation, and a road marking line drawn or installed mainly on a road surface when extracting the feature point from the captured image captured by the imaging unit And a second feature point extraction means different from the first feature point extraction means, suitable for extracting feature points representing
Edge line generation availability determination means for determining whether or not the generation of edge lines from the feature points extracted by the first feature point extraction means and the second feature point extraction means is successful;
When it is determined by the edge line generation availability determination means that the generation of the edge line is successful, the first feature point extraction means and the second feature point extraction means for all the generated edge lines Voting means for voting based on the feature points extracted by
Candidate line setting means for setting an edge line that has acquired a vote count equal to or greater than a predetermined threshold as a result of voting by the voting means as a candidate line for a road lane line;
Detecting means for detecting a road lane line that matches a predetermined condition from among road lane line candidate lines set by the candidate line setting means;
In a situation where extraction of the feature points used for detection of road marking lines is performed by the first feature point extraction means, the edge feature generation possibility determination means extracts the feature points extracted by the first feature point extraction means. When it is determined that the generation of the edge line from the feature point is successful, and the candidate line of the road lane line that matches the predetermined condition is detected as the road lane line by the detection unit based on the generated edge line And determining whether or not the number of votes obtained as a result of voting by the voting means on the edge line which is a candidate line detected as the road marking line is equal to or greater than a predetermined number greater than the predetermined threshold value. Means for determining the number of votes to be obtained;
When the affirmative determination is made by the vote number determining means, the feature points used for detection of road marking lines are extracted from those by the first feature point extracting means to those by the second feature point extracting means. A first switching means for switching ;
A road marking line detection apparatus comprising:
前記検出可否判別手段により否定判定がなされる場合に、道路区画線の検出に用いる前記特徴点の抽出を、前記第２の特徴点抽出手段によるものから前記第１の特徴点抽出手段によるものへ切り替える第２の切替手段と、
を備えることを特徴とする請求項１又は２記載の道路区画線検出装置。 In the situation where the feature points used for detection of road lane markings are extracted by the second feature point extraction means, detection of road lane markings by the detection means based on the extracted feature points succeeds. Detectability determination means for determining whether or not,
When the negative determination is made by the detection possibility determination means, the extraction of the feature points used for the detection of road marking lines is changed from that by the second feature point extraction means to that by the first feature point extraction means. A second switching means for switching ;
Road segment ray detecting device according to claim 1, wherein further comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005352517A JP4572826B2 (en) | 2005-12-06 | 2005-12-06 | Road marking line detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005352517A JP4572826B2 (en) | 2005-12-06 | 2005-12-06 | Road marking line detection device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2007156919A JP2007156919A (en) | 2007-06-21 |
| JP2007156919A5 JP2007156919A5 (en) | 2009-01-15 |
| JP4572826B2 true JP4572826B2 (en) | 2010-11-04 |
Family
ID=38241191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005352517A Expired - Fee Related JP4572826B2 (en) | 2005-12-06 | 2005-12-06 | Road marking line detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4572826B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010165194A (en) * | 2009-01-16 | 2010-07-29 | Nippon Telegr & Teleph Corp <Ntt> | Edge detection device, edge detection method, and edge detection program |
| JP5819420B2 (en) * | 2010-06-15 | 2015-11-24 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | A method for integrating an automobile traffic sign recognition system and a lane recognition system. |
| JP6130325B2 (en) * | 2014-04-24 | 2017-05-17 | 本田技研工業株式会社 | Road environment recognition device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08320997A (en) * | 1995-05-24 | 1996-12-03 | Nissan Motor Co Ltd | Vehicle travel lane recognition device, and obstacle detector and road deviation reporting device |
| JPH09319873A (en) * | 1996-05-28 | 1997-12-12 | Mitsubishi Electric Corp | On-vehicle image processor |
| JPH10320549A (en) * | 1997-05-15 | 1998-12-04 | Mitsubishi Electric Corp | Image filter |
| JP2003228711A (en) * | 2001-11-30 | 2003-08-15 | Hitachi Ltd | Lane mark recognition method |
| JP2003317106A (en) * | 2002-04-26 | 2003-11-07 | Nissan Motor Co Ltd | Travel path recognition device |
-
2005
- 2005-12-06 JP JP2005352517A patent/JP4572826B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08320997A (en) * | 1995-05-24 | 1996-12-03 | Nissan Motor Co Ltd | Vehicle travel lane recognition device, and obstacle detector and road deviation reporting device |
| JPH09319873A (en) * | 1996-05-28 | 1997-12-12 | Mitsubishi Electric Corp | On-vehicle image processor |
| JPH10320549A (en) * | 1997-05-15 | 1998-12-04 | Mitsubishi Electric Corp | Image filter |
| JP2003228711A (en) * | 2001-11-30 | 2003-08-15 | Hitachi Ltd | Lane mark recognition method |
| JP2003317106A (en) * | 2002-04-26 | 2003-11-07 | Nissan Motor Co Ltd | Travel path recognition device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007156919A (en) | 2007-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4603970B2 (en) | Road marking line detection device | |
| JP4248558B2 (en) | Road marking line detection device | |
| JP5679461B2 (en) | Method and apparatus for determining valid lane markings | |
| JP4962581B2 (en) | Lane marking detector | |
| US9098751B2 (en) | System and method for periodic lane marker identification and tracking | |
| JP6649738B2 (en) | Parking lot recognition device, parking lot recognition method | |
| EP2669844B1 (en) | Level Difference Recognition System Installed in Vehicle and Recognition Method executed by the Level Difference Recognition System | |
| JP2014013449A (en) | On-vehicle device | |
| JP5686281B2 (en) | Three-dimensional object identification device, and mobile object control device and information providing device provided with the same | |
| JP2011175468A (en) | Boundary line detection device | |
| JP5136071B2 (en) | Vehicle rear monitoring device and vehicle rear monitoring method | |
| JP5680436B2 (en) | Foreign matter adhesion determination device for in-vehicle camera lens | |
| JP5233696B2 (en) | Lane boundary detection device, boundary detection program, and departure warning device | |
| JP2009187169A (en) | Traveling lane detection device | |
| JP2011150687A (en) | Three-dimensional object identifying apparatus, moving body control apparatus equipped with the same, and information providing apparatus | |
| CN111931547A (en) | Driving lane recognition device, driving lane recognition method, and program | |
| JP4532372B2 (en) | Road marking line detection device | |
| JP4572826B2 (en) | Road marking line detection device | |
| JP3930268B2 (en) | Image processing device for detecting approaching vehicle and lane position | |
| JP4798576B2 (en) | Attachment detection device | |
| JP3930366B2 (en) | White line recognition device | |
| JP4614826B2 (en) | Road marking line detection device | |
| JP2008165610A (en) | Road section line recognition device | |
| JP2007018451A (en) | Road boundary line detecting device | |
| JP4821348B2 (en) | Road section line detection apparatus and method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081126 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100625 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100720 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100802 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4572826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |