JP5554579B2 - Lane detection program and lane detection device - Google Patents
Lane detection program and lane detection device Download PDFInfo
- Publication number
- JP5554579B2 JP5554579B2 JP2010014703A JP2010014703A JP5554579B2 JP 5554579 B2 JP5554579 B2 JP 5554579B2 JP 2010014703 A JP2010014703 A JP 2010014703A JP 2010014703 A JP2010014703 A JP 2010014703A JP 5554579 B2 JP5554579 B2 JP 5554579B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- white line
- candidate
- line
- candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 69
- 238000000034 method Methods 0.000 claims description 69
- 238000000605 extraction Methods 0.000 claims description 42
- 239000000284 extract Substances 0.000 claims description 10
- 230000007717 exclusion Effects 0.000 description 88
- 238000003708 edge detection Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 21
- 238000009434 installation Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車線検出プログラム及び車線検出装置に関する。 The present invention relates to a lane detection program and a lane detection device.
車載カメラによって撮像された画像を用いて白線や横断歩道などの路面標示を検出する車載用路面標示検出装置が知られている。この車載用路面標示検出装置では、車載カメラによって自車両の走行方向が撮像された画像データからエッジ点を抽出する。そして、車載用路面標示検出装置は、車載カメラによって撮像された画像を複数の部分画像に分割し、各部分画像内に存在するエッジ点を通る線分を抽出する。その上で、車載用路面標示検出装置は、線分の傾きと端点位置との差が所定範囲内にある線分同士を一つの組とし、組となった線分の傾き及び端点位置を特徴として抽出する。このようにして抽出した特徴を用いて、車載用路面標示検出装置は、例えば白線や横断歩道などを検出する。 2. Description of the Related Art An in-vehicle road marking detection device that detects road markings such as white lines and pedestrian crossings using an image captured by an in-vehicle camera is known. In this in-vehicle road marking detection device, an edge point is extracted from image data obtained by capturing the traveling direction of the host vehicle with an in-vehicle camera. Then, the in-vehicle road marking detection device divides an image captured by the in-vehicle camera into a plurality of partial images, and extracts line segments that pass through edge points existing in the partial images. In addition, the in-vehicle road marking detection device is characterized by the line segment inclination and the end point position that are a set of line segments in which the difference between the line segment inclination and the end point position is within a predetermined range. Extract as Using the feature extracted in this manner, the in-vehicle road marking detection device detects, for example, a white line or a pedestrian crossing.
これらの路面標示の中でも白線の検出結果は多様な用途に使用され得る。一例としては、自車両の位置判断に用いられる。例えば、車載カメラによって撮像された画像から検出した地物の検出結果を用いて自車位置の認識を行う自車位置認識装置が提案されている。このような地物の１つとして白線の検出結果を援用して自車位置の認識を行い、車線内における自車両の位置が路肩や隣車線に近づきすぎていないか否かを判断する使用例も想定され得る。 Among these road markings, the detection result of the white line can be used for various purposes. As an example, it is used for determining the position of the host vehicle. For example, a vehicle position recognition device that recognizes a vehicle position using a detection result of a feature detected from an image captured by an in-vehicle camera has been proposed. Use example of recognizing the position of the own vehicle by using the detection result of the white line as one of such features and determining whether the position of the own vehicle in the lane is too close to the road shoulder or the adjacent lane Can also be envisaged.
しかしながら、白線の検出結果を利用した別処理を行う場合には、白線以外の路面標示を白線と混同して別処理が実行される可能性を有するので、別処理で誤った処理結果が導出されるおそれがあるという課題がある。 However, when performing another process using the detection result of the white line, there is a possibility that the road marking other than the white line is confused with the white line and the different process may be executed. There is a problem that there is a risk.
一例として、車載用路面標示検出装置によって検出された白線の検出結果を入力として自車位置認識装置が自車位置の認識を行う場合を想定する。この場合には、車載用路面標示検出装置が車載カメラの撮影画像に含まれる白線と横断歩道とを正確に区別できるとは限らない。例えば、車載用路面標示検出装置が白線に類似する横断歩道のペイントの一部を白線として誤検出することもあり得る。このような検出結果を用いる場合には、白線と横断歩道の位置関係によっては、自車位置認識装置が白線の一部および横断歩道の一部を一対の白線と見做して自車位置を認識することになる。この結果、自車位置認識装置は、実際の車道における自車両の走行車線の間隔よりも広い間隔を基準に自車位置を認識したり、或いはそれよりも狭い間隔を基準に自車位置を認識したりするおそれが生じる。 As an example, it is assumed that the vehicle position recognition device recognizes the vehicle position using the detection result of the white line detected by the in-vehicle road marking detection device as an input. In this case, the in-vehicle road marking detection device cannot always accurately distinguish the white line and the pedestrian crossing included in the captured image of the in-vehicle camera. For example, an in-vehicle road marking detection device may erroneously detect a part of a crosswalk paint similar to a white line as a white line. When such a detection result is used, depending on the positional relationship between the white line and the pedestrian crossing, the vehicle position recognition device considers a part of the white line and a part of the pedestrian crossing as a pair of white lines and determines the vehicle position. You will recognize. As a result, the own vehicle position recognition device recognizes the own vehicle position based on an interval wider than the interval of the traveling lane of the own vehicle on the actual roadway, or recognizes the own vehicle position based on an interval narrower than that. May occur.
なお、この課題は、白線の検出結果を利用する場合だけでなく、黄色車線などの他の車線全般を検出結果として利用する場合に同様に生ずる課題である。 Note that this problem occurs not only when the detection result of the white line is used, but also when the other lanes in general such as the yellow lane are used as the detection result.
開示の技術は、上記に鑑みてなされたものであって、車線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止できる車線検出プログラム及び車線検出装置を提供することを目的とする。 The disclosed technology has been made in view of the above, and provides a lane detection program and a lane detection device that can prevent an erroneous processing result from being derived when performing another processing using a lane detection result. The purpose is to provide.
本願の開示する車線検出プログラムは、コンピュータに、車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する検出手順を実行させる。さらに、車線検出プログラムは、コンピュータに、前記検出手順によって前記車線のみが検出された場合には該車線の検出結果を出力し、前記車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する出力制御手順を実行させる。 The lane detection program disclosed in the present application causes a computer to execute a detection procedure for detecting a lane marked on a road surface and road markings other than the lane from an image acquired by a camera mounted on the vehicle. Further, the lane detection program outputs a detection result of the lane to the computer when only the lane is detected by the detection procedure, and when a road marking other than the lane is detected together with the lane, the lane detection program outputs the lane detection result. An output control procedure for suppressing the output of the detection result of the lane is executed.
本願の開示する車線検出プログラムの一つの態様によれば、車線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止することが可能になるという効果を奏する。 According to one aspect of the lane detection program disclosed in the present application, it is possible to prevent an erroneous process result from being derived when performing another process using the lane detection result. .
以下に、本願の開示する車線検出プログラム及び車線検出装置の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Hereinafter, embodiments of a lane detection program and a lane detection device disclosed in the present application will be described in detail with reference to the drawings. Note that this embodiment does not limit the disclosed technology. Each embodiment can be appropriately combined within a range in which processing contents do not contradict each other.
図１は、実施例１に係る車線検出装置の構成を示すブロック図である。図１に示すように、車線検出装置１は、検出部２と、出力制御部３とを有する。
FIG. 1 is a block diagram illustrating the configuration of the lane detection device according to the first embodiment. As shown in FIG. 1, the lane detection device 1 includes a
このうち、検出部２は、車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する。また、出力制御部３は、検出部２によって車線のみが検出された場合には該車線の検出結果を出力し、車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する。
Among these, the
すなわち、車線とともに該車線以外の路面標示が検出された場合には、車線の検出結果として車線と類似しているが車線ではない路面標示が含まれる可能性を排除できない。このように、車線以外の路面標示を車線と混同して別処理が実行されるおそれがある場合には、出力制御部３が車線の検出結果の出力を抑制するので、別処理は実行されない。 That is, when a road marking other than the lane is detected together with the lane, the possibility that a road marking that is similar to the lane but is not a lane as a lane detection result cannot be excluded. As described above, when there is a possibility that the road marking other than the lane is confused with the lane and the separate process is executed, the output control unit 3 suppresses the output of the detection result of the lane, and thus the separate process is not executed.
一方、車線のみが検出された場合には、車線および車線以外の路面標示が検出される場合に比べ、車線と混同し得る他の路面標示が車線の検出結果に含まれている可能性は低い。このため、出力制御部３は、車線の検出結果を出力する。かかる場合には、車線以外の路面標示を車線と混同して別処理が実行されるおそれが低いので、誤った処理結果が導出されることはない。 On the other hand, when only the lane is detected, it is unlikely that other road markings that may be confused with the lane are included in the lane detection result, compared to the case where the road marking other than the lane and the lane is detected. . For this reason, the output control part 3 outputs the detection result of a lane. In such a case, since it is unlikely that another road marking other than the lane will be confused with the lane, a wrong processing result will not be derived.
このように、本実施例に係る車線検出装置１では、車線と混同し得る他の路面標示が車線の検出結果に含まれている可能性が高い場合に別処理が実行されることはない。また、本実施例に車線検出装置１では、車線の検出結果が出力されたとしても車線と混同し得る他の路面標示が含まれていないので、別処理で車線と混同して実行されることもない。したがって、本実施例に係る車線検出装置１によれば、車線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止することが可能になる。 As described above, in the lane detection device 1 according to the present embodiment, when there is a high possibility that another road marking that may be confused with the lane is included in the detection result of the lane, the separate processing is not executed. Further, in this embodiment, the lane detection device 1 does not include other road markings that may be confused with the lane even if the lane detection result is output. Nor. Therefore, according to the lane detection device 1 according to the present embodiment, it is possible to prevent an erroneous processing result from being derived when performing another processing using the lane detection result.
続いて、実施例２に係る車載装置について説明する。図２は、実施例２に係る車載装置の構成を示すブロック図である。図２に示すように、車載装置１０は、その内部に記憶部１１と、制御部１２とを有する。また、車載装置１０は、車両に搭載される他の装置と接続されており、例えば、車載カメラ２００、車両ＥＣＵ（Electronic Control Unit）３００や出力デバイス４００などの他の装置と接続される。
Then, the vehicle-mounted apparatus which concerns on Example 2 is demonstrated. FIG. 2 is a block diagram illustrating the configuration of the in-vehicle device according to the second embodiment. As illustrated in FIG. 2, the in-vehicle device 10 includes a storage unit 11 and a control unit 12 therein. The in-vehicle device 10 is connected to other devices mounted on the vehicle, and is connected to other devices such as an in-
まず、車載装置１０に接続される他の装置を説明する。このうち、車載カメラ２００は、車両に搭載されるカメラである。一例としては、車載カメラ２００として、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像装置を適用できる。なお、本実施例では、車載カメラ２００が後述のエッジ検出部１２ａへ白黒画像を入力する場合を説明するが、カラー画像を入力することとしてもかまわない。
First, another device connected to the in-vehicle device 10 will be described. Among these, the vehicle-mounted
この車載カメラ２００は、自車両の所定の設置位置に取り付けられるとともにカメラの光軸の向きが所定の設置角度になるように取り付けられる。例えば、車載カメラ２００は、車両の前方の所定領域、例えば自車両のフロントグリルから３０ｍ前方までの領域を撮像することができるように設置位置及び設置角度が調節される。なお、本実施例では、車載カメラ２００が固定設置される場合を説明するが、車載カメラ２００が水平方向または鉛直方向に可動または回動する場合にも開示の装置を適用できる。
This in-
車両ＥＣＵ３００は、車両を制御するためのユニットである。例えば、車両ＥＣＵ３００は、後述の自車位置判断部１２ｆによって出力された自車位置の判断結果に基づき、車両のエンジン、ブレーキやハンドルなどの制御を行う。一例としては、車両ＥＣＵ３００は、方向指示器の操作を受け付けていないにもかかわらず、一方の車線に所定の距離まで近付いている場合や車線からはみ出している場合などには危険防止制御を行う。かかる危険防止制御として、車両ＥＣＵ３００は、エンジンブレーキ又はブレーキにより制動をかけたり、或いは２つの車線により形成される走行領域の中央に車両が復帰するように操舵角を調節したりする。 Vehicle ECU 300 is a unit for controlling the vehicle. For example, the vehicle ECU 300 controls the vehicle engine, brakes, steering wheel, and the like based on the determination result of the vehicle position output by the vehicle position determination unit 12f described later. As an example, the vehicle ECU 300 performs risk prevention control when the vehicle is approaching a predetermined distance to one of the lanes or protrudes from the lane even though the operation of the direction indicator is not accepted. As such danger prevention control, the vehicle ECU 300 applies braking by engine braking or braking, or adjusts the steering angle so that the vehicle returns to the center of the traveling area formed by two lanes.
出力デバイス４００は、モニタ、ディスプレイやタッチパネルなどの表示装置、スピーカなどの音声出力装置などを含む。この出力デバイス４００は、車載装置１０や車両ＥＣＵ３００などの指示に基づき、車載装置１０または車両ＥＣＵ３００で実行された処理の結果を表示または音声出力する。一例としては、出力デバイス４００は、後述の自車位置判断部１２ｆによって判断された自車位置を表示したり、さらに、自車両が内側線または外側線からはみ出している場合には、その旨を警告として音声出力したりする。 The output device 400 includes a monitor, a display device such as a display and a touch panel, an audio output device such as a speaker, and the like. The output device 400 displays or outputs a result of processing executed by the in-vehicle device 10 or the vehicle ECU 300 based on an instruction from the in-vehicle device 10 or the vehicle ECU 300. As an example, the output device 400 displays the vehicle position determined by the vehicle position determination unit 12f, which will be described later, or if the vehicle protrudes from the inner line or the outer line. Sound output as a warning.
次に、車載装置１０の内部構成を説明する。図２に示すように、記憶部１１は、例えば、フラッシュメモリ（flash memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部１３は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)であってもよい。 Next, the internal configuration of the in-vehicle device 10 will be described. As shown in FIG. 2, the storage unit 11 is, for example, a semiconductor memory device such as a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 13 is not limited to the type of storage device described above, and may be a RAM (Random Access Memory) or a ROM (Read Only Memory).
記憶部１１は、制御部１２で実行される各種プログラム（例えば、車線検出用プログラムや自車位置判断用プログラムなど）やそのプログラムの実行に必要なデータ（例えば、車載カメラ２００の設置位置、設置角度、撮影画像など）を記憶する。このほか、記憶部１１は、例えば白線候補データ１１ａと、路面標示データ１１ｂと、白線データ１１ｃとを記憶する。 The storage unit 11 includes various programs (for example, a lane detection program and a vehicle position determination program) executed by the control unit 12 and data necessary for executing the program (for example, the installation position and installation of the in-vehicle camera 200). Angle, photographed image, etc.). In addition, the storage unit 11 stores, for example, white line candidate data 11a, road marking data 11b, and white line data 11c.
このうち、白線候補データ１１ａは、車載カメラ２００により撮像された撮影画像から白線候補抽出部１２ｂにより白線候補として抽出されたエッジ線分を示す情報である。この白線候補データ１１ａは、撮影画像上で垂直方向に線分をなす一対のエッジ線分であり、あくまで白線に似た特徴を有する候補である。すなわち、白線候補データ１１ａには、実際の白線も含まれるものの、白線に特徴が類似する他の路面標示、例えば横断歩道、矢印標示や速度標示なども含まれる。
Among these, the white line candidate data 11a is information indicating an edge line segment extracted as a white line candidate by the white line candidate extraction unit 12b from a captured image captured by the in-
路面標示データ１１ｂは、白線候補データ１１ａのうち後述の路面標示除外部１２ｃによって白線候補から除外された路面標示を示すエッジ線分である。すなわち、路面標示データ１１ｂには、白線に類似しているが白線ではない路面標示、例えば横断歩道、矢印標示や速度標示などが含まれる。
The road marking data 11b is an edge line segment indicating a road marking that is excluded from white line candidates by a road marking
白線データ１１ｃは、白線候補データ１１ａのうち後述の白線決定部１２ｄによって白線として決定された白線を示すエッジ線分である。すなわち、白線データ１１ｃは、白線候補データ１１ａから横断歩道、矢印標示および速度標示などの他の路面標示が除外された白線候補同士を道路が連なる方向に沿って連結したものである。
The white line data 11c is an edge line segment indicating a white line determined as a white line by a white
制御部１２は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路、または、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。 The control unit 12 is, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), or an electronic circuit such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
この制御部１２は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１２は、図２に示すように、エッジ検出部１２ａと、白線候補抽出部１２ｂと、路面標示除外部１２ｃと、白線決定部１２ｄと、出力制御部１２ｅと、自車位置判断部１２ｆとを有する。
The control unit 12 has an internal memory for storing programs defining various processing procedures and control data, and executes various processes using these. As shown in FIG. 2, the control unit 12 includes an
このうち、エッジ検出部１２ａは、撮影画像の中からエッジ成分を検出する処理部である。一例としては、エッジ検出部１２ａは、画像上における水平方向、垂直方向や斜め方向のエッジを検出するための所定のフィルタを用いて、撮影画像の各画素の輝度値からエッジ点を検出する。なお、輝度値とは、各画素の明るさを示し、例えば「１〜２５６」の数値で表現される。そして、エッジ検出部１２ａは、このようにして検出したエッジ点を繋ぎ合わせることによりエッジ線分を検出する。このエッジ検出の段階で得られたエッジ線分には、白線、横断歩道、矢印標示や速度標示などの路面標示だけでなく、道路のひび割れなどのノイズ成分も含まれる。
Among these, the
なお、エッジ検出部１２ａでは、車載カメラ２００によって撮像された撮影画像をそのまま入力画像としてエッジ検出を行うこととしてもよいし、記憶部１１に格納してから読み出して処理を行うこととしてもかまわない。また、エッジ検出部１２ａは、必ずしも撮影画像全てに対してエッジ検出を行う必要はない。
Note that the
図３は、撮影画像の一例を示す図である。図３に示す符号「Ｖｐ」は、撮影画像３１における消失点を示す。図３に示す例で言えば、エッジ検出部１２ａは、撮影画像３１の全領域のうち消失点Ｖｐよりも下部に所在する路面領域だけをエッジ検出の対象とすることもできる。このように、エッジ検出の処理対象を限定するのは、消失点Ｖｐよりも上部の領域にエッジ検出を行ったとしても白線は検出できないからである。さらには、撮影画像に含まれる施設や置物などが後述の白線候補抽出部１２ｂにより白線と誤って抽出されることを防止するためでもある。
FIG. 3 is a diagram illustrating an example of a captured image. A symbol “Vp” illustrated in FIG. 3 indicates a vanishing point in the captured
白線候補抽出部１２ｂは、エッジ検出部１２ａによって検出されたエッジ線分から白線候補を抽出する処理部である。ここでは、自車両の走行領域の左側にある白線候補の抽出を行う場合を想定して以下の説明を行う。かかる場合には、白線候補抽出部１２ｂは、撮影画像の中心部により近いエッジ線分から順にそのエッジ線分を内側線とし、その内側線と対をなす、すなわち内側線よりも左側に所在し、かつ内側線と略平行であるエッジ線分を外側線として検索する。ここで言う「内側線」とは、２つの白線によって形成される自車両の走行領域において白線と路面舗装との輝度値の差により顕在化するエッジ成分のうち各白線の内側に現れるエッジ成分を指す。また、「外側線」とは、２つの白線によって形成される自車両の走行領域において白線と路面舗装との輝度値の差により顕在化するエッジ成分のうち各白線の外側に現れるエッジ成分を指す。このとき、白線候補抽出部１２ｂは、撮影画像における中心部よりも左側に所在するエッジ線分のうち、垂直方向に対する傾きが所定の角度以内であるエッジ線分を内側線として選定するものとする。なお、ここでは、自車両の走行領域の左側にある白線候補の抽出を行う場合を想定して説明を行ったが、自車両の走行領域の右側にある白線候補の抽出を行う場合も内側線および外側線の左右が逆になるだけでその他の処理は同様である。
The white line candidate extraction unit 12b is a processing unit that extracts white line candidates from the edge line segments detected by the
そして、白線候補抽出部１２ｂは、このようにして検索した内側線および外側線の重複率が所定の閾値以上であるか否かを判定する。ここで言う重複率とは、内側線および外側線の両方が重複する重複部分の長さが内側線の長さに占める割合をいう。図４は、白線のエッジ画像の一例を示す図である。図４に示す符号「４１」は内側線を示す。図４に示す符号「４２」は外側線を示す。図４に示す符号「４３」は内側線４１と外側線４２の重複部分の長さを示す。図４に示す符号「４４」は内側線４１の長さを示す。図４に示す符号「４５」は内側線４１および外側線４２が形成する帯線の横幅を指す。図４に示す例で言えば、白線候補抽出部１２ｂは、内側線４１および外側線４２の両方が重複する重複部分の長さ４３が内側線４１の長さ４４で占める百分率が２５％以上であるか否かを判定する。
Then, the white line candidate extraction unit 12b determines whether the overlapping rate of the inner line and the outer line searched in this way is equal to or greater than a predetermined threshold. The overlapping rate here refers to the ratio of the length of the overlapping portion where both the inner line and the outer line overlap to the length of the inner line. FIG. 4 is a diagram illustrating an example of a white line edge image. Reference numeral “41” shown in FIG. 4 indicates an inner line. Reference numeral “42” shown in FIG. 4 indicates an outer line. Reference numeral “43” shown in FIG. 4 indicates the length of the overlapping portion of the
続いて、白線候補抽出部１２ｂは、重複率が所定の閾値以上である場合に、内側線および外側線の輝度値の変化が所定の閾値以内であるか否かをさらに判定する。ここで言う輝度値の変化とは、内側線および外側線における高輝度側の輝度値の差分の絶対値と、内側線および外側線における低輝度側の輝度値の差分の絶対値との和を指す。 Subsequently, the white line candidate extraction unit 12b further determines whether or not the change in the luminance value of the inner line and the outer line is within a predetermined threshold when the overlap rate is equal to or greater than the predetermined threshold. The change in the luminance value referred to here is the sum of the absolute value of the difference between the luminance values on the high luminance side in the inner line and the outer line and the absolute value of the difference in the luminance values on the lower luminance side in the inner line and the outer line. Point to.
図５は、内側線および外側線を境界とした輝度値の変化を説明するための図である。図５に示す符号「５１Ａ」は内側線４１の高輝度側の領域を指す。図５に示す符号「５１Ｂ」は内側線４１の低輝度側の領域を指す。図５に示す符号「５２Ａ」は外側線４２の高輝度側の領域を指す。図５に示す符号「５２Ｂ」は外側線４２の低輝度側の領域を指す。図５に示す例で言えば、白線候補抽出部１２ｂは、領域５１Ａの輝度値の平均値および領域５２Ａの輝度値の平均値の差分値の絶対値と、領域５１Ｂの輝度値の平均値および領域５２Ｂの輝度値の平均値の差分値の絶対値とを足し合わせる。そして、白線候補抽出部１２ｂは、２つの差分値の絶対値を足し合わせた合算値が所定の閾値、例えば５０以内であるか否かを判定する。このとき、白線候補抽出部１２ｂは、合算値が所定の閾値以上である場合には、内側線および外側線として仮決めした一対のエッジ線分を白線候補として抽出はしない。かかる輝度値の変化が閾値よりも大きい場合に白線候補から除外するのは、内側線および外側線の間で白線の色が大幅に変化することが稀であるからである。さらに、内側線が面する道路の舗装および外側線が面する道路の舗装の色が大幅に変化することも稀であるからである。
FIG. 5 is a diagram for explaining a change in luminance value with the inner line and the outer line as a boundary. A reference numeral “51 </ b> A” illustrated in FIG. 5 indicates a region on the high luminance side of the
そして、白線候補抽出部１２ｂは、内側線および外側線の輝度値の変化が所定の閾値以内である場合に、内側線および外側線が形成する帯線の横幅が所定の範囲以内であるか否かをさらに判定する。図４に示した例で言えば、白線候補抽出部１２ｂは、内側線４１および外側線４２が形成する帯線の横幅４５が「１０ｃｍ≦横幅≦７５ｃｍ」の範囲に収まるか否かを判定する。このとき、白線候補抽出部１２ｂは、帯線の横幅４５が上記の範囲に収まらない場合には、内側線および外側線として仮決めした一対のエッジ線分を白線以外の他の路面標示候補として記憶部１１の白線候補データ１１ａに登録する。
Then, the white line candidate extraction unit 12b determines whether the horizontal width of the band formed by the inner line and the outer line is within a predetermined range when the change in the luminance value of the inner line and the outer line is within a predetermined threshold. Determine further. In the example shown in FIG. 4, the white line candidate extraction unit 12b determines whether or not the
なお、ここでは、説明の便宜上、帯線の横幅と比較する値として、画像スケールから実寸スケールに換算された値を例示しているが、実際には画像スケールの値で帯線の横幅との比較が行われる。 In addition, here, for convenience of explanation, the value converted from the image scale to the actual scale is illustrated as a value to be compared with the width of the band, but in actuality, the value of the image scale and the width of the band A comparison is made.
続いて、白線候補抽出部１２ｂは、内側線および外側線が形成する帯線の白線らしさを表す指標、以下白線スコアと表記を算出する。一例として、白線候補抽出部１２ｂは、下記の算出式を用いて白線スコアを算出する。 Subsequently, the white line candidate extraction unit 12b calculates an index representing the white line-likeness of the band formed by the inner line and the outer line, and the white line score and notation hereinafter. As an example, the white line candidate extraction unit 12b calculates a white line score using the following calculation formula.
上記の算出式において「帯線の輝度値」とは、内側線および外側線が形成する帯線に含まれる画素いずれかの輝度値または各画素の平均値を指す。かかる「帯線の輝度値」を分子とする算出式とした場合には、帯線の色が白ければ白いほど白線スコアを上げる重み付けを行うことができる。 In the above calculation formula, the “band line luminance value” refers to the luminance value of one of the pixels included in the band formed by the inner line and the outer line or the average value of each pixel. In the case of the calculation formula using the “band line luminance value” as a numerator, the whiter the color of the band, the higher the white line score can be weighted.
また、「輝度値の差分」とは、内側線の高輝度側の輝度値−内側線の低輝度側の輝度値と、外側線の高輝度側の輝度値−外側線の低輝度側の輝度値との平均値を指す。図５に示す例で言い換えれば、領域５１Ａの輝度値の平均値−領域５１Ｂの輝度値の平均値と、領域５２Ａの輝度値の平均値−領域５２Ｂの輝度値の平均値との平均値を指す。かかる「輝度値の差分」を分子とする算出式とした場合には、白線と路面舗装のコントラストが明瞭であるほど白線スコアを上げる重み付けを行うことができる。
Also, the “brightness value difference” means the luminance value on the high luminance side of the inner line−the luminance value on the low luminance side of the inner line and the luminance value on the high luminance side of the outer line−the luminance on the low luminance side of the outer line. The average value with the value. In other words, in the example shown in FIG. 5, the average value of the luminance value of the
また、「処理範囲の長さ」とは、撮影画像のうちエッジ検出をはじめとする画像処理の対象とした範囲の垂直方向の長さを示す。かかる「処理範囲の長さ」を分母とし、「内側線の長さ」を分子とする算出式とした場合には、処理範囲に占める内側線の割合が多ければ多いほど白線スコアを上げる重み付けを行うことができる。 Further, “the length of the processing range” indicates the length in the vertical direction of the range of the captured image that is subjected to image processing including edge detection. In the case of the calculation formula using the “length of the processing range” as the denominator and the “length of the inner line” as the numerator, the weight of the white line score is increased as the proportion of the inner line in the processing range increases. It can be carried out.
また、「重複率」を加算する算出式とした場合には、内側線および外側線の両方が重複する重複部分の長さが内側線の長さに占める割合が大きいほど白線スコアを上げる重み付けを行うことができる。 In addition, when the calculation formula for adding the “overlap ratio” is used, the weight of the white line score is increased as the ratio of the overlapping portion where both the inner line and the outer line overlap to the inner line is larger. It can be carried out.
このように、上記の算出式を用いた場合には、白線候補抽出部１２ｂは、一対のエッジ線分が白線と類似する傾向を示すほどスコアが高くなるように白線スコアを算出することができる。 As described above, when the above calculation formula is used, the white line candidate extraction unit 12b can calculate the white line score so that the score increases as the pair of edge line segments show a tendency similar to the white line. .
なお、白線スコアの算出式は、上記の算出式に限定されるものではない。例えば、白線スコアの算出式では、「帯線の輝度値」を含む項、「輝度値の差分」を含む項、「内側線の長さ」を含む項、重複率の項のうち一部の項を省くこともできるし、新たな項を追加することもできる。また、白線スコアの算出式では、各項に対して任意の定数を乗じたり、除したりすることで任意の重み付けを行うこともできる。また、上記の白線スコアの算出式では、加点方式としたが減点方式の算出式としてもかまわない。 The white line score calculation formula is not limited to the above calculation formula. For example, in the calculation formula of the white line score, a term including “brightness value of band”, a term including “difference of luminance value”, a term including “length of inner line”, and a part of overlap rate term Terms can be omitted or new terms can be added. In the calculation formula of the white line score, arbitrary weighting can be performed by multiplying or removing each term by an arbitrary constant. Further, although the white line score calculation formula is based on the point addition method, it may be a subtraction method calculation formula.
そして、白線候補抽出部１２ｂは、白線スコアが所定の閾値以上である場合には、先に内側線および外側線と仮決めした一対のエッジ線分を白線候補として抽出し、抽出した一対のエッジ成分を白線候補データ１１ａとして記憶部１１へ登録する。なお、白線候補抽出部１２ｂは、白線スコアが所定の閾値未満である場合には、先に内側線および外側線と仮決めした一対のエッジ線分を白線候補として抽出しない。 Then, if the white line score is equal to or greater than a predetermined threshold, the white line candidate extraction unit 12b extracts a pair of edge lines that have been temporarily determined as the inner line and the outer line as white line candidates, and extracts the pair of extracted edges The component is registered in the storage unit 11 as white line candidate data 11a. If the white line score is less than a predetermined threshold, the white line candidate extraction unit 12b does not extract a pair of edge line segments that have been provisionally determined as an inner line and an outer line as white line candidates.
この白線候補を抽出した段階で得られたエッジ線分では、撮影画像に含まれるエッジ線分のうち道路のひび割れなどのノイズ成分が除外され、白線をはじめ、白線と類似する横断歩道、矢印標示や速度標示などの路面標示に絞られる。 In the edge line segment obtained at the stage of extracting the white line candidate, noise components such as road cracks are excluded from the edge line segment included in the photographed image, and the white line, pedestrian crossing similar to the white line, and arrow marking And road markings such as speed markings.
図２の説明に戻り、路面標示除外部１２ｃは、白線候補の中から白線以外の路面標示を除外する処理部である。すなわち、路面標示除外部１２ｃは、白線候補抽出部１２ｂによって抽出された白線候補から「横断歩道」、「矢印標示」及び「速度標示」を除外する。
Returning to the description of FIG. 2, the road marking
まず、白線候補から横断歩道を除外する場合について説明する。路面標示除外部１２ｃは、撮影画像における１つの水平ラインに含まれる白線候補を探索し、１つの水平ラインに含まれる白線候補の数が所定の閾値以上であるか否かを判定する。例えば、路面標示除外部１２ｃは、道路には１つの走行領域に２つの白線が含まれるのが原則であるので、先の閾値を３つとして白線候補の数が３つ以上存在する場合には白線候補が横断歩道の可能性があると判定する。
First, a case where a pedestrian crossing is excluded from white line candidates will be described. The road marking
さらに、路面標示除外部１２ｃは、１つの水平ラインに含まれる白線候補の数が所定の閾値以上である場合に、その水平ラインに含まれる各白線候補のエッジ点間の距離が所定の範囲以内であるか否かをさらに判定する。ここで、横断歩道の縞模様の間隔は、予め道路標識、区画線および道路標示に関する命令により定められている。このため、路面標示除外部１２ｃでは、各白線候補のエッジ点間の距離が横断歩道の縞模様の間隔として規定される規定値を含む所定の範囲、例えば「４５ｃｍ≦横幅≦５０ｃｍ」の範囲に収まるか否かを判定する。このとき、路面標示除外部１２ｃは、各白線候補のエッジ点間の距離が所定の範囲内に収まる場合には、各白線候補のエッジ点を横断歩道候補のエッジ点と推定し、その横断歩道候補を路面標示データ１１ｂとして記憶部１１へ登録する。
Furthermore, when the number of white line candidates included in one horizontal line is equal to or greater than a predetermined threshold, the road marking
かかる水平ラインに対する白線候補の探索が撮影画像の全ラインについて終了すると、路面標示除外部１２ｃは、記憶部１１に路面標示データ１１ｂとして記憶された横断歩道候補のエッジ点が垂直方向に連続するか否かを判定する。そして、路面標示除外部１２ｃは、垂直方向に連続する横断歩道候補の長さが所定の閾値以上であるか否かを判定する。ここで、横断歩道において歩行者が横断方向と直行する方向の幅、すなわち横断歩道の横幅は、少なくとも２ｍ以上であると想定される。このため、路面標示除外部１２ｃでは、横断歩道候補の長さが２ｍ以上であるか否かを判定する。このとき、路面標示除外部１２ｃは、横断歩道候補の長さが２ｍ以上である場合には、横断歩道候補を横断歩道と決定し、横断歩道候補を横断歩道として記憶部１１へ確定登録する。そして、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、横断歩道として確定登録した横断歩道候補のエッジ点を含む白線候補を削除することにより、白線候補から横断歩道を除外する。
When the search for the white line candidate for the horizontal line is completed for all the lines of the captured image, the road marking
次に、白線候補から矢印標示を除外する場合について説明する。路面標示除外部１２ｃは、矢印標示の特徴に基づいて白線候補から矢印標示を除外する。図６は、矢印標示の一例を示す図である。図６に示す符号「６１Ａ」は直進矢印標示を示す。図６に示す符号「６２Ｂ」は、右折矢印標示を示す。図７は、矢印標示のエッジ画像の一例を示す図である。図７に示す符号「７１Ａ」及び「７２Ａ」は直線矢印標示の矢印部分のエッジ線分を示す。図７に示す符号「７３Ａ」は直線矢印標示の矢印部分のエッジ線分の交点を示す。図７に示す符号「７４Ａ」は直線矢印標示の帯線部分を形成するエッジ線分を示す。図７に示す符号「７１Ｂ」〜「７４Ｂ」は右折矢印標示の矢印部分のエッジ線分を示す。図７に示す符号「７５Ｂ」及び「７６Ｂ」は右折矢印標示の矢印部分のエッジ線分の交点を示す。図７に示す符号「７７Ｂ」は右折矢印標示の帯線部分を形成するエッジ線分を示す。
Next, a case where an arrow mark is excluded from white line candidates will be described. The road marking
図６に示す直線矢印標示６１Ａ及び右折矢印標示６２Ｂは、図７に示すように、いずれも矢印標示の矢印部分のエッジ線分が交わるエッジ画像が得られるという傾向、さらには、矢印部分の下部近傍に白線と類似する帯線部分を有する傾向がある。図７の例で言えば、直線矢印標示６１Ａのエッジ画像では、エッジ線分７１Ａを内側線、エッジ線分７２Ａを外側線とする白線候補が交点７３Ａで交わる。さらに、直線矢印標示６１Ａのエッジ画像では、エッジ線分７１Ａ及び７２Ａを有する白線候補の下部近傍に、白線と類似する帯線部分７４Ａを有する他の白線候補が存在する。一方、右折矢印標示６２Ｂのエッジ画像では、エッジ線分７１Ｂを内側線、エッジ線分７２Ｂを外側線とする白線候補が交点７５Ｂで交わり、エッジ線分７３Ｂを内側線、エッジ線分７４Ｂを外側線とする白線候補が交点７６Ｂで交わる。さらに、右折矢印標示６１Ｂのエッジ画像では、エッジ線分７１Ｂ及び７２Ｂを有する白線候補と、エッジ線分７３Ｂ及びエッジ線分７４Ｂを有する白線候補の下部近傍に、白線と類似する帯線部分７７Ｂを有する他の白線候補が存在する。
As shown in FIG. 7, the straight arrow sign 61A and the right
これらのことから、路面標示除外部１２ｃは、白線候補に含まれる内側線および外側線が交わり、かつその白線候補の下部近傍に他の白線候補が存在する場合には、白線候補及び他の白線候補を矢印標示として推定する。これによって、路面標示除外部１２ｃは、白線と類似する帯線部分を有する矢印標示を白線候補から除外できる。
For these reasons, the road marking
これを説明すると、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補を１つ取り出す。そして、路面標示除外部１２ｃは、白線候補に含まれる内側線および外側線が交わるか否かを判定する。そして、路面標示除外部１２ｃは、内側線および外側線が交わる場合には、その白線候補の下部近傍に他の白線候補が存在するか否かをさらに判定する。このとき、路面標示除外部１２ｃは、他の白線候補が存在する場合には、白線候補及び他の白線候補を矢印標示として記憶部１１へ登録し直す。その後、路面標示除外部１２ｃは、交点の探索および矢印標示の帯線部分の探索を全白線候補を対象に繰り返し行う。そして、全白線候補について探索が終了すると、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、矢印標示として登録し直した白線候補を削除することにより、白線候補から矢印標示を除外する。
Explaining this, the road marking
次に、白線候補から速度標示を除外する場合について説明する。路面標示除外部１２ｃは、速度標示の特徴に基づいて白線候補から速度標示を除外する。すなわち、速度標示には、「４０（ｋｍ／ｈ）」、「５０（ｋｍ／ｈ）」、「６０（ｋｍ／ｈ）」、・・・というように一の位が必ず「０」になるという傾向がある。このことから、路面標示除外部１２ｃでは、速度標示に含まれる「０」の部分を検出し、検出した「０」の部分から速度標示がなされる領域を推定する。そして、路面標示除外部１２ｃは、速度標示領域に含まれる白線候補を除外することにより、白線候補から速度標示を除外する。
Next, a case where a speed indicator is excluded from white line candidates will be described. The road marking
図８は、速度標示における数字ゼロの特定要領を説明するための図である。図８に示す符号「８０」は速度標示の一例を示す図である。図８に示す符号「８０ａ」は速度標示に含まれる数字ゼロを示す。図８に示す符号「８０ｂ」は速度標示に含まれる数字ゼロ８０ａのエッジ線分を示す。図８に示す符号「８１」は白線候補の外側のエッジ線分間の間隔を示す。図８に示す符号「８２」は水平方向に整列する二組の白線候補を示す。図８に示す符号「８３」は、撮影画像の奥側、すなわち上側の水平方向のエッジ線分を示す。図８に示す符号「８４」は、撮影画像の手前側、すなわち下側の水平方向のエッジ線分を示す。図８に示す符号「８５」は速度標示８０のエッジ画像を示す。
FIG. 8 is a diagram for explaining the specific point of the numeral zero in the speed indicator. Reference numeral “80” shown in FIG. 8 is a diagram showing an example of a speed indicator. The code “80a” shown in FIG. 8 indicates the number zero included in the speed indicator. Reference numeral “80b” shown in FIG. 8 indicates an edge line segment of the number zero 80a included in the speed indicator. Reference numeral “81” shown in FIG. 8 indicates an interval between edge line segments outside the white line candidate. Reference numeral “82” shown in FIG. 8 indicates two sets of white line candidates aligned in the horizontal direction. A symbol “83” illustrated in FIG. 8 indicates a horizontal edge line segment on the back side, that is, the upper side of the captured image. A symbol “84” illustrated in FIG. 8 indicates a horizontal edge line segment on the front side, that is, the lower side of the captured image. A reference numeral “85” shown in FIG. 8 indicates an edge image of the
図８に示すように、速度標示８０には数字ゼロ８０ａが含まれる。路面標示除外部１２ｃは、撮影画像の水平方向に整列する白線候補８２の組を探索する。このとき、路面標示除外部１２ｃは、白線候補８２の外側同士のエッジ線分の間隔８１が所定値、例えば速度標示に含まれる数字ゼロ８０ａの規定値である５０ｃｍであるか否かを判定する。なお、ここでは、白線候補８２の外側のエッジ線分間の間隔８１が数字ゼロ８０ａの規定値との間で過不足がない場合に速度標示の数字ゼロ８０ａである可能性ありと判定する場合を説明したが、規定値を基準とする所定の範囲に収まるか否かと幅を設けてもよい。
As shown in FIG. 8, the
また、路面標示除外部１２ｃは、白線候補８２の外側同士のエッジ線分の間隔８１が所定値である場合に、その白線候補８２の組の下部近傍に水平方向のエッジ線分８４が存在するか否かをさらに判定する。ここで、路面標示除外部１２ｃは、車載カメラ２００と速度標示８０との位置関係からいって撮影画像の奥側のエッジ線分８３よりも手前側のエッジ線分８４の方が車載カメラ２００に近くなるので、エッジ線分８４の方がエッジ線分の成分も大きくなる。このため、路面標示除外部１２ｃでは、速度標示の数字ゼロ８０ａの検出に撮影画像の手前側のエッジ線分８４を用いることとしたが、撮影画像の奥側の２つのエッジ線分８３を用いることとしてもよい。
Further, when the
そして、路面標示除外部１２ｃは、白線候補８２の組の下部近傍に水平方向のエッジ線分８４が存在する場合には、速度標示の数字ゼロ８０ａが撮影画像に含まれるものと見做し、数字ゼロ８０ａの標示領域から速度標示領域を算出する。
Then, when the
図９は、速度標示領域の算出要領を説明するための図である。図９に示す符号「９１」は速度標示に含まれる数字ゼロの標示領域を示す。図９に示す符号「９２」は速度標示に含まれる十の位の数字の標示領域を示す図９に示す符号「９３」は二桁の速度標示を行う場合の速度標示領域を示す。図９に示す例で言えば、速度標示に含まれる数字ゼロの標示領域９１は縦５ｍ及び横５０ｃｍの領域と規定されている。また、速度標示に含まれる十の位の数字の標示領域９２は縦５ｍ及び横７０ｃｍの領域と規定されている。このため、路面標示除外部１２ｃは、数字ゼロの標示領域９１の左側に十の位の数字の標示領域９２を併せた領域、すなわち縦５ｍ及び横１．２ｍの領域を速度標示領域９３として算出する。なお、図９の例では、二桁の速度標示を行う場合の速度標示領域を説明したが、三桁の速度標示を行う場合にも同様にして速度標示領域を算出できる。
FIG. 9 is a diagram for explaining the calculation procedure of the speed indication area. Reference numeral “91” shown in FIG. 9 indicates a sign area of the number zero included in the speed sign. A reference numeral “92” shown in FIG. 9 indicates a tenth digit number indicating area included in the speed indicator, and a reference numeral “93” shown in FIG. 9 indicates a speed indication area when two-digit speed indication is performed. In the example shown in FIG. 9, the number zero indicating
このようにして速度標示領域９３を算出すると、路面標示除外部１２ｃは、速度標示の数字ゼロ８０ａと検出した白線候補８２を速度標示として記憶部１１へ登録し直す。その後、路面標示除外部１２ｃは、数字ゼロ８０ａの検出および速度標示領域の算出を全白線候補を対象に繰り返し行う。そして、全白線候補について処理が終了すると、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、速度標示として登録し直した白線候補を削除することにより、白線候補から速度標示を除外する。
When the
この路面標示を除外した段階で得られた白線候補には、白線と類似する横断歩道、矢印標示および速度標示などの他の路面標示が除外され、全てのエッジ成分のうち白線に係るエッジ線分だけが白線候補データ１１ａとして記憶部１１に残されることになる。 The white line candidates obtained when this road marking is excluded excludes other road markings such as pedestrian crossings, arrow markings, and speed markings similar to the white line, and the edge line segment related to the white line among all edge components. Only the white line candidate data 11a is left in the storage unit 11.
図２の説明に戻り、白線決定部１２ｄは、路面標示除外部１２ｃによって白線以外の他の路面標示が除外された白線候補に基づき、白線を決定する処理部である。例えば、白線決定部１２ｄは、路面標示除外部１２ｃによって路面標示が除外された後に、記憶部１１に白線候補データ１１ａとして記憶された白線候補同士を道路が連なる方向に沿って連結し、連結した白線を白線データ１１ｃとして記憶部１１へ登録する。
Returning to the description of FIG. 2, the white
出力制御部１２ｅは、白線データ１１ｃの出力制御を行う処理部である。一例としては、出力制御部１２ｅは、路面標示除外部１２ｃによって白線以外の他の路面標示が検出されずに白線決定部１２ｄによって白線だけが単独で検出された場合にはその白線の検出結果である白線データ１１ｃを自車位置判断部１２ｆへ出力する。一方、出力制御部１２ｅは、白線決定部１２ｄによって白線が検出されるとともに路面標示除外部１２ｃによって白線以外の他の路面標示が検出された場合には白線データ１１ｃを自車位置判断部１２ｆへ出力するのを抑止する。なお、ここでは、車載装置１０内の他の機能部として自車位置判断部１２ｆへ白線データを出力させる場合の制御について説明したが、車載装置１０の外部装置へ白線データを出力する場合の制御についても同様である。
The output control unit 12e is a processing unit that performs output control of the white line data 11c. As an example, the output control unit 12e uses the detection result of the white line when the white
自車位置判断部１２ｆは、出力制御部１２ｅによって出力される白線データ１１ｃと、車載カメラ２００の設置位置及び設置角度とを用いて路面上での自車位置を判断する処理部である。この自車位置判断部１２ｆには、白線決定部１２ｄで白線データ１１ｃが生成されたからといって必ずしも白線データ１１ｃが供給されるとは限らない。すなわち、自車位置判断部１２ｆは、出力制御部１２ｅによって白線データ１１ｃが出力された場合、つまり白線が単独検出された場合に、２つの白線により形成される走行領域上で自車両が所在する位置を認識する。このとき、自車位置判断部１２ｆは、自車両が白線に所定の距離、例えば３０ｃｍまで近付いている場合や白線からはみ出している場合などには、車両ＥＣＵ３００や出力デバイス４００にその旨を出力する。
The vehicle position determination unit 12f is a processing unit that determines the vehicle position on the road surface using the white line data 11c output by the output control unit 12e and the installation position and installation angle of the in-
［処理の流れ］
次に、本実施例に係る車載装置の処理の流れを説明する。図１０は、実施例２に係る出力制御処理の手順を示すフローチャートである。この処理は、車載カメラ２００によって撮影画像が入力画像として入力されるか、或いは記憶部１１に記憶された撮影画像が読み出された場合に処理が起動する。
[Process flow]
Next, a processing flow of the in-vehicle device according to the present embodiment will be described. FIG. 10 is a flowchart illustrating the procedure of the output control process according to the second embodiment. This process is started when a captured image is input as an input image by the in-
図１０に示すように、撮影画像が入力されると（ステップＳ１０１肯定）、エッジ検出部１２ａは、撮影画像の各画素の輝度値からエッジ点を検出し（ステップＳ１０２）、検出したエッジ点を繋ぎ合わせることによりエッジ線分を検出する（ステップＳ１０３）。続いて、白線候補抽出部１２ｂは、エッジ検出部１２ａによって検出されたエッジ線分から白線候補を抽出する「白線候補抽出処理」を行う（ステップＳ１０４）。
As shown in FIG. 10, when a captured image is input (Yes at Step S101), the
ここで、図１１を用いて、図１０のステップＳ１０４で示した白線候補抽出処理について説明する。図１１は、実施例２に係る白線候補抽出処理の手順を示すフローチャートである。図１１に示すように、白線候補抽出部１２ｂは、撮影画像の中心部により近いエッジ線分から順にそのエッジ線分を内側線と仮決めし、その内側線と対をなす外側線を検索する（ステップＳ２０１）。 Here, the white line candidate extraction process shown in step S104 of FIG. 10 will be described with reference to FIG. FIG. 11 is a flowchart illustrating a procedure of white line candidate extraction processing according to the second embodiment. As shown in FIG. 11, the white line candidate extraction unit 12b provisionally determines the edge line segment as the inner line in order from the edge line segment closer to the center of the captured image, and searches for the outer line that makes a pair with the inner line ( Step S201).
そして、白線候補抽出部１２ｂは、これら内側線および外側線の重複率が所定の閾値以上であるか否かを判定する（ステップＳ２０２）。このとき、重複率が所定の閾値以上である場合（ステップＳ２０２肯定）には、白線候補抽出部１２ｂは、内側線および外側線の輝度値の変化が所定の閾値以内であるか否かをさらに判定する（ステップＳ２０３）。なお、輝度値の変化とは、例えば、内側線および外側線における高輝度側の輝度値の差分の絶対値と、内側線および外側線における低輝度側の輝度値の差分の絶対値との和を指す。 Then, the white line candidate extraction unit 12b determines whether or not the overlapping rate of the inner line and the outer line is equal to or greater than a predetermined threshold (step S202). At this time, if the overlap rate is equal to or higher than the predetermined threshold (Yes at Step S202), the white line candidate extraction unit 12b further determines whether or not the change in the luminance value of the inner line and the outer line is within the predetermined threshold. Determination is made (step S203). The change in the luminance value is, for example, the sum of the absolute value of the difference between the luminance values on the high luminance side in the inner line and the outer line and the absolute value of the difference in the luminance values on the lower luminance side in the inner line and the outer line. Point to.
続いて、内側線および外側線の輝度値の変化が所定の閾値以内である場合（ステップＳ２０３肯定）には、白線候補抽出部１２ｂは、内側線および外側線が形成する帯線の横幅が所定の範囲以内であるか否かをさらに判定する（ステップＳ２０４）。 Subsequently, when the change in the luminance value of the inner line and the outer line is within a predetermined threshold (Yes in step S203), the white line candidate extraction unit 12b determines that the width of the band formed by the inner line and the outer line is predetermined. It is further determined whether it is within the range (step S204).
そして、内側線および外側線が形成する帯線の横幅が所定の範囲以内である場合（ステップＳ２０４肯定）には、白線候補抽出部１２ｂは、内側線および外側線が形成する帯線の白線スコアを算出する（ステップＳ２０５）。 If the width of the band formed by the inner line and the outer line is within the predetermined range (Yes in step S204), the white line candidate extraction unit 12b determines the white line score of the band formed by the inner line and the outer line. Is calculated (step S205).
ここで、白線スコアが所定の閾値以上である場合（ステップＳ２０６肯定）には、白線候補抽出部１２ｂは、先に内側線および外側線と仮決めした一対のエッジ線分を白線候補データ１１ａとして記憶部１１へ登録する（ステップＳ２０７）。一方、白線スコアが所定の閾値未満である場合（ステップＳ２０６否定）には、そのままステップＳ２０９へ移行する。 Here, when the white line score is equal to or greater than the predetermined threshold (Yes at Step S206), the white line candidate extraction unit 12b uses the pair of edge lines that are provisionally determined as the inner line and the outer line as the white line candidate data 11a. Registration in the storage unit 11 (step S207). On the other hand, when the white line score is less than the predetermined threshold (No at Step S206), the process proceeds to Step S209 as it is.
また、内側線及び外側線が形成する帯線の横幅が所定の範囲以内でない場合（ステップＳ２０４否定）に、白線候補抽出部１２ｂは、内側線及び外側線として仮決めした一対のエッジ線分を他の路面標示候補として記憶部１１に登録する（ステップＳ２０８）。 In addition, when the width of the band formed by the inner line and the outer line is not within the predetermined range (No in step S204), the white line candidate extraction unit 12b uses the pair of edge line segments temporarily determined as the inner line and the outer line. It registers with the memory | storage part 11 as another road marking candidate (step S208).
また、重複率が所定の閾値未満である場合（ステップＳ２０２否定）或いは内側線および外側線の輝度値の変化が所定の閾値以上である場合（ステップＳ２０３否定）、そのままステップＳ２０９へ移行する。 When the overlap rate is less than the predetermined threshold (No at Step S202) or when the change in the luminance value of the inner line and the outer line is equal to or greater than the predetermined threshold (No at Step S203), the process proceeds to Step S209 as it is.
その後、エッジ検出部１２ａによって検出された全てのエッジ線分を内側線として探索が終了するまで（ステップＳ２０９否定）、上記のステップＳ２０１〜Ｓ２０８までの処理を繰り返し行う。そして、全てのエッジ線分を内側線として探索が終了した場合（ステップＳ２０９肯定）に、白線候補抽出部１１ｃは処理を終了する。
Thereafter, the processing from the above steps S201 to S208 is repeated until the search is completed using all the edge line segments detected by the
図１０の説明に戻り、路面標示除外部１２ｃは、白線候補抽出部１１ｂによって抽出された白線候補から横断歩道を除外する「横断歩道除外処理」を実行する（ステップＳ１０５）。
Returning to the description of FIG. 10, the road marking
ここで、図１２を用いて、図１０のステップＳ１０５で示した横断歩道除外処理について説明する。図１２は、実施例２に係る横断歩道除外処理の手順を示すフローチャートである。図１２に示すように、路面標示除外部１２ｃは、撮影画像における１つの水平ラインに含まれる白線候補を探索する（ステップＳ３０１）。
Here, the crosswalk exclusion process shown in step S105 of FIG. 10 will be described with reference to FIG. FIG. 12 is a flowchart illustrating the procedure of the crosswalk exclusion process according to the second embodiment. As illustrated in FIG. 12, the road marking
そして、路面標示除外部１２ｃは、１つの水平ラインに含まれる白線候補の数が所定の閾値以上であるか否かを判定する（ステップＳ３０２）。このとき、白線候補の数が所定の閾値以上である場合（ステップＳ３０２肯定）には、路面標示除外部１２ｃは、その水平ラインに含まれる各白線候補のエッジ点間の距離が所定の範囲以内であるか否かをさらに判定する（ステップＳ３０３）。
Then, the road marking
ここで、各白線候補のエッジ点間の距離が所定の範囲内に収まる場合（ステップＳ３０３肯定）に、路面標示除外部１２ｃは、各白線候補のエッジ点を横断歩道候補のエッジ点と推定し、その横断歩道候補のエッジ点を記憶部１１へ登録する（ステップＳ３０４）。
Here, when the distance between the edge points of each white line candidate is within a predetermined range (Yes in step S303), the road marking
また、白線候補の数が所定の閾値未満である場合（ステップＳ３０２否定）、或いは各白線候補のエッジ点間の距離が所定の範囲内に収まる場合（ステップＳ３０３否定）には、路面標示除外部１２ｃは、ステップＳ３０５へ処理を移行する。 When the number of white line candidates is less than a predetermined threshold (No at Step S302), or when the distance between edge points of each white line candidate is within a predetermined range (No at Step S303), a road marking exclusion unit In 12c, the process proceeds to step S305.
そして、水平ラインに対する白線候補の探索が全ラインについて終了するまで（ステップＳ３０５否定）、路面標示除外部１２ｃは、上記のステップＳ３０１〜Ｓ３０４までの処理を繰り返し行う。
Then, until the search for white line candidates for the horizontal line is completed for all lines (No at Step S305), the road surface marking
その後、水平ラインに対する白線候補の探索が全ラインについて終了すると（ステップＳ３０５肯定）、路面標示除外部１２ｃは、記憶部１１に記憶された横断歩道候補のエッジ点が垂直方向に連続するか否かを判定する（ステップＳ３０６）。そして、横断歩道候補のエッジ点が垂直方向に連続する場合（ステップＳ３０６肯定）には、路面標示除外部１２ｃは、垂直方向に連続する横断歩道候補の長さが所定の閾値以上であるか否かを判定する（ステップＳ３０７）。
Thereafter, when the search for white line candidates for the horizontal line is completed for all lines (Yes in step S305), the road marking
ここで、横断歩道候補の長さが所定の閾値以上である場合（ステップＳ３０７肯定）には、路面標示除外部１２ｃは、横断歩道候補を横断歩道と決定し、横断歩道候補を横断歩道として記憶部１１へ確定登録する（ステップＳ３０８）。そして、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、横断歩道として確定登録した横断歩道候補のエッジ点を含む白線候補を削除することにより、白線候補から横断歩道を除外する（ステップＳ３０９）。
If the length of the pedestrian crossing candidate is equal to or greater than the predetermined threshold (Yes at step S307), the road marking
一方、記憶部１１に記憶された横断歩道候補のエッジ点が垂直方向に連続しない場合（ステップＳ３０６否定）或いは横断歩道候補の長さが所定の閾値未満である場合（ステップＳ３０７否定）には、路面標示除外部１２ｃは、そのまま処理を終了する。
On the other hand, when the edge points of the pedestrian crossing candidates stored in the storage unit 11 are not continuous in the vertical direction (No at Step S306) or when the length of the pedestrian crossing candidate is less than a predetermined threshold (No at Step S307), The road marking
図１０の説明に戻り、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補から矢印標示を除外する「矢印標示除外処理」を実行する（ステップＳ１０６）。
Returning to the description of FIG. 10, the road marking
ここで、図１３を用いて、図１０のステップＳ１０６で示した矢印標示除外処理について説明する。図１３は、実施例２に係る矢印標示除外処理の手順を示すフローチャートである。 Here, the arrow marking exclusion process shown in step S106 of FIG. 10 will be described with reference to FIG. FIG. 13 is a flowchart illustrating a procedure of an arrow marking exclusion process according to the second embodiment.
図１３に示すように、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補を１つ取り出す（ステップＳ４０１）。そして、路面標示除外部１２ｃは、白線候補に含まれる内側線および外側線が交わるか否かを判定する（ステップＳ４０２）。このとき、内側線および外側線が交わる場合（ステップＳ４０２肯定）には、路面標示除外部１２ｃは、その白線候補の下部近傍に他の白線候補が存在するか否かをさらに判定する（ステップＳ４０３）。
As illustrated in FIG. 13, the road marking
ここで、他の白線候補が存在する場合（ステップＳ４０３肯定）には、路面標示除外部１２ｃは、白線候補及び他の白線候補を矢印標示として記憶部１１へ登録し直す（ステップＳ４０４）。一方、内側線および外側線が交らない場合（ステップＳ４０２否定）、或いは他の白線候補が存在しない場合（ステップＳ４０３否定）には、路面標示除外部１２ｃは、ステップＳ４０５まで処理を移行する。
Here, when another white line candidate exists (Yes at Step S403), the road marking
そして、全白線候補について処理が終了するまで（ステップＳ４０５否定）、路面標示除外部１２ｃは、上記のステップＳ４０１〜４０４までの処理を繰り返し行う。その後、全白線候補について処理が終了すると（ステップＳ４０５肯定）、路面標示除外部１２ｃは、矢印標示が存在しなかった場合（ステップＳ４０６否定）には、そのまま処理を終了する。
Then, until the processing is completed for all white line candidates (No at Step S405), the road marking
一方、矢印標示が存在した場合（ステップＳ４０６肯定）には、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、矢印標示として登録し直した白線候補を削除し（ステップＳ４０７）、処理を終了する。
On the other hand, when there is an arrow sign (Yes at Step S406), the road marking excluding
図１０の説明に戻り、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補から速度標示を除外する「速度標示除外処理」を実行する（ステップＳ１０７）。
Returning to the description of FIG. 10, the road surface marking
ここで、図１４を用いて、図１０のステップＳ１０７で示した速度標示除外処理について説明する。図１４は、実施例２に係る速度標示除外処理の手順を示すフローチャートである。図１４に示すように、撮影画像の水平方向に整列する白線候補の組を探索する（ステップＳ５０１）。そして、路面標示除外部１２ｃは、白線候補の外側同士のエッジ線分の間隔が所定値であるか否かを判定する（ステップＳ５０２）。
Here, the speed marking exclusion process shown in step S107 of FIG. 10 will be described with reference to FIG. FIG. 14 is a flowchart illustrating a procedure of speed sign exclusion processing according to the second embodiment. As shown in FIG. 14, a set of white line candidates aligned in the horizontal direction of the photographed image is searched (step S501). Then, the road marking
このとき、白線候補の外側同士のエッジ線分の間隔が所定値である場合（ステップＳ５０２肯定）に、路面標示除外部１２ｃは、その白線候補の組の下部近傍に水平方向のエッジ線分が存在するか否かをさらに判定する（ステップＳ５０３）。なお、白線候補の外側同士のエッジ線分の間隔が所定値でない場合（ステップＳ５０２否定）又は白線候補の組の下部近傍に水平方向のエッジ線分が存在しない場合（ステップＳ５０３否定）には、路面標示除外部１２ｃは、ステップＳ５０６の処理へ移行する。
At this time, when the interval between the edge line segments outside the white line candidates is a predetermined value (Yes in step S502), the road marking
ここで、白線候補の組の下部近傍に水平方向のエッジ線分が存在する場合（ステップＳ５０３肯定）には、路面標示除外部１２ｃは、速度標示の数字ゼロが撮影画像に含まれるものと見做し、数字ゼロの標示領域から速度標示領域を算出する（ステップＳ５０４）。そして、路面標示除外部１２ｃは、速度標示の数字ゼロと検出した白線候補を速度標示として記憶部１１へ登録し直す（ステップＳ５０５）。
Here, when a horizontal edge line segment exists in the vicinity of the lower part of the set of white line candidates (Yes in step S503), the road marking
その後、全白線候補について処理が終了するまで（ステップＳ５０６否定）、路面標示除外部１２ｃは、上記のステップＳ５０１〜Ｓ５０５までの処理を繰り返し行う。そして、全白線候補について処理が終了すると（ステップＳ５０６肯定）、路面標示除外部１２ｃは、速度標示が存在しなかった場合（ステップＳ５０７否定）には、そのまま処理を終了する。
Thereafter, the road marking
一方、速度標示が存在した場合（ステップＳ５０７肯定）には、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、速度標示として登録し直した白線候補を削除し（ステップＳ５０８）、処理を終了する。
On the other hand, if there is a speed sign (Yes at step S507), the road marking excluding
図１０の説明に戻り、白線決定部１２ｄは、路面標示除外部１２ｃによって白線以外の他の路面標示が除外された白線候補に基づき、白線を決定する（ステップＳ１０８）。そして、出力制御部１２ｅは、撮影画像から路面標示データ１１ｂが検出されずに白線データ１１ｃだけが単独で検出された場合（ステップＳ１０９肯定）には、その白線データ１１ｃを自車位置判断部１２ｆへ出力する（ステップＳ１１０）。その後、自車位置判断部１２ｆは、出力制御部１２ｅによって出力される白線データ１１ｃと、車載カメラ２００の設置位置及び設置角度とを用いて路面上での自車位置を判断し（ステップＳ１１１）、処理を終了する。
Returning to the description of FIG. 10, the white
一方、白線データ１１ｃとともに路面標示データ１１ｂが検出された場合（ステップＳ１０９否定）には、出力制御部１２ｅは、白線データ１１ｃの自車位置判断部１２ｆへの出力を抑止し（ステップＳ１１２）、自車位置を判断させずに処理を終了する。 On the other hand, when the road marking data 11b is detected together with the white line data 11c (No at Step S109), the output control unit 12e suppresses the output of the white line data 11c to the vehicle position determination unit 12f (Step S112). The process is terminated without determining the vehicle position.
なお、図１０のフローチャートでは、ステップＳ１０５、ステップＳ１０６及びステップＳ１０７の処理はそれぞれの順番を入れ替えることとしてもよいし、それぞれの処理を並列して行うこともできる。 In the flowchart of FIG. 10, the processes in step S105, step S106, and step S107 may be switched in order, or the processes may be performed in parallel.
［実施例２の効果］
上述してきたように、本実施例に係る車載装置１０では、白線と混同し得る他の路面標示が白線の検出結果に含まれている可能性が高い場合に、白線の検出結果を利用する別処理が実行されることはない。また、本実施例に車載装置１０では、白線の検出結果が出力されたとしても白線と混同し得る他の路面標示が含まれていないので、別処理で白線と混同して実行されることもない。したがって、本実施例に係る車載装置１０によれば、白線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止することが可能になる。
[Effect of Example 2]
As described above, in the in-vehicle device 10 according to the present embodiment, when there is a high possibility that other road markings that may be confused with the white line are included in the white line detection result, another method that uses the white line detection result is used. Processing is never executed. In addition, in the in-vehicle device 10 in this embodiment, even if the detection result of the white line is output, other road markings that can be confused with the white line are not included, and therefore, it may be executed by being confused with the white line in another process. Absent. Therefore, according to the vehicle-mounted apparatus 10 which concerns on a present Example, when performing another process using the detection result of a white line, it becomes possible to prevent that an incorrect process result is derived | led-out.
また、本実施例に係る車載装置１０では、白線の検出結果が出力された場合に、該白線の内側位置に基づき、路面上での自車位置を判断する。したがって、本実施例に係る車載装置１０によれば、白線の検出結果を利用して自車位置を判断する場合に、白線以外の路面標示を白線と混同して自車位置の判断処理が実行されることを防止することが可能である。 Moreover, in the vehicle-mounted apparatus 10 which concerns on a present Example, when the detection result of a white line is output, the own vehicle position on a road surface is judged based on the inner position of this white line. Therefore, according to the in-vehicle device 10 according to the present embodiment, when the vehicle position is determined using the detection result of the white line, the determination process of the vehicle position is executed by confusing road markings other than the white line with the white line. Can be prevented.
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。 Although the embodiments related to the disclosed apparatus have been described above, the present invention may be implemented in various different forms other than the above-described embodiments. Therefore, another embodiment included in the present invention will be described below.
［適用例］
例えば、上記の実施例２では、車載カメラ２００が車載装置１０へ白黒画像を入力する場合を例示したが、開示の装置はこれに限定されるものではない。例えば、車載カメラ２００が車載装置１０へカラー画像を入力し、白線だけでなく黄色車線の検出及びその出力制御を行うように車載装置１０を構成することもできる。
[Application example]
For example, in the above-described second embodiment, the case where the in-
また、上記の実施例２では、撮影画像に白線以外の路上標示が含まれる場合には白線の検出結果を自車位置判断部１２ｆへ出力させない場合を説明したが、必ずしも白線の検出結果を出力することを全面的に禁止する必要はない。例えば、撮影画像から横断歩道が検出された場合には、横断歩道よりも手前に白線が検出されなかったならば、白線の検出結果を出力するのを禁止する。その一方で、横断歩道の手前に白線が検出された場合には、横断歩道までの距離が所定の距離、例えば５ｍを超過するならば白線検出結果を出力し、所定の距離以下である場合には白線検出結果を出力することを禁止するようにしてもよい。 Further, in the second embodiment, the case where the detection result of the white line is not output to the vehicle position determination unit 12f when the captured image includes road markings other than the white line has been described. However, the detection result of the white line is not necessarily output. There is no need to ban it entirely. For example, when a pedestrian crossing is detected from a photographed image, if a white line is not detected before the pedestrian crossing, output of the white line detection result is prohibited. On the other hand, when a white line is detected in front of the pedestrian crossing, if the distance to the pedestrian crossing exceeds a predetermined distance, for example, 5 m, the white line detection result is output. May prohibit the output of white line detection results.
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、エッジ検出部１２ａ、白線候補抽出部１２ｂ、路面標示除外部１２ｃ、白線決定部１２ｄ、出力制御部１２ｅまたは自車位置判断部１２ｆを車載装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。さらに、自車位置判断部１２ｆを車載装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、エッジ検出部１２ａ、白線候補抽出部１２ｂ、路面標示除外部１２ｃ、白線決定部１２ｄ、出力制御部１２ｅまたは自車位置判断部１２ｆを別の装置がそれぞれ有する構成とする。その上で、ネットワーク接続されて協働することで、上記の車載装置１０の機能を実現するようにしてもよい。
In addition, each component of each illustrated apparatus does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. For example, the
［車線検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１５を用いて、上記の実施例と同様の機能を有する車線検出プログラムを実行するコンピュータの一例について説明する。なお、図１５は、実施例３に係る車線検出プログラムを実行するコンピュータの一例について説明するための図である。
[Lane detection program]
The various processes described in the above embodiments can be realized by executing a prepared program on a computer such as a personal computer or a workstation. In the following, an example of a computer that executes a lane detection program having the same function as that of the above-described embodiment will be described with reference to FIG. FIG. 15 is a schematic diagram illustrating an example of a computer that executes a lane detection program according to the third embodiment.
図１５に示すように、実施例３におけるコンピュータ１００は、操作部１１０ａと、マイク１１０ｂと、スピーカ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ（Hard Disk Drive）１７０と、ＲＡＭ（Random Access Memory）１８０と有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
As illustrated in FIG. 15, the
ＲＯＭ１６０には、上記の実施例２で示したエッジ検出部１２ａと、白線候補抽出部１２ｂと、路面標示除外部１２ｃと、白線決定部１２ｄと、出力制御部１２ｅと同様の機能を発揮する制御プログラムが予め記憶される。つまり、ＲＯＭ１６０には、図１５に示すように、エッジ検出プログラム１６０ａと、白線候補抽出プログラム１６０ｂと、路面標示除外プログラム１６０ｃと、白線決定プログラム１６０ｄと、出力制御プログラム１６０ｅとが記憶される。なお、これらのプログラム１６０ａ〜１６０ｅについては、図２に示した車載装置の各構成要素と同様、適宜統合又は分離しても良い。
The
そして、ＣＰＵ１５０が、これらのプログラム１６０ａ〜１６０ｅをＲＯＭ１６０から読み出して実行する。これによって、ＣＰＵ１５０は、図１５に示すように、各プログラム１６０ａ〜１６０ｅについては、エッジ検出プロセス１５０ａ、白線候補抽出プロセス１５０ｂ及び路面標示除外プロセス１５０ｃとして機能するようになる。さらに、ＣＰＵ１５０は、白線決定プロセス１５０ｄ及び出力制御プロセス１５０ｅとして機能するようになる。なお、各プロセス１５０ａ〜１５０ｅは、図２に示した、エッジ検出部１２ａと、白線候補抽出部１２ｂと、路面標示除外部１２ｃと、白線決定部１２ｄと、出力制御部１２ｅとにそれぞれ対応する。
Then, the
そして、ＣＰＵ１５０は、通信部１３０から撮影画像を受信するか、またはＨＤＤ１７０から撮影画像を読み出し、その撮影画像から白線候補データ１８０ａを生成してＲＡＭ１８０に格納する。さらに、ＣＰＵ１５０は、白線候補データ１８０ａから路面標示データ１８０ｂ及び白線データ１８０ｃを生成してＲＡＭ１８０に格納する。さらに、ＣＰＵ１５０は、ＲＡＭ１８０に格納された白線データ１８０ｃを用いて、車線検出プログラムを実行する。
Then,
１ 車線検出装置
２ 検出部
３ 出力制御部
１０ 車載装置
１１ 記憶部
１１ａ 白線候補データ
１１ｂ 路面標示データ
１１ｃ 白線データ
１２ 制御部
１２ａ エッジ検出部
１２ｂ 白線候補抽出部
１２ｃ 路面標示除外部
１２ｄ 白線決定部
１２ｅ 出力制御部
１２ｆ 自車位置判断部
２００ 車載カメラ
３００ 車両ＥＣＵ
４００ 出力デバイス
DESCRIPTION OF SYMBOLS 1
400 output devices
Claims (4)
車両に搭載したカメラにより取得された画像からエッジ線分を検出し、
検出されたエッジ線分から車線の候補を抽出し、
第１の前記車線の候補に含まれるエッジ線分及び第２の前記車線の候補に含まれるエッジ線分のうち最も遠いエッジ線分間の間隔が所定範囲内であり、前記第１の車線の候補及び前記第２の車線の候補の組の鉛直下部または鉛直上部に水平方向のエッジ線分が存在する場合に、前記車線の候補に含まれる前記第１の車線の候補及び前記第２の車線の候補を車線以外の路面標示と判定し、
前記車線の候補の中に前記路面標示と判定された前記第１の車線の候補及び前記第２の車線の候補が存在しない場合に、車線の検出結果を出力し、前記車線の候補の中に前記路面標示と判定された前記第１の車線の候補及び前記第２の車線の候補が存在する場合に、車線の検出結果の出力を抑止する
処理を実行させることを特徴とする車線検出プログラム。 On the computer,
Detect edge line segments from images acquired by cameras mounted on vehicles,
Extract lane candidates from the detected edge segments,
Distance farthest edge line minutes of edge line segments included in the edge line and the second of said lane candidate included in the candidate of the first of the lane is falls within the predetermined range, the candidate of the first lane and if there is a horizontal edge line in the set of vertical bottom or vertical upper portion of candidates for the second lane of the first lane included in the candidate of the lane candidate and the second lane Decide the candidate as a road marking other than lane ,
If the candidate of the candidate and the second lane of the road marking and the determined first lane among the candidates of the lane is not present, and outputs a detection result of the lane, in candidates for the lane lane detection program, characterized in that when said candidate and candidates of the second lane of the road marking determined to be said first lane is present, to execute processing to suppress the output of the lane detection result.
前記車線の候補に含まれるエッジ線分が互いに交わり、かつ該車線の候補の鉛直下部または鉛直上部に他の車線の候補が存在する場合に、当該車線の候補及び当該他の車線の候補を前記路面標示としてさらに判定することを特徴とする請求項１または２に記載の車線検出プログラム。 As a process of the determination,
If the edge line segments included in the candidate of the lane intersects each other, and the vertical bottom or vertical top candidate the lane candidates for the other lanes are present, of the lane candidate and candidates of the other lanes The lane detection program according to claim 1, wherein the lane detection program is further determined as the road marking .
前記検出部によって検出されたエッジ線分から車線の候補を抽出する抽出部と、
第１の前記車線の候補に含まれるエッジ線分及び第２の前記車線の候補に含まれるエッジ線分のうち最も遠いエッジ線分間の間隔が所定範囲内であり、前記第１の車線の候補及び前記第２の車線の候補の組の鉛直下部または鉛直上部に水平方向のエッジ線分が存在する場合に、前記車線の候補に含まれる前記第１の車線の候補及び前記第２の車線の候補を車線以外の路面標示と判定する判定部と、
前記車線の候補の中に前記路面標示と判定された前記第１の車線の候補及び前記第２の車線の候補が存在しない場合に、車線の検出結果を出力し、前記車線の候補の中に前記路面標示と判定された前記第１の車線の候補及び前記第２の車線の候補が存在する場合に、車線の検出結果の出力を抑止する出力制御部と
を有することを特徴とする車線検出装置。 A detection unit for detecting an edge line segment from an image acquired by a camera mounted on the vehicle;
An extraction unit for extracting lane candidates from the edge line segments detected by the detection unit;
Distance farthest edge line minutes of edge line segments included in the edge line and the second of said lane candidate included in the candidate of the first of the lane is falls within the predetermined range, the candidate of the first lane and if there is a horizontal edge line in the set of vertical bottom or vertical upper portion of candidates for the second lane of the first lane included in the candidate of the lane candidate and the second lane A determination unit that determines candidates as road markings other than lanes ;
If the candidate of the candidate and the second lane of the road marking and the determined first lane among the candidates of the lane is not present, and outputs a detection result of the lane, in candidates for the lane A lane detection, comprising: an output control unit that suppresses output of a lane detection result when the first lane candidate and the second lane candidate determined to be the road markings exist. apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010014703A JP5554579B2 (en) | 2010-01-26 | 2010-01-26 | Lane detection program and lane detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010014703A JP5554579B2 (en) | 2010-01-26 | 2010-01-26 | Lane detection program and lane detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011154480A JP2011154480A (en) | 2011-08-11 |
| JP5554579B2 true JP5554579B2 (en) | 2014-07-23 |
Family
ID=44540403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010014703A Active JP5554579B2 (en) | 2010-01-26 | 2010-01-26 | Lane detection program and lane detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5554579B2 (en) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101869084B1 (en) * | 2012-01-04 | 2018-06-19 | 현대모비스 주식회사 | Lane departure warning system capable of recognizing hipass line and method of recognizing hipass line |
| JP5878090B2 (en) * | 2012-07-12 | 2016-03-08 | 本田技研工業株式会社 | Traveling line detector |
| JP5971341B2 (en) * | 2012-08-09 | 2016-08-17 | トヨタ自動車株式会社 | Object detection device and driving support device |
| CN104822566B (en) * | 2012-11-27 | 2016-07-06 | 歌乐牌株式会社 | On-vehicle image processing device |
| JP2014106739A (en) * | 2012-11-27 | 2014-06-09 | Clarion Co Ltd | In-vehicle image processing device |
| JP5822866B2 (en) * | 2013-05-08 | 2015-11-25 | 本田技研工業株式会社 | Image processing device |
| CN104680171B (en) * | 2013-11-27 | 2018-10-02 | 富士通株式会社 | The detection device, method of zebra stripes in image |
| JP6173962B2 (en) * | 2014-04-01 | 2017-08-02 | 本田技研工業株式会社 | Lane mark recognition device |
| JP6132807B2 (en) * | 2014-04-24 | 2017-05-24 | 本田技研工業株式会社 | Lane mark recognition device |
| JP6476927B2 (en) * | 2015-01-30 | 2019-03-06 | 富士通株式会社 | Detection apparatus, detection method and detection program |
| JP2016224585A (en) * | 2015-05-28 | 2016-12-28 | 株式会社Ｊｖｃケンウッド | Road surface sign detection device, fault element detection device, lane detection device, lane detection method, and program |
| US10558867B2 (en) | 2015-09-28 | 2020-02-11 | Kyocera Corporation | Image processing apparatus, stereo camera apparatus, vehicle, and image processing method |
| JP7318614B2 (en) | 2020-09-07 | 2023-08-01 | トヨタ自動車株式会社 | Information processing device, information processing method, and road marking system |
| JP7444942B1 (en) | 2022-09-26 | 2024-03-06 | 株式会社デンソーテン | Information processing device, information processing method and program |
| JP7497398B2 (en) | 2022-09-26 | 2024-06-10 | 株式会社デンソーテン | Information processing device, information processing method, and program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003123197A (en) * | 2001-10-16 | 2003-04-25 | Alpine Electronics Inc | Recognition device for road mark or the like |
| JP3818641B2 (en) * | 2001-11-30 | 2006-09-06 | トヨタ自動車株式会社 | Vehicle runway determination device and vehicle control device |
| JP4575031B2 (en) * | 2004-05-31 | 2010-11-04 | 三菱電機株式会社 | In-vehicle road marking detection device |
| JP2007220013A (en) * | 2006-02-20 | 2007-08-30 | Mazda Motor Corp | Device for detecting white line for vehicle |
| JP2007261449A (en) * | 2006-03-29 | 2007-10-11 | Fuji Heavy Ind Ltd | Traveling target point setting device, lane following support device and lane deviation prevention device |
| JP4731380B2 (en) * | 2006-03-31 | 2011-07-20 | アイシン・エィ・ダブリュ株式会社 | Self-vehicle position recognition device and self-vehicle position recognition method |
-
2010
- 2010-01-26 JP JP2010014703A patent/JP5554579B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011154480A (en) | 2011-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5554579B2 (en) | Lane detection program and lane detection device | |
| JP6220327B2 (en) | Traveling lane marking recognition device, traveling lane marking recognition program | |
| KR101500082B1 (en) | Apparatus and method for recognizing driving lane | |
| JP5631581B2 (en) | Road recognition device | |
| JP6362442B2 (en) | Lane boundary line extraction device, lane boundary line extraction method, and program | |
| US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
| JP5401257B2 (en) | Far-infrared pedestrian detection device | |
| JP7203586B2 (en) | Image processing device and image processing method | |
| WO2014084122A1 (en) | On-board control device | |
| JP4744537B2 (en) | Driving lane detector | |
| US9842265B2 (en) | Marking line detection system | |
| JP2006309313A (en) | Road recognition device | |
| JP4939137B2 (en) | Lane recognition device | |
| KR101406316B1 (en) | Apparatus and method for detecting lane | |
| JP2013186663A (en) | Crosswalk recognition device and crosswalk recognition method | |
| JP2018005618A (en) | Road recognition device | |
| JP2013186664A (en) | Crosswalk recognition device and crosswalk recognition method | |
| JP2014164492A (en) | Block line recognition device | |
| US20200193184A1 (en) | Image processing device and image processing method | |
| JP5097681B2 (en) | Feature position recognition device | |
| JP2020095623A (en) | Image processing device and image processing method | |
| US11256933B2 (en) | Image processing device and image processing method | |
| JP5189556B2 (en) | Lane detection device | |
| US10796172B2 (en) | Image processing device and image processing method | |
| JP7141940B2 (en) | Image processing device and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140529 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5554579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |