JP2014026608A - On-vehicle environment recognition device - Google Patents

On-vehicle environment recognition device Download PDF

Info

Publication number
JP2014026608A
JP2014026608A JP2012168772A JP2012168772A JP2014026608A JP 2014026608 A JP2014026608 A JP 2014026608A JP 2012168772 A JP2012168772 A JP 2012168772A JP 2012168772 A JP2012168772 A JP 2012168772A JP 2014026608 A JP2014026608 A JP 2014026608A
Authority
JP
Japan
Prior art keywords
lane marker
reliability
road surface
vehicle
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012168772A
Other languages
Japanese (ja)
Other versions
JP6006574B2 (en
Inventor
Ryo Sakurai
諒 櫻井
Masayuki Takemura
雅幸 竹村
Masato Imai
正人 今井
Shoji Muramatsu
彰二 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2012168772A priority Critical patent/JP6006574B2/en
Publication of JP2014026608A publication Critical patent/JP2014026608A/en
Application granted granted Critical
Publication of JP6006574B2 publication Critical patent/JP6006574B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an on-vehicle environment recognition device by which a lane marker is detected in a road in various road surface states.SOLUTION: A lane marker feature point detection part 40 detects lane marker feature points S, Swhich are supposed to constitute a lane marker out of an image I photographed by an imaging part 10; a lane marker detection part 45 detects a lane marker on the basis of positions of the lane marker feature points S, S; a road surface state determination part 50 determines a state of a road surface on which a vehicle 5 is travelling; a reliability calculation part 80 calculates, on the basis of a determination result by the road surface state determination part 50 and a detection result by the lane marker feature point detection part 40, a reliability R of the lane marker detection result; a lane deviation determination part 90 determines, on the basis of a position of a lane marker detected by the lane marker detection part 45, a probability that the vehicle 5 deviates from a lane in which the vehicle 5 is travelling; and when it is determined that deviation is probable, an alarm output control part 100 outputs an alarm corresponding to the reliability R of the lane marker detection result.

Description

本発明は、車載カメラでレーンマーカの位置を検出する車載環境認識装置に関するものである。   The present invention relates to an in-vehicle environment recognition apparatus that detects the position of a lane marker with an in-vehicle camera.

近年、車両にカメラを搭載して、そのカメラで車両の周辺を観測し、観測された画像の中から、車線の境界に敷設されたレーンマーカの位置を検出して、こうして検出されたレーンマーカの位置に基づいて車両の位置と車線の位置との関係を算出し、車線逸脱の可能性を判断して注意喚起を行う車載レーンマーカ認識装置が実用化されている。   In recent years, a camera is mounted on a vehicle, the periphery of the vehicle is observed with the camera, the position of the lane marker laid on the boundary of the lane is detected from the observed image, and the position of the lane marker thus detected is detected. An in-vehicle lane marker recognizing device that calculates the relationship between the position of the vehicle and the position of the lane based on the above, and determines the possibility of lane departure to call attention has been put into practical use.

このようなシステムでは、例えば、路面との輝度差が大きいというレーンマーカの特徴を用いて、この路面との輝度差の大きい画素を検出して、検出された画素の列に対してレーン形状を当てはめることによってレーンマーカの位置を検出している。そして、そのような装置の例として、車線認識装置が開示されている（例えば、特許文献１）。   In such a system, for example, a pixel having a large luminance difference from the road surface is detected by using the feature of the lane marker that the luminance difference from the road surface is large, and the lane shape is applied to the detected row of pixels. Thus, the position of the lane marker is detected. And a lane recognition device is disclosed as an example of such a device (for example, patent documents 1).

特開２０１０−２１１７０１号公報JP 2010-211711 A

特許文献１に記載された車線認識装置では、レーンマーカの検出率が低下したことを検出することによって、車両が、レーンマーカが敷設されていない交差点や分岐路、合流路を走行していると判断して、車両とレーンマーカの相対位置の認識を停止していた。   In the lane recognition device described in Patent Document 1, it is determined that the vehicle is traveling along an intersection, a branch road, or a junction where no lane marker is laid by detecting that the detection rate of the lane marker has decreased. The recognition of the relative position of the vehicle and the lane marker was stopped.

しかしながら、特許文献１に開示された発明によると、路面に木漏れ日の影があるとき、また、路面に自車両の影があるときなどは、路面上に、レーンマーカとよく似た輝度分布が発生するため、レーンマーカ以外のノイズを検出することによって、レーンマーカの検出率が高いものと誤認識してしまう可能性がある。そして、このような誤認識が発生すると、路面上のノイズをレーンマーカとして検出してしまうという問題があった。   However, according to the invention disclosed in Patent Document 1, when there is a shadow of sun leaking on the road surface, or when there is a shadow of the host vehicle on the road surface, a luminance distribution similar to a lane marker is generated on the road surface. Therefore, by detecting noise other than the lane marker, it may be erroneously recognized that the detection rate of the lane marker is high. When such erroneous recognition occurs, there is a problem that noise on the road surface is detected as a lane marker.

本発明は、上記課題に鑑みてなされたもので、交差点や分岐路、合流路に限定されることなく、様々な路面状態の道路においてレーンマーカを検出することができる車載環境認識装置を提供することを目的とする。   The present invention has been made in view of the above problems, and provides an in-vehicle environment recognition device capable of detecting a lane marker on a road in various road surface conditions without being limited to an intersection, a branch road, or a combined flow path. With the goal.

本発明に係る車載環境認識装置は、車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、前記撮像部によって撮像された画像の中から、レーンマーカを構成すると考えられるレーンマーカ特徴点を検出するレーンマーカ特徴点検出部と、前記レーンマーカ特徴点検出部によって検出されたレーンマーカ特徴点に基づいて、レーンマーカの位置を検出するレーンマーカ検出部と、前記車両が走行している路面状態を判定する路面状態判定部と、前記路面状態判定部によって判定された路面状態と、前記レーンマーカ特徴点検出部の検出結果に基づいて、前記レーンマーカ検出部によって検出されたレーンマーカの位置の信頼度を算出する信頼度算出部と、前記レーンマーカ検出部によって検出されたレーンマーカの位置に基づいて、前記車両が走行中の車線から逸脱する可能性を判断する車線逸脱判断部と、前記車線逸脱判断部において、前記車両が走行中の車線から逸脱する可能性があると判断されたときに、前記信頼度に応じて警報を出力する警報出力制御部と、を有することを特徴とする。   An in-vehicle environment recognition device according to the present invention is installed in a vehicle, observes the surroundings of the vehicle, captures an image including at least a road surface, and a lane marker from among images captured by the imaging unit. A lane marker feature point detection unit that detects a lane marker feature point that is considered to constitute a lane marker, a lane marker detection unit that detects the position of a lane marker based on the lane marker feature point detected by the lane marker feature point detection unit, and the vehicle traveling A lane marker detected by the lane marker detection unit based on a road surface state determined by the road surface state determination unit, a road surface state determined by the road surface state determination unit, and a detection result of the lane marker feature point detection unit. A reliability calculation unit for calculating the reliability of the position, and detected by the lane marker detection unit; A lane departure determination unit that determines a possibility that the vehicle deviates from the traveling lane based on the position of the turn marker, and the lane departure determination unit has a possibility that the vehicle departs from the traveling lane And an alarm output control unit that outputs an alarm according to the reliability when judged.

このように構成された本発明の請求項１に係る車載環境認識装置によれば、撮像部によって撮像された画像の中から、レーンマーカ特徴点検出部が、レーンマーカを構成すると考えられるレーンマーカ特徴点を検出して、レーンマーカ検出部が、こうして検出されたレーンマーカ特徴点の位置に基づいてレーンマーカを検出するとともに、路面状態判定部が、車両が走行している路面状態を判定して、信頼度算出部が、路面状態判定部の判定結果とレーンマーカ特徴点検出部の検出結果に基づいて、レーンマーカ検出部で検出されたレーンマーカの位置の信頼度を算出して、車線逸脱判断部が、レーンマーカ検出部で検出されたレーンマーカの位置に基づいて、車両が走行中の車線から逸脱する可能性を判断して、車両が走行中の車線から逸脱する可能性があると判断されたときに、警報出力制御部がレーンマーカ検出結果の信頼度に応じた車線逸脱警報を出力するため、路面状態に応じたレーンマーカの検出結果の信頼度が算出されることによって、様々な路面状態の道路においてレーンマーカの検出を行うことができるとともに、レーンマーカの検出結果に応じた的確な車線逸脱警報を出力することができる。   According to the in-vehicle environment recognition device according to the first aspect of the present invention configured as described above, the lane marker feature point detection unit is configured to select the lane marker feature point considered to constitute the lane marker from the images captured by the imaging unit. And the lane marker detection unit detects the lane marker based on the position of the lane marker feature point thus detected, and the road surface state determination unit determines the road surface state in which the vehicle is traveling, and the reliability calculation unit. Based on the determination result of the road surface condition determination unit and the detection result of the lane marker feature point detection unit, the reliability of the position of the lane marker detected by the lane marker detection unit is calculated, and the lane departure determination unit is Based on the detected position of the lane marker, the possibility of the vehicle deviating from the driving lane is judged, and the vehicle deviates from the driving lane. When the warning output control unit outputs a lane departure warning according to the reliability of the lane marker detection result when it is determined that the lane marker detection result may be, the reliability of the lane marker detection result according to the road surface condition is calculated. As a result, it is possible to detect lane markers on roads in various road conditions, and to output accurate lane departure warnings according to the detection results of lane markers.

本発明に係る車載環境認識装置は、様々な路面状態の道路において、路面状態に応じた信頼度でレーンマーカを検出することができる。   The in-vehicle environment recognition device according to the present invention can detect a lane marker with reliability according to a road surface state on roads in various road surface states.

本発明に係る車載レーンマーカ認識装置が実装された車載システムの一例であるＬＤＷ（Lane Departure Warning）システムについて説明する図である。It is a figure explaining the LDW (Lane Departure Warning) system which is an example of the vehicle-mounted system by which the vehicle-mounted lane marker recognition apparatus which concerns on this invention was mounted. 車両に設置された撮像部で撮像した画像の例を示す図である。It is a figure which shows the example of the image imaged with the imaging part installed in the vehicle. 本発明の実施例１に係る車載環境認識装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the vehicle-mounted environment recognition apparatus which concerns on Example 1 of this invention. 本発明の実施例１に係る車載環境認識装置の路面状態判定部の詳細構成を示すブロック図である。It is a block diagram which shows the detailed structure of the road surface state determination part of the vehicle-mounted environment recognition apparatus which concerns on Example 1 of this invention. 本発明の実施例１に係る車載環境認識装置の信頼度算出部の詳細構成を示すブロック図である。It is a block diagram which shows the detailed structure of the reliability calculation part of the vehicle-mounted environment recognition apparatus which concerns on Example 1 of this invention. 本発明の実施例１に係る車載環境認識装置において実行されるメインルーチンのフローチャートである。It is a flowchart of the main routine performed in the vehicle-mounted environment recognition apparatus which concerns on Example 1 of this invention. 本発明の実施例１に係る車載環境認識装置において、路面状態の判定方法と、路面状態に応じた信頼度の算出方法を説明する図である。It is a figure explaining the determination method of a road surface state, and the calculation method of the reliability according to a road surface state in the vehicle-mounted environment recognition apparatus which concerns on Example 1 of this invention. 本発明の実施例１において実行されるレーンマーカ特徴点検出処理のうち、レーンマーカ候補検出部で行われる処理の内容を説明する図である。It is a figure explaining the content of the process performed in a lane marker candidate detection part among the lane marker feature point detection processes performed in Example 1 of this invention. 本発明の実施例１において実行されるレーンマーカ特徴点検出処理のうち、ウインドゥ設定部で行われる処理の内容を説明する図である。It is a figure explaining the content of the process performed in the window setting part among the lane marker feature point detection processes performed in Example 1 of this invention. 本発明の実施例１において実行されるレーンマーカ特徴点検出処理のうち、レーンマーカ特徴点検出部で行われる処理の内容を説明する図である。It is a figure explaining the content of the process performed in a lane marker feature point detection part among the lane marker feature point detection processes performed in Example 1 of this invention. 本発明の実施例１において実行されるレーンマーカ検出処理の内容を説明する図である。It is a figure explaining the content of the lane marker detection process performed in Example 1 of this invention. 本発明の実施例１において実行される視認性算出処理で利用する視認性変換特性を説明する図である。It is a figure explaining the visibility conversion characteristic utilized by the visibility calculation process performed in Example 1 of this invention. 本発明の実施例１において実行される路面状態判定処理のうち、路面標識認識処理の内容を説明する図であり、（ａ）は路面標識の検出を行う範囲を説明する図であり、（ｂ）は路面標識度合を検出した結果の一例であり、（ｃ）は路面標識の有無を判定する処理の内容を説明する図である。It is a figure explaining the content of the road surface sign recognition process among the road surface state determination processes performed in Example 1 of this invention, (a) is a figure explaining the range which detects a road surface sign, (b) ) Is an example of a result of detecting a road surface sign degree, and (c) is a diagram illustrating the contents of processing for determining the presence or absence of a road surface sign. 本発明の実施例１において実行される路面状態判定処理のうち、横断歩道認識処理の内容を説明する図であり、（ａ）は横断歩道の検出を行う範囲を説明する図であり、（ｂ）は横断歩道の検出を行う処理の内容を説明する図である。It is a figure explaining the content of the pedestrian crossing recognition process among the road surface state determination processes performed in Example 1 of this invention, (a) is a figure explaining the range which detects a pedestrian crossing, (b ) Is a diagram for explaining the contents of processing for detecting a pedestrian crossing. 本発明の実施例１において実行される路面状態判定処理のうち、雪わだち認識処理の内容を説明する図であり、（ａ）は雪わだちの検出を行う範囲を説明する図であり、（ｂ）は雪わだちがあるときに得られる画像の一例であり、（ｃ）は画像から検出されたエッジ点の頻度分布図であり、（ｄ）は図１５（ｃ）の頻度分布の中から、レーンマーカを構成するエッジ点を取り除いた頻度分布図である。It is a figure explaining the content of a snow-drum recognition process among the road surface state determination processes performed in Example 1 of this invention, (a) is a figure explaining the range which detects a snow-drum, (b) ) Is an example of an image obtained when there is a snowdrift, (c) is a frequency distribution diagram of edge points detected from the image, (d) is a frequency distribution of FIG. 15 (c), It is the frequency distribution figure which removed the edge point which comprises a lane marker. 本発明の実施例１において実行される路面状態判定処理のうち、オフロード認識処理の内容を説明する図であり、（ａ）はオフロードの認識を行う範囲を説明する図であり、（ｂ）はオフロードの認識を行う処理の内容を説明する図である。It is a figure explaining the content of the off-road recognition process among the road surface state determination processes performed in Example 1 of this invention, (a) is a figure explaining the range which recognizes off-road, (b) ) Is a diagram for explaining the contents of processing for recognizing offload. 本発明の実施例１において実行される路面状態判定処理のうち、木漏れ日認識処理の内容を説明する図であり、（ａ）は木漏れ日の認識を行う範囲を説明する図であり、（ｂ）は木漏れ日の認識を行う処理の内容を説明する図である。It is a figure explaining the content of the sunlight detection process among the road surface state determination processes performed in Example 1 of this invention, (a) is a figure explaining the range which recognizes a sunlight, and (b) is a figure. It is a figure explaining the content of the process which recognizes a tree leak day. 本発明の実施例１において実行される路面状態判定処理のうち、自車影認識処理の内容を説明する図であり、（ａ）は自車影の認識を行う範囲を説明する第１の図であり、（ｂ）は自車影の認識を行う範囲を説明する第２の図であり、（ｃ）は図１８（ａ）を用いて行う自車影認識処理の内容を説明する図であり、（ｄ）は図１８（ｂ）を用いて行う自車影認識処理の内容を説明する図である。It is a figure explaining the content of the own vehicle shadow recognition process among the road surface state determination processes performed in Example 1 of this invention, (a) is a 1st figure explaining the range which recognizes the own vehicle shadow. (B) is a second diagram for explaining the range of recognition of the own vehicle shadow, and (c) is a diagram for explaining the contents of the own vehicle shadow recognition processing performed using FIG. 18 (a). (D) is a figure explaining the content of the own vehicle shadow recognition process performed using FIG.18 (b). 本発明の実施例１において実行される路面状態判定処理のうち、周期性解析処理の内容を説明する図であり、（ａ）は周期性解析を行う範囲を説明する図であり、（ｂ）は周期性解析処理の内容を説明する図である。It is a figure explaining the content of the periodicity analysis process among the road surface state determination processes performed in Example 1 of this invention, (a) is a figure explaining the range which performs a periodicity analysis, (b) These are the figures explaining the contents of periodicity analysis processing. 本発明の実施例１に係る車載環境認識装置において実行される信頼度算出処理の内容を説明する図である。It is a figure explaining the content of the reliability calculation process performed in the vehicle-mounted environment recognition apparatus which concerns on Example 1 of this invention. 本発明の実施例１に係る車載環境認識装置において、雪わだちがある道路を走行したときに算出される信頼度推移の一例を説明する図である。It is a figure explaining an example of the reliability transition calculated when drive | working the road with a snowdrift in the vehicle-mounted environment recognition apparatus which concerns on Example 1 of this invention. 本発明の実施例１に係る車載環境認識装置において、路面標識がある道路を走行したときに算出される信頼度推移の一例を説明する図である。It is a figure explaining an example of the reliability transition calculated when it drive | works the road with a road surface sign in the vehicle-mounted environment recognition apparatus which concerns on Example 1 of this invention. 本発明の実施例１に係る車載環境認識装置において、雪わだちがある道路を走行したときに算出される信頼度推移の別の例を説明する図である。It is a figure explaining another example of the reliability transition calculated when drive | working the road with a snowdrift in the vehicle-mounted environment recognition apparatus which concerns on Example 1 of this invention. 本発明の実施例１に係る車載環境認識装置において、木漏れ日と路面標識がある道路を走行したときに算出される信頼度推移の一例を説明する図である。It is a figure explaining an example of the reliability transition calculated when it drive | works the road with a sunlight and a road surface sign in the vehicle-mounted environment recognition apparatus which concerns on Example 1 of this invention.

以下、本発明に係る車載レーンマーカ認識装置の実施形態について、図面を参照して説明する。なお、以下の説明において、画像に格納された濃淡値を輝度値と呼ぶ。   Hereinafter, an embodiment of an in-vehicle lane marker recognition device according to the present invention will be described with reference to the drawings. In the following description, the gray value stored in the image is referred to as a luminance value.

本実施例は、本発明の車載環境認識装置を、車両の走行中に、走行車線からの逸脱の可能性を判断して、逸脱の可能性があると判断されたときに、注意喚起や警報、もしくは、車両の挙動を制御して車線逸脱を未然に防止するＬＤＷ（Lane Departure Warning）システムが実装された車両に適用した例である。   In this embodiment, the in-vehicle environment recognition device according to the present invention determines whether there is a possibility of deviation while judging the possibility of deviation from the driving lane while the vehicle is running. Or it is an example applied to the vehicle by which the LDW (Lane Departure Warning) system which controls the behavior of a vehicle and prevents lane departure beforehand is mounted.

まず、図１を用いてＬＤＷシステムの動作を説明する。道路２を紙面左に向かって走行している車両５の後方を監視する撮像部１０は、車両５の後部に後ろ向きに取り付けられて、車両５が走行している車線Ｙ１を含む範囲ωを撮像する。そして、撮像された画像の中から、画像処理によって車両５が走行している車線Ｙ１の左右両側にある車線境界であるレーンマーカＬＬ，ＬＲの位置を検出する。 First, the operation of the LDW system will be described with reference to FIG. The imaging unit 10 for monitoring the rear of the vehicle 5 traveling toward the left side of the page on the road 2 is attached rearward to the rear of the vehicle 5 and captures the range ω including the lane Y1 in which the vehicle 5 is traveling. To do. Then, the positions of the lane markers L L and L R that are lane boundaries on the left and right sides of the lane Y1 in which the vehicle 5 is traveling are detected from the captured images by image processing.

一般に、車線境界には、その位置を運転者に知らせるマーカが敷設されている。マーカの例としては、白や黄色にペイントされた実線や破線、また、鋲などがある。こうした車線境界の位置を示すマーカを、以下、レーンマーカと呼ぶことにする。そして、以下の説明では、レーンマーカが、白や黄色にペイントされた実線や破線で構成されている場合を例にあげて説明する。   Generally, a marker that informs the driver of the position is laid on the lane boundary. Examples of markers include solid and dashed lines painted in white and yellow, and wrinkles. Such a marker indicating the position of the lane boundary is hereinafter referred to as a lane marker. In the following description, a case where the lane marker is configured by a solid line or a broken line painted in white or yellow will be described as an example.

ＬＤＷシステムは、車両５が所定車速以上で走行しているときに起動されて、時刻ｔにおいて撮像部１０で撮像された画像Ｉ（ｘ,ｙ,ｔ）（以後、単に画像Ｉと呼ぶ。また、特に（ｘ,ｙ）の値が意味を持つときは画像Ｉ（ｘ,ｙ）と呼び、時刻ｔの値が意味を持つときは画像Ｉ（ｔ）と呼ぶ。）の中から、左右のレーンマーカをそれぞれ検出する。ここで、撮像部１０で撮像された画像Ｉの中で左側に映ったレーンマーカをＬＬ、右側に映ったレーンマーカをＬＲとする。 The LDW system is activated when the vehicle 5 is traveling at a predetermined vehicle speed or higher and is an image I (x, y, t) (hereinafter simply referred to as an image I) captured by the imaging unit 10 at time t. In particular, when the value of (x, y) is meaningful, it is called image I (x, y), and when the value of time t is meaningful, it is called image I (t)). Each lane marker is detected. Here, lane markers and L L reflected in the left side in the image I captured by the imaging unit 10, the lane markers reflected in the right and L R.

左右のレーンマーカＬＬ，ＬＲが検出されると、車両５から左側のレーンマーカＬＬまでの距離、または車両５から右側のレーンマーカＬＲまでの距離と、車両５のヨー角、およびそのときの車両５の車速に基づいて、車両５がそのときと同じ状態（同じ車速、同じ操舵角）で進行したときに車線を逸脱するまでの時間である車線逸脱予測時間Ｆが算出される。 Left and right lane marker L L, when L R is detected, the distance from the vehicle 5 to the lane marker L L of the left, or the distance to the right of the lane marker L R from the vehicle 5, the yaw angle of the vehicle 5, and at that time Based on the vehicle speed of the vehicle 5, a lane departure prediction time F that is a time until the vehicle 5 departs from the lane when the vehicle 5 travels in the same state (the same vehicle speed and the same steering angle) is calculated.

そして、こうして算出された車線逸脱予測時間Ｆが所定時間以内であるときに、車線逸脱警報を出力して、運転者に注意を喚起する。   When the predicted lane departure time F thus calculated is within a predetermined time, a lane departure warning is output to alert the driver.

本発明に係る車載環境認識装置では、前記撮像部１０によって撮像されて、図２に示すように、画像Ｉの中央から左側の領域（以後、単に画像Ｉの左側と呼ぶ。）にレーンマーカＬＬが映り、画像Ｉの中央から右側の領域（以後、単に画像Ｉの右側と呼ぶ。）にレーンマーカＬＲが映った画像が取得された後、この画像Ｉが処理されて、レーンマーカＬＬ，ＬＲの位置が検出される。 In the in-vehicle environment recognition apparatus according to the present invention, the lane marker L L is picked up by the image pickup unit 10 and is located in the left region from the center of the image I (hereinafter simply referred to as the left side of the image I) as shown in FIG. After an image in which the lane marker LR is reflected in the area from the center to the right side of the image I (hereinafter simply referred to as the right side of the image I) is acquired, the image I is processed and the lane markers L L , L The position of R is detected.

なお、図２において、画像Ｉの下部に映っている影Ｋは、車両５のリアバンパーの映り込みである。そして、以後説明する画像処理では、影Ｋの領域に対しては、画像処理を行わないものとする。   In FIG. 2, a shadow K shown in the lower part of the image I is a reflection of the rear bumper of the vehicle 5. In the image processing described below, it is assumed that no image processing is performed on the shadow K area.

次に、図３から図６を用いて、実施例１に係る車載環境認識装置の構成を説明する。   Next, the configuration of the in-vehicle environment recognition apparatus according to the first embodiment will be described with reference to FIGS.

実施例１に係る車載環境認識装置８は、図３に示すように、図示しない車両５の後部ライセンスプレート付近に設置されて、進行方向後方の画像Ｉを撮像する、レンズ等の集光機能を有する光学系とＣ−ＭＯＳ等の光電変換素子から構成された撮像部１０と、撮像部１０で撮像された画像の中の所定の領域の中から、前記車両が走行している車線の左右にあるレーンマーカの候補を検出するレーンマーカ候補検出部２０と、撮像部１０で撮像された画像Ｉの中の、レーンマーカが映ると考えられる位置にウインドゥを設定するウインドゥ設定部３０と、設定されたウインドゥの中から、レーンマーカを構成する特徴点として、画像Ｉの中から、左右に隣接する画素の間で所定値以上の輝度差を有する画素を検出するレーンマーカ特徴点検出部４０と、レーンマーカ特徴点の検出結果に基づいてレーンマーカの位置を検出するレーンマーカ検出部４５と、車両５が走行している路面状態を判定する路面状態判定部５０と、車両５の車速ｖと操舵角θとヨーレートφを取得する車両情報取得部６０と、レーンマーカ検出部４５で検出されたレーンマーカの位置の信頼度を算出する信頼度算出部８０と、レーンマーカの検出結果と車両情報取得部６０で取得した情報から、車両５の車線逸脱を判断する車線逸脱判断部９０と、車線逸脱すると判断されたときに車内に設置されたブザー等を鳴動させて車線逸脱警報を出力するスピーカやブザー等からなる警報出力制御部１００を備えている。   As shown in FIG. 3, the in-vehicle environment recognition device 8 according to the first embodiment is installed near the rear license plate of the vehicle 5 (not shown) and has a condensing function such as a lens that captures an image I behind the traveling direction. An imaging unit 10 composed of an optical system having a photoelectric conversion element such as a C-MOS, and a predetermined region in an image captured by the imaging unit 10, on the left and right of the lane in which the vehicle is traveling A lane marker candidate detection unit 20 that detects a candidate for a certain lane marker, a window setting unit 30 that sets a window at a position where a lane marker is considered to be reflected in the image I captured by the imaging unit 10, and a window that has been set A lane marker feature point detection unit that detects a pixel having a luminance difference of a predetermined value or more between pixels adjacent to the left and right from the image I as feature points constituting the lane marker. 0, a lane marker detection unit 45 that detects the position of the lane marker based on the detection result of the lane marker feature point, a road surface state determination unit 50 that determines the road surface state in which the vehicle 5 is traveling, and the vehicle speed v and steering of the vehicle 5 The vehicle information acquisition unit 60 that acquires the angle θ and the yaw rate φ, the reliability calculation unit 80 that calculates the reliability of the position of the lane marker detected by the lane marker detection unit 45, and the detection result of the lane marker and the vehicle information acquisition unit 60 From the acquired information, from a lane departure determination unit 90 that determines the lane departure of the vehicle 5 and a speaker or buzzer that outputs a lane departure warning by sounding a buzzer installed in the vehicle when it is determined that the vehicle is departing from the lane An alarm output control unit 100 is provided.

前記路面状態判定部５０は、図４に示すように、撮像部１０で撮像した画像の中から、様々な路面状態を判定する判定モジュールを複数備えている。すなわち、路面にペイントされた標識の有無を認識する路面標識認識部５１と、道路上の横断歩道の有無を認識する横断歩道認識部５２と、路面の雪わだちを認識する雪わだち認識部５３と、走行中の道路がオフロードであるか否かを認識するオフロード認識部５４と、道路上の木漏れ日を認識する木漏れ日認識部５５と、道路上に生じた車両５の影を認識する自車影認識部５６と、撮像部１０で異なる時刻に撮像された画像Ｉ（ｔ）の中から検出されたレーンマーカ特徴点の総数の時間変化を判定する周期性解析部５７を備えている。そして、前記路面状態判定部５０は、さらに、車両情報取得部６０で取得した車両５の挙動を表す情報や図４に図示しないカーナビゲーションシステムの情報に基づいて急カーブ度合を認識する急カーブ認識部５８と、交差点の有無を認識する交差点認識部５９を備えている。   As shown in FIG. 4, the road surface state determination unit 50 includes a plurality of determination modules that determine various road surface states from images captured by the imaging unit 10. That is, a road surface sign recognition unit 51 that recognizes the presence or absence of a sign painted on the road surface, a pedestrian crossing recognition unit 52 that recognizes the presence or absence of a pedestrian crossing on the road, and a snow road recognition unit 53 that recognizes a snow road on the road surface The off-road recognition unit 54 for recognizing whether or not the running road is off-road, the sunbeams recognition unit 55 for recognizing the sunbeams on the road, and the own vehicle for recognizing the shadow of the vehicle 5 generated on the road A shadow recognizing unit 56 and a periodicity analyzing unit 57 that determines temporal changes in the total number of lane marker feature points detected from images I (t) captured at different times by the imaging unit 10 are provided. The road surface state determination unit 50 further recognizes a sharp curve degree based on information representing the behavior of the vehicle 5 acquired by the vehicle information acquisition unit 60 or information on a car navigation system (not shown in FIG. 4). And an intersection recognition unit 59 for recognizing the presence or absence of an intersection.

前記信頼度算出部８０は、図５に示すように、レーンマーカ特徴点検出部４０で検出されたレーンマーカ特徴点の総数に基づいて、レーンマーカの視認性を推定する視認性推定部８２と、視認性推定部で推定された視認性に応じて信頼度を調整する信頼度換算テーブル８４を備えている。   As shown in FIG. 5, the reliability calculation unit 80 includes a visibility estimation unit 82 that estimates the visibility of the lane marker based on the total number of lane marker feature points detected by the lane marker feature point detection unit 40, and a visibility. A reliability conversion table 84 that adjusts the reliability according to the visibility estimated by the estimation unit is provided.

次に、実施例１に係る車載環境認識装置８の一連の動作の流れについて、図６のフローチャートを用いて説明する。   Next, a flow of a series of operations of the in-vehicle environment recognition device 8 according to the first embodiment will be described with reference to the flowchart of FIG.

まず、ステップＳ１０において、前記撮像部１０で画像Ｉを撮像する。   First, in step S10, the image I is captured by the imaging unit 10.

次に、ステップＳ２０において、レーンマーカ特徴点検出処理を行う。この処理は、画像Ｉの中から、横方向に隣り合う画素が所定値以上の輝度差を有しているときに、この画素を、レーンマーカを構成する特徴点であるとして検出する処理である。この処理は、前記レーンマーカ候補検出部２０、および、前記ウインドゥ設定部３０、前記レーンマーカ特徴点検出部４０で行われる。なお、このレーンマーカ特徴点検出処理の詳細については後述する。   Next, in step S20, lane marker feature point detection processing is performed. This process is a process of detecting, from the image I, when a pixel adjacent in the horizontal direction has a luminance difference equal to or greater than a predetermined value, as a feature point constituting a lane marker. This process is performed by the lane marker candidate detection unit 20, the window setting unit 30, and the lane marker feature point detection unit 40. Details of this lane marker feature point detection process will be described later.

次に、ステップＳ３０において、レーンマーカ検出処理を行う。この処理は、レーンマーカ特徴点検出処理によって検出されたレーンマーカ特徴点に直線や曲線を適合させてレーンマーカを検出する処理である。この処理は、前記レーンマーカ検出部４５で行われる。なお、このレーンマーカ検出処理の詳細については後述する。   Next, in step S30, lane marker detection processing is performed. This process is a process for detecting a lane marker by fitting a straight line or a curve to the lane marker feature point detected by the lane marker feature point detection process. This process is performed by the lane marker detection unit 45. Details of the lane marker detection process will be described later.

次に、ステップＳ４０において、視認性算出処理を行う。この処理は、レーンマーカ特徴点検出処理で検出されたレーンマーカの特徴点の総数に応じて、レーンマーカの視認性Ｖを推定する処理である。この処理は、前記視認性推定部８２で行われる。なお、この視認性算出処理の詳細については後述する。   Next, in step S40, visibility calculation processing is performed. This process is a process of estimating the visibility V of the lane marker according to the total number of feature points of the lane marker detected by the lane marker feature point detection process. This process is performed by the visibility estimation unit 82. Details of the visibility calculation process will be described later.

次に、ステップＳ５０において、路面状態判定処理を行う。この処理は、予め用意された判定モジュールである路面標識認識部５１，横断歩道認識部５２，雪わだち認識部５３，オフロード認識部５４，木漏れ日認識部５５，自車影認識部５６，周期性解析部５７，急カーブ認識部５８，交差点認識部５９を用いて、走行中の路面の状態を様々な観点から判定する処理である。この処理は、前記路面状態判定部５０で行われる。なお、この路面状態判定処理の詳細については後述する。   Next, in step S50, a road surface state determination process is performed. This process is performed by a road surface sign recognition unit 51, a pedestrian crossing recognition unit 52, a snow road recognition unit 53, an off-road recognition unit 54, a sunlight leakage recognition unit 55, a vehicle shadow recognition unit 56, a periodicity, which are judgment modules prepared in advance. This is a process for determining the state of the running road surface from various viewpoints using the analysis unit 57, the sharp curve recognition unit 58, and the intersection recognition unit 59. This process is performed by the road surface state determination unit 50. The details of the road surface state determination process will be described later.

次に、ステップＳ６０において、信頼度算出処理を行う。この処理は、レーンマーカ検出処理で検出されたレーンマーカの信頼度Ｒを算出する処理であり、前記信頼度算出部８０で行われる。この信頼度算出処理の詳細については後述する。   Next, in step S60, a reliability calculation process is performed. This process is a process for calculating the reliability R of the lane marker detected in the lane marker detection process, and is performed by the reliability calculation unit 80. Details of the reliability calculation processing will be described later.

次に、ステップＳ７０において、車線逸脱判定処理を行う。この処理は、レーンマーカ検出処理で検出されたレーンマーカの位置と、車両５の車速ｖと、道路の延伸方向と車両５の進行方向とのなす角度であるヨー角ρと、に基づいて、車線逸脱の可能性を判断して、車線逸脱の可能性があるときに車線逸脱警報を出力する処理であり、前記車線逸脱判断部９０、および、前記警報出力制御部１００で行われる。この車線逸脱判定処理の詳細については後述する。   Next, in step S70, a lane departure determination process is performed. This process is based on the position of the lane marker detected in the lane marker detection process, the vehicle speed v of the vehicle 5, and the yaw angle ρ that is an angle between the road extending direction and the vehicle 5 traveling direction. This is a process of outputting a lane departure warning when there is a possibility of lane departure, and is performed by the lane departure judgment unit 90 and the warning output control unit 100. Details of the lane departure determination process will be described later.

次に、図７を用いて、本実施例において算出される信頼度Ｒについて説明する。   Next, the reliability R calculated in the present embodiment will be described with reference to FIG.

走行中の道路には、様々な路面状態が出現する。そして、その路面状態に応じて、撮像部１０で撮像された画像Ｉに映るレーンマーカＬＬ，ＬＲは、鮮明さを失ったり、コントラストが小さくなったり、見えなくなったり、途切れが発生したりする。すなわち、路面状態に応じて、レーンマーカＬＬ，ＬＲが検出しにくくなる場合がある。 Various road surface conditions appear on the running road. Then, in accordance with the road surface condition, lane marker L L, L R reflected in the captured image I by the imaging unit 10 may lose sharpness, or contrast is reduced, or becomes invisible, interrupted or generated . That is, in accordance with road surface condition, lane marker L L, is L R may become difficult to detect.

本発明では、路面状態を判定して、その判定結果に基づいて、検出されたレーンマーカＬＬ，ＬＲに信頼度Ｒを付与する。そして、この信頼度Ｒは、判定された路面状態に応じて設定される。 In the present invention, the road surface state is determined, and the reliability R is given to the detected lane markers L L and L R based on the determination result. The reliability R is set according to the determined road surface condition.

図７は、走行中の道路に出現することが予想される様々な路面状態の各々に対して、その路面状態が出現したときに、信頼度Ｒを算出する方法を記載した図である。   FIG. 7 is a diagram describing a method for calculating the reliability R for each of various road surface states expected to appear on a running road when the road surface state appears.

以下、図７の内容について説明する。図７の縦軸には、出現することが予想される路面 状態が列挙されている。そして、図７の横軸には、以下の事項を記載している。   The contents of FIG. 7 will be described below. The vertical axis in FIG. 7 lists road surface states that are expected to appear. The horizontal axis in FIG. 7 describes the following items.

（第１列）その路面状態が出現したときに、レーンマーカ特徴点検出処理によって検出された点（図７では、レーンマーカ候補点と呼んでいる。）に、横方向のばたつきが発生するものに「○」印を付与している。すなわち、この項目に該当する路面状態にあるときは、レーンマーカＬＬ，ＬＲを検出できたとしても、その位置が時間とともに左右のばたつく可能性があることを示している。 (First column) When a road surface condition appears, a point that is detected by the lane marker feature point detection process (referred to as a lane marker candidate point in FIG. 7) is subject to lateral flapping. “○” is given. That is, when the road surface condition corresponds to this item, even if the lane markers L L and L R can be detected, the position may fluctuate from side to side with time.

（第２列）その路面状態が出現したときに、レーンマーカ特徴点検出処理によって検出された点に、横位置の横飛びが発生するものに「○」印を付与している。すなわち、この項目に該当する路面状態にあるときは、レーンマーカＬＬ，ＬＲを検出できたとしても、その位置が、突然左右に飛ぶ可能性があることを示している。 (Second column) When the road surface condition appears, “o” marks are given to the points detected by the lane marker feature point detection process in which the horizontal jump occurs. That is, when the road surface condition corresponds to this item, even if the lane markers L L and L R can be detected, the position may suddenly fly left and right.

（第３列）発生した路面状態のうち、撮像部１０で撮像した画像Ｉを処理することによって、その路面状態であることを認識可能なものに「○」印を付与している。そして、本実施例１では、後述するように、路面状態判定部５０の中に、「○」印を付与した路面状態を判定できる判定モジュールを実装している。   (Third column) Among the generated road surface conditions, by processing the image I captured by the imaging unit 10, a mark “◯” is given to those that can recognize the road surface state. In the first embodiment, as will be described later, a determination module capable of determining the road surface state to which the “◯” mark is attached is mounted in the road surface state determination unit 50.

（第４列）発生した路面状態のうち、車両５の挙動を分析することによって、その路面状態であることを認識可能なものに「○」印を付与している。そして、本実施例１では、後述するように、路面状態判定部５０の中に、「○」印を付与した路面状態を判定できる判定モジュールを実装している。   (Fourth column) By analyzing the behavior of the vehicle 5 among the generated road surface conditions, a mark “◯” is given to those that can recognize the road surface condition. In the first embodiment, as will be described later, a determination module capable of determining the road surface state to which the “◯” mark is attached is mounted in the road surface state determination unit 50.

（第５列）発生した路面状態のうち、カーナビゲーションシステムの情報を分析することによって、その路面状態であることを認識可能なものに「○」印を付与している。そして、図３の構成図には記載しないが、路面状態判定部５０の中に、カーナビゲーションシステムから出力された情報を入力することによって、「○」印を付与した路面状態であることを認識することができる。   (Fifth column) Among the generated road surface conditions, by analyzing the information of the car navigation system, “◯” is given to those that can recognize the road surface state. Although not shown in the configuration diagram of FIG. 3, the road surface state determination unit 50 recognizes that the road surface state is given a “○” mark by inputting information output from the car navigation system. can do.

（第６列）その路面状態が継続すると考えられる時間のオーダーを記載している。この情報は、路面状態判定部５０の中に備えた各判定モジュールのタスク管理（所定の継続時間毎に処理をリセットする等）に利用することができる。   (Sixth column) The order of the time when the road surface condition is considered to be continued is described. This information can be used for task management of each determination module provided in the road surface state determination unit 50 (e.g., resetting the processing every predetermined duration).

（第７列）各路面状態が発生したと判定できたときの、信頼度Ｒの算出方法の一例が記載されている。このうち、「１」が付与された箇所は、レーンマーカ特徴点が横方向ばたついている間は信頼度Ｒを減算し、信頼度Ｒの上限も低めに設定することを示す。また、「２」が付与された箇所は、レーンマーカ特徴点が横方向に飛んだ瞬間に、信頼度Ｒをリセット（０にする）もしくは、車線逸脱警報の出力を抑制することを示す。そして、「３」が付与された箇所は、信頼度Ｒの減算を抑制することを示す。なお、詳しくは後述する。   (Seventh column) An example of a calculation method of the reliability R when it can be determined that each road surface state has occurred is described. Among these, a part to which “1” is assigned indicates that the reliability R is subtracted while the lane marker feature point is fluttering in the horizontal direction, and the upper limit of the reliability R is set to be lower. Also, the part to which “2” is assigned indicates that the reliability R is reset (set to 0) or the output of the lane departure warning is suppressed at the moment when the lane marker feature point flies in the horizontal direction. And the part to which “3” is given indicates that the subtraction of the reliability R is suppressed. Details will be described later.

次に、図６の各ステップで行われる処理の詳細について、順に説明する。   Next, details of processing performed in each step of FIG. 6 will be described in order.

（レーンマーカ特徴点検出処理）
図８〜図１０を用いて、ステップＳ２０で行われるレーンマーカ特徴点検出処理について説明する。まず、前記レーンマーカ候補検出部２０によって、図８に示すように、画像Ｉ（図８にはＩ（ｘ,ｙ,ｔ）と記載している）の中の所定の位置に、レーンマーカ特徴点を検出するためのウインドゥが設定される。このウインドゥは、画像Ｉの中でレーンマーカが映ると考えられるなるべく下部の位置に、画像Ｉの左側と右側にそれぞれ設定する。ここで、左側のウインドゥをＷＬ０、右側のウインドゥをＷＲ０とする。 (Lane marker feature point detection processing)
The lane marker feature point detection process performed in step S20 will be described with reference to FIGS. First, as shown in FIG. 8, the lane marker candidate detection unit 20 sets lane marker feature points at predetermined positions in an image I (indicated as I (x, y, t) in FIG. 8). A window for detection is set. This window is set at a position as low as possible on the left side and the right side of the image I so that a lane marker is considered to be reflected in the image I. Here, the left window is W L0 and the right window is W R0 .

次に、ウインドゥＷＬ０とウインドゥＷＲ０の内部でレーンマーカ特徴点を検出する。レーンマーカ特徴点の検出は、ウインドゥＷＬ０の内部に設定した所定の水平ラインｍＬ上を右から左に探索しながら、画像Ｉ（ｘ，ｙ，ｔ）の中の隣接する画素の輝度値の差分値（I（ｘ，ｙ，ｔ）−I（ｘ＋１，ｙ，ｔ））を演算し、差分値が所定値を超える正の値を示す画素Ｓ１と、差分値が負の値を示し、その絶対値が所定値を超える画素Ｓ２を検出する。 Next, lane marker feature points are detected inside the window W L0 and the window W R0 . Detection of lane marker feature points, while searching to the left a predetermined upper horizontal line m L set in the inside of the window W L0 from the right, the image I (x, y, t) of the brightness values of adjacent pixels in the A difference value (I (x, y, t) −I (x + 1, y, t)) is calculated, a pixel S1 indicating a positive value in which the difference value exceeds a predetermined value, and the difference value indicates a negative value. A pixel S2 whose absolute value exceeds a predetermined value is detected.

次に、ウインドゥＷＲ０の内部に設定した所定の水平ラインｍＲ上を左から右に探索しながら、画像Ｉ（ｘ，ｙ，ｔ）の中の隣接する画素の輝度値の差分値（I（ｘ，ｙ，ｔ）−I（ｘ＋１，ｙ，ｔ））を演算し、差分値が負の値を示し、その絶対値が所定値を超える画素Ｓ３と、差分値が所定値を超える正の値を示す画素Ｓ４を検出する。 Then, while searching the predetermined upper horizontal line m R set in the interior of the window W R0 from left to right, the image I (x, y, t) the difference value of the luminance values of adjacent pixels in the (I (X, y, t) -I (x + 1, y, t)) is calculated, the difference value indicates a negative value, the pixel S3 whose absolute value exceeds the predetermined value, and the positive value whose difference value exceeds the predetermined value A pixel S4 indicating the value of is detected.

こうして検出された画素Ｓ１，Ｓ２，Ｓ３，Ｓ４のうち、隣り合った画素（ウインドゥＷＬ０内の画素Ｓ１と画素Ｓ２、ウインドゥＷＲ０内の画素Ｓ３と画素Ｓ４）は、レーンマーカの位置を示す候補となり、このうち、内側の点である画素Ｓ１，Ｓ３をレーンマーカ特徴点と呼ぶ。 Among the pixels S1, S2, S3, and S4 thus detected, adjacent pixels (pixel S1 and pixel S2 in window W L0 , pixel S3 and pixel S4 in window W R0 ) are candidates indicating the position of the lane marker. Among these, the pixels S1 and S3 which are the inner points are referred to as lane marker feature points.

なお、レーンマーカ特徴点検出の確実性を向上させるために、ウインドゥＷＬ０の内部、およびウインドゥＷＲ０の内部に、複数の水平ラインｍＬｉ（ｉ＝１，２，…）、および水平ラインｍＲｉ（ｉ＝１，２，…）を設定して、複数の水平ラインｍＬｉ上、およびｍＲｉ上で、レーンマーカ特徴点を検出してもよい。 In order to improve the certainty of detecting the lane marker feature point, a plurality of horizontal lines m Li (i = 1, 2,...) And horizontal lines m Ri are provided inside the window W L0 and inside the window W R0. (I = 1, 2,...) May be set to detect lane marker feature points on a plurality of horizontal lines m Li and m Ri .

また、異なる時間に撮像された複数の画像Ｉ（ｔ），Ｉ（ｔ＋Δｔ），…からそれぞれレーンマーカ特徴点を検出してもよい。   Alternatively, the lane marker feature points may be detected from a plurality of images I (t), I (t + Δt),.

次に、前記ウインドゥ設定部３０において、画像Ｉの中の、レーンマーカが映ると推定される領域にウインドゥを設定する。この領域の設定方法について、図９を用いて説明する。   Next, the window setting unit 30 sets a window in an area in the image I where a lane marker is estimated to be reflected. A method of setting this area will be described with reference to FIG.

図９に示すように、ウインドゥは、画像Ｉの左側と右側にそれぞれ設定され、左側に設定されるウインドゥをＷＬとし、右側に設定されるウインドゥをＷＲとする。それぞれウインドゥＷＬ，ＷＲは、車両５の直近から遠方に亘って延びる長方形状を有する。そして、その横幅は、先に検出したレーンマーカ特徴点の間隔（画素Ｓ１と画素Ｓ２の間隔、および画素Ｓ３と画素Ｓ４の間隔）に所定値を加えた値に設定される。これは、前方の道路線形によっては、レーンマーカが屈曲している場合もあるためである。 As shown in FIG. 9, the window are respectively set to the left and right side of the image I, the the window that is set on the left and W L, the the window that is set on the right and W R. Each of the windows W L and W R has a rectangular shape extending from the nearest to the far side of the vehicle 5. Then, the horizontal width is set to a value obtained by adding a predetermined value to the previously detected interval between the lane marker feature points (the interval between the pixels S1 and S2 and the interval between the pixels S3 and S4). This is because the lane marker may be bent depending on the road alignment ahead.

次に、前記レーンマーカ特徴点検出部４０において、画像Ｉの中に設定したウインドゥＷＬ，ＷＲの内部においてレーンマーカ特徴点の検出を行う。 Then, in the lane marker feature point detector 40, the window was set in the image I W L, the detection of lane marker characteristic points inside the W R performed.

レーンマーカ特徴点の検出は、先に説明した通り、隣り合った画素の輝度値の差分に基づいて行う。そして、例えば、図１０に示すように、先の処理領域設定処理で設定されたウインドゥ（図９のＷＬ）の内部で画像Ｉを右から左に探索して、輝度値の差分値であるI（ｘ，ｙ，ｔ）−I（ｘ＋１，ｙ，ｔ）が正の所定値以上となる画素を全て検出する。なお、この探索は、探索位置の上下方向の座標を複数設定して、設定された複数の位置で行う。そして、図１０では、検出した画素（レーンマーカ特徴点）の位置に、「＋」印を付与している。なお、画像Ｉの右側に設定したウインドゥ（図９のＷＲ）の内部についても、同様の処理を行う。以下、ウインドゥＷＬの内部で検出されたレーンマーカ特徴点をＳＬとし、ウインドゥＷＲの内部で検出されたレーンマーカ特徴点をＳＲとする。 The detection of the lane marker feature point is performed based on the difference between the luminance values of adjacent pixels as described above. Then, for example, as shown in FIG. 10, the image I is searched from right to left within the window (W L in FIG. 9) set in the previous processing area setting process, and is the difference value of the luminance value. All pixels for which I (x, y, t) -I (x + 1, y, t) is a positive predetermined value or more are detected. This search is performed at a plurality of set positions by setting a plurality of vertical coordinates of the search position. In FIG. 10, a “+” mark is given to the position of the detected pixel (lane marker feature point). Regarding internal the window set at the right side of the image I (W R in FIG. 9) also performs the same process. Hereinafter, the lane marker feature points detected within the the window W L and S L, the lane marker feature points detected within the the window W R and S R.

次に、こうして算出されたレーンマーカ特徴点の総数を、ウインドゥＷＬ，ＷＲ内それぞれについて算出する。ウインドゥＷＬ内のレーンマーカ特徴点ＳＬの総数をＰＬとし、ウインドゥＷＲ内のレーンマーカ特徴点ＳＲの総数をＰＲとする。こうして算出されたレーンマーカ特徴点の総数ＰＬ，ＰＲは、後述する視認性算出処理で利用される。 Then, the total number of lane marker characteristic points thus calculated, to calculate the the window W L, the W R, respectively. The total number of lane marker feature point S L in the window W L and P L, the total number of lane marker feature point S R in the window W R and P R. Thus the total number P L, P R of the calculated lane marker characteristic points is utilized in visibility calculation process to be described later.

（レーンマーカ検出処理）
次に、図１１を用いて、ステップＳ３０で行われるレーンマーカ検出処理について説明する。なお、以下の処理は、ウインドゥＷＬ，ＷＲ内それぞれについて行われるが、以下、ウインドゥＷＬ内で行う処理についてのみ説明する。ウインドゥＷＲ内でも同じ処理が行われるため、説明は省略する。 (Lane marker detection processing)
Next, the lane marker detection process performed in step S30 will be described using FIG. Note that the following process, the window W L, is performed for W R in each, hereinafter, a description will be given only processing performed in the window W L. Since the same processing even in the window W R is performed, description thereof will be omitted.

前記レーンマーカ検出部４５において、先にレーンマーカ特徴点検出処理で検出した特徴点の座標を、図１１（ｂ）に示す、予め用意したＸＹ平面に投票する。   In the lane marker detection unit 45, the coordinates of the feature points previously detected by the lane marker feature point detection process are voted on the XY plane prepared in advance shown in FIG.

この投票の様子を、図１１（ａ），（ｂ）を用いて説明する。図１１（ａ）は、画像Ｉ（図１１（ａ）にはＩ（ｘ,ｙ,ｔ）と記載している）の中からレーンマーカ特徴点ＳＬ，ＳＲを検出した結果を示す。ここで、図１１（ａ）の中に表示した「＋」印がレーンマーカ特徴点ＳＬ，ＳＲを表している。撮像部１０の設置レイアウト（高さや俯角）が既知であるため、例えば、道路が平面で構成されており、勾配がないと仮定すると、こうして検出されたレーンマーカ特徴点ＳＬ，ＳＲの座標から、各レーンマーカ特徴点ＳＬ，ＳＲの道路上の位置を推定することができる。 This voting will be described with reference to FIGS. 11 (a) and 11 (b). FIG. 11A shows the result of detecting the lane marker feature points S L and S R from the image I (indicated as I (x, y, t) in FIG. 11A). Here, the “+” mark displayed in FIG. 11A represents the lane marker feature points S L and S R. Since the installation layout (height and depression angle) of the imaging unit 10 is known, for example, assuming that the road is a plane and has no gradient, the coordinates of the lane marker feature points S L and S R detected in this way are used. The positions of the lane marker feature points S L and S R on the road can be estimated.

図１１（ｂ）は、図１１（ａ）の左側のレーンマーカＬＬを構成すると考えられるレーンマーカ特徴点ＳＬに対して上記の推定を行い、推定結果をＸＹ平面に投票した結果を示す。 FIG. 11 (b), perform the above estimation for the left lane marker L L lane marker feature points considered to constitute the S L in FIG. 11 (a), it shows the result of voting of the estimation result to the XY plane.

図１１（ｂ）からわかるように、道路左側のレーンマーカＬＬに対応する位置に「＋」印が並んでプロットされる。なお、図１１（ｂ）ではプロットされた様子をわかり易くするために「＋」印を記載しているが、実際は、「＋」印に対応する位置のＸＹ平面の値をインクリメントする（投票を行う）。 As can be seen from FIG. 11B, “+” marks are plotted side by side at positions corresponding to the lane marker L L on the left side of the road. In FIG. 11B, the “+” mark is shown for easy understanding of the plotted state, but actually, the value on the XY plane at the position corresponding to the “+” mark is incremented (voting is performed). ).

そして、この投票を、異なる時間に撮影された複数の画像Ｉ（ｔ），Ｉ（ｔ＋Δｔ），…から検出されたレーンマーカ特徴点ＳＬに対して順次実施する。なお、このとき、時間Δｔの間の車両５の移動量を、車両情報取得部６０から取得した車速ｖに基づいて算出し、こうして算出された車両５の移動量の分だけ、ＸＹ平面にインクリメントすべき座標位置を移動させた後で、ＸＹ平面に投票を行う。これにより、ＸＹ平面は、レーンマーカＬＬの右端部が存在する位置において、高い値を有するようになる。 Then, the voting, different times captured plurality of images I (t), I (t + Δt), are sequentially performed on lane marker feature point S L detected from .... At this time, the movement amount of the vehicle 5 during the time Δt is calculated based on the vehicle speed v acquired from the vehicle information acquisition unit 60, and is incremented in the XY plane by the calculated movement amount of the vehicle 5. After the coordinate position to be moved is moved, voting is performed on the XY plane. Thus, XY plane, at a position where there is the right end of the lane marker L L, will have a higher value.

次に、こうして生成されたＸＹ平面の中に、直線や曲線の適合処理を行うことによって、レーンマーカＬＬの位置を検出する。このとき行う適合処理は、最小二乗法を用いる方法等、数学的に提案されているいずれの方法によって行っても構わない。なお、レーンマーカＬＲの位置も、上記したのと同様の方法で検出する。 Next, thus in the generated XY plane, by performing the adaptation process of the line or curve, to detect the position of the lane marker L L. The adaptation process performed at this time may be performed by any mathematically proposed method such as a method using the least square method. Also the position of the lane markings L R, detected in the same manner as described above.

（視認性算出処理）
次に、図１２を用いて、ステップＳ４０で行われる視認性算出処理について説明する。前記視認性推定部８２は、前記レーンマーカ特徴点検出部４０から、先にレーンマーカ特徴点検出処理の中で算出した特徴点の総数ＰＬ，ＰＲを受け取って、図１２に示す視認性変換特性を用いて、特徴点の総数ＰＬ，ＰＲから視認性Ｖを推定する。 (Visibility calculation process)
Next, the visibility calculation process performed in step S40 will be described using FIG. The visibility estimation unit 82, from the lane marker feature point detection unit 40, the total number of feature points calculated in the previously lane marker feature point detection processing P L, receives the P R, visibility conversion characteristic shown in FIG. 12 using the total number of feature points P L, estimates the visibility V from P R.

図１２に示すように、特徴点の総数ＰＬ，ＰＲには最低閾値Ｐminと最大閾値Ｐmaxを設定しておき、特徴点の総数ＰＬ，ＰＲが最低閾値Ｐminに満たないときは、視認性Ｖを０％とし、特徴点の総数ＰＬ，ＰＲが最大閾値Ｐmaxを超えるときは、視認性Ｖを１００％とする。そして、特徴点の総数ＰＬ，ＰＲが最低閾値Ｐminと最大閾値Ｐmaxの間にあるときは、図１２の視認性変換特性に従って視認性Ｖを推定する。 As shown in FIG. 12, the total number P L of feature points, the P R have configured the minimum threshold Pmin and the maximum threshold value Pmax, the total number of feature points P L, when the P R is less than the minimum threshold Pmin, the and the visibility V 0%, when the total number P L of feature points, P R exceeds a maximum threshold value Pmax, the visibility V is 100%. When the total number P L of the feature points, the P R lies between a minimum threshold Pmin and the maximum threshold value Pmax estimates the visibility V according visibility conversion characteristics of FIG. 12.

ここで推定した視認性Ｖは、レーンマーカＬＬ，ＬＲを構成するレーンマーカ特徴点ＳＬ，ＳＲが多く検出されたときほど、画像Ｉの中でレーンマーカＬＬ，ＬＲがはっきり見えている状態であると想定して推定した値である。 Visibility V estimated here, lane markers L L, L lane marker characteristic points constituting R S L, as when S R is detected number, lane marker L L in the image I, is L R clearly visible It is a value estimated on the assumption that it is in a state.

図１２によって推定した視認性Ｖは、画像Ｉ（ｔ）から算出した瞬間的な視認性であるため、異なる時間に撮像した複数の画像Ｉ（ｔ），Ｉ（ｔ＋Δｔ），…に対して、順次、視認性Ｖを推定した後、こうして推定された複数の視認性Ｖに対して、移動平均等の平均化を行うことによって、時間軸方向に亘ってなだらかに変化する平滑化された視認性Ｖ’を得る。こうして算出された視認性Ｖ’は、以後、信頼度算出処理で利用される。   Since the visibility V estimated by FIG. 12 is instantaneous visibility calculated from the image I (t), for a plurality of images I (t), I (t + Δt),. After sequentially estimating the visibility V, the smoothed visibility that changes gently in the time axis direction by averaging the moving average or the like for the plurality of visibility V thus estimated. V 'is obtained. The visibility V ′ thus calculated is used in the reliability calculation process thereafter.

なお、視認性Ｖは、レーンマーカ検出処理によってレーンマーカ特徴点ＳＬ，ＳＲに適合させた直線や曲線の上に載っている、レーンマーカ特徴点ＳＬ，ＳＲの数に基づいて推定してもよい。 Note that the visibility V may be estimated based on the number of lane marker feature points S L and S R placed on a straight line or curve adapted to the lane marker feature points S L and S R by the lane marker detection process. Good.

（路面状態判定処理）
次に、図１３〜図１９を用いて、ステップＳ５０で行われる路面状態判定処理について説明する。なお、この路面状態判定処理は、前記路面状態判定部５０の中に備えられた個々の判定モジュールである、路面標識認識部５１，横断歩道認識部５２，雪わだち認識部５３，オフロード認識部５４，木漏れ日認識部５５，自車影認識部５６，周期性解析部５７、および、急カーブ認識部５８，交差点認識部５９において、同時に並行して実行される。 (Road surface judgment process)
Next, the road surface state determination process performed in step S50 will be described with reference to FIGS. The road surface state determination process is an individual determination module provided in the road surface state determination unit 50, such as a road surface sign recognition unit 51, a pedestrian crossing recognition unit 52, a snow road recognition unit 53, and an off-road recognition unit. 54, the sunbeams recognizing unit 55, the own vehicle shadow recognizing unit 56, the periodicity analyzing unit 57, the sharp curve recognizing unit 58, and the intersection recognizing unit 59 are simultaneously executed in parallel.

すなわち、路面標識認識部５１では路面標識認識処理が行われ、横断歩道認識部５２では横断歩道認識処理が行われ、雪わだち認識部５３では雪わだち認識処理が行われ、オフロード認識部５４ではオフロード認識処理が行われ、木漏れ日認識部５５では木漏れ日認識処理が行われ、自車影認識部５６では自車影認識処理が行われ、周期性解析部５７では周期性解析処理が行われ、急カーブ認識部５８では急カーブ認識処理が行われ，交差点認識部５９では交差点認識処理が行われる。以下、各判定モジュールで行われる処理の内容を説明する。   That is, the road surface sign recognition unit 51 performs road surface sign recognition processing, the pedestrian crossing recognition unit 52 performs pedestrian crossing recognition processing, the snow road recognition unit 53 performs snow road recognition processing, and the offroad recognition unit 54 The off-road recognition process is performed, the sunlight leakage recognition unit 55 performs the sunlight leakage recognition process, the vehicle shadow recognition unit 56 performs the vehicle shadow recognition processing, and the periodicity analysis unit 57 performs the periodicity analysis processing. The sharp curve recognition unit 58 performs a sharp curve recognition process, and the intersection recognition unit 59 performs an intersection recognition process. Hereinafter, the contents of processing performed in each determination module will be described.

なお、前記した全ての処理モジュールが常に路面状態判定処理を行うわけではなく、例えば、夜間は木漏れ日が発生しないため、木漏れ日認識処理を実行しない、冬期以外には雪わだち認識処理を実行しない等の制限がかけられる。そして、そのための条件判断は、例えば、前記撮像部１０を構成する光電変換素子が有するゲインの値や、図３の構成図には記載しないが、カーナビゲーションシステムから取得したカレンダー情報や日時情報等が利用される。   Note that not all the processing modules described above always perform the road surface condition determination process. For example, since no sunbeams occur at night, the sunbeams recognition process is not performed. There are restrictions. The condition judgment for that is, for example, the gain value of the photoelectric conversion element that constitutes the imaging unit 10, calendar information or date / time information obtained from the car navigation system, which is not shown in the configuration diagram of FIG. Is used.

＜路面標識認識処理＞
図１３を用いて、路面標識認識処理の内容について説明する。ここで、路面標識とは、路面にペイントされた、制限速度や転回禁止等を示す標識のことである。 <Road surface recognition processing>
The contents of the road surface sign recognition process will be described with reference to FIG. Here, the road surface sign is a sign indicating a speed limit, turning prohibition, or the like painted on the road surface.

図１３（ａ）は、撮像部１０で撮像された画像Ｉの一例であり、さらに、画像Ｉの中に、路面標識を認識する領域が設定された例である。図１３（ａ）に示すように、画像Ｉの中には、画像下部（近傍）から画像上部（遠方）に向かって、ウインドゥＷｅ１，Ｗｅ２，…，Ｗｅｎが設定される。そして、各ウインドゥ、例えばウインドゥＷｅ１は、左から順にサブウインドゥＷｅ１１，Ｗｅ１２，…，Ｗｅ１ｋに分割されている。ウインドゥＷｅ２，…，Ｗｅｎについても同様である。   FIG. 13A is an example of an image I captured by the imaging unit 10, and further an example in which a region for recognizing a road surface sign is set in the image I. As shown in FIG. 13A, in the image I, windows We1, We2,..., Wen are set from the lower part of the image (near) to the upper part of the image (distant). Each window, for example, window We1, is divided into subwindows We11, We12,..., We1k in order from the left. The same applies to the windows We2,.

ここで、各サブウインドゥのサイズは、画像Ｉを真上から鉛直下向きに見下ろしたとき、全て同じ面積になるように設定されている。   Here, the sizes of the sub-windows are all set to have the same area when the image I is looked down from directly above.

このとき、画像Ｉの中に設定されたサブウインドゥの中を水平方向に探索しながら、左右に隣接する画素の間の輝度差を算出する。これによって、縦方向に延びるエッジの強度が算出される。図１３（ａ）には、このようにして算出されたエッジ強度の値が各サブウインドゥに格納された様子を表している。   At this time, the luminance difference between the pixels adjacent to the left and right is calculated while searching in the horizontal direction in the sub-window set in the image I. Thereby, the strength of the edge extending in the vertical direction is calculated. FIG. 13A shows how the edge strength values calculated in this way are stored in each sub-window.

次に、こうして算出されたエッジ強度の値が格納された結果を、画像Ｉを真上から鉛直下向きに見下ろしたように座標変換して、図１３（ｂ）のように変換する。   Next, the result of storing the edge strength value calculated in this way is converted as shown in FIG. 13B by performing coordinate conversion so that the image I is looked down from directly above vertically.

そして、図１３（ｂ）に対して、エッジ強度の値が所定値を超えているサブウインドゥを、路面標識の候補領域と考えて、この条件を満たすサブウインドゥの数を図１３（ｂ）の縦軸方向に累積して、図１３（ｃ）に示すヒストグラムを作成する。   Then, with respect to FIG. 13 (b), sub-windows having edge strength values exceeding a predetermined value are considered as road marking candidate regions, and the number of sub-windows satisfying this condition is set as shown in FIG. 13 (b). A histogram shown in FIG. 13C is created by accumulating in the vertical axis direction.

そして、作成された図１３（ｃ）のヒストグラムの中から、路面標識の候補領域と考えられるサブウインドゥが、水平方向に連続する幅である、図１３（ｃ）の幅ｅ１，幅ｅ２を求めて、求められた幅が所定値以上であるとき、路面標識ありと判定する。   Then, from the created histogram of FIG. 13C, the width e1 and the width e2 of FIG. 13C, in which the subwindows considered to be road marking candidate regions, are widths that continue in the horizontal direction are obtained. When the obtained width is equal to or greater than a predetermined value, it is determined that there is a road surface marker.

＜横断歩道認識処理＞
図１４を用いて、横断歩道認識処理の内容について説明する。図１４（ａ）は、撮像部１０で撮像された画像Ｉの一例であり、さらに、画像Ｉの中に、横断歩道Ｚを認識する領域であるウインドゥＷｃを設定した例である。このウインドゥＷｃは、前回のレーンマーカ検出処理を行ったときに、画像Ｉの中に設定されたウインドゥＷＬ，ＷＲの位置に基づいて設定され、ウインドゥＷＬとＷＲに挟まれた位置に設定される。 <Pedestrian crossing recognition process>
The content of the pedestrian crossing recognition process will be described with reference to FIG. FIG. 14A is an example of an image I imaged by the imaging unit 10, and further is an example in which a window Wc that is an area for recognizing the pedestrian crossing Z is set in the image I. This the window Wc, when performing the previous lane marker detecting process, the window W L which is set in the image I, is set based on the position of W R, in a position between the the window W L and W R Is set.

このとき、ウインドゥＷｃの中の各水平ラインを水平方向に探索しながら、左右に隣接する画素の間の輝度差を算出する。これによって、縦方向に延びるエッジの強度が算出される。そして、この輝度差が所定値を超える画素を検出する。なお、エッジの強度は、正（＋エッジ）もしくは負（−エッジ）の値を有するため、正の所定値を超えるエッジ強度を有する画素と、負の所定値を下回るエッジ強度を有する画素とを区別して検出する。   At this time, while searching each horizontal line in the window Wc in the horizontal direction, the luminance difference between the adjacent pixels on the left and right is calculated. Thereby, the strength of the edge extending in the vertical direction is calculated. Then, pixels whose luminance difference exceeds a predetermined value are detected. Since the edge strength has a positive (+ edge) or negative (−edge) value, a pixel having an edge strength exceeding a positive predetermined value and a pixel having an edge strength lower than a negative predetermined value are included. Detect and distinguish.

こうして算出された画素の個数を、ウインドゥＷｃの縦方向に沿って累積する。これによって、図１４（ｂ）に示すような、縦エッジの出現頻度を表すヒストグラムが生成される。   The number of pixels calculated in this way is accumulated along the vertical direction of the window Wc. As a result, a histogram representing the appearance frequency of vertical edges as shown in FIG. 14B is generated.

そして、図１４（ｂ）のヒストグラムの中に、＋エッジと−エッジが等間隔に出現していることを確認して、画像Ｉの中に横断歩道が映っていると判定する。なお、＋エッジと−エッジが等間隔に出現していることは、図１４（ｂ）のヒストグラムの中から各々の山谷の中のピーク位置を算出して、算出されたピーク位置同士の間隔によって判断することができる。   Then, it is determined that + edges and −edges appear at equal intervals in the histogram of FIG. 14B, and it is determined that a pedestrian crossing is reflected in the image I. Note that the + edge and the − edge appear at equal intervals by calculating the peak position in each mountain valley from the histogram of FIG. 14B, and depending on the calculated interval between the peak positions. Judgment can be made.

＜雪わだち認識処理＞
図１５を用いて、雪わだち認識処理の内容について説明する。図１５（ａ）は、撮像部１０で撮像された画像Ｉの一例であり、さらに、画像Ｉの中に、雪わだちを認識する領域であるウインドゥＷｓを設定した例である。このウインドゥＷｓは、前回のレーンマーカ検出処理を行ったときに、画像Ｉの中に設定されたウインドゥＷＬ，ＷＲの位置に基づいて設定され、ウインドゥＷＬとＷＲに挟まれた位置に設定される。 <Snow recognition process>
The contents of the snow rudder recognition process will be described with reference to FIG. FIG. 15A is an example of an image I imaged by the imaging unit 10, and further is an example in which a window Ws that is an area for recognizing a snowdrift is set in the image I. This the window Ws, when performing the previous lane marker detecting process, the window W L which is set in the image I, is set based on the position of W R, in a position between the the window W L and W R Is set.

図１５（ｂ）は、実際に雪わだちが映っている画像Ｉの一例である。路面に雪わだちがあると、路面上の至る所に雪と路面の境界からなるエッジが多数出現する。本実施例では、このエッジの個数に基づいて雪わだちを検出する。   FIG. 15B is an example of an image I that actually shows a snow ring. When there is snow on the road surface, many edges consisting of the boundary between the snow and the road surface appear everywhere on the road surface. In this embodiment, a snowdrift is detected based on the number of edges.

一方、レーンマーカの検出も、レーンマーカと路面の間に生じる濃淡差、すなわちエッジに基づいて行っているため、レーンマーカによって発生するエッジを取り除いた上で、雪わだちによって発生するエッジの量を算出する。   On the other hand, since the detection of the lane marker is also performed based on the difference in density generated between the lane marker and the road surface, that is, the edge, the edge generated by the snowdrift is calculated after removing the edge generated by the lane marker.

図１５（ｃ），（ｄ）は、レーンマーカによって発生するエッジを取り除く方法を説明する図である。   FIGS. 15C and 15D are diagrams for explaining a method of removing an edge generated by a lane marker.

図１５（ｃ）は、異なる時間に撮像された画像Ｉ（ｔ）のウインドゥＷｓ内のレーンマーカ特徴点ＳＬ，ＳＲを、所定時間累積して得たヒストグラムである。このヒストグラムの中には、ウインドゥＷｓの横位置ω１と横位置ω２の位置にそれぞれピークが立っている。この２つのピークは、レーンマーカの位置を表している。 FIG. 15C is a histogram obtained by accumulating the lane marker feature points S L and S R in the window Ws of the image I (t) captured at different times for a predetermined time. In this histogram, peaks appear at the positions of the horizontal position ω1 and the horizontal position ω2 of the window Ws. These two peaks represent the position of the lane marker.

このレーンマーカを構成するエッジ点は、所定値以上の個数を有しているため、図１５（ｃ）の中から、所定値以上の頻度を有し、なおかつ、隣接位置のエッジ個数と所定数以上の差を有しているとき、そのエッジ点を削除する。   Since the edge points constituting this lane marker have a number equal to or greater than a predetermined value, the frequency of the edge point in FIG. The edge point is deleted.

図１５（ｄ）は、こうしてレーンマーカを構成すると考えられるエッジ点を削除したヒストグラムである。そして、図１５（ｄ）の中に残ったエッジ点の個数の総和値を求めて、この総和値を、累積した画像数で割った値によって、雪わだちの有無、あるいは雪わだちの度合を判定する。   FIG. 15D is a histogram in which edge points that are considered to constitute lane markers are deleted. Then, a total value of the number of edge points remaining in FIG. 15D is obtained, and the presence / absence of snowdrift or the degree of snowdrift is determined by a value obtained by dividing this total value by the number of accumulated images. To do.

＜オフロード認識処理＞
図１６を用いて、オフロード認識処理の内容について説明する。図１６（ａ）は、撮像部１０で撮像された画像Ｉの一例であり、さらに、画像Ｉの中に、オフロードを検出する領域であるウインドゥＷｏを設定した例である。このウインドゥＷｏは、前回のレーンマーカ検出処理を行ったときに、画像Ｉの中に設定されたウインドゥＷＬ，ＷＲの位置に基づいて設定され、ウインドゥＷＬとＷＲに挟まれた位置に設定される。 <Offload recognition processing>
The content of the offload recognition process will be described with reference to FIG. FIG. 16A is an example of an image I picked up by the image pickup unit 10, and further an example in which a window Wo that is an area for detecting offload is set in the image I. This the window Wo, when performed previous lane marker detecting process, the window W L which is set in the image I, is set based on the position of W R, in a position between the the window W L and W R Is set.

路面がオフロードであると、エッジの分布が路面全体に散らばり、そのエッジの総数ｎはそれほど大きくなることはない。本実施例では、この特徴を用いてオフロードの認識を行う。   When the road surface is off-road, the distribution of edges is scattered over the entire road surface, and the total number n of the edges does not increase so much. In this embodiment, off-road recognition is performed using this feature.

図１６（ｂ）は、ウインドゥＷｏの内部に出現したエッジ点の総数ｎを、異なる時間に撮像された画像Ｉ（ｔ）から求めて、その結果を時系列にプロットした図である。   FIG. 16B is a diagram in which the total number n of edge points that appear inside the window Wo is obtained from images I (t) taken at different times, and the results are plotted in time series.

図１６（ｂ）に示すように、オフロードでは、ウインドゥＷｏ内のエッジ点の総数ｎが、常に所定値ｎ０を下回る。本実施例１では、ウインドゥＷｏ内のエッジ点の総数ｎが、所定の時間に亘って常に所定値ｎ０を下回ることを確認して、オフロードであると判定する。 As shown in FIG. 16 (b), the off-road, the total number n of the edge points in the window Wo is always below the predetermined value n 0. In Example 1, the total number n of the edge points in the window Wo is always sure that below a predetermined value n 0 for a predetermined time, determines that off-road.

＜木漏れ日認識処理＞
図１７を用いて、木漏れ日認識処理の内容について説明する。図１７（ａ）は、撮像部１０で撮像された画像Ｉの一例であり、さらに、画像Ｉの中に、木漏れ日を検出する位置であるラインｍ１，ｍ２，ｍ３を設定した例である。このラインｍ１，ｍ２，ｍ３は、前回のレーンマーカ検出処理を行ったときに、画像Ｉの中に設定されたウインドゥＷＬ，ＷＲの位置に基づいて設定され、ウインドゥＷＬとＷＲに挟まれた位置に設定される。 <Sunlight Sunlight Recognition Processing>
With reference to FIG. 17, the contents of the sunlight detection process will be described. FIG. 17A is an example of an image I imaged by the imaging unit 10, and is an example in which lines m1, m2, and m3, which are positions for detecting the sunbeams, are set in the image I. The line m1, m @ 2, m3, when performing the previous lane marker detecting process, the window W L which is set in the image I, is set based on the position of W R, sandwiched the window W L and W R Set to the specified position.

木漏れ日が生じると、木々によって生じる影と、その隙間に差し込む日差しによって、路面上にランダムな明暗模様が生じる。本実施例では、このランダムな明暗模様が生じたことを、ラインｍ１，ｍ２，ｍ３上の縦エッジの出現状態に基づいて判定する。   When a sunlight through a tree occurs, a random light and dark pattern is generated on the road surface due to the shadow caused by the trees and the sunlight that enters the gap. In the present embodiment, it is determined based on the appearance state of the vertical edges on the lines m1, m2, and m3 that the random bright and dark pattern has occurred.

図１７（ｂ）は、ラインｍ１，ｍ２，ｍ３のうち、いずれか１つのライン上で検出した縦エッジの強度分布を示している。なお、エッジ強度には正負の値があるため、強度分布は上下方向に広がりを持つ。   FIG. 17B shows the intensity distribution of the vertical edge detected on any one of the lines m1, m2, and m3. Since the edge intensity has positive and negative values, the intensity distribution spreads in the vertical direction.

次に、図１７（ｂ）の中から、同符号で連続するエッジ幅を算出する。図１７（ｂ）の例では、エッジ幅ε１，ε２，ε３，ε４が算出される。   Next, a continuous edge width with the same sign is calculated from FIG. In the example of FIG. 17B, the edge widths ε1, ε2, ε3, and ε4 are calculated.

そして、各エッジ幅ε１，ε２，ε３，ε４に対応するエッジ強度の総和をそれぞれ算出する。   Then, the sum of the edge intensities corresponding to the edge widths ε1, ε2, ε3, and ε4 is calculated.

木漏れ日が生じると、影に覆われた暗い路面と影のない明るい路面がほぼ等しい頻度で発生するため、こうして算出されたエッジ幅ε１，ε２，ε３，ε４と、各エッジ幅に対応するエッジ強度の総和から、各エッジ幅の均一性、正のエッジ強度の総和と負のエッジ強度の総和の偏りのなさ等を判定することによって、木漏れ日の有無や木漏れ日の度合を判定する。   When sunbeams occur, dark roads covered with shadows and bright roads without shadows occur at approximately the same frequency. Therefore, the edge widths ε1, ε2, ε3, ε4 calculated in this way and the edge strengths corresponding to the respective edge widths From the sum of the above, by determining the uniformity of each edge width, the absence of a bias between the sum of the positive edge strength and the sum of the negative edge strength, etc., the presence / absence of the tree leak date and the degree of the tree leak date are determined.

＜自車影認識処理＞
図１８を用いて、自車影認識処理の内容について説明する。自車影とは、路面上に生じた車両５の影のことである。この影が撮像部１０で撮像されて画像Ｉの中に映り込むと、自車影と路面の境界をレーンマーカと誤認識する場合がある。したがって、画像Ｉの中に自車影が映り込んでいることを認識して、自車影の影響を取り除く必要がある。 <Vehicle shadow recognition processing>
The content of the own vehicle shadow recognition process will be described with reference to FIG. The own vehicle shadow is a shadow of the vehicle 5 generated on the road surface. When this shadow is picked up by the image pickup unit 10 and reflected in the image I, the boundary between the vehicle shadow and the road surface may be erroneously recognized as a lane marker. Therefore, it is necessary to recognize that the own vehicle shadow is reflected in the image I and remove the influence of the own vehicle shadow.

図１８（ａ）は、撮像部１０で撮像された画像Ｉの一例であり、自車影Ｋｃが映り込んでいる。そして、画像Ｉの中に、自車影Ｋｃを検出する領域であるウインドゥＷＫとウインドゥＷＫＬ１，ＷＫＲ１が設定されている。 FIG. 18A is an example of an image I imaged by the imaging unit 10, and the own vehicle shadow Kc is reflected. In the image I, a window W K and windows W KL1 and W KR1 which are areas for detecting the own vehicle shadow Kc are set.

このウインドゥＷＫは、車両５から所定距離以上遠方の位置に、前回のレーンマーカ検出処理を行ったときに、画像Ｉの中に設定されたウインドゥＷＬ，ＷＲの位置に基づいて設定され、ウインドゥＷＬとＷＲに挟まれた位置に設定される。 This the window W K is the remote location a predetermined distance or more from the vehicle 5, when performing the previous lane marker detecting process, the window W L which is set in the image I, is set based on the position of W R, is set to the window W is sandwiched L and W R position.

また、ウインドゥＷＫＬ１，ＷＫＲ１は、車両５から所定距離以内の位置に、前回のレーンマーカ検出処理を行ったときに、画像Ｉの中に設定されたウインドゥＷＬ，ＷＲの位置に基づいて設定され、それぞれ、ウインドゥＷＬとＷＲの内側の位置に設定される。 Further, the window W KL1, W KR1 from the vehicle 5 to a position within a predetermined distance, when performing the previous lane marker detecting process, the window is set in the image I W L, based on the position of W R is set, respectively, it is set to a position inside of the window W L and W R.

さらに、図１８（ｂ）は、撮像部１０で撮像された画像Ｉの一例であり、自車影Ｋｃが映り込んでいる。そして、画像Ｉの中に、自車影を検出する別の領域であるウインドゥＷＫＬ２，ＷＫＲ２が設定されている。ウインドゥＷＫＬ２，ＷＫＲ２は、車両５から所定距離以内の位置に、前回のレーンマーカ検出処理を行ったときに、画像Ｉの中に設定されたウインドゥＷＬ，ＷＲの位置に基づいて設定され、検出されたレーンマーカを跨ぐ位置に設定される。 Further, FIG. 18B is an example of an image I imaged by the imaging unit 10, and the own vehicle shadow Kc is reflected. In the image I, windows W KL2 and W KR2 which are different areas for detecting the own vehicle shadow are set. The window W KL2, W KR2 is positioned within a predetermined distance from the vehicle 5, when performing the previous lane marker detecting process, the window W L which is set in the image I, is set based on the position of W R The position is set across the detected lane marker.

画像Ｉの中に自車影Ｋｃが映っていることは、２つの異なる方法で検出する。そして、そのいずれかの方法で自車影Ｋｃが映っていると認識されたときに、自車影が映っていると判定する。   The fact that the own vehicle shadow Kc is reflected in the image I is detected by two different methods. Then, when it is recognized that the own vehicle shadow Kc is reflected by any one of the methods, it is determined that the own vehicle shadow is reflected.

１つめの方法は、図１８（ａ）に示したウインドゥＷＫとウインドゥＷＫＬ１，ＷＫＲ１の中の輝度値の分布を利用する。 The first method uses the distribution of luminance values in the window W K and the windows W KL1 and W KR1 shown in FIG.

具体的には、図１８（ｃ）に示すように、ウインドゥＷＫの内部の画素の輝度値のヒストグラムと、ウインドゥＷＫＬ１，ＷＫＲ１の内部の画素の輝度値のヒストグラムを作成し、それぞれのヒストグラムの中の最大頻度を与える輝度差δＩを求める。 Specifically, as shown in FIG. 18 (c), to create a histogram of the interior of the luminance values of the pixels in the window W K, a histogram of luminance values of pixels within the the window W KL1, W KR1, respectively A luminance difference δI giving the maximum frequency in the histogram is obtained.

このとき、画像Ｉの中に自車影Ｋｃがあると、ウインドゥＷＫＬ１，ＷＫＲ１には自車影Ｋｃが含まれる可能性が高い。したがって、ウインドゥＷＫＬ１，ＷＫＲ１の内部の画素の輝度値のヒストグラムは、自車影Ｋｃの輝度分布を含むため、輝度分布のピーク位置が暗部側に生じる。 At this time, if the own vehicle shadow Kc is present in the image I, there is a high possibility that the own vehicle shadow Kc is included in the windows W KL1 and W KR1 . Therefore, since the histogram of the luminance values of the pixels inside the windows W KL1 and W KR1 includes the luminance distribution of the own vehicle shadow Kc, the peak position of the luminance distribution occurs on the dark side.

一方、遠方に設定したウインドゥＷＫには自車影Ｋｃが含まれる可能性が低い。したがって、ウインドゥＷＫの内部の画素の輝度値のヒストグラムは、自車影Ｋｃの輝度分布を含まないため、輝度分布のピーク位置は、より明るい側に生じる。 On the other hand, the window W K set in the distance is less likely to contain Jikurumakage Kc. Therefore, since the histogram of the luminance values of the pixels inside the window W K does not include the luminance distribution of the vehicle shadow Kc, the peak position of the luminance distribution occurs on the brighter side.

したがって、画像Ｉに自車影Ｋｃが映り込んでいるときには、ウインドゥＷＫ内の輝度値のヒストグラムのピークを与える輝度値とウインドゥＷＫＬ１，ＷＫＲ１内の輝度値のヒストグラムのピークを与える輝度値の輝度差δＩの値が所定値よりも大きくなる。これを検出して、画像Ｉの中に自車影Ｋｃが映り込んでいると判定する。 Therefore, when the image I Jikurumakage Kc are crowded reflected the brightness value that gives a peak of the histogram of luminance values in the luminance value and the window W KL1, W KR1 giving a peak of the histogram of brightness values in the window W K The value of the luminance difference δI is larger than a predetermined value. This is detected, and it is determined that the vehicle shadow Kc is reflected in the image I.

２つめの方法は、図１８（ｂ）に示したウインドゥＷＫＬ２，ＷＫＲ２の中のエッジ強度の分布を利用する。 The second method uses the edge intensity distribution in the windows W KL2 and W KR2 shown in FIG.

具体的には、ウインドゥＷＫＬ２の中で縦エッジ強度を算出して、図１８（ｄ）に示すように、その縦エッジ強度のヒストグラムを作成する。 Specifically, the vertical edge strength is calculated in the window W KL2 , and a histogram of the vertical edge strength is created as shown in FIG.

ウインドゥＷＫＬ２の中に自車影Ｋｃが映り込んでいないときは、＋エッジと−エッジがほぼ同等に出現するため、図１８（ｄ）のヒストグラムにおいて、＋エッジの強度の総和Ｅ２と−エッジの強度の総和Ｅ１がほぼ等しくなる。 When the own vehicle shadow Kc is not reflected in the window W KL2 , the + edge and the-edge appear almost equally. Therefore , in the histogram of FIG. The total sum E1 of the intensity becomes substantially equal.

一方、ウインドゥＷＫＬ２の中に自車影Ｋｃが映り込んでいるときは、＋エッジと−エッジのうち、自車影Ｋｃが映り込んでいる側に対応するエッジがより多く出現するため、図１８（ｄ）のヒストグラムにおいて、＋エッジの強度の総和Ｅ２と−エッジの強度の総和Ｅ１に所定値以上の差が生じる。図１８（ｄ）は、ウインドゥＷＫＬ２の中に自車影Ｋｃが映り込んでいることによって、＋エッジの強度の総和Ｅ２が−エッジの強度の総和Ｅ１に対して極端の大きくなっている例である。 On the other hand, when the own vehicle shadow Kc is reflected in the window W KL2 , more edges appear corresponding to the side where the own vehicle shadow Kc is reflected among the + edge and the-edge. In the histogram of 18 (d), a difference of a predetermined value or more is generated between the sum E2 of the intensity of + edge and the sum E1 of the intensity of − edge. FIG. 18 (d) shows an example in which the total sum E2 of the + edge strength is extremely larger than the total sum E1 of the -edge strength because the own vehicle shadow Kc is reflected in the window WKL2 . It is.

以上説明した２つの方法のいずれかによって、画像Ｉの中に自車影Ｋｃが映り込んでいると判定されたときに、画像Ｉの中に自車影Ｋｃが映り込んでいると判定される。   When it is determined that the vehicle shadow Kc is reflected in the image I by one of the two methods described above, it is determined that the vehicle shadow Kc is reflected in the image I. .

そして、画像Ｉの中に自車影Ｋｃが映り込んでいると判定されたときは、ウインドゥＷＫＬ１，ＷＫＲ１の内部、もしくは内部を含む近傍において検出されたレーンマーカ特徴点を、自車影Ｋｃによって生じた特徴点であると判断して、これを除去する。 When it is determined that the own vehicle shadow Kc is reflected in the image I, the lane marker feature point detected in the window W KL1 , W KR1 , or in the vicinity including the interior is used as the own vehicle shadow Kc. It is determined that it is a feature point generated by, and is removed.

＜周期性解析処理＞
図１９を用いて、周期性解析処理の内容について説明する。図１９（ａ）は、撮像部１０で撮像された画像Ｉの一例であり、周期性解析を行う領域であるウインドゥＷＬ，ＷＲを設定した例である。このウインドゥＷＬ，ＷＲは、レーンマーカの検出を行うときに設定されるウインドゥと同じものである。 <Periodic analysis processing>
The contents of the periodicity analysis process will be described with reference to FIG. 19 (a) is an example of an image I captured by the imaging unit 10, an example of setting the window W L, W R is a region for periodic analysis. The windows W L and W R are the same as the windows set when the lane marker is detected.

なお、ここで行う周期性解析とは、前記撮像部１０で異なる時間に撮像された複数の画像Ｉ（ｔ）のウインドゥＷＬ，ＷＲの内部で検出されるレーンマーカ特徴点ＳＬ，ＳＲの出現頻度の周期性を分析するものである。そして、この分析によって、レーンマーカの検出が確実に行われていることを裏付ける。 Note that the periodicity analysis performed here is lane marker feature points S L and S R detected inside the windows W L and W R of a plurality of images I (t) captured at different times by the imaging unit 10. This is to analyze the periodicity of the appearance frequency. This analysis confirms that the lane marker is reliably detected.

具体的には、図１９（ｂ）に示すように、ウインドゥＷＬの内部で検出されたレーンマーカ特徴点ＳＬの総数ＰＬを時系列にプロットして、出現する波形の周期性を分析する。周期性の分析は、例えば、スペクトル分析によって行われ、波形の周期性の有無が分析される。なお、周期性の分析方法は、スペクトル分析に限定されるものではなく、数学的に提案されているいずれを用いて行ってもよい。 Specifically, as shown in FIG. 19 (b), it is plotted in time series the total number P L of the window W lane marker feature points are detected within the L S L, to analyze the periodicity of the emerging wave . The periodicity analysis is performed by, for example, spectrum analysis, and the presence / absence of periodicity of the waveform is analyzed. Note that the periodicity analysis method is not limited to spectral analysis, and any method proposed mathematically may be used.

図１９（ｂ）の場合、この周期性分析の結果、周期性があると判断される。なお、図１９（ｂ）に見られる周期性は、レーンマーカが破線で構成されている道路を走行したときに、レーンマーカを構成する破線によって生じた周期性である。そして、その周期性が顕著に表れていることから、レーンマーカの検出が良好に行われていると判定される。   In the case of FIG. 19B, it is determined that there is periodicity as a result of the periodicity analysis. Note that the periodicity shown in FIG. 19B is the periodicity generated by the broken line that forms the lane marker when the lane marker travels on the road that is formed by the broken line. Then, since the periodicity appears prominently, it is determined that the lane marker is detected well.

この周期性の判定結果は、後段で行う信頼度算出処理で利用されるが、その詳細については後述する。   The periodicity determination result is used in a reliability calculation process performed later, and details thereof will be described later.

＜急カーブ認識処理＞
次に、急カーブ認識処理の内容について説明する。ここでは、車両情報取得部６０で取得した車速ｖと操舵角θ、もしくはヨーレートφを用いて道路の曲率を推定し、推定された曲率が所定値以上のときは、急カーブを走行していると判定する。 <Steep curve recognition processing>
Next, the contents of the sharp curve recognition process will be described. Here, the curvature of the road is estimated using the vehicle speed v and the steering angle θ or the yaw rate φ acquired by the vehicle information acquisition unit 60. When the estimated curvature is equal to or greater than a predetermined value, the vehicle is traveling on a sharp curve. Is determined.

そして、急カーブであると判定されると、その情報は、前記視認性算出処理で利用される。   And when it determines with it being a sharp curve, the information is utilized by the said visibility calculation process.

すなわち、急カーブであると判定されると、レーンマーカ検出処理が誤検出を起こす可能性が高くなるため、急カーブ判定がなくなるまでの間、視認性算出処理によって、視認性Ｖを０にリセットする。   That is, if it is determined that the curve is a sharp curve, the possibility of erroneous detection in the lane marker detection process increases. Therefore, the visibility V is reset to 0 by the visibility calculation process until the sharp curve determination disappears. .

さらに、後述する信頼度算出処理によって、レーンマーク検出結果の信頼度が変更されるが、これは後述する。   Furthermore, the reliability of the lane mark detection result is changed by a reliability calculation process described later, which will be described later.

なお、急カーブ判定は、先に説明したように車両情報取得部６０で取得した情報によって判定するのみならず、カーナビゲーションシステムから得た情報、すなわち、カーナビゲーションシステムから取得した、現在走行中の道路の進行方向前方の道路形状情報を用いて、前方の道路が急カーブであるか否かを判定するようにしてもよい。   Note that the sharp curve determination is not only determined based on the information acquired by the vehicle information acquisition unit 60 as described above, but also the information obtained from the car navigation system, that is, the current traveling acquired from the car navigation system. You may make it determine whether the road ahead is a sharp curve using the road shape information ahead of the advancing direction of a road.

＜交差点認識処理＞
次に、交差点認識処理の内容について説明する。ここでは、車両情報取得部６０で取得した車速ｖと操舵角θ、もしくはヨーレートφを用いて道路の曲率を推定して、推定された曲率が所定値以上であり、なおかつ、車速が所定値以下であるときは、交差点を右左折中であると判定する。 <Intersection recognition processing>
Next, the contents of the intersection recognition process will be described. Here, the curvature of the road is estimated using the vehicle speed v and the steering angle θ or yaw rate φ acquired by the vehicle information acquisition unit 60, the estimated curvature is equal to or greater than a predetermined value, and the vehicle speed is equal to or less than the predetermined value. If it is, it is determined that the intersection is turning right or left.

そして、交差点を右左折中であると判定されると、その情報は、後述する信頼度算出処理で利用されるが、これは後述する。   If it is determined that the intersection is turning right or left, the information is used in the reliability calculation process described later, which will be described later.

なお、交差点判定は、先に説明したように車両情報取得部６０で取得した情報によって判定するのみならず、カーナビゲーションシステムから得た情報、すなわち、カーナビゲーションシステムから取得した、現在走行中の道路の進行方向前方の道路形状情報を用いて、前方に交差点があるか否かを判定するようにしてもよい。このようにカーナビゲーションシステムから得た情報を用いると、交差点を右左折中であることのみならず、交差点を直進中であることも判定することができる。   In addition, as described above, the intersection determination is determined not only by the information acquired by the vehicle information acquisition unit 60, but also by the information acquired from the car navigation system, that is, the road currently being traveled acquired from the car navigation system. Whether or not there is an intersection ahead may be determined using the road shape information ahead of the traveling direction. By using the information obtained from the car navigation system as described above, it can be determined not only that the intersection is turning right or left but also that the intersection is going straight ahead.

（信頼度算出処理）
次に、図２０を用いて、ステップＳ６０で行われる信頼度算出処理について説明する。 (Reliability calculation process)
Next, the reliability calculation process performed in step S60 will be described with reference to FIG.

ここでは、まず、視認性算出処理によって推定されて時間方向に亘って平滑化された視認性Ｖ’の値が、前記視認性推定部８２から読み出される。   Here, first, the value of the visibility V ′ estimated by the visibility calculation process and smoothed over the time direction is read from the visibility estimation unit 82.

さらに、路面状態判定処理によって判定された路面状態の判定結果が、前記路面状態判定部５０を構成する各々の判定モジュールから読み出される。   Furthermore, the determination result of the road surface state determined by the road surface state determination process is read from each determination module constituting the road surface state determination unit 50.

次に、前記信頼度算出部８０において、視認性Ｖ’、および、各々の判定モジュールの判定結果に基づいて、信頼度Ｒを算出する。   Next, the reliability calculation unit 80 calculates the reliability R based on the visibility V ′ and the determination result of each determination module.

信頼度Ｒは、路面状態に応じて、以下に説明する３通りの方法で算出される。以下、その各々について説明する。   The reliability R is calculated by the following three methods according to the road surface condition. Each of these will be described below.

＜信頼度の補正＞
信頼度Ｒを算出する第１の方法は、前記信頼度換算テーブル８４を用いて、信頼度Ｒを算出するものである。以下、図２０を用いて、この第１の方法による信頼度Ｒの算出方法を説明する。 <Correction of reliability>
The first method for calculating the reliability R is to calculate the reliability R using the reliability conversion table 84. Hereinafter, a method of calculating the reliability R according to the first method will be described with reference to FIG.

通常時、すなわち、レーンマーカの検出が良好に行われているときは、信頼度Ｒと視認性Ｖ’は、Ｒ＝Ｖ’の関係にあるものとする。この関係は、図２０の特性Ｒ０で表される。 It is assumed that the reliability R and the visibility V ′ are in a relationship of R = V ′ at the normal time, that is, when the lane marker is detected well. This relationship is represented by the characteristic R 0 in FIG.

これに対し、例えば、雪わだちがあると認識されたときは、検出されるレーンマーカ特徴点ＳＬ，ＳＲの総数ＰＬ，ＰＲが減少するため、検出されるレーンマーカの信頼度Ｒは低下するものと考えられる。そこで、レーンマーカ特徴点ＳＬ，ＳＲの総数ＰＬ，ＰＲに基づいて推定された視認性Ｖ’に応じて、係数ｋを用いて、信頼度Ｒを（式１）で算出するものとする。
Ｒ＝ｋＶ’（０≦ｋ≦１） （式１）
この関係は、図２０の特性ＲＶで表される。 In contrast, for example, when it is recognized that there is a snow rut, lane marker feature point S L to be detected, since the total number of S R P L, is P R decreases, the reliability R of the lane marker detected is reduced It is thought to do. Therefore, lane marker feature point S L, the total number of S R P L, depending on the visibility V 'which is estimated based on the P R, using the coefficients k, and calculates a reliability R in (Equation 1) To do.
R = kV ′ (0 ≦ k ≦ 1) (Formula 1)
This relationship is represented by a characteristic R V of FIG. 20.

前記路面状態判定処理によって、雪わだち，オフロード，木漏れ日，自車影が認識されたときは、この第１の方法によって信頼度Ｒを算出する。なお、自車影が存在する場合、影と路面の境界をレーンマークとして誤認識し続ける場合があるため、レーンマーカ特徴点の総数が通常よりも多くないときには、この第１の方法によって信頼度Ｒを算出する。   When snow roads, off-roads, sunbeams, and vehicle shadows are recognized by the road surface condition determination process, the reliability R is calculated by this first method. In addition, when the vehicle shadow exists, the boundary between the shadow and the road surface may continue to be erroneously recognized as a lane mark. Therefore, when the total number of lane marker feature points is not larger than usual, the reliability R is obtained by this first method. Is calculated.

なお、（式１）における係数ｋの値は、判定される路面状態毎に適宜設定すればよい。また、視認性Ｖ’は、時刻とともに随時出力されるため、それに応じて、信頼度Ｒも時刻とともに随時算出されて出力される。そして、そのとき、視認性Ｖ’は時間軸方向に亘って平滑化された滑らかな波形になっているため、この視認性Ｖ’を用いて算出される信頼度Ｒも、時間軸方向に亘って滑らかに変化する。   In addition, what is necessary is just to set the value of the coefficient k in (Formula 1) suitably for every road surface state to be determined. Further, the visibility V ′ is output as needed along with the time, and accordingly, the reliability R is also calculated and output as needed along with the time. At that time, the visibility V ′ has a smooth waveform smoothed over the time axis direction. Therefore, the reliability R calculated using the visibility V ′ also extends over the time axis direction. Changes smoothly.

先に説明した図７において、第７列に「１」が付与された箇所が、この第１の方法を適用して信頼度Ｒを算出する箇所を示している。   In FIG. 7 described above, a portion where “1” is assigned to the seventh column indicates a portion where the reliability R is calculated by applying the first method.

＜信頼度のリセット＞
信頼度Ｒを算出する第２の方法は、所定の路面状態であることが認識されたときに、信頼度を０にする（リセットする）ものである。 <Reset reliability>
The second method for calculating the reliability R is to set the reliability to 0 (reset) when it is recognized that the road surface state is predetermined.

例えば、路面標識があると認識されたときには、路面標識を、レーンマーカ特徴点ＳＬ，ＳＲと誤認識する可能性が高いエッジ点が多数検出される。したがって、路面標識がなくなるまで、一時的に信頼度Ｒをリセットして０とし、レーンマーカ検出を停止するのが望ましい。 For example, when it is recognized that there is a road surface marker, a large number of edge points that are likely to be erroneously recognized as the road surface marker as lane marker feature points S L and S R are detected. Therefore, it is desirable that the reliability R is temporarily reset to 0 and the lane marker detection is stopped until there is no road marking.

なお、路面状態の継続時間には所定の時間間隔があるため、所定の時間が経過したときに、信頼度Ｒのリセットを解除して、レーンマーカの検出を再開することができる。例えば、路面標識の継続時間は１０秒のオーダーであると考えられるため、１０秒のオーダーの所定の時間を設定しておき、その所定の時間が経過したときに再び路面標識の判定を行い、そのときに路面標識が認識されないときには、レーンマーカの検出を再開することができる。   Since there is a predetermined time interval for the duration of the road surface condition, the reset of the reliability R can be canceled and the detection of the lane marker can be resumed when the predetermined time has elapsed. For example, since the duration of the road marking is considered to be on the order of 10 seconds, a predetermined time of the order of 10 seconds is set, and when the predetermined time has elapsed, the road marking is determined again, If the road surface sign is not recognized at that time, the detection of the lane marker can be resumed.

前記路面状態判定処理によって、雪わだち，オフロード，木漏れ日，自車影が認識されたときは、この第２の方法によって信頼度Ｒを算出する。なお、自車影が存在する場合、レーンマーク検出結果が自車影に引っ張られて、横飛びすることがある。このため、特に、レーンマーカの検出結果が、レーンの内側に向かって横飛びしたときには、信頼度を０にするのが望ましい。   When snow roads, off-roads, sunbeams, and vehicle shadows are recognized by the road surface condition determination process, the reliability R is calculated by this second method. When the own vehicle shadow exists, the lane mark detection result may be pulled by the own vehicle shadow and jump sideways. For this reason, it is desirable to set the reliability to 0 particularly when the detection result of the lane marker jumps sideways toward the inside of the lane.

先に説明した図７において、第７列に「２」が付与された箇所が、この第２の方法を適用して信頼度Ｒを算出する箇所を示している。   In FIG. 7 described above, a part where “2” is assigned to the seventh column indicates a part where the reliability R is calculated by applying the second method.

＜信頼度の補正の抑制＞
信頼度Ｒを算出する第３の方法は、第１の方法で説明した信頼度Ｒの補正を行う際に、その補正量を抑制するものである。 <Suppression of reliability correction>
The third method for calculating the reliability R is to suppress the correction amount when the reliability R described in the first method is corrected.

例えば、周期性解析処理によって、レーンマーカ特徴点ＳＬ，ＳＲの出現頻度に周期性があると判定されたときには、仮に視認性Ｖ’が低い場合であっても、レーンマーカが良好に検出されていると判断して、本来、図２０に従って補正すべき信頼度Ｒの補正量を抑制する。補正量の抑制方法には様々なものが考えられるが、例えば、（式２）によって計算すればよい。
Ｒ＝（ｋ＋Δｋ）Ｖ’（０≦ｋ≦１，０＜Δｋ≦１−ｋ） （式２）
ここで、値Δｋは、予め設定された、補正量を抑制するための所定値である。 For example, when the periodicity analysis process determines that the appearance frequency of the lane marker feature points S L and S R is periodic, the lane marker is detected well even if the visibility V ′ is low. Therefore, the correction amount of the reliability R that should be corrected according to FIG. Various methods of suppressing the correction amount are conceivable. For example, the correction amount may be calculated by (Equation 2).
R = (k + Δk) V ′ (0 ≦ k ≦ 1, 0 <Δk ≦ 1-k) (Formula 2)
Here, the value Δk is a predetermined value that is set in advance to suppress the correction amount.

先に説明した図７において、第７列に「３」が付与された箇所が、この第３の方法を適用して信頼度Ｒを算出する箇所を示している。   In FIG. 7 described above, a portion where “3” is assigned to the seventh column indicates a portion where the reliability R is calculated by applying the third method.

（車線逸脱判定処理）
次に、ステップＳ７０で行われる車線逸脱判定処理について説明する。 (Lane departure judgment processing)
Next, the lane departure determination process performed in step S70 will be described.

車線逸脱判断部９０は、まず、画像Ｉの中から、無限遠点である消失点の位置を検出し、算出された消失点の位置と、レーンマーカ検出処理で検出されたレーンマーカＬＬ，またはＬＲの位置から、道路の延伸方向と車両５の進行方向とのなす角度であるヨー角ρと、車両５からレーンマーカＬＬ，またはＬＲまでの距離である横偏位量δを算出する。 The lane departure determination unit 90 first detects the position of the vanishing point, which is an infinite point, from the image I, and calculates the position of the vanishing point and the lane marker L L or L detected by the lane marker detection process. From the position of R , a yaw angle ρ that is an angle between the road extending direction and the traveling direction of the vehicle 5 and a lateral displacement amount δ that is a distance from the vehicle 5 to the lane marker L L or L R are calculated.

なお、横偏位量δは、具体的には、検出された消失点を通る、画像Ｉの中で上下方向に延びる直線と、レーンマーカＬＬまたはＬＲの位置とのずれ量に基づいて算出される。 The lateral deviation amount δ is specifically calculated based on a deviation amount between a straight line passing through the detected vanishing point and extending vertically in the image I and the position of the lane marker L L or L R. Is done.

さらに、車両情報取得部６０で取得した車両５の車速ｖを用いて、（式３）によって車線逸脱予測時間Ｆを算出する。
Ｆ＝δ／（ｖｓｉｎρ） （式３） Further, using the vehicle speed v of the vehicle 5 acquired by the vehicle information acquisition unit 60, the lane departure prediction time F is calculated by (Expression 3).
F = δ / (vsinρ) (Equation 3)

こうして算出された車線逸脱予測時間Ｆが、所定値よりも小さいときには、車線逸脱の可能性があると判断する。一方、車線逸脱予測時間Ｆが、所定値よりも小さいときには、車線逸脱の可能性がないと判断する。   When the predicted lane departure time F thus calculated is smaller than a predetermined value, it is determined that there is a possibility of lane departure. On the other hand, when the predicted lane departure time F is smaller than a predetermined value, it is determined that there is no possibility of lane departure.

そして、車線逸脱の可能性があると判断されると、警報出力制御部１００において車線逸脱警報を出力して、車両５の運転者に注意を喚起する。   When it is determined that there is a possibility of a lane departure, the warning output control unit 100 outputs a lane departure warning to alert the driver of the vehicle 5.

このとき、信頼度算出処理で算出された信頼度Ｒの値を参照して、信頼度Ｒが所定値以下であるときには、車線逸脱警報の出力を抑制する。これによって、誤警報の発生を抑制することができる。なお、車線逸脱警報の出力を抑制する信頼度Ｒの値（例えば３０％）は、適宜決定すればよい。また、路面状態判定処理によって判定された路面状態に応じて、車線逸脱警報の出力を抑制する信頼度Ｒの値を変更するようにしてもよい。   At this time, referring to the value of reliability R calculated in the reliability calculation process, when the reliability R is equal to or less than a predetermined value, the output of the lane departure warning is suppressed. As a result, the occurrence of a false alarm can be suppressed. In addition, the value (for example, 30%) of the reliability R which suppresses the output of a lane departure warning should just be determined suitably. Moreover, you may make it change the value of the reliability R which suppresses the output of a lane departure warning according to the road surface state determined by the road surface state determination process.

一方、車線逸脱の可能性がないと判断されると、全ての処理を終了し、次の画像Ｉの処理に移る。   On the other hand, if it is determined that there is no possibility of lane departure, all the processes are terminated and the process proceeds to the next image I.

次に、図２１〜図２４を用いて、車載環境認識装置８の実際の場面での動作例を４例説明する。なお、以下に説明する動作例においては、信頼度Ｒが３０％を下回ったときに、車線逸脱警報の出力を抑制するように設定されているものとする。   Next, four examples of operations in the actual scene of the in-vehicle environment recognition device 8 will be described with reference to FIGS. In the operation example described below, it is assumed that the output of the lane departure warning is suppressed when the reliability R is less than 30%.

（動作例１）
図２１は、雪わだちがある道路を走行しているときの、車載環境認識装置８の動作例を示す。そして、図２１の例は、先に説明した信頼度算出処理のうち、第１の方法として説明した信頼度Ｒの補正を適用した例である。 (Operation example 1)
FIG. 21 shows an example of the operation of the in-vehicle environment recognition device 8 when traveling on a road with snow. The example of FIG. 21 is an example in which the correction of the reliability R described as the first method is applied in the reliability calculation processing described above.

図２１において、横軸は時刻ｔを表し、縦軸は信頼度Ｒを表している。また、図２１に記載した信頼度推移Ｃ１は、本発明を適用しない場合の信頼度推移を示し、信頼度推移Ｃ２は、先に第１の方法として説明した信頼度Ｒの補正を適用した場合の信頼度推移を示している。   In FIG. 21, the horizontal axis represents time t, and the vertical axis represents reliability R. Further, the reliability transition C1 described in FIG. 21 indicates the reliability transition when the present invention is not applied, and the reliability transition C2 is the case where the correction of the reliability R described above as the first method is applied. Shows the transition of reliability.

すなわち、本発明を適用しない場合、信頼度推移Ｃ１からわかるように、時刻ｔ１から時刻ｔ２の間において、雪わだちをレーンマーカと誤認識して、車線逸脱の可能性があると判断されたときに車線逸脱警報が出力される。   That is, when the present invention is not applied, as can be seen from the reliability transition C1, when it is determined that there is a possibility of a lane departure by misrecognizing a snow rudder as a lane marker between time t1 and time t2. A lane departure warning is output.

一方、信頼度Ｒの補正を適用した信頼度推移Ｃ２では、算出された信頼度Ｒが、随時、視認性Ｖ’の値に基づいて補正されるため、時刻ｔ１から時刻ｔ２の間において、車線逸脱警報が抑制される。   On the other hand, in the reliability transition C2 to which the correction of the reliability R is applied, the calculated reliability R is corrected from time to time t2 since the calculated reliability R is corrected based on the value of the visibility V ′ as needed. Deviation warning is suppressed.

なお、先に説明したように、信頼度Ｒは時間軸方向に亘って滑らかに変化するため、車線逸脱警報を行ったときのハンチングの発生を防止することができる。   As described above, since the reliability R changes smoothly over the time axis direction, it is possible to prevent the occurrence of hunting when the lane departure warning is performed.

（動作例２）
図２２は、路面標識がある道路を走行しているときの、車載環境認識装置８の動作例を示す。そして、図２２の例は、先に説明した信頼度算出処理のうち、第２の方法として説明した信頼度Ｒのリセットを適用した例である。 (Operation example 2)
FIG. 22 shows an operation example of the in-vehicle environment recognition device 8 when traveling on a road with a road surface sign. The example of FIG. 22 is an example in which the reliability R reset described as the second method is applied in the reliability calculation processing described above.

図２２において、横軸は時刻ｔを表し、縦軸は信頼度Ｒを表している。また、図２２に記載した信頼度推移Ｃ３は、本発明を適用しない場合の信頼度推移を示し、信頼度推移Ｃ４は、先に第２の方法として説明した信頼度Ｒのリセットを適用した場合の信頼度推移を示している。   In FIG. 22, the horizontal axis represents time t, and the vertical axis represents the reliability R. Further, the reliability transition C3 described in FIG. 22 indicates the reliability transition when the present invention is not applied, and the reliability transition C4 is the case where the reset of the reliability R described above as the second method is applied. Shows the transition of reliability.

すなわち、本発明を適用しない場合、信頼度推移Ｃ３からわかるように、時刻ｔ５から時刻ｔ６の間において、路面標識をレーンマーカと誤認識して、車線逸脱の可能性があると判断されたときに車線逸脱警報が出力される。   That is, when the present invention is not applied, as can be seen from the reliability transition C3, when it is determined that there is a possibility of a lane departure by misrecognizing a road surface sign as a lane marker between time t5 and time t6. A lane departure warning is output.

一方、信頼度Ｒのリセットを適用した信頼度推移Ｃ４では、路面状態判定処理によって、路面標識があることが認識されて、時刻ｔ３において車線逸脱警報が抑制された後、時刻ｔ４において信頼度Ｒが０にリセットされるため、時刻ｔ５から時刻ｔ６の間において、車線逸脱警報が抑制される。   On the other hand, in the reliability transition C4 to which the reset of the reliability R is applied, the road surface condition determination process recognizes that there is a road surface marker, and after the lane departure warning is suppressed at the time t3, the reliability R at the time t4. Is reset to 0, the lane departure warning is suppressed between time t5 and time t6.

（動作例３）
図２３は、破線からなるレーンマーカが敷設された道路を走行しているときの、車載環境認識装置８の動作例を示す。そして、図２３の例は、先に説明した信頼度算出処理のうち、第３の方法として説明した信頼度Ｒの補正の抑制を行う例である。 (Operation example 3)
FIG. 23 shows an operation example of the in-vehicle environment recognition device 8 when traveling on a road on which a lane marker composed of a broken line is laid. The example of FIG. 23 is an example in which the correction of the reliability R described as the third method is performed in the reliability calculation processing described above.

図２３において、横軸は時刻ｔを表し、縦軸は信頼度Ｒを表している。また、図２３に記載した信頼度推移Ｃ５は、先に第１の方法として説明した信頼度Ｒの補正を行った場合の信頼度推移を示し、信頼度推移Ｃ６は、先述した周期性解析処理によって破線の周期性を検出した後で、先に第３の方法として説明した信頼度Ｒの補正の抑制を適用した場合の信頼度推移を示している。   In FIG. 23, the horizontal axis represents time t, and the vertical axis represents reliability R. Further, the reliability transition C5 described in FIG. 23 indicates the reliability transition when the reliability R described above is corrected as the first method, and the reliability transition C6 is the periodicity analysis process described above. After detecting the periodicity of the broken line, the reliability transition when the suppression of the correction of the reliability R described as the third method is applied is shown.

すなわち、信頼度Ｒの補正をそのまま適用した場合、信頼度推移Ｃ５からわかるように、破線の切れ目ではレーンマーカ特徴点ＳＬ，ＳＲが見えないために、周期的に信頼度Ｒが３０％を下回る。そして、これによって、レーンマーカがあるにも関わらず、周期的に車線逸脱警報が抑制されてしまう。 That is, when the correction of the reliability R is applied as it is, as can be seen from the reliability transition C5, since the lane marker feature points S L and S R are not visible at the broken line, the reliability R is periodically 30%. Below. Thus, the lane departure warning is periodically suppressed despite the presence of the lane marker.

一方、信頼度Ｒの補正の抑制を適用した信頼度推移Ｃ６では、周期性解析処理によってレーンマーカの周期性があることが判定されて、破線の切れ目においてレーンマーカが存在しない場合に信頼度Ｒの低下量が抑制される。したがって、信頼度Ｒが３０％を上回る値となり、車線逸脱警報が抑制されず、レーンマーカの検出結果に基づいて車線逸脱の可能性があると判断されたときに的確な車線逸脱警報を行うことができる。   On the other hand, in the reliability transition C6 to which the suppression of the correction of the reliability R is applied, it is determined by the periodicity analysis processing that the lane marker has periodicity, and the reliability R decreases when the lane marker does not exist at the broken line break. The amount is suppressed. Therefore, the reliability R becomes a value exceeding 30%, the lane departure warning is not suppressed, and an accurate lane departure warning is performed when it is determined that there is a possibility of lane departure based on the detection result of the lane marker. it can.

（動作例４）
図２４は、木漏れ日がある道路を走行しているときに、さらに路面標識が出現したときの、車載環境認識装置８の動作例を示す。そして、図２４の例は、先に説明した信頼度算出処理のうち、第１の方法として説明した信頼度Ｒの補正と、第２の方法として説明した信頼度Ｒのリセットを、ともに適用した例である。 (Operation example 4)
FIG. 24 shows an operation example of the in-vehicle environment recognition device 8 when a road surface sign further appears while driving on a road with sunbeams. The example of FIG. 24 applies both the correction of the reliability R described as the first method and the resetting of the reliability R described as the second method in the reliability calculation processing described above. It is an example.

図２４において、横軸は時刻ｔを表し、縦軸は信頼度Ｒを表している。また、図２４に記載した信頼度推移Ｃ７は、本発明を適用しない場合の信頼度推移を示し、信頼度推移Ｃ８は、先に第１の方法として説明した信頼度Ｒの補正を適用した場合を示し、信頼度推移Ｃ９は、先に第１の方法として説明した信頼度Ｒの補正と、先に第２の方法として説明した信頼度Ｒのリセットを両方とも適用した場合を示している。   In FIG. 24, the horizontal axis represents time t, and the vertical axis represents reliability R. Also, the reliability transition C7 described in FIG. 24 indicates the reliability transition when the present invention is not applied, and the reliability transition C8 is the case where the correction of the reliability R described above as the first method is applied. The reliability transition C9 indicates a case where both the correction of the reliability R described above as the first method and the resetting of the reliability R described above as the second method are applied.

すなわち、本発明を適用しない場合、信頼度推移Ｃ７からわかるように、時刻ｔ９から時刻ｔ１２の間において、木漏れ日、もしくは路面標識をレーンマーカと誤認識して、車線逸脱の可能性があると判断されたときに車線逸脱警報が出力される。   That is, when the present invention is not applied, it is determined that there is a possibility of a lane departure by misrecognizing a sunbeam day or a road sign as a lane marker between time t9 and time t12, as can be seen from the reliability transition C7. A lane departure warning is output when

これに対して、路面状態判定処理によって木漏れ日があると判定して、信頼度Ｒの補正を行うと、信頼度推移Ｃ８からわかるように、車線逸脱警報の出力範囲が、時刻ｔ１０から時刻ｔ１１の間に狭まる。これは、木漏れ日をレーンマーカとして誤認識していた部分で車線逸脱警報が抑制されたためである。   On the other hand, when it is determined by the road surface state determination process that there is a sunbeam and the reliability R is corrected, the output range of the lane departure warning is from time t10 to time t11, as can be seen from the reliability transition C8. It narrows in between. This is because the lane departure warning is suppressed at the part where the sunbeams were misrecognized as a lane marker.

また、信頼度推移Ｃ７では、時刻０から時刻ｔ８の間で車線逸脱警報が出力されていたが、信頼度推移Ｃ８では、その間隔が、時刻０から時刻ｔ７の間に狭まっている。これは、信頼度推移Ｃ７において、時刻ｔ７から時刻ｔ８の間は、木漏れ日をレーンマーカであると誤認識してが、信頼度推移Ｃ８では、信頼度Ｒの補正を行うことによって、誤認識していた部分で車線逸脱警報が抑制されためである。   In the reliability transition C7, the lane departure warning is output between the time 0 and the time t8, but in the reliability transition C8, the interval is narrowed between the time 0 and the time t7. In the reliability transition C7, between the time t7 and the time t8, the sunbeams are misrecognized as lane markers, but the reliability transition C8 is misrecognized by correcting the reliability R. This is because the lane departure warning is suppressed.

しかし、信頼度推移Ｃ８にあっても、路面標識の誤認識が残っているため、時刻ｔ１０から時刻ｔ１１の間では車線逸脱警報が出力される。   However, since there is still misrecognition of the road sign even in the reliability transition C8, a lane departure warning is output from time t10 to time t11.

そして、さらに、路面状態判定処理によって路面標識があると判定して、信頼度Ｒのリセットを行うと、信頼度推移Ｃ９からわかるように、時刻ｔ９以降の車線逸脱警報が抑制される。   Further, when it is determined that there is a road surface sign by the road surface state determination process and the reliability R is reset, the lane departure warning after time t9 is suppressed as can be seen from the reliability transition C9.

このように、複数の路面状態が混在している場合であっても、それぞれの路面状態に基づいて算出された複数の信頼度Ｒを組み合わせることによって、より一層確実にレーンマークを検出することができる。そして、より的確に車線逸脱警報を出力することができる。   In this way, even when a plurality of road surface conditions are mixed, a lane mark can be detected more reliably by combining a plurality of reliability R calculated based on each road surface condition. it can. A lane departure warning can be output more accurately.

なお、動作例４では、複数の信頼度Ｒが算出されたとき、そのうちいずれか１つの信頼度Ｒが０であるときは、最終的な信頼度Ｒを０とした。ただし、複数の信頼度Ｒが算出されたときに、それらを組み合わせて最終的な信頼度Ｒを算出する方法はこれに限定されるものではなく、適宜設定された所定の規則を適用することができる。   In the operation example 4, when a plurality of reliability levels R are calculated and one of the reliability levels R is 0, the final reliability level R is set to 0. However, when a plurality of reliability levels R are calculated, the method of calculating the final reliability level R by combining them is not limited to this, and a predetermined rule set appropriately may be applied. it can.

以上説明したように、このように構成された本発明の車載環境認識装置８によれば、撮像部１０によって撮像された画像Ｉの中から、レーンマーカ特徴点検出部４０が、レーンマーカを構成すると考えられるレーンマーカ特徴点ＳＬ，ＳＲを検出して、レーンマーカ検出部４５が、こうして検出されたレーンマーカ特徴点ＳＬ，ＳＲの位置に基づいてレーンマーカを検出するとともに、路面状態判定部５０が、車両５が走行している路面の状態を判定して、信頼度算出部８０が、路面状態判定部５０の判定結果とレーンマーカ特徴点検出部４０の検出結果に基づいて、レーンマーカ検出部４５で検出されたレーンマーカの位置の信頼度Ｒを算出して、車線逸脱判断部９０が、レーンマーカ検出部４５で検出されたレーンマーカの位置に基づいて、車両５が走行中の車線から逸脱する可能性を判断して、車両５が走行中の車線から逸脱する可能性があると判断されたときに、警報出力制御部１００がレーンマーカ検出結果の信頼度Ｒに応じた警報を出力するため、路面状態に応じたレーンマーカの検出結果の信頼度Ｒが算出されることによって、様々な路面状態の道路においてレーンマーカの検出を行うことができるとともに、レーンマーカの検出結果に応じた的確な車線逸脱警報を出力することができる。 As described above, according to the in-vehicle environment recognition device 8 of the present invention configured as described above, it is considered that the lane marker feature point detection unit 40 configures a lane marker from the image I captured by the imaging unit 10. The detected lane marker feature points S L and S R are detected, and the lane marker detection unit 45 detects the lane marker based on the positions of the lane marker feature points S L and S R thus detected. The road surface state on which the vehicle 5 is traveling is determined, and the reliability calculation unit 80 is detected by the lane marker detection unit 45 based on the determination result of the road surface state determination unit 50 and the detection result of the lane marker feature point detection unit 40. The reliability R of the lane marker position is calculated, and the lane departure determination unit 90 is based on the lane marker position detected by the lane marker detection unit 45. When it is determined that there is a possibility that the vehicle 5 deviates from the traveling lane and the vehicle 5 deviates from the traveling lane, the warning output control unit 100 displays the lane marker detection result. In order to output an alarm corresponding to the reliability R, the reliability R of the detection result of the lane marker corresponding to the road surface condition is calculated, so that the lane marker can be detected on the roads in various road surface conditions. It is possible to output an accurate lane departure warning according to the detection result.

また、本発明の車載環境認識装置８によれば、信頼度算出部８０が、レーンマーカ特徴点検出部４０で検出されたレーンマーカ特徴点ＳＬの総数ＰＬと、レーンマーカ特徴点ＳＲの総数ＰＬに基づいて、レーンマーカの視認性Ｖを推定する視認性推定部８２を有し、視認性推定部８２で推定された視認性Ｖと、路面状態判定部５０で判定された路面状態と、に基づいて信頼度Ｒを算出するため、路面状態毎に、レーンマーカの見え方に応じて信頼度Ｒを算出することができ、これによって、例えば、路面状態毎に的確な車線逸脱警報を出力することができる。 Further, according to the in-vehicle environment recognition device 8 of the present invention, the reliability calculation unit 80 includes the total number P L of lane marker feature points S L detected by the lane marker feature point detection unit 40 and the total number P of lane marker feature points S R. A visibility estimation unit 82 that estimates the visibility V of the lane marker based on L, and the visibility V estimated by the visibility estimation unit 82 and the road surface state determined by the road surface state determination unit 50; Since the reliability R is calculated on the basis of this, the reliability R can be calculated according to the appearance of the lane marker for each road surface state, and, for example, an accurate lane departure warning is output for each road surface state. Can do.

そして、本発明の車載環境認識装置８によれば、視認性推定部８２が、レーンマーカ特徴点検出部４０において異なる時刻に検出されたレーンマーカ特徴点ＳＬの総数ＰＬと、レーンマーカ特徴点ＳＲの総数ＰＲをそれぞれ時間軸方向に平均化して、こうして平均化されたレーンマーカ特徴点ＳＬの総数ＰＬと、レーンマーカ特徴点ＳＲの総数ＰＲに基づいて視認性Ｖ’を推定するため、時間とともに滑らかに変化する視認性Ｖ’を得ることができ、これによって、時間軸方向に亘って滑らかに変化する信頼度Ｒを得ることができる。したがって、例えば、信頼度Ｒを用いて車線逸脱警報の制御を行ったときに、車線逸脱警報のハンチングを防止することができる。 Then, according to the in-vehicle environment recognition device 8 of the present invention, the visibility estimation unit 82 has the total number P L of lane marker feature points S L detected at different times by the lane marker feature point detection unit 40 and the lane marker feature points S R. averaged respectively in the time axis direction the total number P R of, thus the total number P L of averaged lane marker feature point S L, to estimate the visibility V 'based on the total number P R of lane marker feature point S R Visibility V ′ that smoothly changes with time can be obtained, and thereby, the reliability R that smoothly changes over the time axis direction can be obtained. Therefore, for example, when the lane departure warning is controlled using the reliability R, hunting of the lane departure warning can be prevented.

さらに、本発明の車載環境認識装置８によれば、信頼度算出部８０が、路面状態判定部５０によって判定された路面状態毎に、視認性推定部８２によって推定された視認性Ｖに応じて信頼度Ｒを調整する信頼度換算テーブル８４を有し、信頼度換算テーブル８４に基づいて、視認性推定部８２によって推定された視認性Ｖを信頼度Ｒに換算するため、路面状態に応じた信頼度Ｒの算出を簡便に行うことができる。   Furthermore, according to the in-vehicle environment recognition device 8 of the present invention, the reliability calculation unit 80 responds to the visibility V estimated by the visibility estimation unit 82 for each road surface state determined by the road surface state determination unit 50. In order to convert the visibility V estimated by the visibility estimation unit 82 into the reliability R based on the reliability conversion table 84, the reliability conversion table 84 that adjusts the reliability R is used. The reliability R can be calculated easily.

また、本発明の車載環境認識装置８によれば、信頼度算出部８０が、路面状態判定部５０で所定の路面状態であることが判定されたときには、視認性Ｖを信頼度換算テーブル８４によって信頼度Ｒに換算する際に、換算による信頼度Ｒの補正量を抑制するため、例えば、路面状態に周期性があると判定されたときに、信頼度Ｒの補正量を抑制することによって、レーンマーカを的確に検出することができる。   Further, according to the in-vehicle environment recognition device 8 of the present invention, when the reliability calculation unit 80 determines that the road surface state determination unit 50 is in a predetermined road surface state, the visibility V is determined by the reliability conversion table 84. When converting to reliability R, in order to suppress the correction amount of reliability R by conversion, for example, when it is determined that the road surface state has periodicity, by suppressing the correction amount of reliability R, Lane markers can be accurately detected.

そして、本発明の車載環境認識装置８によれば、信頼度算出部８０が、路面状態判定部５０で所定の路面状態であることが判定されたときには、信頼度Ｒを所定時間に亘って０とするため、レーンマーカの検出を簡単に抑制することができ、これによって車線逸脱警報の抑制を簡便に行うことができる。   According to the in-vehicle environment recognition device 8 of the present invention, when the reliability calculation unit 80 determines that the road surface state determination unit 50 is in the predetermined road surface state, the reliability R is set to 0 over a predetermined time. Therefore, the detection of the lane marker can be easily suppressed, and thereby the lane departure warning can be easily suppressed.

さらに、本発明の車載環境認識装置８によれば、信頼度算出部８０が、異なる複数の路面状態毎に、それぞれ信頼度換算テーブル８４を有し、信頼度算出部８０は、信頼度換算テーブル８４の各々によって換算された複数の信頼度Ｒを、所定の規則に基づいて演算して、信頼度Ｒを算出するため、複数の路面状態が同時に出現したときであっても、レーンマーカの検出を行うことができるとともに、的確な車線逸脱警報を行うことができる。   Furthermore, according to the in-vehicle environment recognition device 8 of the present invention, the reliability calculation unit 80 has the reliability conversion table 84 for each of a plurality of different road surface conditions, and the reliability calculation unit 80 includes the reliability conversion table 80. In order to calculate the reliability R by calculating a plurality of reliability R converted by each of 84 based on a predetermined rule, the detection of the lane marker is performed even when a plurality of road surface conditions appear simultaneously. It can be performed and an accurate lane departure warning can be performed.

また、本発明の車載環境認識装置８によれば、警報出力制御部１００が、信頼度Ｒの値が所定値よりも小さいときに、車線逸脱警報の出力を抑制するため、レーンマーカの誤検出に伴う誤警報の発生を防止することができる。   In addition, according to the in-vehicle environment recognition device 8 of the present invention, the warning output control unit 100 suppresses the output of the lane departure warning when the reliability R value is smaller than the predetermined value. It is possible to prevent the accompanying false alarm.

そして、本発明の車載環境認識装置８によれば、路面状態判定部５０は、撮像部１０で撮像された画像Ｉに基づいて行われる、路面標識の有無の判定、横断歩道の有無の判定、雪わだちの度合の判定、オフロードの度合の判定、木漏れ日の度合の判定、前記車両の影の有無の判定、異なる時刻に撮像された画像Ｉの中のレーンマーカ特徴点ＳＬの総数ＰＬと，レーンマーカ特徴点ＳＲの総数ＰＲの時間変化の判定、および、車両５の挙動や車両５に設置されたカーナビゲーションシステムからの情報に基づいて行われる、急カーブの判定、交差点の有無の判定、のうちの少なくとも１つを含む判定を行うため、様々な路面状態の道路において、レーンマーカの検出を行うことができる。 Then, according to the in-vehicle environment recognition device 8 of the present invention, the road surface state determination unit 50 determines whether or not there is a road sign, whether or not there is a pedestrian crossing, based on the image I captured by the imaging unit 10. Determining the degree of snowdrift, determining the degree of off-road, determining the degree of sunbeams, determining the presence or absence of the shadow of the vehicle, the total number P L of lane marker feature points S L in the image I taken at different times , the time variation of the total number P R of lane marker minutia S R judgment, and is made based on information from the car navigation system installed in behavior and vehicle 5 of the vehicle 5, the sharp curve determination, the presence or absence of the intersection Since the determination including at least one of the determinations is performed, lane markers can be detected on roads in various road surface conditions.

なお、以上説明した実施例においては、路面状態判定処理の結果に基づいて、信頼度Ｒを補正したが、これは、例えば、路面状態判定処理の判定結果が算出された後で、レーンマーカ検出結果がばたついたことや、レーンマーカ検出結果の検出位置の横飛びが発生したことを検出したときに、信頼度Ｒを補正するようにしてもよい。   In the embodiment described above, the reliability R is corrected based on the result of the road surface state determination process. For example, after the determination result of the road surface state determination process is calculated, the lane marker detection result is calculated. The reliability R may be corrected when it is detected that there is fluttering or that a lateral jump of the detection position of the lane marker detection result has occurred.

また、路面状態判定処理で判定する路面状態は、実施例に記載したものに限定されるものではなく、その他の路面状態を判定して、その結果を信頼度Ｒに反映させることもできる。   The road surface state determined by the road surface state determination process is not limited to that described in the embodiment, and other road surface states can be determined and the result can be reflected in the reliability R.

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。   As mentioned above, although the Example of this invention was explained in full detail with drawing, since an Example is only an illustration of this invention, this invention is not limited only to the structure of an Example. Of course, changes in design and the like within a range not departing from the gist are included in the present invention.

８ 車載環境認識装置
１０ 撮像部
２０ レーンマーカ候補検出部
３０ ウインドゥ設定部
４０ レーンマーカ特徴点検出部
５０ 路面状態判定部
６０ 車両情報取得部
８０ 信頼度算出部
９０ 車線逸脱判断部
１００ 警報出力制御部 DESCRIPTION OF SYMBOLS 8 In-vehicle environment recognition apparatus 10 Imaging part 20 Lane marker candidate detection part 30 Window setting part 40 Lane marker feature point detection part 50 Road surface state determination part 60 Vehicle information acquisition part 80 Reliability calculation part 90 Lane departure judgment part 100 Warning output control part

Claims (9)

車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、
前記撮像部によって撮像された画像の中から、レーンマーカを構成すると考えられるレーンマーカ特徴点を検出するレーンマーカ特徴点検出部と、
前記レーンマーカ特徴点検出部によって検出されたレーンマーカ特徴点に基づいて、レーンマーカの位置を検出するレーンマーカ検出部と、
前記車両が走行している路面状態を判定する路面状態判定部と、
前記路面状態判定部によって判定された路面状態と、前記レーンマーカ特徴点検出部の検出結果に基づいて、前記レーンマーカ検出部によって検出されたレーンマーカの位置の信頼度を算出する信頼度算出部と、
前記レーンマーカ検出部によって検出されたレーンマーカの位置に基づいて、前記車両が走行中の車線から逸脱する可能性を判断する車線逸脱判断部と、
前記車線逸脱判断部において、前記車両が走行中の車線から逸脱する可能性があると判断されたときに、前記信頼度に応じて警報を出力する警報出力制御部と、を有することを特徴とする車載環境認識装置。 An imaging unit that is installed in a vehicle, observes the surroundings of the vehicle, and captures an image including at least a road surface;
A lane marker feature point detection unit that detects a lane marker feature point that is considered to constitute a lane marker from the images captured by the imaging unit;
A lane marker detection unit that detects the position of the lane marker based on the lane marker feature point detected by the lane marker feature point detection unit;
A road surface state determination unit for determining a road surface state in which the vehicle is traveling;
A reliability calculation unit that calculates the reliability of the position of the lane marker detected by the lane marker detection unit based on the road surface state determined by the road surface state determination unit and the detection result of the lane marker feature point detection unit;
A lane departure determination unit that determines the possibility of the vehicle deviating from the lane in which the vehicle is traveling based on the position of the lane marker detected by the lane marker detection unit;
The lane departure determination unit includes an alarm output control unit that outputs an alarm according to the reliability when it is determined that there is a possibility that the vehicle departs from a running lane. In-vehicle environment recognition device. 前記信頼度算出部は、前記レーンマーカ特徴点検出部で検出されたレーンマーカ特徴点の総数に基づいて、レーンマーカの視認性を推定する視認性推定部を有し、前記視認性推定部によって推定された視認性と、前記路面状態判定部によって判定された路面状態と、に基づいて前記信頼度を算出することを特徴とする請求項１に記載の車載環境認識装置。   The reliability calculation unit includes a visibility estimation unit that estimates the visibility of a lane marker based on the total number of lane marker feature points detected by the lane marker feature point detection unit, and is estimated by the visibility estimation unit The in-vehicle environment recognition device according to claim 1, wherein the reliability is calculated based on visibility and a road surface state determined by the road surface state determination unit. 前記視認性推定部は、前記レーンマーカ特徴点検出部において異なる時刻に検出された前記レーンマーカ特徴点の総数を時間軸方向に平均化して、こうして平均化されたレーンマーカ特徴点の総数に基づいて前記視認性を推定することを特徴とする請求項２に記載の車載環境認識装置。   The visibility estimating unit averages the total number of the lane marker feature points detected at different times in the lane marker feature point detection unit in the time axis direction, and the visibility based on the total number of lane marker feature points thus averaged The in-vehicle environment recognition device according to claim 2, wherein the estimation is performed. 前記信頼度算出部は、前記路面状態判定部によって判定された路面状態毎に、前記視認性推定部によって推定された視認性に応じて前記信頼度を調整する信頼度換算テーブルを有し、前記信頼度換算テーブルに基づいて、前記視認性推定部によって推定された視認性を前記信頼度に換算することを特徴とする請求項２または請求項３に記載の車載環境認識装置。   The reliability calculation unit includes a reliability conversion table that adjusts the reliability according to the visibility estimated by the visibility estimation unit for each road surface state determined by the road surface state determination unit, The in-vehicle environment recognition device according to claim 2 or 3, wherein the visibility estimated by the visibility estimation unit is converted into the reliability based on a reliability conversion table. 前記信頼度算出部は、前記路面状態判定部で所定の路面状態であることが判定されたときには、前記視認性を前記信頼度換算テーブルによって信頼度に換算する際に、換算による信頼度の補正量を抑制することを特徴とする請求項４に記載の車載環境認識装置。   When the reliability calculation unit determines that the road surface state determination unit determines that the road surface state is a predetermined road surface state, the reliability calculation unit corrects the reliability by conversion when converting the visibility into the reliability by the reliability conversion table. The in-vehicle environment recognition device according to claim 4, wherein the amount is suppressed. 前記信頼度算出部は、前記路面状態判定部で所定の路面状態であることが判定されたときには、前記信頼度を所定時間に亘って０とすることを特徴とする請求項２から請求項５のいずれか１項に記載の車載環境認識装置。   The said reliability calculation part sets the said reliability to 0 over predetermined time, when it determines with the said road surface state determination part being a predetermined | prescribed road surface state, The said reliability is set to 0 through 5 characterized by the above-mentioned. The in-vehicle environment recognition device according to any one of the above. 前記信頼度算出部は、異なる複数の路面状態毎に、それぞれ信頼度換算テーブルを有し、前記信頼度算出部は、前記信頼度換算テーブルの各々によって換算された複数の信頼度を、所定の規則に基づいて演算して、信頼度を算出することを特徴とする請求項４から請求項６のいずれか１項に記載の車載環境認識装置。   The reliability calculation unit has a reliability conversion table for each of a plurality of different road surface conditions, and the reliability calculation unit calculates a plurality of reliability converted by each of the reliability conversion tables by a predetermined value. The in-vehicle environment recognition device according to any one of claims 4 to 6, wherein the reliability is calculated based on a rule. 前記警報出力制御部は、前記信頼度の値が所定値よりも小さいときに、前記警報の出力を抑制することを特徴とする請求項１から請求項７のいずれか１項に記載の車載環境認識装置。   The in-vehicle environment according to any one of claims 1 to 7, wherein the alarm output control unit suppresses the output of the alarm when the reliability value is smaller than a predetermined value. Recognition device. 前記路面状態判定部は、前記撮像部で撮像された画像に基づいて行われる、路面標識の有無の判定、横断歩道の有無の判定、雪わだちの度合の判定、オフロードの度合の判定、木漏れ日の度合の判定、前記車両の影の有無の判定、異なる時刻に撮像された画像の中の前記レーンマーカ特徴点の総数の時間変化の判定、および、前記車両の挙動や前記車両に設置されたカーナビゲーションシステムからの情報に基づいて行われる、急カーブの判定、交差点の有無の判定、のうちの少なくとも１つを含む判定を行うことを特徴とする請求項１から請求項８のいずれか１項に記載の車載環境認識装置。   The road surface state determination unit is performed based on the image captured by the imaging unit, determination of presence / absence of road surface signs, determination of presence / absence of pedestrian crossings, determination of the degree of snowdrift, determination of the degree of off-road, sunbeam Determination of the degree of shadowing, determination of the presence or absence of shadow of the vehicle, determination of temporal change in the total number of lane marker feature points in images taken at different times, and behavior of the vehicle and cars installed in the vehicle The determination including at least one of determination of a sharp curve and determination of presence / absence of an intersection performed based on information from the navigation system is performed. The in-vehicle environment recognition device described in 1.
JP2012168772A 2012-07-30 2012-07-30 In-vehicle environment recognition device Expired - Fee Related JP6006574B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012168772A JP6006574B2 (en) 2012-07-30 2012-07-30 In-vehicle environment recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012168772A JP6006574B2 (en) 2012-07-30 2012-07-30 In-vehicle environment recognition device

Publications (2)

Publication Number Publication Date
JP2014026608A true JP2014026608A (en) 2014-02-06
JP6006574B2 JP6006574B2 (en) 2016-10-12

Family

ID=50200156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012168772A Expired - Fee Related JP6006574B2 (en) 2012-07-30 2012-07-30 In-vehicle environment recognition device

Country Status (1)

Country Link
JP (1) JP6006574B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046556A (en) * 2014-08-20 2016-04-04 株式会社日本自動車部品総合研究所 Traveling partition line recognition device, traveling partition line recognition program
DE102015116268A1 (en) 2014-10-02 2016-04-07 Denso Corporation Track boundary line information acquisition device
CN105788250A (en) * 2014-12-24 2016-07-20 中国电信股份有限公司 Vehicle driving behavior processing method and apparatus
CN106339659A (en) * 2015-07-10 2017-01-18 株式会社理光 Road segment detecting method and device
KR20180045661A (en) * 2016-10-26 2018-05-04 주식회사 만도 Optimum driving lane leading method and system using a front image and navigation information
WO2019137914A1 (en) * 2018-01-09 2019-07-18 Connaught Electronics Ltd. Detecting a lane mark by a lane departure warning system of a vehicle
CN111523360A (en) * 2019-09-09 2020-08-11 长城汽车股份有限公司 Method and device for identifying pavement marker and monocular camera
CN114245102A (en) * 2021-11-26 2022-03-25 深圳市豪恩汽车电子装备股份有限公司 Vehicle-mounted camera shake identification method and device and computer readable storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003205805A (en) * 2002-01-16 2003-07-22 Mitsubishi Motors Corp Operation supporting device for vehicle
US20100259617A1 (en) * 2009-04-09 2010-10-14 Nippon Soken, Inc. Boundary line recognition apparatus
JP2011159147A (en) * 2010-02-02 2011-08-18 Toyota Motor Corp Driving support apparatus
JP2012088756A (en) * 2010-10-15 2012-05-10 Toyota Motor Corp Travel supporting device and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003205805A (en) * 2002-01-16 2003-07-22 Mitsubishi Motors Corp Operation supporting device for vehicle
US20100259617A1 (en) * 2009-04-09 2010-10-14 Nippon Soken, Inc. Boundary line recognition apparatus
JP2011159147A (en) * 2010-02-02 2011-08-18 Toyota Motor Corp Driving support apparatus
JP2012088756A (en) * 2010-10-15 2012-05-10 Toyota Motor Corp Travel supporting device and method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046556A (en) * 2014-08-20 2016-04-04 株式会社日本自動車部品総合研究所 Traveling partition line recognition device, traveling partition line recognition program
US10127460B2 (en) 2014-10-02 2018-11-13 Denso Corporation Lane boundary line information acquiring device
DE102015116268A1 (en) 2014-10-02 2016-04-07 Denso Corporation Track boundary line information acquisition device
DE102015116268B4 (en) 2014-10-02 2024-03-14 Denso Corporation Lane boundary line information acquisition device
CN105788250A (en) * 2014-12-24 2016-07-20 中国电信股份有限公司 Vehicle driving behavior processing method and apparatus
CN106339659A (en) * 2015-07-10 2017-01-18 株式会社理光 Road segment detecting method and device
JP2017021803A (en) * 2015-07-10 2017-01-26 株式会社リコー Method and device for detecting road boundary object
KR20180045661A (en) * 2016-10-26 2018-05-04 주식회사 만도 Optimum driving lane leading method and system using a front image and navigation information
KR101938145B1 (en) * 2016-10-26 2019-04-11 주식회사 만도 Optimum driving lane leading method and system using a front image and navigation information
WO2019137914A1 (en) * 2018-01-09 2019-07-18 Connaught Electronics Ltd. Detecting a lane mark by a lane departure warning system of a vehicle
CN111523360A (en) * 2019-09-09 2020-08-11 长城汽车股份有限公司 Method and device for identifying pavement marker and monocular camera
EP4006774A4 (en) * 2019-09-09 2022-09-21 Great Wall Motor Company Limited Method, device, and monocular camera used for identifying road surface markings
CN111523360B (en) * 2019-09-09 2023-06-13 毫末智行科技有限公司 Method and device for identifying pavement marker and monocular camera
CN114245102A (en) * 2021-11-26 2022-03-25 深圳市豪恩汽车电子装备股份有限公司 Vehicle-mounted camera shake identification method and device and computer readable storage medium

Also Published As

Publication number Publication date
JP6006574B2 (en) 2016-10-12

Similar Documents

Publication Publication Date Title
JP6006574B2 (en) In-vehicle environment recognition device
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
EP2871629B1 (en) Vehicle-mounted environment recognition device
JP6126094B2 (en) In-vehicle image recognition device
EP2843615B1 (en) Device for detecting three-dimensional object and method for detecting three-dimensional object
US9690996B2 (en) On-vehicle image processor
RU2571368C1 (en) Device for detecting three-dimensional objects, method of detecting three-dimensional objects
EP2879384B1 (en) Three-dimensional object detection device
JP5220787B2 (en) In-vehicle white line recognition device
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
US9965690B2 (en) On-vehicle control device
US20100259617A1 (en) Boundary line recognition apparatus
US10127460B2 (en) Lane boundary line information acquiring device
US20150120160A1 (en) Method and device for detecting a braking situation
JP2010218528A (en) Lane departure warning method and system using virtual lane
EP2879115B1 (en) Three-dimensional object detection device
JP4991384B2 (en) Approaching object detection device and approaching object detection program
JP5209656B2 (en) In-vehicle white line recognition device
JP5997962B2 (en) In-vehicle lane marker recognition device
JP2010020710A (en) Device for detecting road side fixed object
JP6426512B2 (en) Driving lane recognition system
JP5204144B2 (en) In-vehicle white line recognition device
KR102250800B1 (en) Apparatus and Method for detecting traffic path based on road object recognition
JP2010093715A (en) Vehicle periphery monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160324

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160909

R150 Certificate of patent or registration of utility model

Ref document number: 6006574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees