JP2015172903A - 区画線検出システム - Google Patents
区画線検出システム Download PDFInfo
- Publication number
- JP2015172903A JP2015172903A JP2014049193A JP2014049193A JP2015172903A JP 2015172903 A JP2015172903 A JP 2015172903A JP 2014049193 A JP2014049193 A JP 2014049193A JP 2014049193 A JP2014049193 A JP 2014049193A JP 2015172903 A JP2015172903 A JP 2015172903A
- Authority
- JP
- Japan
- Prior art keywords
- line
- center line
- lane
- vehicle
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/09—Recognition of logos
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】主走行路における自車両の区画線を精度良く検出すること。
【解決手段】撮像装置10の画像情報に基づいて区画線候補を検出し、区画線候補に基づいて自車両区画線候補を検出する区画線候補検出部と、自車両の両側に検出された2本の自車両区画線候補の内の一方の位置に基づいて、他方の自車両区画線候補の位置を補正する区画線補正部と、その内の少なくとも1本がセンタラインであるのか否かを判定するセンタライン判定部と、その内の少なくとも1本がセンタラインである場合、そのセンタラインが有効センタラインであるのか否かを判定する有効性判定部と、を区画線検出ECU20に備え、区画線補正部は、センタラインが有効センタラインである場合、有効センタラインの位置に基づいて他方の自車両区画線候補の位置を補正する一方で、センタラインが有効センタラインでない場合、センタラインの位置に基づいた補正を行わないこと。
【選択図】図1
【解決手段】撮像装置10の画像情報に基づいて区画線候補を検出し、区画線候補に基づいて自車両区画線候補を検出する区画線候補検出部と、自車両の両側に検出された2本の自車両区画線候補の内の一方の位置に基づいて、他方の自車両区画線候補の位置を補正する区画線補正部と、その内の少なくとも1本がセンタラインであるのか否かを判定するセンタライン判定部と、その内の少なくとも1本がセンタラインである場合、そのセンタラインが有効センタラインであるのか否かを判定する有効性判定部と、を区画線検出ECU20に備え、区画線補正部は、センタラインが有効センタラインである場合、有効センタラインの位置に基づいて他方の自車両区画線候補の位置を補正する一方で、センタラインが有効センタラインでない場合、センタラインの位置に基づいた補正を行わないこと。
【選択図】図1
Description
本発明は、自車両の周辺の路面に存在している区画線を検出する区画線検出システムに関する。
従来、この種の検出システムが知られている。例えば、下記の特許文献1には、自車両の左右それぞれの白線検出領域から白線候補点の各点群を検出した後、その各点群に基づいて自車両の左右の仮白線近似線を算出し、この2本の仮白線近似線の平行性を判定する、という技術が開示されている。この技術においては、その平行性が低いと判定された場合、その2本の仮白線近似線の近似誤差を算出し、近似誤差が小さい一方の仮白線近似線を正しい仮白線近似線として判定すると共に、近似誤差が大きい他方の仮白線近似線を誤認識した仮白線近似線として判定する。そして、この技術では、正しいと判定した側の仮白線近似線を誤認識側にオフセットし、このオフセットした仮白線近似線と誤認識した仮白線近似線とを比較して、誤認識した仮白線近似線の位置を補正する。
その特許文献1の技術では、例えば高速道路において主走行路と左側に分岐して出口へと導く分岐路とが混在している状況下で、自車両から見て左側の仮白線近似線の近似誤差の方が右側の仮白線近似線の近似誤差よりも大きかった場合、この左側の仮白線近似線が誤認識によるものと判定されるので、この左側の仮白線近似線の位置が正しい右側の仮白線近似線の位置に基づいて補正される。よって、この技術では、分岐路の白線が現れたとしても、その影響を受けることなく、主走行路の白線(区画線)を検出することができる。しかしながら、自車両から見て右側の白線が破線の場合や右側の白線が擦れ等で不明瞭になっている場合には、この右側の仮白線近似線の近似誤差の方が左側の仮白線近似線の近似誤差よりも大きくなることがある。この場合、特許文献1の技術では、分岐路に関わる左側の仮白線近似線の位置に基づいて右側の仮白線近似線の位置が補正され、主走行路の白線(区画線)が正しく検出されなくなってしまう可能性がある。
そこで、本発明は、かかる従来例の有する不都合を改善し、主走行路と分岐路とが混在している場所で主走行路における自車両の区画線を精度良く検出することが可能な区画線検出システムを提供することを、その目的とする。
上記目的を達成する為、本発明は、自車両の周辺を撮像する撮像装置と、前記撮像装置で撮像された撮像領域内の画像情報に基づいて区画線候補を検出し、該区画線候補に基づいて自車両の走行車線の区画線候補を自車両区画線候補として検出する区画線候補検出部と、前記区画線候補検出部によって前記自車両の両側に検出された2本の前記自車両区画線候補の内の一方の位置に基づいて、その内の他方の自車両区画線候補の位置を補正する区画線補正部と、前記2本の自車両区画線候補の内の少なくとも1本がセンタラインであるのか否かを判定するセンタライン判定部と、前記2本の自車両区画線候補の内の少なくとも1本が前記センタラインである場合、該センタラインが分岐路の分岐線が接続されていない又は当該分岐線が接続されている可能性の低い有効センタラインであるのか否かを判定する有効性判定部と、を備え、前記区画線補正部は、前記センタラインが前記有効センタラインである場合、該有効センタラインの位置に基づいて前記2本の自車両区画線候補の内の前記有効センタラインでない方の自車両区画線候補の位置を補正する一方で、前記センタラインが前記有効センタラインでない場合、該センタラインの位置に基づいた前記補正を行わないことを特徴としている。
ここで、前記区画線補正部は、前記センタラインが前記有効センタラインでない場合、該センタラインの位置を前記2本の自車両区画線候補の内の前記センタラインでない他方の自車両区画線候補の位置に基づいて補正することが望ましい。
本発明に係る区画線検出システムは、2本の自車両区画線候補の内の少なくとも1本がセンタラインであり、かつ、そのセンタラインが基準線として有効な有効センタラインの場合、その有効センタラインでない方の自車両区画線候補の位置を当該有効センタラインの位置に基づいて補正する。ここで、有効センタライン(基準線)とは、分岐路の分岐線が接続されていない又は当該分岐線が接続されている可能性の低い線(自車両区画線候補)のことである。このため、この区画線検出システムは、分岐路の分岐線を基準にした自車両区画線候補の補正が回避されるので、自車両の走行車線の区画線を正しく検出することができる。
以下に、本発明に係る区画線検出システムの実施例を図面に基づいて詳細に説明する。尚、この実施例によりこの発明が限定されるものではない。
[実施例]
本発明に係る区画線検出システムの実施例を図1から図8に基づいて説明する。
本発明に係る区画線検出システムの実施例を図1から図8に基づいて説明する。
図1の符号1は、本実施例の区画線検出システムを示す。この区画線検出システム1は、取得した自車両の周辺情報に基づいて区画線を検出するものである。ここで例示する区画線とは、自車両の周辺の路面における白線や黄線等の車線境界線のことである。
この区画線検出システム1は、自車両の周辺情報を取得する周辺情報取得部を備える。その周辺情報取得部とは、路面と路面上の区画線と立体物(他車両や建築物等)と背景(空等)との識別が可能な自車両の周辺情報を取得できるものである。本実施例においては、この周辺情報取得部に撮像装置10を利用する。ここで用いる撮像装置10とは、自車両の周辺を撮像し、その周辺における路面と路面上の区画線と立体物と背景の識別情報の抽出が可能な画像情報を自車両の周辺情報として取得することができるものである。その識別情報とは、撮像領域内の画像情報から抽出される輝度値情報等のことである。この撮像装置10には、少なくとも自車両の進行方向を撮像させる。
この例示では、周辺情報取得部としてステレオカメラ(撮像装置10)を利用するが、この周辺情報取得部としては、撮像装置10であるならば単眼カメラを利用してもよい。また、撮像装置10は、画像情報をモノクロ画像として撮像するものであってもよく、カラー画像として撮像するものであってもよい。
この区画線検出システム1は、区画線検出ECU20を備える。その区画線検出ECU20とは、この区画線検出システム1においての演算処理を担っている電子制御装置である。この区画線検出ECU20には、撮像装置10で撮像された撮像領域内の画像情報が入力される。この区画線検出ECU20は、その画像情報に基づいて区画線を検出する。このため、この区画線検出ECU20には、区画線検出部を設ける。
画像情報からの区画線の検出は、この技術分野における周知の方法で実施する。例えば、区画線検出部は、情報抽出部と、エッジ点検出部と、エッジ線分検出部と、区画線候補検出部と、に分けることができる。
情報抽出部とは、画像情報から輝度値情報を抽出するものである。情報抽出部には、この技術分野における周知の方法によって輝度値情報を算出させる。例えば、この例示の情報抽出部には、取得した画像情報に基づいて、この画像情報における座標毎又は領域毎の輝度値を算出させる。この輝度値情報を算出するに際しては、画像情報の何処から走査を開始してもよく、如何様な方向に走査してもよい。この例示の情報抽出部には、撮像領域内の画像情報の全体から輝度値情報を抽出させる。
エッジ点検出部とは、その輝度値情報に基づいて画像情報上のエッジ点(明暗の切り替わる点)を検出するものである。このエッジ点の検出は、この技術分野における周知の方法で実施する。
例えば、エッジ点検出部は、画像情報上の輝度値情報に対して微分フィルタ(例えばsobelフィルタ等)を用いることで、暗部(主に黒色の部分)から明部(主に白色又は黄色の部分)へと変化する第1エッジ点(上りエッジ点)と明部から暗部へと変化する第2エッジ点(下りエッジ点)のそれぞれのエッジ強度を算出する。つまり、エッジ点検出部には、画像情報上で区画線のエッジ点であると思われる第1エッジ点と第2エッジ点とを検出させる。尚、暗部とは、主として路面のアスファルト部分に相当する。一方、明部とは、主として路面に塗られた区画線に相当する。
このエッジ点検出部には、エッジ強度と比較する閾値を用いて、ノイズや路面の汚れ等の区画線以外の要因により検出されたエッジ点を除外させる。また、このエッジ点検出部には、検出された第1エッジ点と第2エッジ点の中から互いにペアとなる第1エッジ点と第2エッジ点とを抽出させることによって、ペアになれなかった孤立している第1エッジ点や第2エッジ点を不要なエッジ点として除外させる。ペアとは、1本の区画線から検出される第1エッジ点と第2エッジ点の組のことである。そのペアか否かの判定には、第1エッジ点と第2エッジ点との間の幅、第1エッジ点や第2エッジ点における輝度値情報を利用する。
エッジ線分検出部とは、そのようにして選ばれた全ての第1エッジ点と第2エッジ点に基づいて、第1エッジ点群によって直線状又は曲線状に並ぶ線分(以下、「第1エッジ線分」という。)と、第2エッジ点群によって直線状又は曲線状に並ぶ線分(以下、「第2エッジ線分」という。)と、を検出するものである。このエッジ線分の検出は、この技術分野における周知の方法で実施する。
エッジ線分検出部には、例えば、全ての第1エッジ点と第2エッジ点に対してハフ変換処理等を実施することで、第1エッジ線分と第2エッジ線分とを検出させる。そして、このエッジ線分検出部には、検出された全ての第1エッジ線分と第2エッジ線分に対して互いの平行度合いや間隔等を算出させ、その結果を利用して、互いにペアとなる第1エッジ線分と第2エッジ線分とを抽出させる。ペアとは、1本の区画線から検出される第1エッジ線分と第2エッジ線分の組のことである。そのペアとなる第1エッジ線分と第2エッジ線分は、1本の区画線(破線であれば1つ1つの線)におけるそれぞれの境界を表したものである。
区画線候補検出部とは、そのペアとなる第1エッジ線分と第2エッジ線分に基づいて、画像情報上で区画線と考えられるもの(区画線候補)を検出し、更に、その区画線候補の中から自車両の走行車線の区画線候補を自車両区画線候補として検出するものである。その区画線候補や自車両区画線候補の検出は、この技術分野における周知の方法で実施する。
例えば、区画線候補検出部には、区画線候補を検出させるに際して、過去に検出された区画線候補の情報が存在していない場合、今回ペアとして検出された第1エッジ線分と第2エッジ線分とで囲まれた領域を区画線候補として検出させる。その際、区画線候補検出部は、その第1エッジ線分と第2エッジ線分の画像上における位置や長さ、傾きを考慮に入れて、区画線候補であるのか否かを判断する。一方、この区画線候補検出部には、過去に検出された区画線候補の情報が存在している場合、例えば、その過去の区画線候補の情報に近い第1エッジ線分と第2エッジ線分のペアを抽出させ、この第1エッジ線分と第2エッジ線分とで囲まれた領域を区画線候補として検出させる。ここで、過去に検出された区画線候補の情報とは、例えば、現在の画像情報のフレームよりも前のフレームで検出された区画線候補又は区画線の情報、今回と同じ路面を過去に走行した際に検出された区画線候補又は区画線の情報等のことである。
また、この区画線候補検出部には、画像情報に対しての自車位置と画像情報上における自車両の走行車線の車線幅とに基づいて、自車両の区画線が存在しているであろうと想定される画像情報上の想定領域を特定させ、この想定領域の中に存在している区画線候補を自車両区画線候補として選択させる。一方、この区画線候補検出部には、その想定領域の中に区画線候補が検出されなかった場合、自車両区画線候補が存在していないと判定させる。ここで、自車両区画線候補は、自車両から見て、左右それぞれに存在している場合もあれば、左右の何れか一方のみにしか存在していない場合もある。
自車位置については、例えば、撮像装置10の取り付け位置と撮像領域とに基づいて、画像情報上の自車位置又は画像情報の枠外の自車位置を予め特定しておく。車線幅については、例えば、高速道路や国道等のような道路の種別に応じた値を予め区画線検出ECU20の記憶部等に用意しておく。区画線候補検出部は、例えば、カーナビゲーションシステムの自車位置情報と地図情報とに基づいて自車両が存在している道路の種別を判定し、その道路の種別に応じた車線幅を読み込む。想定領域については、自車位置と自車両の走行車線の車線幅だけでなく、自車両の走行車線における進行方向の路面形状も考慮に入れて特定してもよい。その際の路面形状は、一工程前までの自車両の区画線の検出結果に応じて得た区画線又は走行車線の形状情報を利用してもよく、カーナビゲーションシステムの自車位置情報と地図情報とに基づいて得た走行車線の形状情報を利用してもよい。また、この想定領域は、予め画像情報上に設定しておいた領域であってもよい。
この区画線検出システム1においては、自車両の両側に検出された2本の自車両区画線候補の内の一方の位置に基づいて、その内の他方の自車両区画線候補の位置を補正する。具体的には、そのような2本の自車両区画線候補が検出されている場合、その内の何れか一方を基準線に選択し、この基準線としての自車両区画線候補の画像情報上の位置に基づいて他方の自車両区画線候補の画像情報上の位置を補正する。このため、区画線検出ECU20には、基準線の位置に基づいて他方の自車両区画線候補の位置を補正する区画線補正部を設けている。その区画線補正部については、後で詳述する。ここで、基準線とは、実際の区画線に対する自車両区画線候補の位置ずれを補正する際の基準となる画像情報上の自車両区画線候補のことである。
しかしながら、図2に示すように主走行路における自車両の走行車線が分岐路に繋がっている場合には、その分岐路の区画線を基準線として誤認識してしまい、この誤認識された基準線の位置に基づいて、本来であれば基準線として認識されるべきであった自車両区画線候補の正しい位置をずらしてしまう可能性がある。このような状況は、例えば、分岐路の区画線が実線になっている一方で、真に基準線として認識されるべき自車両区画線候補が破線であったり、この自車両区画線候補に擦れが生じていたりしている場合に起こり得る。
そこで、本実施例の区画線検出システム1では、自車両の走行車線から分岐する分岐路の分岐線が接続されていない自車両区画線候補又は当該分岐線が接続されている可能性の低い自車両区画線候補を基準線に設定することで、誤った自車両区画線候補の補正を回避する。つまり、基準線には、実際の区画線に対する自車両区画線候補の位置ずれを補正する際の基準となる画像情報上の自車両区画線候補として、分岐路の分岐線が接続されていない又は当該分岐線が接続されている可能性の低い線を適用する。具体的な構成について以下で説明する。
この例示では、自車両区画線候補が基準線の候補としてのセンタラインであるのか否かを判定するセンタライン判定部を区画線検出ECU20に設けている。そのセンタライン判定部には、自車両から見て自車両区画線候補が左右それぞれに1本ずつ存在しているのか、左右の何れか一方のみにしか存在していないのかに基づいて、センタラインの有無を判定させる。尚、ここでいうセンタラインとは、自車両の走行車線と対向車線とを区分けする中央線だけに限定するものではない。
このセンタライン判定部は、自車両区画線候補が自車両から見て左右の何れか一方のみにしか存在していなかった場合、基準線の候補としてのセンタラインが存在していないと判定する。
一方、センタライン判定部は、自車両区画線候補が自車両から見て左右それぞれに1本ずつ存在している場合、その2本の自車両区画線候補を各々センタライン候補とする。そして、このセンタライン判定部は、その2本のセンタライン候補の線種と位置に基づいて、各センタライン候補の中からセンタラインを特定する。
センタライン判定部は、センタライン候補について、連続したエッジ線分からなるのであれば、実線と判定し、自車両の進行方向に間隔を空けたエッジ線分の集合体であるならば、破線と判定する。また、センタライン判定部は、輝度値情報に基づいて、センタライン候補が白線であるのか黄線であるのかを判定する。尚、画像情報がモノクロ画像の場合には、輝度比に基づいてセンタライン候補が白線であるのか黄線であるのかを判定する。センタライン判定部は、このようにしてセンタライン候補としての自車両区画線候補の線種を判定する。
センタライン候補の位置とは、このセンタライン候補についての自車両から見た左右の位置のことである。この位置情報については、自車両区画線候補の検出時に既に把握しているので、これを利用すればよい。
センタライン判定部には、更に信頼度を考慮に入れてセンタラインを特定させてもよい。その信頼度とは、センタライン候補がセンタラインとなり得るのか否かを判断するための指標である。例えば、センタライン候補が破線として認識されたとしても、実際には、擦れ等が原因になって、そのように認識された可能性もある。このため、センタライン判定部には、信頼度を用いることで、センタラインを正しく特定させる。その例示では、例えば、センタライン候補におけるエッジ線分の長さや間隔等に基づいて当該エッジ線分の信頼度を求め、このセンタライン候補が破線であるのか否かを判定する。
具体的に、センタライン判定部は、一方のセンタライン候補が実線で、他方のセンタライン候補が破線の場合、破線のセンタライン候補をセンタラインに特定する。例えば、図3に示すはみ出し追い越しが可能な片側1車線の走行路を走行しているときには、実線のセンタライン候補側の方が破線のセンタライン候補側よりも分岐路の現れる可能性が高い。また、片側複数車線の走行路の両端の車線を走行しているときには、実線のセンタライン候補側の方が破線のセンタライン候補側よりも分岐路の現れる可能性が高い。図4では、片側3車線の両端の車線における車両C1,C2のそれぞれのセンタラインを表している。このため、センタライン判定部には、破線のセンタライン候補を基準線の候補としてのセンタラインに特定させる。
また、センタライン判定部は、両方のセンタライン候補が破線の場合、それぞれのセンタライン候補をセンタラインに特定する。例えば、片側3車線以上の走行路で両端以外の車線を走行しているときには、それぞれのセンタライン候補側に分岐路が現れる可能性が少ない。図4では、片側3車線の中央の車線における車両C3のセンタラインを表している。このため、センタライン判定部には、両方のセンタライン候補を基準線の候補としてのセンタラインに特定させる。
また、センタライン判定部は、一方のセンタライン候補が白線の実線で、他方のセンタライン候補が黄線の実線の場合、黄線の実線のセンタライン候補をセンタラインに特定する。例えば、図5に示す追い越し禁止の走行路を走行しているときには、白線の実線のセンタライン候補側の方が黄線の実線のセンタライン候補側よりも分岐路の現れる可能性が高い。このため、センタライン判定部には、黄線の実線のセンタライン候補を基準線の候補としてのセンタラインに特定させる。
また、センタライン判定部は、両方のセンタライン候補が白線の実線の場合、自車両から見てセンタライン候補の更に外側に区画線候補が存在しているのか否かを判定する。この場合の走行路(図6)では、そのような区画線候補が外側に存在していなければ、このセンタライン候補側に分岐路が現れる可能性があり、そのような区画線候補が外側に存在していれば、このセンタライン候補側に分岐路が現れる可能性が低い。このため、センタライン判定部は、そのような区画線候補が各センタライン候補の内の何れか一方の外側に存在している場合、この外側に区画線候補が存在しているセンタライン候補を基準線の候補としてのセンタラインに特定する。一方、センタライン判定部は、そのような区画線候補が両方のセンタライン候補の外側に存在している場合、両方のセンタライン候補を基準線の候補としてのセンタラインに特定する。
また、センタライン判定部は、2つの線種の線が並んでいる複合線(図7)をセンタライン候補として挙げた場合、補助線ではなく、主線の線種に基づいて、このセンタライン候補がセンタラインであるのか、それとも反対側のセンタライン候補がセンタラインであるのかを判定する。
ここで、センタライン判定部が特定したセンタラインは、これとは反対側のセンタライン候補であった自車両区画線候補と比べて、分岐路の分岐線に繋がる可能性が低い。しかしながら、このセンタラインには、例えば車線減少に伴う自車両の隣の車線の消滅等によって、分岐路の分岐線が接続される可能性がある。このため、この例示では、特定したセンタラインが基準線として有効な有効センタラインであるのか否かを判定する。よって、区画線検出ECU20には、特定されたセンタラインが有効センタラインであるのか否かを判定する有効性判定部を設けている。その基準線として有効な有効センタラインとは、自車両の走行車線から分岐する分岐路の分岐線が接続されていないもの又は当該分岐線が接続されている可能性の低いもののことである。尚、分岐線が接続されている可能性の高低の判断は難しいので、例えば、ここでは、分岐線が接続されていると断定できないものを分岐線が接続されている可能性の低い有効センタラインと判定させてもよい。また、分岐線の接続されている可能性があると少しでも判断できるものについては、分岐線が接続されている可能性の低い有効センタラインと判定させないようにしてもよい。
有効性判定部には、センタライン判定部が自車両区画線候補をセンタラインとして特定した場合に、このセンタラインが有効センタラインであるのか否かを判定させる。
具体的に、この有効性判定部は、自車両の進行方向において、センタラインとして特定した自車両区画線候補側から分岐する分岐路が存在しているのか否かを判定する。この判定は、画像情報上に現れているセンタラインに対して実施すればよい。有効性判定部は、そのような分岐路が存在していなければ、このセンタラインは基準線として有効であると判断して有効センタラインと判定し、そのような分岐路が存在していれば、このセンタラインは基準線として有効ではないと判断して有効センタラインでないと判定する。その分岐路の有無は、画像情報上でセンタラインとしての自車両区画線候補と繋がる区画線候補の本数の変化に基づいて把握することができる。
但し、この有効性判定部には、その画像情報の枠外であっても、自車両の進行と共にセンタラインとしての自車両区画線候補に繋がる分岐路が現れると推定できた場合、このセンタラインを無効と判定させてもよい。その推定は、カーナビゲーションシステムの自車位置情報と地図情報とに基づいて実施することができる。その分岐路の存在を推定するための対象領域は、あまり遠くまで設定しない方が好ましい。遠方で分岐路に繋がっているとしても、現時点では、そのセンタラインを有効センタライン(基準線)として利用しても区画線の補正精度に差し支えがないからである。このため、その対象領域は、例えば、区画線の補正精度に支障がない短距離又は短時間で自車両が辿り着く所に止めておくことが望ましい。
区画線補正部には、そのようにして有効であると判定された有効センタライン(自車両区画線候補)を基準線に設定させ、この有効センタラインの位置に基づいて、有効センタラインでない他方の自車両区画線候補の位置を補正させる。その補正は、この技術分野における周知の方法によって実施する。この区画線補正部は、下記の形状推定部と制約条件算出部とに分けることができる。
その自車両区画線候補の位置補正を行うに際しては、有効センタライン(基準線)としての自車両区画線候補のパラメータを推定する。そのパラメータとは、例えば、曲率や曲率変化率等の形状情報のことである。このため、形状推定部には、このパラメータを推定させる。その推定は、この技術分野における周知の方法によって実施する。例えば、この形状推定部は、有効センタライン(基準線)となる自車両区画線候補を構成しているエッジ点群にモデルフィッティングすることによって、この自車両区画線候補のパラメータを推定する。その際に用いるモデルは、パラメータの推定が可能なものであれば、如何様なものであってもよい。
また、自車両区画線候補の位置補正を行うに際しては、補正対象となる自車両区画線候補の補正制約条件を算出する。その補正制約条件は、この技術分野における周知のものであり、有効センタライン(基準線)としての自車両区画線候補のパラメータに基づいて算出する。この補正制約条件とは、補正対象の自車両区画線候補のパラメータ(曲率や曲率変化率等)に一定以上の誤差が生じないようにするための条件や、自車両が例えば車線逸脱防止支援制御や車線維持支援制御等を実施しているならば、自車両と自車両区画線候補との間のオフセット量(横位置)や自車両のヨー角に一定以上の誤差が生じないようにするための条件である。制約条件算出部には、この補正制約条件を算出させる。
具体的に、例えば、センタラインが有効センタラインであると判定された場合には、その有効センタライン(自車両区画線候補)のパラメータを形状推定部が推定し、そのパラメータに基づいて制約条件算出部が有効センタラインでない他方の自車両区画線候補(自車両を中心にして有効センタラインとは左右で反対側の自車両区画線候補)の補正制約条件を算出する。形状推定部は、有効センタライン(自車両区画線候補)との平行度合い等を考慮しつつ、その補正制約条件を満たすように、有効センタラインでない他方の自車両区画線候補のパラメータ(形状情報)を推定する。これにより、その他方の自車両区画線候補の位置が補正され、自車両の区画線として検出されることになる。例えば、区画線検出ECU20の出力部は、その他方の自車両区画線候補のパラメータに基づいて、この有効センタラインでない他方の自車両の区画線を画像情報に投影する。また、その際には、有効センタライン(自車両区画線候補)も自車両の区画線として検出されることになるので、この有効センタラインのパラメータに基づいて、この自車両の区画線を画像情報に投影する。
また、センタラインが有効センタラインではないと判定された場合、有効性判定部は、このセンタラインでない他方の自車両区画線候補(自車両を中心にしてセンタラインとは左右で反対側の自車両区画線候補)を基準線に設定する。つまり、この場合には、そのセンタラインの位置に基づいた当該センタラインでない他方の自車両区画線候補の位置の補正を行わない。ここでは、基準線の設定を行う基準線設定部を区画線検出ECU20に設け、この基準線設定部に基準線の設定を行わせてもよい。尚、有効性判定部は、センタラインを基準線に設定するためのものであるといえる。このため、この有効性判定部と基準線設定部を統合してもよい。この場合の形状推定部は、そのセンタラインでない他方の自車両区画線候補のパラメータを推定する。そして、制約条件算出部は、そのパラメータに基づいてセンタラインとして特定された自車両区画線候補の補正制約条件を算出する。形状推定部は、そのセンタラインでない他方の自車両区画線候補との平行度合い等を考慮しつつ、その補正制約条件を満たすように、センタラインとして特定された自車両区画線候補のパラメータ(形状情報)を推定する。これにより、そのセンタラインとして特定された自車両区画線候補の位置が補正され、自車両の区画線として検出されることになる。例えば、出力部は、そのセンタラインとして特定された自車両区画線候補のパラメータに基づいて、この自車両の区画線を画像情報に投影する。また、その際には、センタラインでない他方の自車両区画線候補も自車両の区画線として検出されることになるので、この他方の自車両区画線候補のパラメータに基づいて、この自車両の区画線を画像情報に投影する。
また、センタラインが存在していないと判定された場合、形状推定部は、センタラインでない他方の自車両区画線候補のパラメータ(形状情報)を推定する。
また、2本ともセンタラインとして特定された場合には、例えば信頼度等に基づいて、その2本の自車両区画線候補の内の1本を基準線に設定する。
以下に、この区画線検出ECU20の演算処理の一例について図8のフローチャートに基づき説明する。
区画線検出ECU20には、撮像装置10で撮像された撮像領域内の画像情報が入力される(ステップST1)。
エッジ点検出部は、画像情報上の第1エッジ点と第2エッジ点とを検出する(ステップST2)。ここでは、前述したように、情報抽出部が抽出した輝度値情報に基づいて、画像報上で区画線のエッジ点であると思われる第1エッジ点と第2エッジ点とが検出される。その際には、エッジ強度の閾値との比較やペアリングによって、ノイズ等の不要なエッジ点を取り除いている。
エッジ線分検出部は、前述したように、全ての第1エッジ点と第2エッジ点に基づいて、第1エッジ線分と第2エッジ線分とを検出する(ステップST3)。その際には、前述したように、第1エッジ線分と第2エッジ線分のペアリングを実施している。
区画線候補検出部は、そのペアとなる第1エッジ線分と第2エッジ線分に基づいて、画像情報上の区画線候補を検出する(ステップST4)。
区画線補正部は、その区画線候補の中から自車両区画線候補が検出されたのか否かを判定する(ステップST5)。
自車両区画線候補が検出されなかった場合には、区画線の補正を行う必要が無い。このため、区画線補正部は、自車両区画線候補が検出されなかった場合、この演算処理を一旦終わらせる。
一方、区画線補正部は、自車両区画線候補が検出された場合、センタライン判定部に処理を渡す。センタライン判定部は、前述したようにして検出された自車両区画線候補が基準線の候補としてのセンタラインであるのか否かを判定することで、センタラインの有無を判定する(ステップST6)。このセンタライン判定部は、前述したように、自車両区画線候補が自車両から見て左右の何れか一方のみにしか存在していなかった場合、基準線の候補としてのセンタラインが存在していないと判定する。一方、センタライン判定部は、前述したように、自車両区画線候補が自車両から見て左右それぞれに1本ずつ存在している場合、その2本の自車両区画線候補を各々センタライン候補とし、その各センタライン候補の中からセンタラインを特定する。
センタラインが検出された場合、有効性判定部は、そのセンタラインが基準線として有効なものであるのか否かを判定する(ステップST7)。つまり、このステップST7では、そのセンタラインが有効センタラインであるのか否かを判定する。その判定は、先に説明をしたようにして実施する。
センタラインが基準線として有効な場合、形状推定部は、有効センタライン(自車両区画線候補)のパラメータ(形状情報)を推定する(ステップST8)。そして、制約条件算出部は、そのパラメータに基づいて、有効センタラインではない他方の自車両区画線候補(自車両を中心にして有効センタラインとは左右で反対側の自車両区画線候補)の補正制約条件を算出する(ステップST9)。
形状推定部は、有効センタライン(自車両区画線候補)との平行度合い等を考慮しつつ、その補正制約条件を満たすように、有効センタラインとは反対側の自車両区画線候補のパラメータ(形状情報)を推定する(ステップST10)。これにより、この区画線検出システム1においては、有効センタライン(自車両区画線候補)が破線であったり、擦れていたりしたとしても、分岐路の分岐線が基準線として選択されず、その有効センタラインを基準線にして反対側の自車両区画線候補の位置(即ち形状)を補正することができる。
一方、センタラインが基準線として有効でなかった場合、形状推定部は、センタラインではない他方の自車両区画線候補(自車両を中心にしてセンタラインとは左右で反対側の自車両区画線候補)のパラメータ(形状情報)を推定する(ステップST11)。つまり、この場合には、センタラインから反対側の自車両区画線候補に基準線が差し替えられることになる。制約条件算出部は、そのパラメータに基づいて、センタライン(自車両区画線候補)の補正制約条件を算出する(ステップST12)。
形状推定部は、センタラインとは反対側の自車両区画線候補との平行度合い等を考慮しつつ、その補正制約条件を満たすように、センタライン(自車両区画線候補)のパラメータ(形状情報)を推定する(ステップST13)。これにより、この区画線検出システム1においては、センタラインとは反対側の自車両区画線候補が破線であったり、擦れていたりしたとしても、センタラインと繋がっている分岐路の分岐線が基準線として選択されず、その反対側の自車両区画線候補を基準線にしてセンタラインの位置(即ち形状)を補正することができる。
ここで、センタラインが検出されなかった場合、形状推定部は、自車両から見て左右の何れか一方に存在している自車両区画線候補のパラメータ(形状情報)を推定する(ステップST14)。
以上示したように、この区画線検出システム1においては、分岐路の分岐線を基準にした自車両区画線候補の補正が行われない。このため、この区画線検出システム1は、自車両の走行車線の区画線を正しく検出することができる。
1 区画線検出システム
10 撮像装置
20 区画線検出ECU
10 撮像装置
20 区画線検出ECU
Claims (2)
- 自車両の周辺を撮像する撮像装置と、
前記撮像装置で撮像された撮像領域内の画像情報に基づいて区画線候補を検出し、該区画線候補に基づいて自車両の走行車線の区画線候補を自車両区画線候補として検出する区画線候補検出部と、
前記区画線候補検出部によって前記自車両の両側に検出された2本の前記自車両区画線候補の内の一方の位置に基づいて、その内の他方の自車両区画線候補の位置を補正する区画線補正部と、
前記2本の自車両区画線候補の内の少なくとも1本がセンタラインであるのか否かを判定するセンタライン判定部と、
前記2本の自車両区画線候補の内の少なくとも1本が前記センタラインである場合、該センタラインが分岐路の分岐線が接続されていない又は当該分岐線が接続されている可能性の低い有効センタラインであるのか否かを判定する有効性判定部と、
を備え、
前記区画線補正部は、前記センタラインが前記有効センタラインである場合、該有効センタラインの位置に基づいて前記2本の自車両区画線候補の内の前記有効センタラインでない方の自車両区画線候補の位置を補正する一方で、前記センタラインが前記有効センタラインでない場合、該センタラインの位置に基づいた前記補正を行わないことを特徴とした区画線検出システム。 - 前記区画線補正部は、前記センタラインが前記有効センタラインでない場合、該センタラインの位置を前記2本の自車両区画線候補の内の前記センタラインでない他方の自車両区画線候補の位置に基づいて補正することを特徴とした請求項1に記載の区画線検出システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014049193A JP5874770B2 (ja) | 2014-03-12 | 2014-03-12 | 区画線検出システム |
US14/642,039 US9842265B2 (en) | 2014-03-12 | 2015-03-09 | Marking line detection system |
CN201510103663.0A CN104908649A (zh) | 2014-03-12 | 2015-03-09 | 标志线检测*** |
EP15158322.6A EP2919158A3 (en) | 2014-03-12 | 2015-03-10 | Marking line detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014049193A JP5874770B2 (ja) | 2014-03-12 | 2014-03-12 | 区画線検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015172903A true JP2015172903A (ja) | 2015-10-01 |
JP5874770B2 JP5874770B2 (ja) | 2016-03-02 |
Family
ID=52780793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014049193A Active JP5874770B2 (ja) | 2014-03-12 | 2014-03-12 | 区画線検出システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9842265B2 (ja) |
EP (1) | EP2919158A3 (ja) |
JP (1) | JP5874770B2 (ja) |
CN (1) | CN104908649A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018008317A1 (ja) * | 2016-07-05 | 2018-01-11 | 日産自動車株式会社 | 走行制御方法及び走行制御装置 |
JP7342832B2 (ja) | 2020-09-30 | 2023-09-12 | いすゞ自動車株式会社 | 走行位置決定装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6412460B2 (ja) * | 2015-04-14 | 2018-10-24 | 株式会社Soken | 走行路推定装置 |
CN106203398B (zh) * | 2016-07-26 | 2019-08-13 | 东软集团股份有限公司 | 一种检测车道边界的方法、装置和设备 |
JP6702849B2 (ja) * | 2016-12-22 | 2020-06-03 | 株式会社Soken | 区画線認識装置 |
CN108801273B (zh) * | 2017-04-28 | 2021-07-30 | 阿里巴巴(中国)有限公司 | 一种道路参考线的生成方法及装置 |
CN107578046B (zh) * | 2017-08-11 | 2021-01-22 | 中国人民解放军63653部队 | 一种基于图像二值化处理的辅助车辆行驶方法 |
JP7354952B2 (ja) * | 2020-07-14 | 2023-10-03 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0991440A (ja) * | 1995-09-26 | 1997-04-04 | Toyota Motor Corp | 車両用白線認識装置及び方法 |
JPH1153698A (ja) * | 1997-08-07 | 1999-02-26 | Honda Motor Co Ltd | 走行レーン軌道認識装置 |
JPH11232467A (ja) * | 1998-02-18 | 1999-08-27 | Aqueous Reserch:Kk | 分岐認識装置及び分岐認識方法 |
JP2002312799A (ja) * | 2001-04-12 | 2002-10-25 | Mitsubishi Electric Corp | 車線認識のための画像処理装置並びに画像処理法 |
JP2003150937A (ja) * | 2001-11-09 | 2003-05-23 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
JP2007164636A (ja) * | 2005-12-15 | 2007-06-28 | Toyota Motor Corp | 道路区画線検出装置 |
JP2012022574A (ja) * | 2010-07-15 | 2012-02-02 | Fuji Heavy Ind Ltd | 車両用白線認識装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4162618B2 (ja) * | 2004-03-12 | 2008-10-08 | 株式会社豊田中央研究所 | 車線境界判定装置 |
JP4390631B2 (ja) | 2004-06-02 | 2009-12-24 | トヨタ自動車株式会社 | 境界線検出装置 |
JP4092308B2 (ja) * | 2004-06-02 | 2008-05-28 | トヨタ自動車株式会社 | 境界線検出装置 |
JP5124875B2 (ja) * | 2008-03-12 | 2013-01-23 | 本田技研工業株式会社 | 車両走行支援装置、車両、車両走行支援プログラム |
JP5350297B2 (ja) * | 2010-03-17 | 2013-11-27 | クラリオン株式会社 | 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム |
-
2014
- 2014-03-12 JP JP2014049193A patent/JP5874770B2/ja active Active
-
2015
- 2015-03-09 CN CN201510103663.0A patent/CN104908649A/zh active Pending
- 2015-03-09 US US14/642,039 patent/US9842265B2/en active Active
- 2015-03-10 EP EP15158322.6A patent/EP2919158A3/en not_active Withdrawn
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0991440A (ja) * | 1995-09-26 | 1997-04-04 | Toyota Motor Corp | 車両用白線認識装置及び方法 |
JPH1153698A (ja) * | 1997-08-07 | 1999-02-26 | Honda Motor Co Ltd | 走行レーン軌道認識装置 |
JPH11232467A (ja) * | 1998-02-18 | 1999-08-27 | Aqueous Reserch:Kk | 分岐認識装置及び分岐認識方法 |
JP2002312799A (ja) * | 2001-04-12 | 2002-10-25 | Mitsubishi Electric Corp | 車線認識のための画像処理装置並びに画像処理法 |
JP2003150937A (ja) * | 2001-11-09 | 2003-05-23 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
JP2007164636A (ja) * | 2005-12-15 | 2007-06-28 | Toyota Motor Corp | 道路区画線検出装置 |
JP2012022574A (ja) * | 2010-07-15 | 2012-02-02 | Fuji Heavy Ind Ltd | 車両用白線認識装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018008317A1 (ja) * | 2016-07-05 | 2018-01-11 | 日産自動車株式会社 | 走行制御方法及び走行制御装置 |
KR20190017033A (ko) * | 2016-07-05 | 2019-02-19 | 닛산 지도우샤 가부시키가이샤 | 주행 제어 방법 및 주행 제어 장치 |
CN109415059A (zh) * | 2016-07-05 | 2019-03-01 | 日产自动车株式会社 | 行驶控制方法及行驶控制装置 |
KR101970118B1 (ko) | 2016-07-05 | 2019-04-17 | 닛산 지도우샤 가부시키가이샤 | 주행 제어 방법 및 주행 제어 장치 |
JPWO2018008317A1 (ja) * | 2016-07-05 | 2019-06-06 | 日産自動車株式会社 | 走行制御方法及び走行制御装置 |
CN109415059B (zh) * | 2016-07-05 | 2019-12-31 | 日产自动车株式会社 | 行驶控制方法及行驶控制装置 |
US10647319B2 (en) | 2016-07-05 | 2020-05-12 | Nissan Motor Co., Ltd. | Travel control method and travel control device |
JP7342832B2 (ja) | 2020-09-30 | 2023-09-12 | いすゞ自動車株式会社 | 走行位置決定装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2919158A3 (en) | 2016-01-20 |
JP5874770B2 (ja) | 2016-03-02 |
EP2919158A2 (en) | 2015-09-16 |
US20150262020A1 (en) | 2015-09-17 |
CN104908649A (zh) | 2015-09-16 |
US9842265B2 (en) | 2017-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5874770B2 (ja) | 区画線検出システム | |
US10891738B2 (en) | Boundary line recognition apparatus and branch road determination apparatus | |
CN104834889B (zh) | 标志线检测***和标志线检测方法 | |
EP2963634B1 (en) | Stereo camera device | |
US11024051B2 (en) | Object detection device | |
EP2928178B1 (en) | On-board control device | |
JP6468136B2 (ja) | 走行支援装置及び走行支援方法 | |
US8730325B2 (en) | Traveling lane detector | |
JP5768666B2 (ja) | 車両走行支援装置及び境界線認識装置 | |
CN105320934A (zh) | 车道边界线识别设备 | |
JP2010244456A (ja) | 境界線認識装置 | |
JP2011180982A (ja) | 区画線検出装置 | |
WO2016079591A1 (ja) | 走行路認識装置及びそれを用いた走行支援システム | |
US9835468B2 (en) | Entry detection apparatus and entry detection method | |
US20180005073A1 (en) | Road recognition apparatus | |
KR101268282B1 (ko) | 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법 | |
KR101902291B1 (ko) | 차선 보정 시스템 및 그 보정 방법 | |
WO2014050285A1 (ja) | ステレオカメラ装置 | |
US9519833B2 (en) | Lane detection method and system using photographing unit | |
KR102250800B1 (ko) | 노면 객체 인식 기반의 차로 검출 장치 및 방법 | |
KR101512598B1 (ko) | 차선 검출을 이용한 차량 검출 방법 및 이를 수행하는 장치 | |
JP2022538091A (ja) | 自動車にとっての出口車線を検出するための方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5874770 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |