JP2012155399A - 境界検出装置、および境界検出プログラム - Google Patents

境界検出装置、および境界検出プログラム Download PDF

Info

Publication number
JP2012155399A
JP2012155399A JP2011011996A JP2011011996A JP2012155399A JP 2012155399 A JP2012155399 A JP 2012155399A JP 2011011996 A JP2011011996 A JP 2011011996A JP 2011011996 A JP2011011996 A JP 2011011996A JP 2012155399 A JP2012155399 A JP 2012155399A
Authority
JP
Japan
Prior art keywords
boundary
edge
boundary detection
edge component
road model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011011996A
Other languages
English (en)
Other versions
JP5472137B2 (ja
Inventor
Hiroki Nakano
広樹 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011011996A priority Critical patent/JP5472137B2/ja
Publication of JP2012155399A publication Critical patent/JP2012155399A/ja
Application granted granted Critical
Publication of JP5472137B2 publication Critical patent/JP5472137B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】車両が走行する走行領域の境界を検出する境界検出装置において、地図データのデータベースを必要としない簡素な構成で精度よく走行領域の境界を検出できるようにする。
【解決手段】車線境界検出装置においては、撮像画像を構成する各画素について、撮像画像の縦方向に隣接する画素間における輝度変化の大きさと横方向に隣接する画素間の輝度変化の大きさとを検出し、エッジ成分とエッジ方向とを演算する(S320,S330)。各エッジ成分について、予め設定された撮像画像中の無限遠点の位置とエッジ成分の位置とを結ぶ直線を表す仮想基準直線の方向に対するエッジ方向のなす角を演算し、このなす角が直角に近くなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定し(S350)、各エッジ成分に設定された重み付けを考慮して画像処理を行うことで、走行領域の境界の端部を検出する(S360)。
【選択図】図3

Description

本発明は、車両が走行する走行領域の境界を検出する境界検出装置、および境界検出プログラムに関する。
上記境界検出装置として、車両の進行方向を撮像して得られる撮像画像を画像処理することによって走行領域の境界を検出する装置が広く知られている。このような装置では、通常、隣接する画素間で輝度が大きく変化する部位をエッジ成分(エッジ点)として抽出し、このエッジ成分から走行領域の境界を検出する手法が採用されるが、特に、地図データに基づいて道路モデルを生成し、この道路モデルから逸脱するエッジ成分を除外することによって走行領域の境界の検出精度を向上させるものが知られている(例えば、特許文献1参照)。
特開2010−170488号公報
しかしながら、上記境界検出装置では、道路モデルを地図データから生成するため、地図データを格納するデータベースが必要となる。また、地図データと実際の道路形状が異なると、走行領域の境界を示すエッジ成分を除外してしまう虞があった。
そこで、このような問題点を鑑み、車両が走行する走行領域の境界を検出する境界検出装置において、地図データのデータベースを必要としない簡素な構成で精度よく走行領域の境界を検出できるようにすることを本発明の目的とする。
かかる目的を達成するために成された第1の構成の境界検出装置において、エッジ方向演算手段は、自車両の周囲を撮像した撮像画像を構成する多数の画素のそれぞれについて、撮像画像の縦方向に隣接する画素間における輝度変化の大きさと横方向に隣接する画素間の輝度変化の大きさとを検出し、各方向の輝度変化の大きさを比較することによって、最も大きく輝度が変化する方向を表すエッジ方向を演算する。また、エッジ成分抽出手段は、多数の画素のそれぞれについて、隣接する画素間の輝度変化が輝度基準値以上の領域を表すエッジ成分を抽出する。そして、角度演算手段は、各エッジ成分について、予め設定された撮像画像中の無限遠点の位置とエッジ成分の位置とを結ぶ直線を表す仮想基準直線の方向に対するエッジ方向のなす角を演算し、第1重み付け設定手段は、なす角が直角に近くなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する。さらに、端部検出手段は、各エッジ成分に設定された重み付けを考慮して画像処理を行うことで、走行領域の境界の端部を検出する。
このような境界検出装置によれば、各エッジ成分についてエッジ方向と仮想基準直線とのなす角に応じて重み付けを設定し、この重み付けを考慮して画像処理を行うので、画像処理の際に、走行領域の境界である可能性が高いエッジ方向の向きを有するエッジ成分の影響を大きくすることができる。したがって、簡素な構成で精度よく走行領域の境界を検出することができる。
なお、本発明において、エッジ成分を抽出する際には、撮像画像の縦方向、横方向、或いはエッジ方向等の任意の方向における輝度変化と輝度基準値とを比較するようにすればよい。また、本発明の画像処理としては、周知のハフ変換等の投票処理や、最小二乗法等、走行領域の境界となる曲線(直線)を求めるための周知の処理を採用することができる。
ところで、上記境界検出装置においては、第2の構成のように、境界検出装置は、繰り返し走行領域の境界を検出するよう設定されており、走行領域の境界が検出される度に、この走行領域の境界の位置に従って撮像画像中の新たな無限遠点の位置を検出し、以前の無限遠点の位置を新たな無限遠点の位置に更新する無限遠点更新手段、を備え、角度演算手段は、新たな無限遠点の位置を利用してなす角を演算するようにしてもよい。
このような境界検出装置によれば、無限遠点の位置をフィードバックして利用することができるので、乗員や荷物の量の変化に伴って車両の傾きに変化が生じた場合等においても、適切に撮像画像中の無限遠点の位置を設定することができる。本発明の構成では、走行領域の境界が概ね直線と判断できる場合に有効である。
また、上記境界検出装置においては、第3の構成のように、以前に検出された走行領域の境界の形状に基づいて、撮像画像において予想される走行領域の境界の形状を示す判断用道路モデルを生成する判断用道路モデル生成手段、を備え、角度演算手段は、エッジ成分の位置毎に、判断用道路モデルのうちのエッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、この仮想基準直線の方向に対するエッジ方向のなす角を演算するようにしてもよい。
このような境界検出装置によれば、車両が走行する道路が直線でない場合であっても走行領域の形状に応じて適切にエッジ成分の重み付けを行うことができる。なお、第2の構成と第3の構成とを組み合わせる場合には、以前に検出された走行領域の境界の形状に基づいて、走行領域の境界が直線であるか曲線であるかを判断し、直線である場合には第2の構成を採用し、曲線である場合には第3の構成を採用すればよい。
さらに、上記境界検出装置においては、第4の構成のように、エッジ成分の位置毎に、このエッジ成分の位置を通過し、判断用道路モデルを構成する複数のパラメータに対して一部のパラメータのみが異なる類似道路モデルを生成する類似道路モデル生成手段、を備え、角度演算手段は、エッジ成分の位置毎に、類似道路モデルのうちのエッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、この仮想基準直線の方向に対するエッジ方向のなす角を演算するようにしてもよい。
このような境界検出装置によれば、エッジ成分の位置を通過する仮想基準直線を設定するので、エッジ成分の位置に走行領域の境界が存在すると仮定した場合の仮想基準直線を適切に設定することができる。
また、上記境界検出装置においては、第5の構成のように、類似道路モデルと判断用道路モデルとで異なるパラメータについて、類似道路モデルにおけるこのパラメータの値と、判断用道路モデルにおけるこのパラメータの値とを比較し、これらの差が小さくなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する第2重み付け設定手段、を備えていてもよい。
このような境界検出装置によれば、判断用道路モデルに近い類似道路モデルを構成するエッジ成分に対して重み付けを大きく設定することができるので、判断用道路モデルに近い走行領域の境界が検出されやすくすることができる。
次に、上記目的を達成するために成された第6の構成としての境界検出プログラムは、コンピュータを請求項1〜請求項5の何れか1項に記載の境界検出装置を構成する各手段として機能させるためのプログラムであることを特徴とする。
このような境界検出プログラムによれば、少なくとも請求項1に記載の強化検出装置と同様の効果を享受することができる。
車両に搭載された境界検出システム1の構成を示すブロック図である。 境界検出処理を示すフローチャート(a)、および道路モデル設定処理を示すフローチャート(b)である。 白線候補抽出処理を示すフローチャート(a)、およびエッジ強度・方向算出処理(b)を示すフローチャートである。 エッジ強度およびエッジ方向を示す説明図である。 重み付け処理を示すフローチャート(a)、および具体的な重み付けの値を示すグラフ(b)(c)である。 局所的な無限遠点を示す説明図である。
以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
図1は、車両に搭載された境界検出システム1の構成を示すブロック図であり、(a)は全体構成、(b)は主要部となる車線境界検出装置の詳細構成である。図1(a)に示すように、境界検出システム1は、車線境界検出装置10(境界検出装置)と車両制御ECU20とを備えている。
車線境界検出装置10は、自車両が走行中の車線(走行領域)の境界(以下「車線境界」という)となる位置等を示す境界パラメータを生成する機能を有する。また、車両制御ECU20は、車線境界検出装置10とは車載LANを介して接続され、その車載LANを介して車線境界検出装置10から取得する境界パラメータに基づき、自車両が走行中の車線を逸脱する可能性を求めて、その旨をドライバに報知する各種処理を実行する機能を有する。
車線境界検出装置10は、図1(b)に示すように、CCDカメラ11と、アナログ・デジタル変換器(ADC)12と、画像メモリ13と、CPU14と、ROM15と、RAM16と、通信IC17とを備えている。CCDカメラ11は、車両の進行方向(車両前方)の路面を撮像するように配置されている。
ADC12は、CCDカメラ11から出力されるアナログの画像信号をデジタルの画像データに変換する。画像メモリ13は、ADC12によって得られた画像データを格納する。
CPU14は、画像メモリ13に記憶されている画像データに基づいて、境界パラメータを生成する処理等を実行する。なお、ROM15は、CPU14が実行する処理のプログラムなどを記憶しており、RAM16はCPU14の作業領域として機能する。
通信IC17は、CPU14での処理結果等を、車載LANを介して外部へ出力する。 車両制御ECU20は、車線境界検出装置10と同様に、CPU,ROM,RAM,通信ICを備える他、当該ECU20に直結されたセンサ等から検出信号を取り込んだり、制御対象に対する制御信号を出力したりするためのIOポート等を備えている。
ここでは、制御対象として、警報音を発生させるスピーカが少なくとも接続されている。なお、車両制御ECU20は、車両が走行レーンから逸脱しないように操舵トルクを制御する操舵トルク制御装置等の交通事故を防止するための装置として機能するように構成されていてもよい。
[本実施形態の処理]
次に、CPU14が実行する境界検出処理(境界検出プログラムによる処理の内容)を、図2以下に示すフローチャートに沿って説明する。本処理は、例えば、イグニションスイッチ等の車両の電源がON状態にされると開始され、その後、一定時間毎(例えば100ms毎)に繰り返し実施される処理である。
図2(a)は境界検出処理を示すフローチャート、図2(b)は境界検出処理のうちの道路モデル設定処理を示すフローチャートである。また、図3(a)は境界検出処理のうちの白線候補抽出処理を示すフローチャート、図3(b)は白線候補抽出処理のうちのエッジ強度・方向算出処理を示すフローチャートである。さらに、図5(a)は白線候補抽出処理のうちの重み付け処理を示すフローチャートである。
境界検出処理においては、図2(a)に示すように、まず、道路モデル設定処理を実施する(S110)。道路モデル設定処理は、前回以前の境界検出処理において検出した白線位置(走行領域の境界)と自車両の運動状態とを利用して、自車両が走行する道路の形状(曲率等)を推定し、撮像画像中の白線の推定位置を道路モデルとして設定する処理である。
詳細には、図2(b)に示すように、道路モデル設定処理は、まず、前回検出した無限遠点の位置を取得する(S210)。そして、無限遠点の位置が取得できたか否かを判定する(S220)。
当該境界検出処理が起動した直後(つまり、初めて境界検出処理を開始した場合)には、前回以前に検出された無限遠点の位置の情報が存在しないため、この処理では否定判定され、その他の場合には肯定判定される。無限遠点の位置が取得できていれば(S220:YES)、後述するS240の処理に移行する。
また、無限遠点の位置が取得できていなければ(S220:NO)、推定道路モデルを設定する(S230)。ここで設定する推定道路モデルは、例えば図4(a)に示すように、無限遠点(FOE)の位置と、無限遠点に向かって延びる2本の直線状の白線とを備えて構成される。
続いて、自車両の車速およびヨーレートを、車内LANを介して接続された周知の車速センサ(図示省略)およびヨーレートセンサ(図示省略)から取得し(S240)、ヨーレートの零点補正を行う(S250)。なお、ヨーレートの零点補正については、例えば特開平9−49875号公報等に開示されているような周知の処理を実施すればよい。
次に、自車両に搭載された車速センサおよびヨーレートセンサによる検出結果を利用して自車両が走行する道路の曲率を演算し、判断用道路モデルを生成し、設定する(S260:判断用道路モデル生成手段)。
ここで、判断用道路モデルは、S230の処理や前回の境界検出処理(後述するS150の処理)において設定された推定道路モデルを補正することによって生成される。詳細には、推定道路モデルには、車線幅(デフォルト値または前回検出値を利用)、白線の形状、無限遠点の位置等の情報が含まれている。ただし、推定道路モデルは、過去(またはデフォルト値)の道路形状を示すものであるため、この処理では、推定道路モデルを、車速、旋回角速度、カーブの曲率等の情報を利用して、現在の撮像画像で得られると推定されるモデルに補正する。
例えば、車速に応じて車両が前進することを予測し、予測した位置で撮像されると推定される白線の形状を生成する。また、推定道路モデルに含まれるカーブの曲率とヨーレートセンサによるカーブの曲率が異なる場合には、ヨーレートセンサによるカーブの曲率に応じて白線の形状を補正する。
このとき、判断用道路モデルのカーブの曲率は、ヨーレートセンサによるカーブの曲率をそのまま採用してもよいし、推定道路モデルのカーブの曲率との加重平均を採用してもよい。このような処理が終了すると、道路モデル設定処理を終了する。
続いて、図2(a)に戻り、白線候補抽出処理を実施する(S120)。白線候補抽出処理は、撮像画像から白線候補(走行領域の境界となる可能性がある境界候補)を抽出する処理である。
詳細には、図3(a)に示すように、まず、CCDカメラ11からこのカメラ11による撮像画像を取得し(S310)、エッジ方向・方向算出処理を実施する(S320:エッジ方向演算手段)。この処理は、撮像画像を構成する各画素を順に選択し、選択した各画素についてそれぞれ実施される。例えば、左上隅の画素から右上隅の画素まで順次実施され、その後、1つ下の左隅の画素から右隅の画素まで順次実施することを繰り返すことによって実施される。
エッジ方向・方向算出処理では、図3(b)に示すように、まず、各画素について撮像画像の縦方向のエッジ強度を検出し(S410)、撮像画像の横方向のエッジ強度を検出する(S420)。ここで、エッジ強度とは、隣接する画素間の明るさの差を意味する。
エッジ強度について図4を用いてより詳細に説明する。図4はエッジ方向・方向算出処理を示す説明図である。
例えば、図4(a)に示すような直線状の白線が撮像された撮像画像において、横方向に設定されたラインA上の各画素の明るさを検出すると、ラインA上の横位置と明るさとの間には、図4(b)に示すような関係が得られる。そして、ある画素の明るさと左側で隣接する画素の明るさとの差を変化量とすると、ラインA上の横位置と変化量との間には、図4(c)に示すような関係が得られる。
また同様に、縦方向に設定されたラインB上の各画素の明るさを検出すると、ラインB上の縦位置と明るさとの間には、図4(d)に示すような関係が得られ、ある画素の明るさと下側で隣接する画素の明るさとの差を変化量とすると、ラインB上の縦位置と変化量との間には、図4(e)に示すような関係が得られる。つまり、それぞれの方向(縦方向または横方向)において隣接する画素間の明るさの差が大きくなるほど、エッジ強度が大きくなるといえる。
続いて、図3(b)に戻り、縦方向・横方向のエッジ強度に基づいてエッジ方向を算出する(S430)。ここで、エッジ方向とは、ある画素間において最も明るさが変化する方向(白線に対する接線に垂直な方向)を示す。
例えば、横断歩道のように、白線が撮像画像中の真横に向いて配置される場合には、縦方向のエッジ強度は大きくなるが、横方向のエッジ強度はほぼ0となる。また、図4(a)に示すように、白線が撮像画像中に斜め約45度に配置されている場合には、概ね縦方向および横方向のエッジ強度が同等になる。このような特性を利用して、縦方向および横方向のエッジ強度のバランスによって、エッジ方向を特定することができる。
このような処理が終了すると、エッジ強度・方向算出処理を終了する。続いて、図3(a)に戻り、この撮像画像中に含まれるエッジ成分を検出する(S330:エッジ抽出手段)。
エッジ成分とは、撮像画像を構成する多数の画素のうちの隣接する画素間において輝度基準値以上の輝度変化(エッジ強度)がある領域を表し、一般的にはエッジ点とも呼ばれる。輝度基準値以上の輝度変化があるか否かについては、縦方向または横方向の輝度変化(エッジ強度)と輝度基準値とを比較するようにしてもよいし、エッジ方向における輝度変化(例えば縦方向におけるエッジ強度と横方向におけるエッジ強度との二乗平均)と輝度基準値とを比較するようにしてもよい。
続いて、重み付け処理を行う(S350)。重み付け処理は、エッジ成分の位置およびエッジ方向の妥当性により各エッジ成分に対する重み付けを設定する処理である。詳細には図5(a)に示すように、まず、エッジ成分の位置を通過し、判断用道路モデルに類似する類似道路モデルを算出する(S510:類似道路モデル生成手段)。
例えば、類似道路モデルは、判断用道路モデルに対して、カーブの曲率(カーブの半径)のみが異なるモデルである。続いて、類似道路モデルのカーブの半径と、判断用道路モデルのカーブの半径とを比較し、これらの差に応じた重み付けを行う(S520:第2重み付け設定手段)。詳細には、例えば図5(b)に示すように、カーブの半径の差が大きくなると係数(重み付け)が小さくなるようにする。
次に、類似道路モデルの局所的な無限遠点(局所FOE)を算出する(S530)。この処理では、図6に示すように、局所的な無限遠点を算出しようとするエッジ成分の位置毎に、エッジ成分の位置と、この位置と等距離に位置する部位とにおいて、類似道路モデルに接線を引き、エッジ成分の位置毎の無限遠点を求める。
そして、このエッジ成分の位置と、このエッジ成分に対する局所的な無限遠点とを結ぶ直線とエッジ方向とのなす角を演算し、このなす角に応じて、エッジ成分の重み付けを設定する(S540:角度演算手段、第1重み付け設定手段)。この処理では、例えば、図5(c)に示すように、なす角が直角に近くなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定し、S520の処理で設定された係数(図5(b)参照)とS540の処理で設定された係数(図5(c)参照)との積がエッジ成分に対する重み付けとして設定される。
このような処理を終了すると、重み付け処理を終了する。続いて、図3(a)に戻り、各エッジ成分の配置に基づいて走行領域の境界となる曲線(直線を含む)の候補を周知のハフ変換を行うことで白線候補として抽出する(S360:端部検出手段)。ただし、このハフ変換を行う際には、重み付けが考慮され、大きな値の重み付けがされたエッジ成分ほど白線候補に選ばれやすくなる。このような処理が終了すると、白線候補抽出処理を終了する。
そして、図2(a)に戻り、最も確からしい白線候補を走行領域の境界を示す白線として設定し、RAM16等のメモリに記録する(S130)。続いて、撮像画像中において自車両両側の白線を延長したときの交点と予想される位置を無限遠点として設定し、RAM16等のメモリに上書き記録する(S140:無限遠点更新手段)。
そして、この白線の形状を、推定道路モデルとしてRAM16等のメモリに上書き記録し(S150)、境界検出処理を終了する。なお、S130〜S150の処理で記録された白線の位置および無限遠点の位置を含む推定道路モデルは、次回以降の境界検出処理の際に利用される。
[本実施形態による効果]
以上のように詳述した車線境界検出装置10においてCPU14は、自車両の周囲を撮像した撮像画像を構成する多数の画素のそれぞれについて、撮像画像の縦方向に隣接する画素間における輝度変化の大きさと横方向に隣接する画素間の輝度変化の大きさとを検出し、隣接する画素間の輝度変化が輝度基準値以上の領域を表すエッジ成分を抽出し、各エッジ成分について各方向の輝度変化の大きさを比較することによって、最も大きく輝度が変化する方向を表すエッジ方向を演算する。そして、CPU14は、各エッジ成分について、所定の仮想基準直線の方向に対するエッジ方向のなす角を演算し、このなす角が直角に近くなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する。さらに、CPU14は、各エッジ成分に設定された重み付けを考慮して画像処理を行うことで、走行領域の境界の端部を検出する。
このような車線境界検出装置10によれば、各エッジ成分についてエッジ方向と仮想基準直線とのなす角に応じて重み付けを設定し、この重み付けを考慮して画像処理を行うので、画像処理の際に、走行領域の境界である可能性が高いエッジ方向の向きを有するエッジ成分の影響を大きくすることができる。したがって、簡素な構成で精度よく走行領域の境界を検出しやすくすることができる。
また、上記車線境界検出装置10においてCPU14は、以前に検出された走行領域の境界の形状に基づいて、今回得られた撮像画像において予想される走行領域の境界の形状を示す判断用道路モデルを生成し、エッジ成分の位置毎に、判断用道路モデルのうちのエッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、この仮想基準直線の方向に対するエッジ方向のなす角を演算する。
このような車線境界検出装置10によれば、車両が走行する道路が直線でない場合であっても走行領域の形状に応じて適切にエッジ成分の重み付けを行うことができる。
さらに、上記車線境界検出装置10においてCPU14は、エッジ成分の位置毎に、このエッジ成分の位置を通過し、判断用道路モデルを構成するパラメータに対して一部のパラメータのみが異なる類似道路モデルを生成し、エッジ成分の位置毎に、類似道路モデルのうちのエッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、この仮想基準直線の方向に対するエッジ方向のなす角を演算する。
このような車線境界検出装置10によれば、エッジ成分の位置を通過する仮想基準直線を設定するので、エッジ成分の位置に走行領域の境界が存在すると仮定した場合の仮想基準直線を適切に設定することができる。
また、上記車線境界検出装置10においてCPU14は、類似道路モデルと判断用道路モデルとで異なるパラメータについて、類似道路モデルにおけるこのパラメータの値と、判断用道路モデルにおけるこのパラメータの値とを比較し、これらの差が小さくなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する。
このような車線境界検出装置10によれば、判断用道路モデルに近い類似道路モデルを構成するエッジ成分に対して重み付けを大きく設定することができるので、判断用道路モデルに近い走行領域の境界が検出されやすくすることができる。
[その他の実施形態]
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
例えば、本実施形態の画像処理では、周知のハフ変換等の投票処理を利用して走行領域の境界を検出したが、最小二乗法等の周知の処理を採用してもよい。
さらに、S330の処理とS350の処理との間において、画像座標系を平面(路面)座標系に変換する処理を実施してもよい(S340)。このようにすると、平面座標系において車両の移動量を算出する等の処理を行うことができ、処理を容易にすることができる。また、他のアプリケーション(例えば、衝突するか否かの判定を行うアプリケーション等)による処理も容易にすることができる。なお、上記のように座標系を変換した場合には、必要に応じて平面座標系での値を画像座標系に換算して道路モデル等を生成すればよい。
また、上記実施形態では、以前に検出された走行領域の境界の形状(類似道路モデルの形状)が曲線である場合の処理について説明したが、例えば、S520とS530との間で、以前に検出された走行領域の境界の形状が直線であるか曲線であるかを判断し、直線である場合には、S540の処理で、撮像画像中の無限遠点(以前に検出された走行領域の境界における無限遠点)の位置とエッジ成分の位置とを結ぶ直線を表す仮想基準直線の方向に対するエッジ方向のなす角を演算するようにしてもよい。このようにすれば、より簡素な構成で、仮想基準直線を設定することができる。
また、上記実施形態では、類似道路モデルを生成したが、類似道路モデルを生成することなく、判断用道路モデルのみから仮想基準直線を求めてもよい。この場合S540の処理では、例えば、エッジ成分の位置と等距離に位置する判断用道路モデルの部位において接線方向を求め、この方向とエッジ方向とのなす角によって重み付けを行うようにすればよい。
1…境界検出システム、10…車線境界検出装置、11…CCDカメラ、12…ADC、13…画像メモリ、14…CPU、15…ROM、16…RAM、20…車両制御ECU、17…通信IC。

Claims (6)

  1. 車両に搭載され、自車両が走行する走行領域の境界を検出する境界検出装置であって、
    自車両の周囲を撮像した撮像画像を構成する多数の画素のそれぞれについて、前記撮像画像の縦方向に隣接する画素間における輝度変化の大きさと横方向に隣接する画素間の輝度変化の大きさとを検出し、前記各方向の輝度変化の大きさを比較することによって、最も大きく輝度が変化する方向を表すエッジ方向を演算するエッジ方向演算手段と、
    前記多数の画素のそれぞれについて、隣接する画素間の輝度変化が輝度基準値以上の領域を表すエッジ成分を抽出するエッジ成分抽出手段と、
    各エッジ成分について、予め設定された撮像画像中の無限遠点の位置とエッジ成分の位置とを結ぶ直線を表す仮想基準直線の方向に対する前記エッジ方向のなす角を演算する角度演算手段と、
    前記なす角が直角に近くなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する第1重み付け設定手段と、
    前記各エッジ成分に設定された重み付けを考慮して画像処理を行うことで、前記走行領域の境界の端部を検出する端部検出手段と、
    を備えたことを特徴とする境界検出装置。
  2. 請求項1に記載の境界検出装置において、
    当該境界検出装置は、繰り返し走行領域の境界を検出するよう設定されており、
    走行領域の境界が検出される度に、該走行領域の境界の位置にしたがって撮像画像中の新たな無限遠点の位置を検出し、以前の無限遠点の位置を新たな無限遠点の位置に更新する無限遠点更新手段、を備え、
    前記角度演算手段は、新たな無限遠点の位置を利用して前記なす角を演算すること
    を特徴とする境界検出装置。
  3. 請求項1または請求項2に記載の境界検出装置において、
    以前に検出された走行領域の境界の形状に基づいて、前記撮像画像において予想される走行領域の境界の形状を示す判断用道路モデルを生成する判断用道路モデル生成手段、を備え、
    前記角度演算手段は、前記エッジ成分の位置毎に、前記判断用道路モデルのうちの前記エッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、該仮想基準直線の方向に対する前記エッジ方向のなす角を演算すること
    を特徴とする境界検出装置。
  4. 請求項3に記載の境界検出装置において、
    前記エッジ成分の位置毎に、該エッジ成分の位置を通過し、前記判断用道路モデルを構成する複数のパラメータに対して一部のパラメータのみが異なる類似道路モデルを生成する類似道路モデル生成手段、を備え、
    前記角度演算手段は、前記エッジ成分の位置毎に、前記類似道路モデルのうちの前記エッジ成分の位置に対応する部位における接線方向に仮想基準直線を設定し、該仮想基準直線の方向に対する前記エッジ方向のなす角を演算すること
    を特徴とする境界検出装置。
  5. 請求項4に記載の境界検出装置において、
    前記類似道路モデルと前記判断用道路モデルとで異なるパラメータについて、前記類似道路モデルにおける該パラメータの値と、前記判断用道路モデルにおける該パラメータの値とを比較し、これらの差が小さくなるにつれて重み付けが大きくなるように、各エッジ成分に対して重み付けを設定する第2重み付け設定手段、を備えたこと
    を特徴とする境界検出装置。
  6. コンピュータを請求項1〜請求項5の何れか1項に記載の境界検出装置を構成する各手段として機能させるための境界検出プログラム。
JP2011011996A 2011-01-24 2011-01-24 境界検出装置、および境界検出プログラム Expired - Fee Related JP5472137B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011011996A JP5472137B2 (ja) 2011-01-24 2011-01-24 境界検出装置、および境界検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011011996A JP5472137B2 (ja) 2011-01-24 2011-01-24 境界検出装置、および境界検出プログラム

Publications (2)

Publication Number Publication Date
JP2012155399A true JP2012155399A (ja) 2012-08-16
JP5472137B2 JP5472137B2 (ja) 2014-04-16

Family

ID=46837099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011011996A Expired - Fee Related JP5472137B2 (ja) 2011-01-24 2011-01-24 境界検出装置、および境界検出プログラム

Country Status (1)

Country Link
JP (1) JP5472137B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132747A1 (ja) 2013-02-27 2014-09-04 日立オートモティブシステムズ株式会社 物体検知装置
CN111832368A (zh) * 2019-04-23 2020-10-27 长沙智能驾驶研究院有限公司 可行驶区域检测模型的训练方法、训练装置及应用

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003228711A (ja) * 2001-11-30 2003-08-15 Hitachi Ltd レーンマーク認識方法
WO2007138858A1 (ja) * 2006-05-25 2007-12-06 Nec Corporation 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003228711A (ja) * 2001-11-30 2003-08-15 Hitachi Ltd レーンマーク認識方法
WO2007138858A1 (ja) * 2006-05-25 2007-12-06 Nec Corporation 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132747A1 (ja) 2013-02-27 2014-09-04 日立オートモティブシステムズ株式会社 物体検知装置
US9679196B2 (en) 2013-02-27 2017-06-13 Hitachi Automotive Systems, Ltd. Object sensing device
CN111832368A (zh) * 2019-04-23 2020-10-27 长沙智能驾驶研究院有限公司 可行驶区域检测模型的训练方法、训练装置及应用

Also Published As

Publication number Publication date
JP5472137B2 (ja) 2014-04-16

Similar Documents

Publication Publication Date Title
JP6163453B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
US9771080B2 (en) Road surface gradient detection device
US9912933B2 (en) Road surface detection device and road surface detection system
JP5804185B2 (ja) 移動物***置姿勢推定装置及び移動物***置姿勢推定方法
US9202106B2 (en) Eyelid detection device
JP5402828B2 (ja) 車線境界検出装置、車線境界検出プログラム
JP6377970B2 (ja) 視差画像生成装置及び視差画像生成方法
JP2010271788A (ja) 物体検出装置
JP6936098B2 (ja) 対象物推定装置
JP6139465B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
WO2014168083A1 (ja) 境界線認識装置
JP6396729B2 (ja) 立体物検出装置
JP6189816B2 (ja) 走行区画線認識装置
JP5310027B2 (ja) 車線認識装置、及び車線認識方法
JP6350082B2 (ja) 画像処理装置
JP6408935B2 (ja) 走行区画線認識装置
JP5304804B2 (ja) 境界検出装置、および境界検出プログラム
JP5472137B2 (ja) 境界検出装置、および境界検出プログラム
JP5345999B2 (ja) レーンマーク認識装置
JP2017102832A (ja) 車両ピッチ角推定装置
JP5760523B2 (ja) 走路推定装置及びプログラム
JP5958368B2 (ja) 白線検出装置
JP2015215235A (ja) 物体検出装置及び物体検出方法
JP2011053732A (ja) 画像処理装置
JP5430213B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R151 Written notification of patent or utility model registration

Ref document number: 5472137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees