JP6693893B2 - 走路認識装置 - Google Patents

Description

本開示は、車載カメラ画像から走路の境界を認識する技術に関する。

特許文献１には、車載カメラで車両の前方を撮影した画像から、走路の区画線のエッジを検出し、カルマンフィルタを用いて、曲率、ヨー角、ピッチ角などの走路パラメータを推定する技術が記載されている。

特開２０１１−１９８１１０号公報

ところで、この種の推定に用いるフィルタは、応答性を高く設定するとノイズを拾い易くなるため、走路パラメータの推定が不安点となる。従って、推定が不安定にならない程度に応答性は低く設定される。しかしながら、応答性が抑制されている場合、例えば、一般道の右折レーン等のように、逆方向に曲がるカーブが短い間隔で現れるクランク状の走路等では、形状の変化に追従できず、走路パラメータの推定精度が低下する。その結果、推定された走路パラメータを使用する各種制御の精度も低下してしまうという問題があった。

本開示は、複雑な形状を有する走路において走路形状の推定精度が低下することによって不都合な事態が生じることを抑制する技術を提供する。

本開示の走路認識装置は、画像取得部（４１）と、抽出部（４２）と、推定部（４３，４４，４５）と、変化点抽出部（４６）と、判定部（４７）と、実行部（５）とを備える。

画像取得部は、車載カメラから該車載カメラを搭載した車両である自車両の前方の走路を撮像した画像を取得する。抽出部は、前記画像取得部が取得した画像から前記走路の境界を推定するためのエッジ点である境界エッジ点を抽出する。推定部は、前記抽出部にて抽出された前記境界エッジ点の座標から、予め用意されたフィルタを用いて、前記車両に対する前記走路の状態及び形状を表す走路パラメータを推定する。変化点抽出部は、前記抽出部にて抽出された前記境界エッジ点が示す境界線である抽出境界線の曲率の二次微分値の絶対値が予め設定された閾値以上となる形状変化点を抽出する。判定部は、前記推定部にて推定された前記走路パラメータから推定される境界線を推定境界線として、前記変化点抽出部にて前記形状変化点が二つ以上抽出され、かつ、該形状変化点の少なくとも一つが他とは前記二次微分値の符号が異なっている場合、前記抽出境界線と前記推定境界線とが予め設定された許容範囲を超えて乖離しているか否かを判定する。実行部は、前記判定部により前記許容範囲を超えて乖離していると判定された場合、前記抽出境界線と前記推定境界線とが乖離することで生じる不都合を解消するための制御である乖離時制御を実行する。

このような構成によれば、抽出境界線の形状変化点が二つ以上抽出され、かつ、二次微分値の符号が異なっているものが存在する場合、抽出境界線と推定境界線とが乖離してい
る可能性があるものとして、実際に乖離しているか否かを判断する。つまり、抽出境界線が推定境界線との乖離が生じ易いクランク形状を有していることを条件として乖離しているか否かを判断する。そして、乖離していると判断された場合には乖離時制御を実行する。これにより、抽出境界線と推定境界線とが乖離すること、即ち、境界線の推定精度が低下することによって不都合な事態が生じることを抑制することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

運転支援システムの構成を示すブロック図である。 画像の撮像範囲を示す説明図である。 制御部が実現するパラメータ推定機能に関する機能ブロック図である。 形状変化点に関する説明図である。 乖離判断部が実行する乖離判断処理のフローチャートである。 乖離量に関する説明図である。 道路を形成する曲線に関する説明図である。 曲率の変化量（即ち、一次微分値）および二次微分値を例示するグラフである。 抽出境界線と基準線および極大点との関係を示す説明図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．構成］
以下、本発明の実施形態を図に基づいて説明する。図１に示す本実施形態の運転支援システム１は、車両に搭載され、車両前方の静止物を検出し、検出した静止物に基づいて走路形状の推定し、推定された走路形状に基づいて各種運転支援を実行するシステムである。以下では、運転支援システム１を搭載する車両を自車両という。なお、静止物には、路面に描かれた区画線の他、路側に設けられたガードレール等を含むものとする。

運転支援システム１は、撮像部２と、センサ群３と、制御部４と、支援実行部５とを備える。
撮像部２は、ＣＣＤカメラ、ＣＭＯＳイメージセンサ、近赤外線カメラ等を用いて構成され、自車両の前方の走路を撮影するように車両に搭載されている。具体的には、撮像部２は、自車両の中央前方側に取り付けられており、図２に示すように、自車両の前方に向けて所定角度範囲で広がる領域を撮影する。

センサ群３は、自車両の状態や挙動を検出するために自車両に搭載された各種センサである。具体的には、センサ群３は、車輪の回転速度に基づき自車両の車速を検出する車速センサを少なくとも備えている。センサ群３は、車速センサ以外に、自車両の旋回角速度を検出するヨーレートセンサ、車輪の回転速度に基づき自車両の車速を検出する車速センサ、自車両の位置を検出するＧＰＳセンサ、自車両の周辺に存在する物標との距離や相対速度を検出するレーダセンサ等を備えていてもよい。

制御部４は、ＣＰＵ４ａと、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ４ｂ）と、を有する周知のマイクロコンピュータを中心に構成される。制御部４の各種機能は、ＣＰＵ４ａが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ４ｂが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応
する方法が実行される。なお、制御部４を構成するマイクロコンピュータの数は１つでも複数でもよい。

支援実行部５は、制御部４による走路形状の認識結果および各種物標の検出結果に基づいて、各種制御対象を作動させてレーンキープアシスト等の運転支援制御を実行する。制御対象としては、例えば、ブレーキ、ステアリング、シートベルト等を駆動するアクチュエータ、警報を発する警報装置等が挙げられる。

［２．処理］
制御部４は、ＣＰＵ４ａがプログラムを実行することで実現される機能の構成として、物標検出機能と、走路認識機能とを有する。物標検出機能は、撮像部２から得られる画像やセンサ群３から得られる情報に基づいて、各種物標を検出する周知の機能であるため、その詳細についての説明は省略する。

制御部４は、走路認識機能を実現するための構成として、図３に示すように、画像取得部４１と、エッジ抽出部４２と、線候補抽出部４３と、境界線選択部４４と、パラメータ推定部４５と、変化点抽出部４６と、乖離判定部４７とを備える。なお、これら各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

画像取得部４１は、予め設定された周期毎に撮像部２から画像を取得する。
エッジ抽出部４２は、画像取得部４１が取得した画像にｓｏｂｅｌフィルタ等を適用してエッジ点を抽出する。エッジ点とは、例えば、隣接する画素の間で輝度が予め設定された閾値以上変化する点のことをいう。

線候補抽出部４３は、エッジ抽出部４２にて検出されたエッジ点をハフ変換する等して、走路の境界を表す境界線の候補となる一つ以上の線候補を抽出する。
境界線選択部４４は、線候補抽出部４３にて抽出された線候補の中から、自車両の走路の左右の境界を現していると推定される一対の線候補を、左右の境界線として選択する。

パラメータ推定部４５は、境界線選択部４４により選択された左右の境界線を構成するエッジ点である境界エッジ点の座標を観測値として、カルマンフィルタを用いて、自車両に対する走路の状態及び走路の形状を表す走路パラメータを算出する。パラメータ推定部４５は、算出された走路パラメータを、乖離判定部４７に供給すると共に、支援実行部５に出力する。

なお、走路パラメータのうち、車両に対する走路の状態に関するパラメータは、オフセットｙｃ、車線傾きφ、ピッチング量βであり、走路の形状に関するパラメータは、曲率ρ、車線幅Ｗｌである。オフセットｙｃは、撮像部２を中心として進行方向に伸びる中心線から、走路の幅方向の中心までの距離であり、自車両の走路幅方向への変位を表す。自車両が走路の中央を走行している場合に、オフセットｙｃは０となる。車線傾きφは、左右の境界線の中央を通過する仮想的な線を中央線として、自車両の進行方向に対する中央線の接線の傾きであり、車両のヨー角を表す。ピッチング量βは、走路に対する自車両のピッチ角を表す。曲率ρは、前記中央線の曲率である。車線幅Ｗｌは、自車両の中心線と直交する方向における左右の境界線の間隔であり、走路の幅を表す。

なお、カルマンフィルタを用いた走路パラメータの推定は、例えば、特開２０１５−１９９４２３号公報等に開示された公知の技術であるため、ここではその詳細についての説
明を省略する。

変化点抽出部４６は、図４に示すように、境界エッジ点によって示される境界線を抽出境界線として、その抽出境界線の曲率の二次微分値の絶対値が予め設定された閾値以上となる点を形状変化点として抽出し、その座標を求める。なお、形状変化点が複数存在する場合には、そのすべてを抽出し、抽出された形状変化点の数も求める。ここで形状変化点は、具体的には、図７および図８に示すように、直線から緩和曲線との境界、緩和曲線と単曲線との境界等にて検出される。但し、緩和曲線とは、曲率が徐々に小さく又は大きくなる曲線であり、単曲線は、曲率が一定となる曲線のことをいう。

但し、ここでは、変化点抽出部４６は、図９に示すように、抽出境界線において自車両に対する最近点と最遠点とを結ぶ直線を基準線とし、基準線と抽出境界線との距離が極大となる抽出境界線上の地点を、形状変化点として簡易的に抽出する。

乖離判定部４７は、パラメータ推定部４５にて推定された走路パラメータから算出される境界線を推定境界線として、推定境界線と抽出境界線の乖離の有無を判定し、判定結果を支援実行部５に出力する。

[２．乖離判定処理]
ここで、乖離判定部４７が実行する乖離判定処理の詳細を、図５のフローチャートに沿って説明する。なお、本処理は、パラメータ推定部４５および変化点抽出部４６にて、同じ画像に基づく走路パラメータの推定および形状変化点の抽出が行われる毎に実行する。

本処理が開始されると、乖離判定部４７は、Ｓ１１０では、変化点抽出部４６にて複数の形状変化点が抽出されたか否かを判断する。複数の形状変化点が抽出されていると判断した場合はＳ１２０に移行する。なお、抽出境界線が左右いずれも存在する場合には、いずれか一方の抽出境界線で複数の形状変化点が抽出されていればよい。

乖離判定部４７は、Ｓ１２０では、変化点抽出部４６にて抽出された形状変化点が基準線の左右両側に存在するか否かを判断する。形状変化点が基準線の左右両側に存在すると判断した場合は、Ｓ１３０に移行する。

乖離判定部４７は、Ｓ１３０では、推定境界線と抽出境界線との乖離量を算出してＳ１４０に進む。具体的には、図６に示すように、自車両の近くに位置するものから順番に見て、基準線に対する位置が左右反転する最初の形状変化点を判定対象点とする。形状変化点の位置が基準線に対して左右反転することは、形状変化点の二次微分値の符号が反転することに相当する。そして、判定対象点における推定境界線の横位置と抽出境界線の横位置との差を乖離量として求める。但し、乖離量は、推定境界線と抽出境界線の左右の位置関係に応じて、正負の符号が異なったものとなる。また、抽出境界線が左右いずれも存在する場合には、そのそれぞれについて乖離量を求める。

乖離判定部４７は、Ｓ１４０では、抽出境界線が自車両の左右両側で抽出されているか否かを判断する。抽出境界線が左右両側で抽出されていると判断した場合はＳ１５０に移行し、いずれか一方側でしか抽出されていない場合はＳ１６０に移行する。

乖離判定部４７は、Ｓ１５０では、左右両側の抽出境界線において乖離方向が同一であるか否かを判断する。乖離方向が同一であると判断した場合は、Ｓ１６０に移行する。具体的には、左右両側の抽出境界線においてそれぞれ求められた乖離量の符号が同一であれば、乖離方向が同一であると判断する。

乖離判定部４７は、Ｓ１６０では、乖離量が許容範囲を越えているか否かを判断する。乖離量が許容範囲を超えていると判断した場合はＳ１７０に移行する。具体的には乖離量の絶対値が予め設定された乖離閾値を超えていれば許容範囲を超えていると判断する。また、左右両側の抽出境界線でそれぞれ乖離量が求められている場合は、少なくとも一方の側で乖離閾値を超えていればよい。但し、これに限定されるものではなく、左右両側で乖離閾値を超えていなければならないものとしてもよい。また、乖離閾値は、必ずしも固定値である必要はなく、乖離量の算出に用いた形状変化点までの距離に応じて、その距離が遠いほど大きな値となるように可変設定される値を用いてもよい。

乖離判定部４７は、Ｓ１７０では、乖離ありとの判定結果を支援実行部５に出力して、本処理を終了する。
乖離判定部４７は、先のＳ１１０、Ｓ１２０、Ｓ１４０、Ｓ１５０、Ｓ１６０のいずれかにて否定判断した場合はＳ１８０に移行する。

乖離判定部４７は、Ｓ１７０では、乖離なしとの判定結果を支援実行部５に出力して、本処理を終了する。
なお、支援実行部５は、乖離判定部４７から乖離ありとの判定結果を得た場合、乖離により生じる不都合を回避や抑制するための乖離時制御を実行する。乖離時制御は、具体的には、例えば、走路パラメータの推定精度が低下していることをドライバに知らせる報知制御、判定対象点より以遠における推定された走路パラメータの適用を禁止する等、走路パラメータを利用する各種制御の一部または全体の機能を停止させる機能抑制制御等が考えられる。

［３．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（３ａ）運転支援システム１では、抽出境界線の形状変化点が二つ以上抽出され、かつ、抽出境界線が基準線の両側に位置する場合、抽出境界線と推定境界線とが乖離しているか否かを判定する。そして、乖離していると判定された場合には乖離時制御として、報知制御や機能抑制制御を実行する。これにより、抽出境界線と推定境界線とが乖離すること、即ち、境界線の推定精度が低下することによって不都合な事態が生じることを抑制することができる。不都合な事態とは、例えば、クランク状の道路において右折操作の後、すぐに左折操作をする必要がある場合に、推定境界線から外れた操作をしようとしていると判断して、左折操作を阻止する方向の運転支援が行われてしまう場合が考えられる。

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（４ａ）上記実施形態では、乖離判定部４７での判定結果を支援実行部５に出力しているが、これに限定されるものではない。例えば、乖離判定部４７での判定結果をパラメータ推定部４５に供給してもよい。そして、パラメータ推定部４５は、判定結果が乖離ありである場合、判定対象点の前後で別々に走路パラメータを推定するように構成してもよい。これにより、判定対象点より遠方での走路パラメータの推定精度を向上させることができる。

（４ｂ）上記実施形態では、走路パラメータを推定するフィルタとしてカルマンフィルタを用いているが、これに限定されるものではなく、例えば、Ｈ∞フィルタ等、状態空間モデルの推定に使用されるその他のフィルタを用いてもよい。

（４ｃ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素
によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（４ｄ）上述した走路認識装置（即ち、走路認識機能を実現する制御部４）の他、当該走路認識装置を構成要素とするシステム、当該走路認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、走路認識方法など、種々の形態で本開示を実現することもできる。

１…運転支援システム、２…撮像部、３…センサ群、４…制御部、４ａ…ＣＰＵ、４ｂ…メモリ、５…支援実行部、４１…画像取得部、４２…エッジ抽出部、４３…線候補抽出部、４４…境界線選択部、４５…パラメータ推定部、４６…変化点抽出部、４７…乖離判定部。

Claims (8)

1. 車載カメラから該車載カメラを搭載した車両である自車両の前方の走路を撮像した画像を取得する画像取得部（４１）と
   前記画像取得部が取得した画像から前記走路の境界を推定するためのエッジ点である境界エッジ点を抽出する抽出部（４２）と、
   前記抽出部にて抽出された前記境界エッジ点の座標から、予め用意されたフィルタを用いて、前記車両に対する前記走路の状態及び形状を表す走路パラメータを推定する推定部（４３，４４，４５）と、
   前記抽出部にて抽出された前記境界エッジ点が示す境界線である抽出境界線の曲率の二次微分値の絶対値が予め設定された閾値以上となる形状変化点を抽出する変化点抽出部（４６）と、
   前記推定部にて推定された前記走路パラメータから推定される境界線を推定境界線として、前記変化点抽出部にて前記形状変化点が二つ以上抽出され、かつ、該形状変化点の少なくとも一つが他とは前記二次微分値の符号が異なっている場合、前記抽出境界線と前記推定境界線とが予め設定された許容範囲を超えて乖離しているか否かを判定する判定部（４７）と、
   前記判定部により前記許容範囲を超えて乖離していると判定された場合、前記抽出境界線と前記推定境界線とが乖離することで生じる不都合を解消するための制御である乖離時制御を実行する実行部（５）と、
   を備える走路認識装置。
2. 請求項１に記載の走路認識装置であって、
   前記実行部は、前記乖離時制御として、前記自車両の近くに位置するものから順番に見て前記二次微分値の符号が反転する前記形状変化点を反転変化点とし、前記自車両の最も近くに位置する前記反転変化点より遠方での前記推定境界線の利用を禁止するように構成されている、走路認識装置。
3. 請求項１に記載の走路認識装置であって、
   前記実行部は、前記乖離時制御として、前記自車両の近くに位置するものから順番に見て前記二次微分値の符号が反転する前記形状変化点を反転変化点とし、前記反転変化点で区切られる区間毎に、前記推定部に前記走路パラメータの推定を行わせるように構成されている、走路認識装置。
4. 請求項２または請求項３に記載の走路認識装置であって、
   前記判定部は、前記自車両の最も近くに位置する前記反転変化点を判定対象点とし、該判定対象点での前記抽出境界線と前記推定境界線との前記走路の走路幅方向の距離が、予め設定された乖離閾値より大きい場合に、前記許容範囲を超えて乖離していると判定するように構成されている、走路認識装置。
5. 請求項４に記載の走路認識装置であって、
   前記乖離閾値は、前記自車両から前記判定対象点までの距離が遠いほど大きな値となるように構成されている、走路認識装置。
6. 請求項１から請求項５までのいずれか１項に記載の走路認識装置であって、
   前記判定部は、前記抽出境界線および前記推定境界線が前記走路の左右の境界のいずれについても求められている場合、前記抽出境界線に対して前記推定境界線が乖離する方向が、前記左右の境界において同一である場合に、前記許容範囲を超えて乖離していると判定するように構成されている、走路認識装置。
7. 請求項１から請求項６までのいずれか１項に記載の走路認識装置であって、
   前記変化点抽出部は、前記抽出境界線において前記自車両に対する最近点と最遠点とを結ぶ直線を基準線として、前記基準線と前記抽出境界線との距離が極大となる極大点を、前記形状変化点として抽出するように構成されている、走路認識装置。
8. 請求項１から請求項７のいずれか１項に記載の走路認識装置であって、
   前記推定部が使用する前記フィルタは、カルマンフィルタである走路認識装置。