JP6983309B2 - 障害物検出装置、障害物検出装置を利用した自動ブレーキ装置、障害物検出方法、および障害物検出方法を利用した自動ブレーキ方法 - Google Patents

Description

本願は、障害物検出装置、障害物検出装置を利用した自動ブレーキ装置、障害物検出方法、障害物検出方法を利用した自動ブレーキ方法に関するものである。

従来の障害物検出装置としては、カメラを用いて路面を検出し、障害物候補を抽出する技術が知られている（例えば、特許文献１参照）。

特開２０１７−３３５０６号公報

従来の障害物検出装置では、特許文献１記載の通り、路面の輝度範囲と白線の輝度範囲とを推定し、それらを除外した場所を、障害物の領域とする手法を行っている。そのため、路面に模様がないアスファルト路面などにおいて路上の障害物の検出精度は高い。しかし、この手法では、あらかじめ路面の輝度範囲が設定されてしまうため、アスファルト路面であっても、路面に白線以外の色で描かれた線、文字及び記号、さらには路面に設置されたマンホール又は地下式消火栓などは、車両が進入可能な路面ではない障害物として誤検出されてしまう課題があった。また、アスファルト路面以外の例えば石畳路、芝生路などでは、路面上の模様を障害物として誤検知してしまう課題があった。

本願は上記の課題を解決するためになされたものであり、障害物検出装置において、障害物検出の精度を従来のものと比べて、更に向上させることを目的とする

本願に開示される障害物検出装置は、
車両に設けられ、車両の周囲の障害物と車両との障害物距離を検出する障害物距離検出部と、
車両に設けられ、車両の周囲の路面画像を撮像し、出力する撮像部と、
路面画像の座標を変換し、座標変換画像として出力する画像変換部と、
座標変換画像内の障害物距離に至らない所定領域をヒストグラム生成領域画像として抽出するヒストグラム生成領域画像抽出部と、
ヒストグラム生成領域画像のヒストグラムを算出するヒストグラム演算部と、
座標変換画像とヒストグラムに基づいて、座標変換画像内の、車両が走行可能な第１の走行可能領域を検出する第１の走行可能領域検出部と、
第１の走行可能領域に基づいて、座標変換画像内の障害物領域を抽出する障害物領域抽出部と、
障害物領域に基づき、車両に対する障害物位置を検出し、障害物位置情報として出力する障害物位置検出部を備えたことを特徴とする。

本願に開示される障害物検出装置は、従来に比べ、障害物の検出精度を更に向上させることができる。

実施の形態１に係る障害物検出装置の概略構成図である。 実施の形態１に係る障害物検出装置のハードウエア構成図である。 実施の形態１に係る障害物検出装置の機能ブロック図である。 実施の形態１に係る障害物検出装置の動作を示すフローチャートである。 実施の形態１に係る障害物検出装置の前方カメラ３と路面画像の範囲、座標変換画像を撮影する場合の架空のカメラ３ａの関係を示した図である。 実施の形態１に係る障害物検出装置のカメラ３から取得した路面画像を示した図である。 実施の形態１に係る障害物検出装置のカメラ３ａから取得した理想的な座標変換画像を示した図である。 実施の形態１に係る障害物検出装置のカメラ３から取得した路面画像を変換して得られる実際の座標変換画像を示した図である。 実施の形態１に係る障害物検出装置の座標変換画像における障害物と障害物検出距離の関係を示した図である。 実施の形態１に係る障害物検出装置の座標変換画像における障害物検出距離とヒストグラム生成領域の関係を示した図である。 実施の形態１に係る障害物検出装置の２つ以上の障害物検出距離が得られた場合の座標変換画像における二円交点とヒストグラム生成領域の関係を示した図である。 実施の形態１に係る障害物検出装置のヒストグラム生成領域画像のヒストグラムを示した図である。 実施の形態１に係る障害物検出装置の座標変換画像全領域のヒストグラムを示した図である。 実施の形態１に係る障害物検出装置の走行可能路面の輝度値を２５５に、障害物領域の輝度値を０にした画像を示した図である。 実施の形態１に係る障害物検出装置の走行可能路面の輝度値を０に、障害物領域の輝度値を２５５にした画像を示した図である。 実施の形態１に係る障害物検出装置の座標変換画像における障害物検出距離と障害物検知ゾーンの関係を示した図である。 実施の形態１に係る障害物検出装置の障害物検知ゾーンの輝度値を２５５に、障害物検知ゾーン以外の輝度値を０にした画像を示した図である。 実施の形態１に係る路面検出装置の差分画像障害物領域の輝度値を２５５に、差分画像障害物領域以外の輝度値を０にした画像を示した図である。 実施の形態１に係る障害物検出装置の障害物領域と障害物検知ゾーンと差分画像障害物領域の重なり部を輝度値２５５にした画像を示した図である。 実施の形態２に係る自動ブレーキ装置の概略構成図である。 実施の形態２に係る自動ブレーキ装置の機能ブロック図である。 実施の形態２に係る自動ブレーキ装置の動作を示すフローチャートである。 実施の形態２に係る自動ブレーキ装置の第２の走行可能路面の輝度値を２５５に、第２の障害物領域の輝度値を０にした画像を示した図である。 実施の形態２に係る自動ブレーキ装置の第２の障害物領域の輝度値を２５５に、第２の走行可能領域の輝度値を０にした画像を示した図である。 実施の形態２に係る自動ブレーキ装置の障害物画像を示した図である。 実施の形態２に係る自動ブレーキ装置の直進時における走行経路を示した図である。 実施の形態２に係る自動ブレーキ装置の旋回時における走行経路を示した図である。 実施の形態２に係る自動ブレーキ装置の走行経路と衝突障害物を示した図である。 一般的な自動ブレーキ装置の最短衝突時間と目標減速度を示した図である。 実施の形態２に係る自動ブレーキ装置の最短衝突時間と目標減速度を示した図である。

以下、本願の実施の形態について図を用いて説明を行う。なお、各図において同一、又は相当する部材、部位については同一符号を付して説明する。

実施の形態１．
実施の形態１の障害物検出装置について、図１を用いて説明する。図１は係る障害物検出装置の構成図である。

図１Ａにおいて、車両１は、ソナーセンサー２、カメラ３、路面検出装置１４を有している。ソナーセンサー２は車両前方、後方及び左右に複数設置され、それらはソナーセンサー配線８を介してソナーコントローラー９に接続されている。なお、図１Ａでは前後４つずつ、更に左右に１つずつソナーセンサー２を配しているが、本願では、カメラ３にて取得する路面画像の方向に最低１つ以上のソナーセンサー２があれば問題ない。カメラ３は車両前後及び左右に複数設置され、カメラ配線７を介して周辺監視カメラコントローラー１０に接続されている。なお、図１Ａでは前後左右に１つずつカメラ３を配しているが、路面検出装置の対象とする方向に限定して最低１つ以上配置すればよい。例えば本願で後述する自動ブレーキ装置では、前方の障害物を対象として自動ブレーキを行うのであれば、車両１の前方に少なくとも１つ以上のカメラ３が有ればよいし、後方の障害物を対象として自動ブレーキ装置を行うのであれば、車両１の後方に少なくとも１つ以上のカメラ３が有ればよい。また、車両１の左右に取り付けられたカメラ３は、車両１が旋回する際の障害物巻き込み防止警報又は障害物巻き込み防止のための自動ブレーキ装置に利用できる。なお、取付け位置については、図１Ａでは左右のカメラについては、現在一般的なドアミラー下部に設置し、前後のカメラについてはそれぞれバンパー中央に設置するよう図示しているが、必ずしも図１Ａのように設置する必要はなく、本願の目的を満たすことが可能であれば設置位置は限定しない。路面検出装置１４には、ソナーコントローラー９、周辺監視カメラコントローラー１０以外に、その他のセンサー１１、路面検出装置の演算装置１２が含まれており、これらはそれぞれ通信線５、例えばCAN（Control Area Network）等を用いて接続されている。
演算装置１２は、図１Ｂに示すように、プロセッサ１０００と記憶装置２０００から構成され、図示していないが、記憶装置はランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ１０００は、記憶装置２０００から入力されたプログラムを実行し、図２で説明する機能ブロックに関する構成および図３で説明するフローチャートの動作の一部又は全部を遂行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１０００にプログラムが入力される。また、プロセッサ１０００は、入出力される信号、演算の中間値、および演算結果等のデータを記憶装置２０００の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。また、プロセッサ１０００及び記憶装置２０００に加え、ロジック回路、アナログ回路を併用してもよい。また、演算装置１２は、後述する実施の形態２で説明する機能ブロック及びフローチャートの動作の一部又は全部を遂行する。

次に本実施の形態１の障害物検出装置の機能構成について図２の機能ブロック図を、更に機能構成の動作について図３のフローチャートを用いて説明する。

本実施の形態１の路面検出装置１４は、図２に示す、障害物距離検出部１０１と撮像部１０２と、第１の画像変換部１０３と、ヒストグラム生成領域画像抽出部１０４と、ヒストグラム演算部１０５と、走行可能領域検出部１０６と、障害物領域抽出部１０７と、障害物位置検出部１０８と、障害物検知ゾーン演算部１０９と、車両状態検出部１１０と、画像記録部１１１と、差分画像障害物領域抽出部１１２とにより構成される。特に障害物位置検出部１０８には、障害物領域抽出部１０７、障害物検知ゾーン演算部１０９、及び差分画像障害物領域抽出部１１２の３つの出力が入力され、これら入力に基づき障害物検出が行われる。これら機能は図３に示すフローチャートに従い周期的に繰り返し動作する。

まず、障害物領域の抽出までの動作を説明する。
図３中、ステップＳ１０１において、図２に示す障害物距離検出部１０１は障害物距離を計測し出力する。障害物距離検出部１０１は、本実施の形態１では、ソナーセンサー２とソナーコントローラー９、及びそれを繋ぐソナーセンサー配線８によって構成される。障害物距離検出部１０１は、ソナーセンサー２からソナーセンサー２に最も接近している障害物までの距離を障害物距離として出力する。なお、障害物距離が計測可能なセンサーとして、ソナーセンサー以外にミリ波センサー又は赤外線センサー、レーザーセンサー等があり、これらを用いても本願の効果には影響しない。

次に図３中、ステップＳ１０２にて、図２に示す撮像部１０２は、カメラ３が撮像した映像を路面画像として出力する。撮像部１０２は、図１に示すように、カメラ３、周辺監視カメラコントローラー１０、及びそれらをつなぐカメラ配線７によって構成される。なお、本実施の形態１では、前述した通り、障害物距離検出部１０１におけるソナーセンサー２と撮像部１０２におけるカメラ３は、路面検出装置が目的とする路面の方向に最低１つずつ有れば問題ないが、他の目的に本願を使用する場合は、目的に応じた路面が取得できるようカメラ３を設置し、カメラ３に応じて必要な数のソナーセンサー２を設置する必要がある。例えば前後方向の障害物を回避する場合はそれぞれ前後の方向にカメラ３を配置し、ソナーセンサー２は少なくとも前後いずれかの方向に１つ以上配置すればよい。また、車両１の全周囲で障害物を検出する場合は、車両１の全周囲が撮像できる数のカメラ３と、少なくともいずれかのカメラ３の方向にソナーセンサー２が１つ以上あればよい。

図３中、ステップＳ１０３にて、図２に示す第１の画像変換部１０３は、撮像部１０２が出力する路面画像を座標変換画像に座標変換する。

第１の画像変換部１０３が行う路面画像の座標変換について図４から図７を用いて説明する。図４は、車両１前方にカメラ３を取り付けた場合の車両１と、車両１に実際に設置されたカメラ３とカメラ３の位置ＣＰから撮影される路面画像の範囲、更に路面画像から射影変換により得られる座標変換画像の範囲と座標変換画像を撮影する場合に必要な架空のカメラ３ａとの位置ＣＰ’の関係を示した図である。車両前方にカメラ３を路面が写るように取り付けると、カメラ３は図５のような路面画像を取得することができる。図５の路面画像には、アスファルト路面上に描画された白線１５、アスファルト路面上の障害物であるパイロン１６が表示されている。図５において、点線範囲１７０について天頂方向からカメラ３ａで撮影すると、図６のような映像が得られる（図６の下部が車両１の方向となる。）。しかし、この天頂方向のカメラ３ａは実際には存在しない。そのため、天頂方向から見える映像は、カメラ３にて得られる路面画像（図５）から座標変換を行うことにより得る。

この、カメラ３の位置ＣＰで得られた画像を別のカメラ３ａの位置ＣＰ’で得られる画像に変換する方法は、一般的に射影変換と呼ばれており、路面に対する位置ＣＰと位置ＣＰ’との関係で、幾何学的に変換することが可能である。ただし、この射影変換を用いて得られる画像は実際には図６ではなく図７のような画像となる。これはカメラ３で得られる図５の路面画像を射影変換する際に、カメラ３単体では、写った障害物の高さがわからないからである。そのため路面画像を射影変換する際は、路面画像内の高さのある障害物（例えばパイロン１６）についても、高さのない路面上の模様（例えばアスファルト路面上の白線１５）のように扱うため、図７のパイロン１６は車両１から奥行き方向に伸びた形で変換される。本実施の形態１では、図５の路面画像に対し、図７の画像を座標変換画像と称している。このように、図３中、ステップＳ１０３では、図２で示す第１の画像変換部１０３にて路面画像を座標変換画像に座標変換し、出力する。

図３中、ステップＳ１０４にて、図２に示すヒストグラム生成領域画像抽出部１０４は、ヒストグラム生成領域画像を抽出する。ヒストグラム生成領域画像抽出部１０４について図８から図１０を用いて説明する。

ヒストグラム生成領域画像抽出部１０４は、座標変換画像と障害物検出距離よりヒストグラム生成領域画像を抽出する。図８は座標変換画像と障害物検出距離の関係を示した図である。例えば、座標変換画像内に障害物としてパイロン１６がある場合、障害物検出距離１７は図８のように示される。障害物検出距離１７の図８下部側は、ソナーセンサー２の位置を示す。ソナーセンサー２により検出される障害物は、ソナーセンサー２の位置から障害物検出距離１７だけ離れた円弧状のどこかに存在することになる。図８の場合では、パイロン１６がソナーセンサー２で検出された障害物に該当する。なお、このときソナーセンサー２により検出される障害物は、高さのある障害物のみであり、パイロン１６のように高さのある障害物は検出されるが、アスファルト路面上の白線１５は検出されない。

ヒストグラム生成領域画像抽出部１０４では、この障害物検出距離１７からヒストグラム生成領域を求める。ヒストグラム生成領域は図９において、二点鎖線１８で示されるエリアであり、車両１から障害物であるパイロン１６の間に設定する。ヒストグラム生成領域画像抽出部１０４では、この座標変換画像内のヒストグラム生成領域の画像をヒストグラム生成領域画像として出力する。

ヒストグラム生成領域の設定方法について一例を示すと、座標変換画像である図９の下端中心から、上方向に対しては障害物検出距離１７の０．８倍の長さを、左右方向に対しては車両１の車幅の半分以上の長さを確保したエリアを設定すると良い。これは、本実施の形態１に係るカメラ３の取付け位置が、図１Ａ及び図４に示すように、車両１前方中心であるためであり、このようなヒストグラム生成領域を設定することで車両１前方の障害物までの路面を、障害物であるパイロン１６を含まず、かつ車両両脇の白線１５を含めた路面をヒストグラム生成領域画像として出力できるためである。

なお、上述した、障害物検出距離１７の０．８倍という数値は、障害物検出を行う障害物距離検出部の特性で決められる。本実施の形態１のソナーセンサー２においては、約±３０度のビーム角度を想定しており、ソナーセンサー２正面から±３０度の位置にある障害物までは距離計測が可能であるとしている。仮に、ソナーセンサー２正面から３０度ずれた位置に障害物があるような場合、車両１と障害物との直線距離は、障害物検出距離と３０度の余弦値により、障害物検出距離の０．８６倍、車両１から垂直方向に離れた位置（水平方向の位置は不明）に障害物が存在することになる。よって、検出ズレ等のマージンをとって、この０．８６倍を下回る０．８倍と設定することで、ソナーセンサー２正面から３０度ずれた位置に障害物があった場合でも、ヒストグラム生成領域に障害物が写り込まないように設定することができる。なお、もしソナーセンサー以外の、指向性の高いセンサーを用いるのであればこの数値は１．０に近づき、ソナーセンサーであっても指向性の低いセンサーを用いるのであればビーム角度が広がるため０．８より更に小さな値となる。

図８及び図９のように、座標変換画像内に対応する障害物検出距離１７が１つしかない場合、つまりソナーセンサー２が車両１前方に１つしか設置されていない場合、若しくは、複数のソナーセンサー２が車両１前方にあっても、１つのソナーセンサー２でしか障害物が検出されなかった場合は、上述のように検出された障害物検出距離の０．８倍の長さをヒストグラム生成領域の縦の長さとする。しかし、２つ以上の障害物検出距離１７が検出される場合は、それら内で最も短い障害物検出距離を採用して、この最も短い障害物検出距離の０．８倍の長さをヒストグラム生成領域の縦の長さとするとよい。また、複数の障害物検出距離１７が取得できた場合は、図１０のようにそれらから得られる障害物位置の円弧の交点を求め、この交点と車両１前端の距離をヒストグラム生成領域の縦の長さとしても良い。

また、障害物検出距離１７があらかじめ設定した最大値以上である、若しくは図２で示す障害物距離検出部１０１にて障害物が検出されない場合は、例えば図８の座標変換画像の下端中心から上方向（進行方向）に対して障害物検出距離１７があらかじめ設定した最大値（いわゆるセンサーの最大検出距離）の０．８倍の大きさをもったヒストグラム生成領域を設定し、このヒストグラム生成領域の画像をヒストグラム生成領域画像として出力すればよい。一方、障害物検出距離１７があらかじめ設定した最小値以下である場合は、障害物が車両１に近接又は接触していると判断し、障害物検出距離１７があらかじめ設定した最小値を下回る前に抽出した過去のヒストグラム生成領域画像をヒストグラム生成領域画像として出力するとよい。このように過去のヒストグラム生成領域画像を出力することで、現時点では障害物の接近によりヒストグラム生成領域の設定が不可能であっても、過去情報から障害物が存在しないヒストグラム生成領域画像を出力することが可能となる。

また、本実施の形態１ではソナーセンサー２を用いているためセンサーに近接した障害物を検出することは比較的容易であるが、例えばレーザー又はミリ波などでは近接領域よりある程度遠方の領域の障害物を検出しやすい。そのため、近接領域では障害物の検出抜けが発生する可能性が高く、そのような場合は遠方で計測した障害物の位置を、車両運動を用いてトラッキングし、前記トラッキング結果によりヒストグラム生成領域を求めるようにしても良い。このようにトラッキング結果を用いてヒストグラム生成領域を求めても、本願の効果には影響しない。

次に、図３中、ステップＳ１０５において、図２に示すヒストグラム演算部１０５はヒストグラムを演算する。ヒストグラム演算部１０５は、ヒストグラム生成領域画像抽出部１０４が抽出するヒストグラム生成領域画像よりヒストグラムを演算する。ヒストグラム生成領域画像のヒストグラムを求めると図１１のようにヒストグラム生成領域画像内の要素を反映したヒストグラムが得られる。なお、本実施の形態１の説明では、簡略化のためにヒストグラム生成領域画像をグレイスケール化した後の輝度ヒストグラムにて説明しているが、実際にはヒストグラム生成領域画像はカラー画像であり赤・緑・青（ＲＧＢ）の３要素を持った３つのヒストグラムが算出される。また、カラー画像を用いる場合は前記ＲＧＢの３要素を持った３つのヒストグラムの場合以外にも、カラー画像の色要素を変換し、色相・彩度・明度といった要素に変換してヒストグラムを使用しても良い。図１１のヒストグラムはグレイスケール化した後の輝度ヒストグラムであるため、横軸は輝度、縦軸はその輝度の出現割合（例えば画素数）を示す。

図３中、ステップＳ１０６において、図２に示す走行可能領域検出部１０６で走行可能領域を演算する。走行可能領域検出部１０６では、ヒストグラムと座標変換画像よりヒストグラムの逆投影法を用いて座標変換画像内の走行可能領域を求める。

ヒストグラムの逆投影法について図１１と図１２、及び図１３を用いて説明する。ヒストグラムを用いてその出現割合を反映していくことをヒストグラムの逆投影法と呼ぶ。図１１は、ヒストグラム生成領域画像のヒストグラムを示す。図１２の座標変換画像全領域のヒストグラムと比べると図１２の座標変換画像全領域のヒストグラムには路面上の障害物であるパイロンに起因する要素が含まれるが、図１１のヒストグラム生成領域画像のヒストグラムではヒストグラム生成領域設定時にあらかじめ障害物距離検出部１０１により障害物が有るエリアの画像は取得されないようになっているため、障害物の輝度値は含まれない。座標変換画像全領域の全画素に対し、図１１のヒストグラム生成領域画像のヒストグラムを用いて、個々の画素における輝度値の出現割合を見ていくと、アスファルト路面と白線についてはヒストグラムに含まれるため出現割合は大きな値となるが、パイロンについては出現割合が低くなるため小さな値となる。この値を一定のしきい値以上の場合は輝度値を２５５、一定のしきい値未満の場合は輝度値を０として、各画素に対して処理を行うと、図１３に示すような画像が得られる（図１３の白い部分が輝度値２５５、ハッチングの部分が０となる。本来輝度値０は黒であるが、図枠及び番号図示のためにハッチングとしている。）。

図２に示す走行可能領域検出部１０６では、図１３を座標変換画像内の走行可能領域として出力する。なお、図１３において、白い部分は走行可能路面１９を示し、アスファルト路面及び白線を含み、ハッチング部分は、障害物領域２０を示し、パイロンを含む。

図３中、ステップＳ１０７にて、図２に示す障害物領域抽出部１０７では、走行可能路面の輝度値を反転し、図１４のように、走行可能路面の輝度値を０に、障害物領域の輝度値を２５５にして出力する。（図１４の白い部分が輝度値２５５、ハッチングの部分が０となる。本来輝度値０は黒であるが、図枠及び番号図示のために図１３同様、ハッチングとしている。）

次に図３中、ステップＳ１０８にて示す障害物検知ゾーンについて説明する。
障害物検知ゾーンは、障害物距離検出部１０１で計算された障害物検出距離１７から、障害物検知ゾーン演算部１０９により演算し出力する。図８及び図９を用いてソナーセンサー２により検出される障害物は、ソナーセンサー２の位置から障害物検出距離１７だけ離れた円弧状のどこかに存在することを説明した。図１５に示すように、障害物検知ゾーン２２はこの障害物検出距離１７の円弧を利用し、円弧の前後方向（図１５では上下方向）にあらかじめ決めた障害物検知幅２１を設定し、この円弧から障害物検知幅分、加減算したエリアを障害物検知ゾーン２２とする。障害物検知幅２１はソナーセンサー２の障害物検知誤差等を考慮した値で、一例として本実施の形態１では約±３０ｃｍのエリアを確保する。この障害物検知ゾーン２２は、図１６のように表され、障害物検知ゾーンの領域はすべて輝度値２５５、それ以外は輝度値０として出力する。（図１６の白い部分が輝度値２５５、ハッチング部分が０となる。本来輝度値０は黒であるが、図枠及び番号図示のために図１３、図１４同様、ハッチングとしている。）

次に差分画像障害物領域について説明する。
図３中、ステップＳ１０９にて、図２に示す車両状態検出部１１０は、その他のセンサー１１により、車両１の走行車速を取得する。

図３中、ステップＳ１１０にて、図２に示す画像記録部１１１が過去画像を記憶する。画像記録部１１１は、入力された画像を複数フレーム分記録できるメモリ（図示せず）を有しており、メモリ内の任意の記憶された映像を出力することができる。本実施の形態１では、第１の画像変換部１０３が出力する座標変換画像を変換処理毎に記憶し、ある指定時間過去の座標変換画像を出力する。なお、画像記録部１１１に記憶できる画像枚数は有限であり、記憶枚数が記憶可能な枚数に達した場合は、最も古い座標変換画像を消去して新しく入力された座標変換画像を記憶する。出力する過去の座標変換画像の指定時間は例えば２００ｍｓ前の座標変換画像等で良いが、この指定時間が固定でなくても良い。車両１の車速に応じて指定時間を変えるようにして、例えば車速が低いときは指定時間を長く、車速が高いときは指定時間を短く設定すると良い。

図３中、ステップＳ１１１にて、図２に示す差分画像障害物領域抽出部１１２は、入力される座標変換画像と、画像記録部１１１が出力する過去の座標変換画像より差分画像障害物領域を求め出力する。この座標変換画像と過去の座標変換画像の偏差は一般的に時間差分、若しくはフレーム間差分と言われており、画像内の変化があった場所を抽出することが可能である。車両１が移動している場合、座標変換画像上で障害物の位置が変化するため、図１７のように差分画像障害物領域２３が検出され、差分画像障害物領域２３は、すべて輝度値２５５、それ以外は輝度値０として出力する。（図１７の白い部分が輝度値２５５、ハッチングの部分が０となる。本来輝度値０は黒であるが、図枠及び番号図示のために図１３、図１４、図１６同様、ハッチングとしている。）ただし、車両１が移動していない場合、障害物自身が移動していないと、差分画像障害物領域は検出されない。そこで、本実施の形態１では移動車速を用いて車両１の移動を検出し、車両１が停車中の場合は、差分画像障害物領域検出不可としてフラグを出力するか、若しくは座標変換画像のすべての領域を輝度値２５５として出力する。

図３中、ステップＳ１１２にて、図２に示す障害物位置検出部１０８は、最終的に図１４の障害物領域２０、図１６の障害物検知ゾーン２２、図１７の差分画像障害物領域２３が重なる領域を、図１８に示すように、座標変換画像内の障害物領域２４として検出する。障害物位置検出部１０８は、更に座標変換画像内の障害物領域２４の位置情報を求める。座標変換画像内の障害物領域２４の位置情報は座標変換画像内の障害物領域２４の位置を、車両１を基準とした位置に変換する。この変換については図４にて説明したカメラ３ａの位置ＣＰ’と、カメラ３ａの画角及び焦点距離、さらには座標変換画像のサイズから幾何学的に求めることができる。また、座標変換画像内の障害物領域２４の位置情報は、差分画像障害物領域２３において、最も車両１に近接した位置（カメラ３と差分画像障害物領域２３を直線距離で結んだ際に、この直線距離が最短となる差分画像障害物領域２３上の位置）の値を使用する。これは第１の画像変換部１０３の説明において、図６と図７を用いて説明したように、障害物の高さ方向の情報が無いため、本来は図６のような関係であっても、図７のような画像変換がなされるためで、この影響を受けないように考慮するには、車両１のカメラ３に近接した位置が正確な位置を表すためである。

このようにして、本実施の形態１の障害物検出装置は、カメラにより車両周囲の路面画像を取得し、更に座標変換画像に変換し、ソナーにより車両と車両周囲の障害物との障害物距離を計測し、前記障害物距離に基づき前記座標変換画像内の障害物のない領域でヒストグラム生成領域画像を抽出し、前記ヒストグラム生成領域画像のヒストグラムと前記座標変換画像より走行可能領域と障害物領域を求め、前記障害物領域と前記障害物距離より求める障害物検知ゾーンと、前記座標変換画像の差分より求める差分画像障害物領域との重なり抽出を行い、座標変換画像内に障害物領域を求め、さらに障害物位置を求めることで、従来に比べ精度の高い障害物検出を提供することができる。

実施の形態２．
実施の形態２における自動ブレーキ装置は、実施の形態１の障害物検出装置の障害物位置を用いて車両１が障害物へ接触することを避けるようにしたものである。

実施の形態２の自動ブレーキ装置の構成を図１９を用いて説明する。図１９において、実施の形態１の障害物検出装置と共通の要素については同一の番号を付与している。

本実施の形態２の自動ブレーキ装置は、本実施の形態１の障害物検出装置に対し、ブレーキ制御装置１３、油圧配管６、及びブレーキ４が新たに追加されており、ブレーキ４とブレーキ制御装置１３は、油圧配管６により接続され、ブレーキ制御装置１３は通信線５により路面検出装置１４の演算装置１２と接続される。演算装置１２により演算された目標減速度は通信線５によりブレーキ制御装置１３に伝えられ、ブレーキ制御装置１３の指令によりブレーキ４は車両１に制動をかけることができるようになっている。なお、自動ブレーキ装置は、必ずしもこのような構成に限定されるものではなく、例えばモーターによって走行するＥＶ車両又はエンジンとモーターによって走行するＨＥＶ・ＰＨＥＶ車両では、前記モーターの減速回生を制動に使用しても良い。

次に、図２０の機能ブロック図と図２１のフローチャートを用いて、本実施の形態２の自動ブレーキ装置の機能と動作を説明する。なお、図２０及び図２１において、実施の形態１の障害物検出装置と同一の要素については、図２の機能ブロック図及び図３のフローチャートに同一の番号を付与し、説明を省略する。

本実施の形態２の自動ブレーキ装置は、実施の形態１の障害物検出装置に対し、さらに、第２の走行可能領域検出部２１３、第２の障害物領域抽出部２１４、障害物画像抽出部２１５、障害物認識部２１６、障害物情報関連づけ部２１７、走行経路内障害物検出部２１８、衝突時間演算部２１９、目標減速度演算部２２０、制動装置２２１が追加されて構成される。これらの機能は図２１に示すフローチャートに従い周期的に繰り返し動作する。なお、図２０中、走行経路内障害物検出部２１８から制動装置２２１、及び図２１中、ステップＳ２１８からステップＳ２２１については、一般的な自動ブレーキ装置の動作を述べているものであり、必ずしも記載されている機能及び動作に限定するものではない。

図２１のフローチャートにおけるステップＳ１０１からステップＳ１１２の動作については、実施の形態１と同一であるため省略する。

図２１中、ステップＳ２１３において、図２０に示す第２の走行可能領域検出部２１３は、路面画像とヒストグラムより第２の走行可能領域を演算する。この演算と、ステップＳ１０６における走行可能領域検出部１０６の演算は、同じヒストグラムの逆投影法を用いており、異なる点は、ステップＳ１０６では対象とする画像が座標変換画像であったのに対し、ステップＳ２１３では路面画像を用いる点である。これにより、ステップＳ２１３で求める第２の走行可能領域は、図２２に示すような路面画像内の走行可能領域が求められる（図２２の白い部分が輝度値２５５、ハッチングの部分が０となる。本来輝度値０は黒であるが、図枠及び番号図示のためにハッチングとしている。）。図２２において、第２の走行可能領域２６は、アスファルト路面及び白線を含み、第２の障害物領域２５はパイロンを含む。

図２１中、ステップＳ２１４にて、図２０に示す第２の障害物領域抽出部２１４では、第２の走行可能領域２６の輝度値を反転し、図２３のように第２の走行可能領域２６の輝度値を０に、第２の障害物領域２５の輝度値を２５５にして出力する（図２３の白い部分が輝度値２５５、ハッチングの部分が０となる。本来輝度値０は黒であるが、図枠及び番号図示のために図２２同様、ハッチングとしている。）

図２１中、ステップＳ２１５にて、図２０に示す障害物画像抽出部２１５では、路面画像と第２の障害物領域２５より、図２４のようなハッチングの背景に障害物のみが抽出された障害物画像を演算し出力する。この障害物画像は、路面画像と第２の障害物領域２５を画素単位で乗算すると求めることができる。これは第２の障害物領域２５の画像がいわゆるマスク画像となっており、前記第２の障害物領域で輝度値２５５となっている領域のみ透過されるためである。なお、図２４では、障害物としてパイロン１６のみ抽出されているが、これは路面画像内に障害物が１つしかないためであり、障害物が複数ある場合は図２４の障害物画像内に複数の障害物が描画される。また、図２３の画像をマスクとすると、地平線以上の部分も抽出されてしまうがこれは誤検出となるため抽出されないように排除している。どの位置が地平線となるかは、カメラ３の位置ＣＰより求めることが可能である。

図２１中、ステップＳ２１６にて、図２０に示す障害物認識部２１６では、図２４の障害物画像の各要素について、写っている障害物が何であるかを識別し、認識する。障害物の認識方法については、本願の特徴でないためどのような方法を用いてもよい、例えば、あらかじめ複数の障害物画像を保有してそれらとの類似度を演算するようなパターン認識を用いてもよいし、近年ではあらかじめ複数の障害物画像を用いてニューラルネットワークで学習を行い、その学習結果により障害物画像に写る画像の種類、構造、外観、機能から障害物が何であるか識別するようにしてもよい。なお、本実施の形態２で図２４のような路面画像から抽出した障害物画像を用いる点は、障害物認識部２１６の精度を高めるためである。これは、前述したパターン認識で使用するあらかじめ用意した複数の障害物画像、又はニューラルネットワークの学習に使用した複数の障害物画像には、カメラ３の位置ＣＰから撮影した図５に写るパイロン１６のような画像を使用し、図７の座標変換画像のパイロン１６のような画像ではないためである。これにより、障害物の認識率が高くなる。これは、本実施の形態２の自動ブレーキ装置の特徴の１つである。

図２１中、ステップＳ２１７にて、図２０に示す障害物情報関連づけ部２１７は、ステップＳ１１２にて障害物位置検出部１０８が算出した障害物領域の位置情報と、ステップＳ２１６にて障害物認識部２１６で認識した障害物結果を関連づけて、新たな障害物情報として出力する。

図２１中、ステップＳ２１８からステップＳ２２１の動作については、主に自動ブレーキ装置の制動に関する。ステップＳ２１８にて、図２０に示す走行経路内障害物検出部２１８は、車両１の走行経路内に存在する障害物を、障害物情報から抽出する。車両１の走行経路については、車両状態検出部１１０にて取得するハンドル角、車速、シフト状態と、あらかじめ走行経路内障害物検出部２１８内に記憶されている車両１の大きさ情報（車幅、全長、ホイールベース、ステアリングのラックアンドピニオンギア比、等）を用いて計算する。なお、本実施の形態２では、現在のハンドル角及び車速を保ったまま進んだ場合に、車両１が通過する領域と通過しない領域の境界線を、自車の走行経路としている。

直進状態では（具体的にはハンドル角が±約１０度以下の場合）、車両はほぼ進行方向に対してまっすぐ進む。このとき前後どちらの方向に進むかは、シフト状態によって異なり、シフト状態がＤレンジの場合、車両は前方に、シフト状態がＲレンジの場合、車両は後方に進む。この場合、図２５に示すように、車両はまっすぐ進むので、車両１が通過する領域と通過しない領域の境界線は、車両の左右位置がそのまま境界線となる。図２５に示すように、車両１の右側の境界線をY_r、車両１の左側の境界線をY_l、車両１の横幅の半分をαとし、座標原点である後輪車軸中心を基準に考えると、式（１）で表すことができる。

旋回状態では（具体的には上記直進状態以外の場合）、車両１が通過する領域と通過しない領域の境界線は、図２６に示すような関係となる。図２６は車両が左旋回を行う場合の関係図である。左旋回の場合、車両１で最も内側を走行する部分は図２６に示すPiの地点になる。この地点Piが連続して通過する経路が車両１の左側の境界線となる。車両１で最も外側を走行する部分は図２６に示すPoの地点になる。この地点Poが連続して通過する経路が車両１の右側の境界線となる。図２６では車両は点Ｃを基準に旋回を行う。この場合の旋回半径ρは下記式（２）となる。

式（２）のρは旋回半径、ｌは車両１のホイールベース、δは前輪のタイヤ角を示し、更にタイヤ角δとハンドル角θは式（３）に示すようにステアリングのラックアンドピニオンギア比Grpにて減速される。

なお、式（２）の導出については以下の文献１に記載されており、特に本実施の形態では緊急ブレーキ制御の動作範囲を低車速時に限定するため、式（２）は車両に遠心力が発生せず横滑りが発生しない定常円旋回の場合の、ハンドル角と旋回半径ρの関係式を用いる。
文献１：株式会社山海堂：安部正人著、「自動車の運動と制御」、
第３章：車両運動の基礎、３．３節：車両の定常円旋回

旋回半径ρに対し、車両１の左側の境界線の半径を示す内旋回半径ρiと、右側の境界線の半径を示す外旋回半径ρoは、図２６のαとβを用いて式（４）及び式（５）のように表される。なお、図２６のαは車両１の横幅の半分の長さを、βは車両１のホイールベースｌとフロントオーバーハングを加算した値である。

これら、旋回半径ρ、内旋回半径ρi、外旋回半径ρoを基に、車両１の左側の境界線を示す式と右側の境界線を示す式を求めると、それぞれ式（６）と式（７）となる。

ただし、式（６）及び式（７）は、車両１が左旋回を行う場合の車両１の左側の境界線と右側の境界線を示す式であり、車両１が右旋回を行う場合は、車両１の左側の境界線は式（８）に、右側の境界線を示す式は式（９）になる。

図２１中、ステップＳ２１８ではこのように、式（１）から式（９）を求めて、自車の走行経路を演算する。

ステップＳ２１８ではさらに、式（１）から式（９）を用いて求めた走行経路と障害物位置情報を用いて、障害物のうち自車と接触する障害物情報のみを抽出する。障害物が自車経路上に存在するかしないかを区別する具体的な判別方法を示すと、図２７で模式的に示すように、車両１が直進状態、左旋回、右旋回のいずれかであるかを判断し、直進状態の場合は障害物位置情報が式（１）の範囲内に収まるか、左旋回の場合は障害物位置情報が式（６）と式（７）の間に収まるか、また右旋回の場合は障害物情報が式（８）と式（９）の間に収まるか、により障害物位置が走行経路内に存在しているかを判定し、前記走行経路内の障害物情報のみを抽出する。

図２１中、ステップＳ２１９では、図２０に示す衝突時間演算部２１９にて、衝突障害物であると判定された複数の障害物位置情報に対し、車両１が現在の車速のまま走行した場合にそれぞれの障害物に接触するまでの予想時間である衝突時間を算出する。衝突時間の算出方法としては、単純な方法であれば障害物と車両１の直線距離を車速で除算するだけでも良いし、より精度を高める複雑な方法であれば、障害物が車両１に接触する位置を算出し、障害物の位置と障害物が車両に接触する位置までの実距離、例えば直進時であれば直線距離を、旋回時であれば旋回に応じた円弧距離を、それぞれ求めて車速で除算しても良い。単純な方法と複雑な方法、どちらの方法を用いても本願の効果に影響はない。
最終的にステップＳ２１９では、これら衝突障害物であると判定された複数の障害物位置情報に対し、個別に算出された衝突時間で最も短い値を、つまり最も早く車両１に接触する可能性が高い障害物の衝突時間を最短衝突時間として出力する。なお、車両１が停車している場合、衝突時間の算出に用いる車速は０になるため、そのまま除算を行うと演算装置１２がエラーを起こしてしまう。しかし、停車時は障害物が車両に衝突することはないので、その場合のみ、全ての障害物位置情報の衝突時間を、衝突時間に設定される最大値に設定し、最短衝突時間も衝突時間に設定される最大値にする。衝突時間に設定される最大値は、後段のステップＳ２２０にて目標減速度が０になるような大きな値を設定すると良い。

図２１中、ステップＳ２２０では、図２０に示す目標減速度演算部２２０にて、最短衝突時間を基に目標減速度を求める。目標減速度の演算方法は様々な方法が考えられているが、一例を示すと、図２８に示す表のように、最短衝突時間の値により３種類の目標減速度を選択することが一般的である。本実施の形態２では、障害物の認識が可能であり、最短衝突時間に該当する障害物の種類により図２９に示す表のような目標減速度を設定する。図２９に示す目標減速度は、衝突の可能性がある障害物の種類により目標減速度を変更しており、認識した障害物が、障害物種類で、人・二輪車などに該当する場合は減速度を大きく、認識した障害物が、その他障害物（例えば、路上のパイロン又は建物の壁面など）に該当する場合は減速度を小さく設定している。これは、路上のパイロン又は建物の壁面などといったその他の障害物を基準に、衝突した場合に、より相手方に被害が大きく発生する可能性が高い障害物に対しては、通常に対し更に大きな減速度を持って安全に衝突を回避することを目的としている。本実施の形態２の自動ブレーキ装置の特徴のもう１つはこの点にある。

最終的に、図２１中、ステップＳ２２１にて制動装置２２１は目標減速度演算部２２０の演算する目標減速度に、車両１の実減速度が追従するよう油圧をコントロールしてブレーキ４を動作させ、車両１の減速を行う。

このようにして、本実施の形態２の自動ブレーキ装置は、本実施の形態１の路面検出装置に対し、前記路面画像と前記ヒストグラムに基づいて、前記路面画像内にて、前記車両が走行可能な第２の走行可能領域を抽出する第２の走行可能領域検出部と、前記第２の走行可能領域に基づいて、前記路面画像内の第２の障害物領域を抽出する第２の障害物領域抽出部と、前記第２の障害物領域と前記路面画像に基づき、前記路面画像内の障害物画像を抽出する障害物画像抽出部と、前記障害物画像より前記障害物画像に映る物体が何であるか障害物を認識し、前記認識結果を障害物認識情報として出力する障害物認識部と、前記障害物位置情報と前記障害物認識情報を関連づける障害物情報関連づけ部を備え、前記自動ブレーキ装置は前記障害物情報関連づけ部が関連づけた前記障害物位置情報と前記障害物認識情報により自動ブレーキの目標減速度を変更することで、障害物の認識精度の高く、かつ障害物の認識結果に基づき減速度を変更することで、障害物への衝突被害程度に応じた減速を行うことができる。

なお本実施の形態２では、障害物回避のため車両１の制動を行ったが、制動を行う前に別途備えたスピーカー等（図示せず）により、制動を行う直前にドライバーに対し警告を行うようにしても良い。そのような構成であっても本願の効果を損なうものではない。また、本実施の形態２では、車両の周囲の障害物に対して制動する自動ブレーキ装置について記載したが、車両１の後側方の監視に用いることでブラインドスポットワーキング装置などに応用することができる。その場合においても、本実施の形態２同様、左右のカメラ３の路面画像より障害物画像をそれぞれ用いることで、後側方より接近する動体が何であるか、例えば車両・二輪車・歩行者等の判別を行うことも可能になり、これにより接近動体に応じた警告時間及び表示方式を変更することが可能となる。

本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１：車両、２：ソナーセンサー、３：カメラ、４：ブレーキ、５：通信線、６：油圧配管、７：カメラ配線、８：ソナーセンサー配線、９：ソナーコントローラー、１０：周辺監視カメラコントローラー、１１：その他のセンサー、１２：演算装置、１３：ブレーキ制御装置、１４：路面検出装置、１０１：障害物距離検出部、１０２：撮像部、１０３：第１の画像変換部、１０４：ヒストグラム生成領域画像抽出部、１０５：ヒストグラム演算部、１０６：走行可能領域検出部、１０７：障害物領域抽出部、１０８：障害物位置検出部、１０９：障害物検知ゾーン演算部、１１０：車両状態検出部、１１１：画像記録部、１１２：差分画像障害物領域抽出部、２１３：第２の走行可能領域検出部、２１４：第２の障害物領域抽出部、２１５：障害物画像抽出部、２１６：障害物認識部、２１７：障害物情報関連づけ部、２１８：走行経路内障害物検出部、２１９：衝突時間演算部、２２０：目標減速度演算部、２２１：制動装置

Claims (10)

1. 車両に設けられ、前記車両の周囲の障害物と前記車両との障害物距離を検出する障害物距離検出部と、
   前記車両に設けられ、前記車両の周囲の路面画像を撮像し、出力する撮像部と、
   前記路面画像の座標を変換し、座標変換画像として出力する画像変換部と、
   前記座標変換画像内の前記障害物距離に至らない所定領域の画像をヒストグラム生成領域画像として抽出するヒストグラム生成領域画像抽出部と、
   前記ヒストグラム生成領域画像のヒストグラムを算出するヒストグラム演算部と、
   前記座標変換画像と前記ヒストグラムに基づいて、前記座標変換画像内の前記車両が走行可能な第１の走行可能領域を検出する第１の走行可能領域検出部と、
   前記第１の走行可能領域に基づいて、前記座標変換画像内の障害物領域を抽出する障害物領域抽出部と、
   前記障害物領域に基づき、前記車両に対する障害物位置を検出し、障害物位置情報として出力する障害物位置検出部を備えたことを特徴とする障害物検出装置。
2. 前記障害物距離検出部で検出された障害物距離を径とする円弧を、径方向及び周方向に一定の幅を有するように広げた領域を障害物検知ゾーンとして設定する障害物検知ゾーン演算部を備え、
   前記障害物位置検出部は、前記障害物検知ゾーンと前記障害物領域の重なる部分を、前記車両に対する障害物位置と検出することを特徴とする請求項１に記載の障害物検出装置。
3. 前記車両の車両状態を検出する車両状態検出部と、
   前記座標変換画像を数フレーム分記録するとともに、あらかじめ指定されたフレーム数分前の座標変換画像を、過去の座標変換画像として蓄積する画像記録部と、
   前記車両状態と記録された座標変換画像と蓄積されている過去の座標変換画像より座標変換画像の差分を演算し、偏差の生じた領域を、差分障害物領域として出力する差分画像障害物領域抽出部を備え、
   前記障害物位置検出部は、前記障害物検知ゾーンと前記障害物領域と前記差分障害物領域の内、少なくとも２つ以上が重なる部分を、前記車両に対する障害物位置として検出することを特徴とする請求項２に記載の障害物検出装置。
4. 請求項１から３のいずれか一項に記載の障害物検出装置の前記障害物位置情報に基づき車両のブレーキを制御することを特徴とする障害物検出装置を利用した自動ブレーキ装置。
5. 前記路面画像と前記ヒストグラムに基づいて、前記路面画像内にて、前記車両が走行可能な第２の走行可能領域を検出する第２の走行可能領域検出部と、
   前記第２の走行可能領域に基づいて、前記路面画像内の第２の障害物領域を抽出する第２の障害物領域抽出部と、
   前記第２の障害物領域と前記路面画像に基づき、前記路面画像内の障害物画像を抽出する障害物画像抽出部と、
   抽出された前記障害物画像を識別し、識別結果を障害物認識情報として出力する障害物認識部と、
   前記障害物位置情報と前記障害物認識情報とを関連づける障害物情報関連づけ部とを備え、
   前記障害物情報関連づけ部の出力に応じて目標減速度を変更することを特徴とする請求項４に記載の障害物検出装置を利用した自動ブレーキ装置。
   
6. 車両の周囲の障害物と前記車両との障害物との距離を検出する第１のステップと、
   前記車両の周辺の路面画像を取得する第２のステップと、
   前記路面画像の座標を変換し、座標変換画像を出力する第３のステップと、
   前記座標変換画像の内、障害物距離に至らない所定領域の画像内のヒストグラムを演算する第４のステップと、
   前記座標変換画像と前記ヒストグラムに基づいて、前記座標変換画像内にて、前記車両が走行可能な走行可能領域を抽出する第５のステップと、
   前記車両の前記走行可能領域に基づいて、障害物領域を抽出する第６のステップと、
   前記障害物領域に基づき、前記車両に対する障害物位置を検出する第７のステップを備えたことを特徴とする障害物検出方法。
7. 前記第７のステップは、前記障害物距離離れた位置に障害物距離を径とする円弧を、径方向及び周方向に一定の幅を有するように広げた障害物検知ゾーンと前記障害物領域との重なる部分を、前記車両に対する障害物位置と検出することを特徴とする請求項６に記載の障害物検出方法。
8. 前記第７のステップは、過去の座標変換画像と現在の座標変換画像との差分の偏差の生じた領域と前記障害物検知ゾーンと前記障害物領域の少なくとも２つ以上が重なる部分を、前記車両に対する障害物位置と検出することを特徴とする請求項７に記載の障害物検出方法。
9. 請求項６から８のいずれか一項に記載の障害物検出方法で検出された障害物位置に基づき車両のブレーキを制御することを特徴とする障害物検出方法を利用した自動ブレーキ方法。
10. 前記路面画像と前記ヒストグラムに基づいて、前記路面画像内の障害物画像を抽出するステップと、抽出された障害物画像を識別するステップとを更に有し、識別された障害物画像と検出された障害物位置に基づいて自動ブレーキの目標減速度を変更することを特徴とする請求項９に記載の障害物検出方法を利用した自動ブレーキ方法。

Images