JP4972073B2

JP4972073B2 - 環境認識装置

Info

Publication number: JP4972073B2
Application number: JP2008285943A
Authority: JP
Inventors: 伸治長岡; 誠相村; 英樹橋本; 雅和坂
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2008-11-06
Filing date: 2008-11-06
Publication date: 2012-07-11
Anticipated expiration: 2028-11-06
Also published as: JP2010113550A

Description

本発明は、撮像装置により得られた撮像画像を用いて環境を認識する環境認識装置に関する。

車両に搭載されている撮像装置により撮像された画像から対象物である歩行者の頭部に相当する領域を抽出し、当該頭部領域に基づいて歩行者の胴体に相当する領域を抽出することにより対象物が歩行者であることを認識し、この歩行者の存在を車両の運転者に知らせる技術が知られている（特許文献１参照）。
特開平１１−３２８３６４号公報

しかし、車両の周辺には歩行者または自転車乗員等の人間のみならず、鹿、羊、犬または馬等の四足動物も存在する場合がある。この場合、対象物が人間であるか否かを判定する手法が採用されても、対象物が四足動物であるか否かを判定することは困難である。このため、車両の運転者に四足動物の存在を知らせること、さらには、運転者が対象物との接触を回避するように車両を運転することが困難となる。

そこで、本発明は、撮像装置による撮像範囲を含む環境に存在する対象物が四足動物に該当するか否かの認識精度の向上を図ることができる装置を提供することを目的とする。

第１発明の環境認識装置は、撮像装置により得られた撮像画像を用いて環境を認識する環境認識装置であって、前記撮像画像から対象物が存在する画像領域を対象物領域として抽出する対象物抽出手段と、前記対象物抽出手段により抽出された前記対象物領域から前記対象物の姿勢を表わす主成分ベクトルを抽出する主成分抽出手段と、前記主成分抽出手段により抽出された前記主成分ベクトルの水平軸に対する傾斜角度が、鉛直軸に対する傾斜角度が水平軸に対する傾斜角度以上である基準軸の水平軸に対する傾斜角度である基準角度をはさんで周期的に変動しているか否かに応じて、前記対象物が四足動物に該当するか否かを判定する対象物種類判定手段とを備えていることを特徴とする。

第１発明の環境認識装置によれば、対象物の姿勢を表わす主成分ベクトルが抽出され、この主成分ベクトルの水平軸（画像の横方向または水平方向にのびる軸）に対する傾斜角度が基準角度をはさんで周期的に変化しているか否かに応じて、この対象物が四足動物に該当するか否かが判定される。「基準角度」は基準軸の水平軸に対する傾斜角度であり、「基準軸」の鉛直軸に対する傾斜角度は水平軸に対する傾斜角度以上となるような姿勢を有する軸である。歩行または走行している四足動物がその横方向から観察された場合、胴体前部が胴体後部よりも大きく上下に変位するため、胴体全体の水平方向に対する傾斜角度が周期的に変化する場合がある。このことに鑑みて、胴体の姿勢を表わす主成分ベクトルが抽出されることにより、前記手法にしたがって対象物が四足動物に該当するか否かが高精度で認識されうる。なお「四足動物」とはすべての四足動物ではなく、本発明の手法によって認識されうる四足動物を意味する。

第２発明の環境認識装置は、第１発明の環境認識装置において、前記主成分抽出手段が、前記対象物領域を対象として主成分分析を実行することにより前記主成分ベクトルを抽出することを特徴とする。

第２発明の車両周辺監視装によれば、歩行または走行している四足動物がその横方向から観察された場合、胴体全体の水平方向に対する傾斜角度が周期的に変化する場合があることに鑑みて、胴体の姿勢を表わす主成分ベクトルが抽出されることにより、前記手法にしたがって対象物が四足動物に該当するか否かが高精度で認識されうる。

第３発明の環境認識装置は、第１発明の環境認識装置において、前記主成分抽出手段が、前記対象物領域に細線化処理を実行することにより細線を抽出し、前記細線を対象として主成分分析を実行することにより前記主成分ベクトルを抽出することを特徴とする。

第３発明の環境認識装置によれば、歩行または走行している四足動物がその横方向から観察された場合、胴体全体の水平方向に対する傾斜角度が周期的に変化する場合があることに鑑みて、細線化処理およびこれにより得られた細線を対象とした主成分分析の実行により胴体の姿勢を表わす主成分ベクトルが抽出されることにより、前記手法にしたがって対象物が四足動物に該当するか否かが高精度で認識されうる。

第４発明の環境認識装置は、第１発明の環境認識装置において、前記対象物抽出手段が、前記対象物の胴部が存在する画像領域を前記対象物領域として抽出することを特徴とする。

第４発明の環境認識装置によれば、歩行または走行している四足動物がその横方向から観察された場合、胴体の姿勢が前記のように周期的に変化する場合があることに鑑みて、対象物としての胴体の姿勢を表わす主成分ベクトルが抽出されることにより、前記手法にしたがって対象物が四足動物（正確には四足動物の胴体）に該当するか否かが高精度で認識されうる。

第５発明の環境認識装置は、第１〜第４発明のうちいずれか１つの環境認識装置において、前記撮像装置とともに車両に搭載されていることを特徴とする。

第５発明の環境認識装置によれば、撮像装置とともに当該環境認識装置が搭載されている車両の周辺に存在する対象物が四足動物に該当するか否かが高精度で判定されうる。

本発明の環境認識装置の実施形態について説明する。まず、本実施形態の環境認識装置の構成について説明する。環境認識装置は図１および図２に示されている画像処理ユニット１を備えている。画像処理ユニット１には、車両１０の前方を撮像する左右一対の赤外線カメラ（本発明の「撮像装置」に該当する。）２Ｒ，２Ｌが接続されるとともに、車両１０の走行状態を検出するセンサとして、車両１０のヨーレートを検出するヨーレートセンサ３、車両１０の走行速度（車速）を検出する車速センサ４および車両１０のブレーキ操作の有無を検出するブレーキセンサ５が接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカまたは音声出力装置６および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するためにフロントウィンドウ付近に配置されているＨＵＤまたは画像表示装置７が接続されている。なお、対象物との距離がレーダーにより測定される場合、１台の赤外線カメラのみが車両１０に搭載されてもよい。ＨＵＤに代えてまたは加えて、車両１０の車速などの走行状態を表示するディスプレイ、あるいは、車載ナビゲーション装置が有するディスプレイが画像表示装置７として採用されてもよい。

画像処理ユニット１は、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ等のメモリ、Ｉ／Ｏ回路およびこれらを接続するバスなどにより構成されているＥＣＵ（電子制御ユニット）により構成されている。画像処理ユニット１０（詳細にはメモリまたは記憶装置に格納されているプログラムにしたがって演算処理を実行するＣＰＵ）が、本発明の「対象物抽出手段」「主成分抽出手段」および「対象物種類判定手段」を構成する。赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化され、ＣＰＵによりデジタル化されたデータに基づき、人間（歩行者または自転車もしくは二輪自動車の乗員など）または四足動物（鹿、馬または犬など）等の対象物を検出し、検出した対象物が所定の通報要件を満たす場合にスピーカ６やＨＵＤ７を通じて対象物の存在、または、車両１０と対象物との接触可能性の高低を運転者に通報する。

図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために車両１０の前部（図ではフロントグリルの部分）に取り付けられている。右側の赤外線カメラ２Ｒは車両１０の車幅方向の中心よりも右寄りの位置に配置され、左側の赤外線カメラ２Lは車両１０の車幅方向の中心よりも左寄りの位置に配置されている。それらの位置は車両１０の車幅方向の中心に対して左右対称である。赤外線カメラ２Ｒ，２Ｌは光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。

次に、前記構成の環境認識装置の機能について説明する。なお、画像処理の詳細は特開２００１−００６０９６号公報および特開２００７−３１０７０５号公報に開示されているので簡単に説明する。まず、赤外線カメラ２Ｒ、２Ｌの赤外画像信号が画像処理ユニット１に入力され、赤外画像信号がＡ／Ｄ変換され、Ａ／Ｄ変換された赤外画像信号に基づいてグレースケール画像が生成され、基準となるグレースケール画像（右画像）が２値化される。その上で、２値化画像において対象物が存在する領域が対象物領域Ｓとして抽出される（図３／ＳＴＥＰ００２）。具体的には、２値化画像の高輝度領域を構成する画素群がランレングスデータに変換され、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）が付され、ライン群のそれぞれが対象物領域Ｓとして抽出される。これにより、図４（ａ）（ｂ）に斜線付きで示されているようなひとまとまりの高輝度画素（画素値＝１の画素）により構成される高輝度領域が対象物領域Ｓとして抽出される。

続いて、各対象物の重心の位置（基準画像上での位置）、面積および外接四角形の縦横比が算定される。また、対象物の時刻間追跡が実行され、画像処理ユニット１の演算処理周期毎の対象物の同一性が判定される。さらに、車速センサ４およびヨーレートセンサ５の出力（車速の検出値及びヨーレートの検出値）が読み込まれる。また、外接四角形の縦横比算出および対象物の時刻間追跡と並行して、基準画像のうち、各対象物に対応する領域（たとえば対象物の外接四角形の領域）が探索画像として抽出される。さらに、相関演算が実行されることにより左画像中から探索画像に対応する画像（対応画像）が探索かつ抽出される。また、車両１０から対象物までの実空間距離（車両１０の前後方向における距離）ｚが算定される（図３／ＳＴＥＰ００４）。また、各対象物の実空間位置（車両１０に対する相対位置）が算定される。さらに、対象物の実空間位置（Ｘ，Ｙ，Ｚ）（図２参照）のうちのＸ成分が回頭角の時系列データに応じて補正される。また、車両１０に対する対象物の相対移動ベクトルが算定される（図３／ＳＴＥＰ００６）。

さらに、車両１０と対象物との接触可能性の高低が判定される（図３／ＳＴＥＰ００８）。この判定手法についても特開２００１−００６０９６号公報および特開２００７−３１０７０５号公報に開示されているので簡単に説明する。まず、対象物の実空間距離ｚが相対速度Ｖｓと余裕時間Ｔとの乗算値以下であるか否かが判定される。また、実空間距離ｚが当該値以下であると判定された場合、対象物が接近判定領域に存在するか否かが判定される（第１の接触判定処理）。接近判定領域は車両１０の前方において車両１０の左右方向に対称に広がり、車両１０の幅にオフセット値を加えた幅を有している。第１の接触判定処理における判定結果が肯定的である場合、対象物が車両１０と接触する可能性が高いと判定される。一方、第１の接触判定処理における判定結果が否定的である場合、対象物が接近判定領域の外側にある進入判定領域に存在し、かつ、対象物の相対移動ベクトルが接近判定領域に向かっているか否かがさらに判定される（第２の接触判定処理）。第２の接触判定処理における判定結果が肯定的である場合、対象物が車両１０と接触する可能性が高いと判定される。

車両１０と対象物との接触可能性が高いと判定された場合（第１または第２の接触判定処理における判定結果が肯定的である場合）（図３／ＳＴＥＰ００８‥ＹＥＳ）、対象物が人工構造物等、その存在の通報の必要性が低い物体に該当するか否かが判定される（図３／ＳＴＥＰ０１０）。たとえば、対象物が歩行者または四足動物には該当し得ないような外形上の特徴がこの対象物において検知された場合、この対象物が人工構造物に該当すると判定される。車両１０と対象物との接触可能性が低いと判定された場合（第１および第２の接触判定処理における判定結果が否定的である場合）（図３／ＳＴＥＰ００８‥ＮＯ）、または、対象物が通報対象に該当しないと判定された場合（図３／ＳＴＥＰ０１０‥ＮＯ）、後述の通報処理が実行されることなく対象物領域Ｓの抽出以降の処理が繰り返される（図３／ＳＴＥＰ００２等参照）。

対象物が人工構造物等の通報対象に該当しないと判定された場合（図３／ＳＴＥＰ０１０‥ＹＥＳ）、この対象物が歩行者または自転車乗員等の人間に該当するか否かが判定される（図３／ＳＴＥＰ０１２）。具体的には、グレースケール画像上で対象物領域Ｓの形状もしくはサイズ、または、輝度分布等の特徴量に基づき、対象物が人間に該当するか否かが判定される。

また、対象物が人間に該当しないと判定された場合（図３／ＳＴＥＰ０１２‥ＮＯ）、この対象物が鹿、馬または犬等の四足動物に該当するか否かが判定される（図３／ＳＴＥＰ０１４）。本発明の特徴であるこの判定処理の詳細について説明する。たとえば、図４（ａ）および（ｂ）のそれぞれに示されているような対象物領域Ｓを対象として主成分分析が実行される。すなわち、対象物領域Ｓを構成する各画素（高輝度画素。「○」で示されている。）の位置を表わす複数のベクトルｘ₁，ｘ₂，‥ｘ_nを代表する１本のベクトルが、矢印で示されている第１主成分（ベクトル）ｙ₁として公知の主成分分析にしたがって抽出される。そして、主成分ベクトルｙ₁の画像水平軸に対する傾斜角度が、基準角度をはさんで周期的に変化しているか否かに応じて、対象物が四足動物に該当するか否かが判定される。基準角度は図４（ａ）（ｂ）に破線で示されている基準軸の水平軸に対する傾斜角度であり、基準軸の画像鉛直軸に対する傾斜角度は画像水平軸に対する傾斜角度以上に設定されている。図４（ａ）に示されているように第１主成分ベクトルｙ₁が基準軸の上側にある状態と、図４（ｂ）に示されているように第１主成分ベクトルｙ₁が基準軸の下側にある状態とが周期的に繰り返される場合、対象物が四足動物に該当する判定される。図４（ａ）（ｂ）に示されている基準軸の水平軸に対する傾斜角度は０°であるが、基準軸の鉛直軸に対する傾斜角度以下であれば、すなわち、４５°以下であれば、５°、１０°または１５°等、任意に設定されてもよい。なお、対象物領域Ｓに代えて、図４（ｃ）（ｄ）に示されているようにこの対象物領域Ｓに細線化処理を施すことにより得られる細線を対象として第１主成分ベクトルｙ₁が抽出されてもよい。

そして、対象物が人間に該当すると判定された場合（図３／ＳＴＥＰ０１２‥ＹＥＳ）、または、対象物が四足動物に該当すると判定された場合（図３／ＳＴＥＰ０１４‥ＹＥＳ）、「通報処理」が実行される（図３／ＳＴＥＰ０１６）。これにより、スピーカ６から音声が出力される。また、対象物を囲むことによりこの対象物を強調表示するフレームがＨＵＤ７に表示される。その一方、対象物が人間および四足動物に該当しないと判定された場合（図３／ＳＴＥＰ０１２‥ＮＯ，ＳＴＥＰ０１４‥ＮＯ）、通報処理が実行されることなく対象物領域Ｓの抽出以降の処理が繰り返される（図３／ＳＴＥＰ００２等参照）。

前記機能を発揮する環境認識装置１によれば、対象物の姿勢を表わす第１主成分ベクトルｙ₁が抽出され、この主成分ベクトルｙ₁の水平軸に対する傾斜角度が基準角度をはさんで周期的に変化しているか否かに応じて、この対象物が四足動物に該当するか否かが判定される（図３／ＳＴＥＰ０１４，図４（ａ）〜（ｄ）参照）。「基準角度」は基準軸の水平軸に対する傾斜角度であり、「基準軸」の鉛直軸に対する傾斜角度は水平軸に対する傾斜角度以上となるような姿勢を有する軸である。歩行または走行している四足動物がその横方向から観察された場合、胴体前部が胴体後部よりも大きく上下に変位するため、胴体全体の水平方向に対する傾斜角度が周期的に変化する場合がある。このことに鑑みて、胴体の姿勢を表わす主成分ベクトルが抽出されることにより、前記手法にしたがって対象物が四足動物に該当するか否かが高精度で認識されうる。

なお、前記実施形態では環境認識装置は車両１０に搭載されていたが、他の実施形態として環境認識装置が撮像装置に接続される装置、または、撮像装置と一体的に構成されている装置として車両１０（四輪自動車）以外の乗り物に搭載されてもよいし、ユーザにより携帯または運搬されてもよい。

また、対象物の胴部が存在する画像領域（たとえば、横幅が縦幅（高さ）よりも大きく、かつ、実空間サイズが指定範囲に属するようなひとまとまりの高輝度領域）が対象物領域として抽出されてもよい。当該構成によれば、歩行または走行している四足動物がその横方向から観察された場合、胴体の姿勢が前記のように周期的に変化する場合があることに鑑みて、対象物としての胴体の姿勢を表わす主成分ベクトルが抽出されることにより、前記手法にしたがって対象物が四足動物（正確には四足動物の胴体）に該当するか否かが高精度で認識されうる。

本発明の環境認識装置の構成説明図環境認識装置が搭載されている車両の斜視図環境認識装置の機能を示すフローチャート主成分ベクトルの抽出方法に関する説明図

符号の説明

１‥画像処理ユニット（対象物抽出手段、対象物判定手段）、２Ｒ，２Ｌ‥赤外線カメラ（撮像装置）

Claims

撮像装置により得られた撮像画像を用いて環境を認識する環境認識装置であって、
前記撮像画像から対象物が存在する画像領域を対象物領域として抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された前記対象物領域から前記対象物の姿勢を表わす主成分ベクトルを抽出する主成分抽出手段と、
前記主成分抽出手段により抽出された前記主成分ベクトルの水平軸に対する傾斜角度が、鉛直軸に対する傾斜角度が水平軸に対する傾斜角度以上である基準軸の水平軸に対する傾斜角度である基準角度をはさんで周期的に変動しているか否かに応じて、前記対象物が四足動物に該当するか否かを判定する対象物種類判定手段とを備えていることを特徴とする環境認識装置。
請求項１記載の環境認識装置において、
前記主成分抽出手段が、前記対象物領域を対象として主成分分析を実行することにより前記主成分ベクトルを抽出することを特徴とする環境認識装置。
請求項１記載の環境認識装置において、
前記主成分抽出手段が、前記対象物領域に細線化処理を実行することにより細線を抽出し、前記細線を対象として主成分分析を実行することにより前記主成分ベクトルを抽出することを特徴とする環境認識装置。
請求項１記載の環境認識装置において、
前記対象物抽出手段が、前記対象物の胴部が存在する画像領域を前記対象物領域として抽出することを特徴とする環境認識装置。
請求項１〜４のうちいずれか１つに記載の環境認識装置において、
前記撮像装置とともに車両に搭載されていることを特徴とする環境認識装置。