JP2010073036A - 車両周辺監視装置 - Google Patents

Abstract

【課題】車両の左右旋回による左右側方画像におけるオプティカルフローの演算を簡素化し、移動物体認識のための画像処理の容易化を図れる車両周辺監視装置を提供する。
【解決手段】自車両Ｃの互いに異なる場所に設置された複数の撮像装置１によって撮影された側方画像Ｇｓをもとに、自車両の上方の仮想視点Ｂｐから見た俯瞰画像である車両周辺画像Ｇｆを生成する車両周辺画像生成手段２と、車両周辺画像中の特徴点Ｐを抽出すると共に同特徴点の動きベクトルを計算する特徴点抽出手段３と、特徴点の動きベクトルから自車両のヨーレイトωを算出するヨーレイト算出手段４と、側方画像を画面に表示可能なモニタ５と、側方画像中より抽出した特徴点Ｑのフローよりヨーレイト分を減じることで得られた補正特徴点Ｑ’に基づきモニタ画像内の対向物体に対する認識処理を行う対向物体認識手段６と、を具備した。
【選択図】図１

Description

本発明は、車両側方を撮像したノーズビュー画像をモニタの画面に側方画像として表示する車両用周辺監視装置、特に、必要時にのみ表示を行える車両用周辺監視装置に関する。

車両が道幅の狭い道路を走行中に交差点に進入した場合、運転席からは交差道路方向である左右側方域の見通しが悪いことが多い。そこで、車両が交差点に進入する際に、安全確認のため、車両の前部に組み込んだカメラ（ノーズビューカメラ）により車両前位置で左右側方領域の情景を撮像し、その左右側方画像を車両の運転席に設けたモニタに並列表示する車両用周辺監視装置が知られている。

例えば、特許文献１に開示されるノーズビューモニタ装置は、左右側方画像を車両の運転席に設けたモニタにて表示すると共に、側方画像より抽出した特徴点に対してオプティカルフローを計算する。ここでは、左右側方画像中における特徴点から、接近方向のベクトルをもつものだけを接近特徴点として選択し、これにより車両への接近物体を検出し、乗員に接近物体情報を報知する技術が開示される。
或いは、距離センサとカメラとを組み合わせて移動物体までの距離を計測する車両用カメラ装置も知られている（例えば、特許文献２を参照）。

更に、特許文献３には、自車両の周囲の映像を撮影手段で撮影し、撮影された映像を元に、自車両を俯瞰した画像を生成し、生成された画像上に、運転操作補助情報として、自車両の前方障害物に対する接触防止用の逆Ｌ字型ガイドと、自車両の駐車予定位置を示す駐車予定位置ガイドを表示手段に重畳して表示させる運転支援装置が開示される。この装置により、駐車操作のための初期位置の決定を実際の運転操作を通じて行うようにし、自車両の左前方に停車中の車両や障害物と、自車両との接触確認を駐車操作の事前におこなうようにした技術が開示される。

更に、特許文献３には、車両に搭載されるリアビューカメラの撮像画像を、仮想上視点位置から下を見下ろした画像に視点変換し、この視点変換画像を画面に表示するとき、車両後部の存在範囲を警告する警告線をこの変換画像に重ねて表示する車載カメラの撮像画像表示装置が開示される。この装置により、リアビューカメラの撮像画像を視点変換した画像を画面に表示して、自車両存在範囲を運転者に警告するようにした技術が開示される。

更に、特許文献４には、自車両の周囲の映像を撮影手段で撮影し、撮影された映像を元に、自車両を俯瞰した画像を生成し、生成された画像上に、運転操作補助情報として、自車両の前方障害物に対する接触防止用の逆Ｌ字型ガイドと、自車両の駐車予定位置を示す駐車予定位置ガイドを表示手段に重畳して表示させる運転支援装置が開示される。この装置により、駐車操作のための初期位置の決定を実際の運転操作を通じて行うことができる。また、自車両の左前方に停車中の車両や障害物と、自車両との接触確認を駐車操作の事前におこなうようにした技術が開示される。

特開２００５−２７６０５６号公報 特開２００１−３９２４８号公報 特開２００２−３１６６０２号公報 特開２００６−０２７３３４号公報

このように従来の車両用周辺監視装置では、特許文献２乃至４等に提案されているように、側方画像を車両の運転席に設けたモニタにて表示すると共に、運転者が走行安全性を容易に確保できるように、その側方画像中より特徴点を抽出し、特徴点のオプティカルフローに応じて移動物体をより容易に認識できるような画像処理を行っている。

ところで、車両前位置に設置され、側方領域の情景を撮像するカメラ（ノーズビューカメラ）は、車両の直進時や停車時には、図１３（ａ）のように左右の側方画像Ｐｌ、Ｐｒにおける対向車両の側方に向かう特徴点ａの速度ベクトルが車両速度に応じた値となる。しかし、車両の左右旋回時には、図１３（ｂ）のように、左右の側方画像Ｐｌ’、Ｐｒ’は互いに異なる速度変位の影響を受ける。このため、側方画像Ｐｌ’、Ｐｒ’の特徴点ａ’のオプティカルフローの演算が複雑化する。即ち、自車両がヨー回転ωｎしていると、左右の側方画像Ｐｌ’、Ｐｒ’に自車両のヨー回転ωｎの動きが重なり、画像処理ロジックを難しくしている。この場合、画像上の動きだけでは解決できないため、複雑な処理を必要とし、計算コストの増大を招くこととなり、ＥＣＵへの搭載を難しくしており、改善が望まれている。

なお、このような車両の左右旋回による左右側方画像Ｐｌ’、Ｐｒ’の速度変位が側方画像Ｐｌ’、Ｐｒ’の特徴点ａ’のオプティカルフローの演算を複雑化する点に関し、特許文献１乃至４の各技術では解決策を開示していない。
本発明は以上のような課題に基づきなされたもので、目的とするところは、車両の左右旋回による左右側方画像におけるオプティカルフローの演算を簡素化し、移動物体認識のための画像処理の容易化を図れる車両周辺監視装置を提供することにある。

本願請求項１に係る発明は、自車両の互いに異なる場所に設置された複数の撮像装置によって撮影された側方画像をもとに、前記自車両の上方の仮想視点から見た俯瞰画像である車両周辺画像を生成する車両周辺画像生成手段と、前記車両周辺画像中より特徴点を抽出すると共に同特徴点の動きベクトルを計算する特徴点抽出手段と、前記特徴点の動きベクトルから前記自車両のヨーレイトを算出するヨーレイト算出手段と、前記側方画像をモニタに表示する画像表示制御手段と、前記側方画像中より抽出した側方特徴点のフローより前記ヨーレイト分を減じることで得られた補正特徴点に基づき前記モニタの画像内の対向物体に対する認識処理を行う対向物体認識手段と、を具備したことを特徴とする。

本願請求項２に係る発明は、請求項１に記載の車両周辺監視装置において、前記撮像装置のうち車両の前部に取り付けられて車幅方向の視界を側方画像として撮像するノーズビューカメラを備え、前記対向物体認識手段は、前記側方画像中の側方特徴点を検出すると共に検出した側方特徴点の動きベクトルを計算する側方画像特徴点抽出手段と、前記側方画像中の側方特徴点のフローより前記ヨーレイト分を減じることで補正特徴点を作成する補正特徴点作成手段と、前記補正特徴点の動きベクトルから前記側方画像中の前記自車両に接近してくる方向のベクトルを有する物体を接近移動物体として検出する移動物体検出手段と、前記接近移動物体の前記側方画像中での画像領域を設定する物体画像領域設定手段と、を備え、前記画像表示制御手段は前記接近移動物体の画像領域を前記側方画像中に強調表示する、ことを特徴とする。

本願請求項３に係る発明は、請求項１に記載の車両周辺監視装置において、前記撮像装置のうち車両の前部に取り付けられて車幅方向の視界を側方画像として撮像するノーズビューカメラを備え、前記対向物体認識手段は、前記側方画像中の特徴点を検出すると共に検出した特徴点の動きベクトルを計算する側方画像特徴点抽出手段と、前記側方画像中の特徴点のフローより前記ヨーレイト分を減じることで補正特徴点を作成する補正特徴点作成手段と、前記補正特徴点の動きベクトルから前記側方画像中の前記自車両に接近してくる方向のベクトルを有する物体を接近移動物体として検出する移動物体検出手段と、前記検出された接近移動物体の補正特徴点を追跡する特徴点追跡手段と、前記追跡する補正特徴点から前記接近移動物体が該車両の正面を通過する時間を求める通過時刻計算手段とを具備したことを特徴としている。

請求項１の発明によれば、自車両周囲の画像をもとに俯瞰画像である車両周辺画像を生成し、同車両周辺画像中の位置特定可能な特徴点の動きベクトルから車両のヨーレイトを算出し、その上で、側方画像中で算出した特徴点のフローよりヨーレイト分を減じることで得られた補正特徴点に基づき、モニタ画像内の対向物体に対する認識処理を行うので、即ち、自車両のヨー回転の影響をクリアした補正特徴点で対向物体に対する認識処理ができるので、車載画像処理ロジックが比較的単純に成り、計算コストが低減され、ＥＣＵへの搭載が容易となる上に、安全運転を容易化できる。

請求項２の発明によれば、車両周辺画像から車両のヨーレイトを算出し、その上で、交差点等での自車両の左右旋回による側方画像のフローのずれがあっても、自車両のヨー回転の影響をクリアした補正特徴点を用いて、補正特徴点のオプティカルフローを計算する。このため、車載画像処理のロジックが単純になり、旋回時でも容易に補正側方画像中の側方特徴点のオプティカルフローを計算でき、動きベクトルの等しい特徴点のまとまりを１つの接近移動物体として認識し、接近移動物体の検出が確実に容易に行え、旋回時でも計算コストが低減され、ＥＣＵへの搭載が容易化される。

請求項３の発明によれば、車両周辺画像から車両のヨーレイトを算出し、その上で、交差点等での自車両の左右旋回による側方画像のフローのずれがあっても、自車両のヨー回転の影響をクリアした補正特徴点を用いて、補正特徴点のオプティカルフローを計算して接近移動物体の検出をすると共に、この計算によって求めた補正特徴点から接近移動物体が車両の正面を通過する通過予想時間を算出するので、移動物体が車両の前方を通過する時刻を確実に予想でき、旋回時でも計算コストが低減され、ＥＣＵへの搭載が容易化される。

以下、本発明の一実施形態に係る車両用周辺監視装置について説明する。
図１、２はこの実施形態に係る車両用周辺監視装置の要部概略構成図及び機能ブロック図を示した。
この車両用周辺監視装置は、車両Ｃ上での互いに異なる場所に設置され車両周囲の側方画像Ｇｓ（Ｇｓ１、Ｇｓ２等）が撮影される複数の撮像装置１ｎ、１ｓ、１ｒ（以後総称する場合は１と記す）と、車両周囲の側方画像Ｇｓをもとに自車両Ｃの上方の仮想視点Ｂｐ（不図示）から見た俯瞰画像である車両周辺画像Ｇｆ（図６（ａ）、（ｂ）参照）を生成する車両周辺画像生成手段２と、車両周辺画像中の特徴点Ｐ（Ｐ１、Ｐ２、Ｐ３・・：図６（ａ）、（ｂ）参照）の動きベクトルを計算する特徴点抽出手段３と、車両Ｃのヨーレイトωを算出するヨーレイト算出手段４と、側方画像Ｇｓ（Ｇｓ１、Ｇｓ２）を画面に表示可能なモニタ５と、側方画像中の対向物体認識処理を行う対向物体認識手段６とを備える。

ここで、車両Ｃには画像制御装置ＥＣＵが制御手段として搭載され、この画像制御装置ＥＣＵはマイクロコンピュータを主体とする電子制御ユニットにより構成される。なお、画像制御装置ＥＣＵには車速Ｖｃを入力する車速センサ１１、変速段情報Ｒｖ、Ｄを入力するインヒビタスイッチ１２、メインスイッチ２１、モニタ５が接続される。しかも、画像制御装置ＥＣＵは画像表示制御手段（モニタ制御手段）７の機能を基本的に備えると共に、ナビゲーション装置３０とモニタ５を兼用するよう接続される（図２参照）。
図２に示すように、画像制御装置ＥＣＵは、上述の車両周辺画像生成手段２と特徴点抽出手段３とヨーレイト算出手段４とモニタ５の画像表示制御手段（モニタ制御手段）７と対向物体認識手段６との各制御機能を備え、図３に示すアルゴリズムで、俯瞰映像である車両周辺画像Ｇｆに対する処理とノーズビューカメラ１ｎからの左右の前側方画像Ｇｓ１、Ｇｓ２に対する処理のための制御を行う。

図１、２に示すように、撮像装置１は車両Ｃの互いに異なる場所に複数設置され、車両Ｃの前端部に突出し状態で取付けられたノーズビューカメラ１ｎと、左右の車体側部外壁に取付けられて車両の左右側部画像を撮像する左右側部カメラ１ｓと、車両Ｃの後部の車体外壁に取付けられて車両の後方画像を撮像するリアビューカメラ１ｒとを備える。
ここでノーズビューカメラ１ｎは横向きカメラであり、図１に示すように、車両の前部の左右側方をそれぞれ撮像して左右の前側方画像Ｇｓ１、Ｇｓ２を取り込む機能を備える。なお、画像表示制御手段（モニタ制御手段）７は、図４に示すように、モニタ５の画面を左右２分割し、左右の前側方画像Ｇｓ１、Ｇｓ２をそれぞれ並列表示する機能を備え、ナビゲーション装置３０の駆動時にはナビ画像表示に切換わる。

次に、画像制御装置ＥＣＵが行う俯瞰映像に対する処理を説明する。
画像制御装置ＥＣＵの車両周辺画像生成手段２は、自車両Ｃの互いに異なる場所に設置されノーズビューカメラ１ｎからの左右前側方画像Ｇｓ１、Ｇｓ２と、左右側部カメラ１ｓからの左右側部画像と、リアビューカメラ１ｒからの後方画像とをもとに、自車両の上方の仮想視点Ｂｐ（不図示）から見た俯瞰画像である車両周辺画像Ｇｆ（図６（ａ）、（ｂ）にはモニタ５の画面に表示される車両周辺画像の一例を表示した）を生成する。

特徴点抽出手段３は俯瞰画像である車両周辺画像Ｇｆ（図４参照）をもとに、図６（ａ）、（ｂ）に示す特徴点Ｐ（Ｐ１．Ｐ２．Ｐ３）の抽出を行う。具体的には、車両周辺画像Ｇｆ中の、例えば画像信号レベル（輝度）や色相が、その周辺部と大きく異なるような位置特定可能な特徴点Ｐを抽出する。
この特徴点抽出アルゴリズムで用いる画像Ｉ、近傍領域Ｄ（ｐ）、画素ｐとは、図８に示す関係を有する。
まず、画像Ｉで、ｘ、ｙ各方向に対する偏微分画像∂Ｉ／∂ｘ、∂Ｉ／∂ｙを求める。次いで、画像Ｉで以下の式（ａ）のような画素ｐに対する空間勾配行列Ｇ（ｐ）を全画素で求める。

次いで、空間勾配行列Ｇ（ｐ）に対する固有値λｍｉｎ（ｐ）、λｍａｘ（ｐ）を計算し、特徴を有すると見られる所定の値を持つ、位置特定可能な点を抽出して、特徴点Ｐとする。なお、特徴点Ｐの選択の手法は、特開２００４−１９８２１１号公報に開示される手法を用いても良い。
次いで、特徴点追跡処理３−１（図２参照）がなされる。ここでは抽出した位置特定可能な特徴点Ｐに対してオプティカルフローを計算し、時間経過による特徴点の位置の変化を調整する。オプティカルフロー計算は多重解像度法を用いている。

ここで多重解像度法とは、一枚の画像に対して解像度の異なる何枚もの画像を階層的に準備し、粗い解像度の画像から順番にパターンマッチングを行い、オプティカルフローを求め、最終的には解像度の細かい画像でのオプティカルフローを求める手法であり、特開２００４−５６７６３号公報や、前述した特許文献１等に詳しく紹介されるとおりのものである。

言い換えると、図６（ａ）、（ｂ）、図７に示すように、基本的には所定の周期で撮像される連続した俯瞰画像である各車両周辺画像Ｇｆ（ここではＧｆａ、Ｇｆｂの総称）間における互いに共通する特徴点Ｐ（Ｐ１、Ｐ２、Ｐ３・・）の座標変化を検出することで、その特徴点Ｐが移動しているか否か判断する。更に、座標が変化している場合には、その移動（座標変化）の向きとその大きさがどの程度であるかをそれぞれ計算する。即ち、特徴点Ｐの移動方向と移動距離とをフローベクトル（図７参照）として算出することによってなされる。また、撮像した画像内の全領域においてフローベクトルが算出されて、画像内の移動物体の位置、移動方向等の情報を認識できるようになっている。
例えば、図６（ａ）、（ｂ）に示すように、車両Ｃが駐車区画域Ｅに向かう場合において、車両周辺画像Ｇｆ中より駐車区画域Ｅを囲む互いに直行する３つの直線、即ち、前しきい線Ｌ０とこれと交差する左右の駐車区画線Ｌ１、Ｌ２及び第３の駐車区画線Ｌ３を検出する。これに基づき前しきい線Ｌ０と駐車区画線Ｌ１、Ｌ２及び第３の駐車区画線Ｌ３とが交差した３つの点を特徴点Ｐ１、Ｐ２、Ｐ３（説明上代表する３点を用いる）として評価し、決定することとなる。なお、この３つの点を特徴点Ｐ１、Ｐ２、Ｐ３は一例で、車両周辺画像Ｇｆ中より複数抽出される。

次に、車両Ｃのヨーレイトωを算出するヨーレイト算出手段４を説明する。ここでは、特徴点の動きベクトルであるオプティカルフローから自車両のヨーレイトを算出する。
例えば、図６（ａ）、（ｂ）に示す車両周辺画像Ｇｆ（Ｇｆａ、Ｇｆｂ）における特徴点Ｐ１、Ｐ２、Ｐ３を用いて、車両Ｃのヨーレイトωを算出する。
この場合、図７に示すように、１の特徴点Ｐ１（ここで特徴点番号をｉとする）の車両周辺画像Ｇｆにおける画素［ｘ、ｙ］での動き［ｕｂ、ｖｂ］には以下の関係があり、オプティカルフローからヨーレートωは式（ｂ）より計算可能である。

［ｕｂ，ｖｂ］＝［ωｙ，−ωｘ−Ｖｃ］・・・・・（ｂ）
言い換えると、俯瞰映像である車両周辺画像Ｇｆ（Ｇｆａ、Ｇｆｂ）に対する特徴点抽出および特徴点追跡結果より、特徴点番号ｉの特徴点が、時刻ｔからｔ＋Δｔの間に、車両周辺画像Ｇｆ上で、
ｘ_ｉ ^（ｂ）（ｔ）＝［ｘ_ｉ ^（ｂ）（ｔ），ｙ_ｉ ^（ｂ）（ｔ）］^Ｔ
から ｘ_ｉ ^（ｂ）（ｔ＋Δｔ）＝［ｘ_ｉ ^（ｂ）（ｔ＋Δｔ），ｙ_ｉ ^（ｂ）（ｔ＋Δｔ）］^Ｔ
に移動したとする（たとえば、図６（ａ）、（ｂ）参照）。

このとき、特徴点番号ｉの特徴点Ｐの俯瞰映像である車両周辺画像Ｇｆ上の速度ベクトル：
ｖ_ｉ ^（ｂ）（ｔ）＝［ｕ_ｉ ^（ｂ）（ｔ），ｖ_ｉ ^（ｂ）（ｔ）］^Ｔ
は次のように計算される。

特徴点ｉは車両周辺画像Ｇｆにおいて、路面上にあり、自車両がヨーレイトω、速度Ｖで運動しているとすると、以下の関係が成立する。

（２）式からヨーレイトωは特徴点ｉの車両周辺画像Ｇｆ２上の位置のＹ成分ｙ_ｉ ^（ｂ）（ｔ）と、速度ベクトルのＸ成分ｕ_ｉ ^（ｂ）（ｔ）から以下のように求められる。

ここで、＾（ω）は推定ヨーレイト、Ｒは車両周辺画像Ｇｆ２上の路面にある特徴点番号の集合、‖●‖は集合の母数である。
なお、以下の式のように、最小二乗法からヨーレイトωを推定しても良い。

次に、画像制御装置ＥＣＵが行う俯瞰映像である左右側方画像Ｇｓ１、Ｇｓ２（図４，５参照）に対する処理を説明する。
画像制御装置ＥＣＵの対向物体認識手段６は、左右のノーズビューカメラ１ｎからの前部左右側方画像ＧＳ１、ＧＳ２（図４、図５参照）により、同画像ＧＳ１、ＧＳ２中の対向物体認識のための画像処理を行う。
ここで、図２に示すように、対向物体認識手段６は、側方画像特徴点抽出手段６ａと、補正特徴点作成手段６ｂと、移動物体検出手段６ｃと、物体画像領域設定手段６ｄとして機能する。

側方画像特徴点抽出手段６ａは左右側方画像ＧＳ１、ＧＳ２中における複数の側方特徴点Ｑ１、Ｑ２、Ｑ３を検出すると共に検出した特徴点の動きベクトルを計算する（オプティカルフローベクトルの算出）。
具体的には、ノーズビュー映像上の側方特徴点Ｑ１（ここで特徴点番号をｉとする）の追跡によって、時刻ｔにおける特徴点番号ｊの特徴点に対するノーズビュー映像上の速度ベクトルであるオプティカルフローベクトルを
‘ｖ’_ｊ ^（ｎ）（ｔ）＝［ｕ_ｊ ^（ｎ）（ｔ），ｖ_ｊ ^（ｎ）（ｔ）］^Ｔ として算出する。

このような速度ベクトル‘ｖ’_ｊ ^（ｎ）（ｔ）には、自車両がヨーレイトωを有するとき、ノーズビューカメラに映るノーズビュー映像には、ヨーレイト推定結果＾（ω）の影響が加わっている。
そこで、補正特徴点作成手段６ｂは、ノーズビュー映像（左右側方画像ＧＳ１、ＧＳ２）における時刻ｔにおける特徴点番号ｊの特徴点における、オプティカルフローベクトルである速度ベクトル‘ｖ’_ｊ ^（ｎ）（ｔ）より、以下のようにして、ヨーレイトωの影響をゼロクリアすることができる。

このような（５）式で、ヨーレイトω成分をクリアした速度ベクトル‘ｖ’_ｊ ^（ｎ）（ｔ）を用いれば、例えば特許文戴１に開示の処理を行えば、容易に接近物体に含まれる補正特徴点（接近特徴点と称呼する）だけを選択することが可能となる。
更に、移動物体検出手段６ｃは、オプティカルフローベクトルである速度ベクトル‘ｖ’_ｊ ^（ｎ）（ｔ）のうち左右側方画像ＧＳ１、ＧＳ２中における車両の進行方向へのベクトル成分を有するオプティカルフローベクトルに基づいて接近物体を検出する。

更に、物体画像領域設定手段６ｄは、オプティカルフローベクトルである速度ベクトル‘ｖ’_ｊ ^（ｎ）（ｔ）のうち左右側方画像ＧＳ１、ＧＳ２中における車両の進行方向へのベクトル成分を有するオプティカルフローベクトルに基づいて接近物体を検出する。即ち、特徴点番号ｊの特徴点を含む複数の側方特徴点（Ｑ１、Ｑ２、Ｑ３・・・）のまとまりを自車両に接近してくる接近移動物体として検出し、その接近移動物体の左右側方画像ＧＳ１、ＧＳ２中での画像領域Ｅｐを設定する。

具体的には、図４に示すような、左側方画像ＧＳ１（領域）におけるオプティカルフローベクトルのうち右方向のベクトル成分を有するオプティカルフローベクトルｂｙと、右側方画像ＧＳ２（領域）におけるオプティカルフローベクトルのうち左方向のベクトル成分を有するオプティカルフローベクトルｃｙとに基づいて接近物体を検出することとなる。
画像表示制御手段（モニタ制御手段）７は、図４に示すように、モニタ５の画面を左右２分割し、左右の前側方画像Ｇｓ１、Ｇｓ２をそれぞれ並列表示すると共に、特に、接近移動物体の画像領域Ｅｐをモニタ５の画面における左右側方画像ＧＳ１、ＧＳ２中に強調表示する（図８参照）。

この場合、接近移動物体の画像領域Ｅｐすべて、あるいは、画像領域Ｅｐの外郭部分を赤色表示すると共に、照度を一定周期で増減切換え、運転者の認識を容易化する。

次に、図１の車両用周辺監視装置の画像制御装置ＥＣＵが行う表示制御処理を図１０の画像表示制御ルーチンのフローチャートと共に説明する。
ここで、基本的に画像制御装置ＥＣＵはナビゲーション装置３０のモニタ５を兼用しており、メインスイッチ２１のオンによりステップｓ１に達する。

ステップｓ１ではナビゲーション装置３０からのナビ画像の表示を行い、ステップｓ２に進む。ここで車速Ｖｃが徐行速度Ｖｃ１、例えば、１０Ｋｍ／Ｈ以下か判断し、Ｎｏでは定常走行時と見做して、そのまま、ステップｓ１にリターンする。
一方、徐行速度Ｖｃ１以下でステップｓ３に達すると、ここでは現段がリバース段Ｒｖか判断し、Ｙｅｓでステップｓ４に、そうでなく、前進徐行ではステップｓ５に進む。
リバース段Ｒｖでステップｓ４に達すると、車両周辺画像生成手段２が作成した、即ち、ノーズビューカメラ１ｎの左右前側方画像Ｇｓ１、Ｇｓ２と、左右側部カメラの左右側部画像と、リアビューカメラ１ｒの後方画像に基づく俯瞰画像である車両周辺画像Ｇｆ（図６（ａ）、（ｂ）参照）をモニタ５の画面にナビ画面に代えて表示処理し、ステップｓ１にリターンする。

これにより、運転者は車両Ｃの駐車時等の後方移動時に、俯瞰画像である車両周辺画像Ｇｆを用いて、周囲の対向物体との干渉を避けて容易に駐車処理できる。
一方、ＤレンジやＮレンジでステップｓ５に達すると、ここでは、交差点に接近し徐行する車両が、交差道路Ｒｄ１側の対向車両（図４、５中の符号ＣＯ参照）を確認する必要があると見做し、モニタに左右前側方画像Ｇｓ１、Ｇｓ２の表示処理を行う。
次いで、ステップｓ６で車両周辺画像生成手段２が作成した俯瞰画像である車両周辺画像Ｇｆデータを取り込み、特徴点抽出手段３が車両周辺画像Ｇｆ（データ上での処理）をもとに、位置特定可能な特徴点Ｐの抽出を行う。例えば、図１中の道幅表示線の交差により得られる位置特定可能な特徴点Ｐ１ｈ、Ｐ２ｈを抽出する。

更に、ステップｓ７では、特徴点追跡処理３０１（図２参照）がなされ、抽出した特徴点Ｐ（Ｐ１ｈ、Ｐ２ｈ）に対してオプティカルフローを計算する。次いで、ステップｓ８ではヨーレイト算出手段４として機能し、特徴点Ｐ（Ｐ１ｈ、Ｐ２ｈ）の動きベクトルであるオプティカルフローから、即ち、車両周辺画像Ｇｆ（データ上での処理）における特徴点Ｐ（Ｐ１ｈ、Ｐ２ｈ）を用いて、車両Ｃの推定ヨーレイト＾（ω）を算出する。

次いで、ステップｓ９に達すると、側方画像特徴点抽出手段６ａが左右側方画像ＧＳ１、ＧＳ２（図４、５参照）中における複数の側方特徴点Ｑ１、Ｑ２、Ｑ３・・を検出すると共に検出した側方特徴点の動きベクトルを計算（オプティカルフローベクトルの算出）する。即ち、オプティカルフローベクトルを
‘ｖ’_ｊ ^（ｎ）（ｔ）＝［ｕ_ｊ ^（ｎ）（ｔ），ｖ_ｊ ^（ｎ）（ｔ）］^Ｔ
として算出する。

このような速度ベクトル‘ｖ’_ｊ ^（ｎ）（ｔ）には、ヨーレイト推定結果＾（ω）の影響が加わっている。
そこで、ステップｓ１０に達すると、補正特徴点作成手段６ｂがヨーレイトωの影響をゼロクリアする処理を上述の（５）式を用いて行う。
このような（５）式で、ヨーレイトω成分をクリアした速度ベクトル‘ｖ’_ｊ ^（ｎ）（ｔ）を用い、移動物体検出手段６ｃが、オプティカルフローベクトルである速度ベクトル‘ｖ’_ｊ ^（ｎ）（ｔ）のうち、特徴点番号ｊの特徴点を含む複数の補正特徴点（Ｑ１’、Ｑ２’、Ｑ３’・・・）のまとまりを自車両に接近してくる物体を接近移動物体として検出する。その上で、物体画像領域設定手段６ｄが接近移動物体の左右側方画像ＧＳ１、ＧＳ２中での画像領域Ｅｐ（図４（ａ）参照）を設定する。

次いで、ステップｓ１１に達すると画像表示制御手段７の機能として、接近移動物体の画像領域Ｅｐをモニタ５の画面における左右側方画像ＧＳ１、ＧＳ２中に強調表示処理する（図８参照）。即ち、接近移動物体の画像領域Ｅｐを赤色表示すると共に、照度を一定周期で増減切換え、運転者の認識を容易化し、運転者に対向道路の対向車両に対する注意を促し、ステップｓ１にリターンする。なお、ステップｓ１１での処理に加え、不図示のブザーを駆動して、より運転者の認識を容易化しても良い。

このように、図１の車両用周辺監視装置は、自車両Ｃ周囲の俯瞰画像である車両周辺画像Ｇｆを生成し、同車両周辺画像Ｇｆ中の特徴点Ｐの動きベクトルから車両のヨーレイトωを算出し、その上で、側方画像ＧＳ１、ＧＳ２中で算出した側方特徴点Ｑのフロー（オプティカルフローベクトル‘ｖ’_ｊ ^（ｎ）（ｔ））よりヨーレイトω分を減じることで得られた補正特徴点Ｑ’に基づき、モニタ画像内の対向物体に対する認識処理を行うので、即ち、側方特徴点Ｑの位置情報より自車両のヨー回転の影響をクリアした補正特徴点（Ｑ１’、Ｑ２’、Ｑ３’・・・）で対向物体に対する認識処理ができる。このため、図１に２点鎖線で示すように、交差点に旋回状態で進入した時でも、車載画像処理ロジックが比較的単純に成り、計算コストが低減され、ＥＣＵへの搭載が容易となる上に、安全運転を容易化できる。

図１の車両用周辺監視装置の対向物体認識手段６は、接近移動物体の側方画像中での画像領域Ｅｐを設定し、その画像領域Ｅｐを側方画像ＧＳ１、ＧＳ２中に強調表示したが、これに代えて、図１１に示すような対向物体認識手段６Ａのみを代えた車両用周辺監視装置を構成しても良い。
この場合、対向物体認識手段６Ａは図２の対向物体認識手段６と同様の、側方画像特徴点抽出手段６ａと、補正特徴点作成手段６ｂと、移動物体検出手段６ｃに加え、特徴点追跡手段６ｅと、通過時刻計算手段６ｆとの機能を備える。

特徴点追跡手段６ｅは検出された接近移動物体の補正特徴点（Ｑ１’、Ｑ２’、Ｑ３’・・・）を追跡する。この際、図５に示すように、特徴点Ｐのフロー（オプティカルフローベクトル‘ｖ’_ｊ ^（ｎ）（ｔ））より接近移動物体が自車両Ｃの正面を通過する方向と見做される補正特徴点（Ｑ１’、Ｑ２’、Ｑ３’・・・）の一つを選択し、追跡する。更に、動くベクトルが検出されない特徴点については、建物等の固定物（背景）であるとして認識処理対象から排除する。

次いで、通過時刻計算手段６ｆは追跡する補正特徴点（Ｑ１’、Ｑ２’、Ｑ３’・・・）の一つから接近移動物体が自車両Ｃの正面を通過する予想通過時刻ｔｃを求める。

この特徴点追跡手段６ｅ及び通過時刻計算手段６ｆの制御処理は、特開２００６−２５３９３２号公報等に詳しく紹介されるとおりのものを用いることが出来る。
なお、画像表示制御手段６は、接近移動物体の画像領域Ｅｐをモニタ５の画面における左右側方画像ＧＳ１、ＧＳ２中に強調表示処理する。即ち、接近移動物体の画像領域Ｅｐを赤色表示すると共に、照度を一定周期で増減切換え、運転者の認識を容易化し、運転者に対向道路の対向車両に対する注意を促すこととなる。

なお、図１２には対向物体認識手段６Ａの画像制御装置ＥＣＵが行う画像表示処理のフローチャートを示した。ここでステップｓ１乃至ステップｓ１０は図１０と同一処理であり、重複説明は略す。ここでステップｓ１０からステップｓ１１ａに達する。ここでは、接近移動物体の補正特徴点（Ｑ１’、Ｑ２’、Ｑ３’・・・）を追跡する。次いで、ステップｓ１１ｂでは追跡する補正特徴点（Ｑ１’、Ｑ２’、Ｑ３’・・・）から接近車両の予想通過時刻ｔｃを求める。次いで、ステップｓ１１ｃでは予想通過時刻ｔｃが所定の通過想定時刻Ｔｈより早いか判断し、遅いとそのままステップｓ１にリターンし、早いと、ステップｓ１１ｄで、接近移動物体の画像領域Ｅｐをモニタ５の画面における左右側方画像ＧＳ１、ＧＳ２中に強調表示処理し、ステップｓ１にリターンする。即ち、接近移動物体の画像領域Ｅｐを赤表示し、運転者の認識を容易化できる。

このように、交差点に旋回状態で進入した時でも正確に、接近移動物体の補正特徴点（Ｑ１’、Ｑ２’、Ｑ３’・・・）から接近移動物体が該車両の正面を通過する予想通過時刻ｔｃを精度よく求めることが出来る。更に、予想通過時刻ｔｃが所定の通過想定時刻Ｔｈより早いと、接近移動物体の画像領域Ｅｐを強調表示処理するので、接近移動物体を運転者が容易に認識でき、安全走行を行える。車載画像処理ロジックが比較的単純に成り、計算コストが低減され、ＥＣＵへの搭載が容易となる。

以上、本発明の車両用周辺監視装置を説明したが、具体的な構成については、実施の形態に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

本発明の一実施形態としての車両用周辺監視装置を備えた車両の概略構成図である。 図１の車両用周辺監視装置の制御機能部を表すブロック図である。 図１の車両用周辺監視装置の制御におけるアルゴリズムを説明する図である。 図１の車両用周辺監視装置のモニタが表示する側方画像の特徴点を説明する概略図である。 図１の車両用周辺監視装置のモニタが表示する側方画像において接近車両の接近時刻算出で用いる速度ベクトルの説明図である。 図１の車両用周辺監視装置のモニタが表示する車両の駐車時における俯瞰画像で、（ａ）は駐車中の１時点での画像を、（ｂ）は所定制御周期の経過時点での画像を示す。 図１の車両用周辺監視装置のモニタが表示する複数の特徴点の各速度ベクトルの説明図である。 図１の車両用周辺監視装置のモニタが表示する側方画像中の移動物体を強調表示する場合を説明する概略図である。 は特徴点抽出アルゴリズムで用いる画像Ｉ、近傍領域Ｄ（ｐ）、画素ｐの関係を示す説明図である。 図１の車両用周辺監視装置が行う画像表示制御ルーチンのフローチャートである。 他の実施形態である車両用周辺監視装置の制御機能部を表すブロック図である。 他の実施形態である車両用周辺監視装置が行う画像表示制御ルーチンのフローチャートである。 従来の車両が表示する側方画像の説明図で、（ａ）は直進時の画像を、（ｂ）は旋回時の画像を示す。

符号の説明

１ 撮像装置
１ｎ ノーズビューカメラ
１s 側方カメラ
１ｒ リアビューカメラ
２ 車両周辺画像生成手段
３ 特徴点抽出手段
４ ヨーレイト算出手段
５ モニタ
５０１ モニタ制御手段
６、６Ａ 対向物体認識手段
６ａ 側方画像特徴点抽出手段
６ｂ 補正特徴点作成手段
６ｃ 移動物体検出手段
６ｆ 特徴点追跡手段
６ｇ 通過時刻計算手段
７ 画像表示制御手段
１１ 車速センサ
２０ ナビゲーション装置
ω ヨーレイト
＾（ω） 推定ヨーレイト
ｔｃ 予想通過時刻
Ｂｐ 仮想視点
Ｃ 車両
Ｅｐ 画像領域
ＥＣＵ 画像制御装置
Ｇｆ 車両周辺画像
Ｇｓ 側方画像
Ｇｓ１、Ｇｓ２ 左右の前側方画像
Ｇｆ 車両周辺画像
Ｐ、Ｐ１、Ｐ２、Ｐ３ 特徴点
Ｑ１、Ｑ２、Ｑ３ 側方特徴点
Ｑ１’、Ｑ２’、Ｑ３’ 補正特徴点
‘ｖ’ 特徴点の速度ベクトル
Ｖｃ 車速

Claims (3)

1. 自車両の互いに異なる場所に設置された複数の撮像装置によって撮影された側方画像をもとに、前記自車両の上方の仮想視点から見た俯瞰画像である車両周辺画像を生成する車両周辺画像生成手段と、
   前記車両周辺画像中より特徴点を抽出すると共に同特徴点の動きベクトルを計算する特徴点抽出手段と、
   前記特徴点の動きベクトルから前記自車両のヨーレイトを算出するヨーレイト算出手段と、
   前記側方画像をモニタに表示する画像表示制御手段と、
   前記側方画像中より抽出した側方特徴点のフローより前記ヨーレイト分を減じることで得られた補正特徴点に基づき前記モニタの画像内の対向物体に対する認識処理を行う対向物体認識手段と、
   を具備したことを特徴とする車両周辺監視装置。
2. 請求項１に記載の車両周辺監視装置において、
   前記撮像装置のうち車両の前部に取り付けられて車幅方向の視界を側方画像として撮像するノーズビューカメラを備え、
   前記対向物体認識手段は、
   前記側方画像中の側方特徴点を検出すると共に検出した側方特徴点の動きベクトルを計算する側方画像特徴点抽出手段と、
   前記側方画像中の側方特徴点のフローより前記ヨーレイト分を減じることで補正特徴点を作成する補正特徴点作成手段と、
   前記補正特徴点の動きベクトルから前記側方画像中の前記自車両に接近してくる方向のベクトルを有する物体を接近移動物体として検出する移動物体検出手段と、
   前記接近移動物体の前記側方画像中での画像領域を設定する物体画像領域設定手段と、を備え、
   前記画像表示制御手段は前記接近移動物体の画像領域を前記側方画像中に強調表示する、ことを特徴とする車両周辺監視装置。
3. 請求項１に記載の車両周辺監視装置において、
   前記撮像装置のうち車両の前部に取り付けられて車幅方向の視界を側方画像として撮像するノーズビューカメラを備え、
   前記対向物体認識手段は、
   前記側方画像中の側方特徴点を検出すると共に検出した特徴点の動きベクトルを計算する側方画像特徴点抽出手段と、
   前記側方画像中の側方特徴点のフローより前記ヨーレイト分を減じることで補正特徴点を作成する補正特徴点作成手段と、
   前記補正特徴点の動きベクトルから前記側方画像中の前記自車両に接近してくる方向のベクトルを有する物体を接近移動物体として検出する移動物体検出手段と、
   前記検出された接近移動物体の補正特徴点を追跡する特徴点追跡手段と、
   前記追跡する補正特徴点から前記接近移動物体が該車両の正面を通過する時間を求める通過時刻計算手段とを具備したことを特徴としている。

Images