JP4259368B2

JP4259368B2 - ノーズビューモニタ装置

Info

Publication number: JP4259368B2
Application number: JP2004091666A
Authority: JP
Inventors: 高広前村; 将弘池山; ドゥルカンエムルラー
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2004-03-26
Filing date: 2004-03-26
Publication date: 2009-04-30
Anticipated expiration: 2024-03-26
Also published as: JP2005276056A

Description

本発明は、ノーズビューカメラの撮像画像を表示するとともに、撮像画像のオプティカルフローベクトルを検出するノーズビューモニタ装置に関する。

従来より、車両のノーズ（前端）部に左右側方を撮像する撮像カメラを設け、撮像した画像（いわゆるノーズビュー画像）をモニタ装置等に表示して、乗員の肉眼目視の補助を行う技術が開発されている。このような技術においては、一般に、撮像画像を表示するモニタ装置がテレビ画像やカーナビゲーション画像（ナビ画像）等を表示する車載モニタと兼用されるようになっており、車両の走行時にはテレビ画像やナビ画像が表示され、車両が交差点やＴ字路に差し掛かって一時停止したときには自動的にノーズビュー画像の表示に切り換わるようになっている。

また、特許文献１には、車両前部に取り付けられて左右側方の画像を撮像しそれを車室内のモニタ装置（ディスプレイ）に表示する車両用カメラ装置において、車両の停止以前又は所定の低速度走行になる以前に、車速や減速度の大きさに応じて、装置を自動的にオン作動させる構成が記載されている。このような構成によれば、例えば、車両が交差点に差しかかり運転者が左右確認を行おうとしたときには、一時停止するより以前に装置をオン作動させてノーズ部からの左右側方の撮像画面をディスプレイに映し出すことができ、運転者は余裕を持ってスピーディかつスムーズに左右確認を行うことができ、一方、渋滞によるノロノロ運転時には装置をオン作動させず、テレビ画像やナビ画像等を妨げないようにすることができるようになっている。

一方、このようなモニタ装置の撮像画像において、撮像画像内における移動物体をオプティカルフローを利用して検出する技術も開発されている。オプティカルフローとは、画像上の２次元速度ベクトル場、すなわち、動画像中の運動物体の見かけの速度場のことである。このような技術では、例えば、所定周期で撮像された連続する２枚の画像間において、同一の対象物として認識可能な点を特徴点として設定（演算処理によって検出）し、この特徴点の移動（移動方向と移動距離）をベクトル（このベクトルがオプティカルフローベクトルであり、単にフローベクトルとも称され、また、このベクトルのことがオプティカルフローと称されることもある）として算出する。そして、撮像した画像内の全領域において、この特徴点とフローベクトルとを算出することで、画像内の移動物体の位置，移動方向等の情報を認識できるようになっている。

また、例えば、特許文献２には、車両の走行方向（車両の進行方向である前方）の撮像画像のオプティカルフローを求める演算処理において、画像上における道路外の風景に相当する領域を省いて演算を行う構成が記載されている。具体的には、画像上の無限遠点から画面の下方両隅部に引いた直線によって囲まれる下方部分と無限遠点の周辺の部分とを含む領域についてのみ、オプティカルフローを求めるようになっている。これにより、画像内の全領域においてオプティカルフローを求めるのに比較して、演算量を削減することができ、処理時間を短縮して高速化することができるようになっている。
特許第３２８７８１７号公報特許第３３９８９３４号公報

ところで、車両の左右側方を撮像したノーズビュー画像から、オプティカルフローを利用して自車両へ接近する車両等の移動物体を認識することを考えた場合、自車両が停止した状態であれば、自車両に対する相対位置を変化させない対象（例えば、建造物や街路樹等といった画像中の背景の部分）にはフローベクトルが発生せず、実際に移動した物体にのみフローベクトルが発生することになる。つまり、フローベクトルの発生した場所に移動物体が存在するということになり、フローベクトルの有無によって正確に移動物体を検出することができる。

しかし、一般にノーズビュー画像が必要とされる状況は、見通しの悪い交差点やＴ字路への進入時であり、このような状況では、車両の乗員がノーズビュー画像を見て左右側方を確認しながら車両をゆっくり前進させる操作が行われることが多い。このように、自車両が移動している状態では、ノーズビュー画像のアングル（構図）自体が動いてしまうため、画像中の背景をなす建造物や街路樹等の実際には移動していない対象にもフローベクトルが発生することになり、背景を移動物体として検出してしまう、という課題がある。また、このようにアングル自体が動いている画像の中から、自車両に接近する移動物体のみを抽出して検出することも困難である。

本発明はこのような課題に鑑み案出されたもので、シンプルなロジックで、車両のノーズ部分の側方の接近物体を精度よく検出できるようにして、乗員に接近物体情報を報知することができるようにした、ノーズビューモニタ装置を提供することを目的とする。

上記目的を達成するため、本発明のノーズビューモニタ装置（請求項１）は、車両のノーズ前面に設けられて車両の左右両側方の領域の画像を撮像する撮像手段と、該画像に基づきオプティカルフローベクトルを算出するオプティカルフローベクトル算出手段と、該オプティカルフローベクトル算出手段により算出された上記の左側方領域におけるオプティカルフローベクトルのうち右方向のベクトル成分を有するオプティカルフローベクトルと、上記の右側方領域におけるオプティカルフローベクトルのうち左方向のベクトル成分を有するオプティカルフローベクトルとに基づいて接近物体を検出する接近物体検出手段と、該画像を表示するとともに該接近物体の検出を報知する報知手段と、該車両の車両速度を検出する車両速度検出手段とを備え、該接近物体検出手段は、該車両速度が予め設定された所定値よりも大きいときに、該接近物体の検出を停止することを特徴としている。

また、該報知手段は、該車両の進行方向へのベクトル成分を有するオプティカルフローベクトルの大きさに応じた複数の報知態様を切り換えて、該画像を表示するとともに該接近物体の検出を報知することが好ましく（請求項２）、または、該報知手段は、該車両の進行方向へのベクトル成分を有するオプティカルフローベクトルの数に応じた複数の報知態様を切り換えて、該画像を表示するとともに該接近物体の検出を報知することが好ましい（請求項３）。

また、該車両の操舵角を検出する操舵角検出手段を備え、該接近物体検出手段は、該操舵角が予め設定された所定値よりも大きいときに、該接近物体の検出を停止することが好ましく（請求項４）、さらに、該報知手段は、該接近物体検出手段が該接近物体の検出を停止したことを報知することが好ましい（請求項５）。

本発明のノーズビューモニタ装置（請求項１）によれば、車両の左側方領域と右側方領域とにおける自車両への接近物体の認識をシンプルな制御ロジックで容易かつ正確にすることができる。また、自車両への接近物体の認識にかかるオプティカルフローの演算量を削減させることができる。さらに、車両が低速で移動した場合であっても撮像した画像における背景画像の移動を自車両への接近物体と誤認識することを防止でき、正確に移動物体を検出して、検出精度を向上させることができる。したがって、自車両への接近物体の誤報知を低減させることができる。
また、大きな車両速度での移動による接近物体の誤認識，誤報知を低減できる。そのため、結果的にオプティカルフローによる接近物体の検出精度を向上させることができる。

また、本発明のノーズビューモニタ装置（請求項２，３）によれば、オプティカルフローベクトルの大きさ，数に応じた複数の報知態様を切り換えることによって、自車両への接近物体の危険度を判定することができ、危険度に応じた効果的な報知を行うことができるようになり、安全性を向上させることができる。

また、本発明のノーズビューモニタ装置（請求項４）によれば、大きな操舵角での移動による接近物体の誤認識，誤報知を低減できる。そのため、結果的にオプティカルフローによる接近物体の検出精度を向上させることができる。

また、本発明のノーズビューモニタ装置（請求項５）によれば、誤認識防止のための接近物体の検出の停止を、乗員へ報知することができ、乗員の接近物体への注意を促して、安全性をより向上させることができる。

以下、図面により、本発明の実施の形態について説明する。
図１〜図５は、本発明の一実施形態としてのノーズビューモニタ装置を示すもので、図１は本装置を備えた車両を示す模式的構成図、図２は本装置によるモニタ表示例としての表示画面内容の模式図、図３は本装置における制御を説明するためのフローチャート、図４は本装置の接近物体検出手段における演算処理を説明するための模式図、図５は本装置におけるノーズビューカメラの撮像領域を示す模式的平面図である。

図１を参照すれば、本発明のノーズビューモニタ装置１を搭載した車両２が示されている。車両２は、車両の左右側方を撮像するノーズビューカメラ（撮像手段）３，車両２の走行速度信号を検出する車速センサ（車両速度検出手段）４，ノーズビューカメラ３の作動スイッチとしてのノーズカメラスイッチ６，乗員によるステアリングホイールの操舵角（又は操舵輪の舵角）信号を検出する操舵角センサ（操舵角検出手段）７，電子制御ユニット（ＥＣＵ）１０及びノーズビューカメラによって撮像された画像を表示するためのモニタ（報知手段）５を備えて構成されている。

ノーズビューカメラ３は、車両２のノーズ（前端）部の左右端部に一対設けられており、車両の左側方と右側方とを同時に撮像することができるようになっている。
また、モニタ５は、ノーズビューカメラ３で撮像された左右側方の画像を表示するようになっている。本実施形態では、図２に示すように、車両２の右側方の画像をモニタ画面における右半分の領域に表示すると同時に、車両２の左側方の画像をモニタ画面における左半分の領域に表示するようになっている。これにより、乗員は車両の左右側方を同時に確認することができるようになっている。

左右各々のノーズビューカメラ３によって撮像される領域は、本実施形態においては、図５に示すように、車両２の車幅方向の左右側方であって、車両２の進行方向に対して垂直な方向よりも僅かに前方を指向するようになっている。これにより、車両２の左側方の画像内においては、車両の進行方向が画像上の右側方向となり、一方、右側方の画像内においては、車両の進行方向が画像上の左側方向となる。また、図２に示すように、左側方の画像内において車両２の前方道路を車両２に接近しつつある車両２１は、画像上では右方向へ移動しながら拡大するように表示されることになり、一方、右側方の画像内において車両２の前方道路を車両２に接近しつつある車両２２は、画像上では左方向へ移動しながら拡大するように表示されることになる。

車速センサ４は、車輪の回転数情報を検出し、その回転数情報をＥＣＵ１０へ入力するようになっている。また同様に、操舵角センサ７は、乗員によって操舵されたステアリングホイールの操舵角情報を検出し、それをＥＣＵ１０へ入力するようになっている。なお、ＥＣＵ１０は、入力された車輪の回転数情報に基づいて車両２の走行速度Ｖを算出するとともに、操舵角情報に基づいて操舵輪の舵角θを算出するようになっている。

ノーズカメラスイッチ６は、ノーズビューカメラ３の作動のオン／オフを切り換えるスイッチになっており、ノーズカメラスイッチ６がオフに操作されているときにはノーズビューカメラ３が作動しないようになっている。また、ノーズカメラスイッチ６がオンに操作されているときには、所定の条件（ノーズビューカメラ作動条件）が成立するとノーズビューカメラ３が作動するようになっている。

ノーズビューカメラ作動条件とは、例えば、ＥＣＵ１０で算出された車両２の走行速度Ｖが予め設定された所定速度Ｖ₀（ごく低速の状態に対応する速度であり、例えば５ｋｍ／ｈ）よりも小さく、かつ、操舵輪の舵角θが予め設定された所定角度θ₀よりも小さい（すなわち、ハンドルの操舵状態がニュートラルの状態に近い）こと、となっている。
なお、モニタ５は、ノーズビューカメラ３が作動しているときにはその撮像画像を表示するが、ノーズビューカメラ３が作動していないときには別の画像、例えばテレビ画像やカーナビゲーション画像を表示する、一般的な車載モニタとして機能するようになっている。

つまり、通常の走行時において、テレビ画像やカーナビゲーション画像を継続的に表示させた状態で、ノーズカメラスイッチ６がオンになっていれば、車両２が交差点やＴ字路へ進入しようとするとき、舵角θが所定角度θ₀よりも小さいまま所定速度Ｖ₀より車両の速度が減速した時点で、自動的にノーズビューカメラ３が作動し、左右側方の画像がモニタ５に表示されるようになっている。つまり、乗員が意識しなくても、自動的に画像がテレビ画像やカーナビゲーション画像から左右側方の画像に切り換わるようになっている。また、舵角θが所定角度θ₀以上のときや走行速度Ｖが所定速度Ｖ₀以上のときには、ノーズビューカメラ３が作動せず、一般的な車載モニタとしてテレビ画像やカーナビゲーション画像の表示を継続するようになっている。

なお、所定速度Ｖ₀及び所定角度θ₀の大きさは、ノーズビューカメラ３の撮像画像における背景部分のフローベクトルの大きさとの兼ね合いで設定されるものであり、これについては後述する。
また、ノーズカメラスイッチ６をオフにしておけば、上述のノーズビューカメラ作動条件が成立したとしても、ノーズビューカメラ３を作動させないことができるようになっている。

ＥＣＵ１０は、ノーズビューカメラ３で撮像された左右側方の各々の撮像画像のオプティカルフローを算出して、自車両へ接近する移動物体を検出することができるようになっている。まず、ＥＣＵ１０は、撮像画像のオプティカルフローを算出するオプティカルフロー算出部（オプティカルフローベクトル算出手段）１１と、オプティカルフロー算出部１１で算出されたオプティカルフローベクトルに基づいて自車両への接近物体を検出する接近物体検出部（接近物体検出手段）１２と、これらの算出，検出結果を出力する出力部１３とを備えて構成されている。なお、以下の説明では、各オプティカルフローベクトルについては、単にフローベクトルと呼び、これらのフローベクトルの集合体については、オプティカルフローと呼ぶことにする。

オプティカルフロー算出部１１は、ノーズビューカメラ３が撮像した左右側方の各々の画像のオプティカルフローを個別に算出するようになっており、左側方の画像（すなわち、図２における左半分の領域の画像）のオプティカルフローは左側方領域オプティカルフロー算出部１１Ａにおいて、右側方の画像（すなわち、図２における右半分の領域の画像）のオプティカルフローは右側方領域オプティカルフロー算出部１Ｂにおいて、それぞれ算出されるようになっている。なお、オプティカルフローの算出については、ノーズビューカメラ３が撮像した画像のうち連続する２枚の画像間において、同一の対象物に対応する点を特徴点として算出（演算処理によって検出）し、この特徴点の移動方向と移動距離とをフローベクトルとして算出する方法が用いられるようになっている。また、撮像した画像内の全領域においてフローベクトルが算出されて、画像内の移動物体の位置，移動方向等の情報を認識できるようになっている。

接近物体検出部１２は、オプティカルフロー算出部１１で算出されたフローベクトルに基づいて、車両２へ接近する物体を検出するようになっている。具体的には、左右側方の画像中において、車両２の進行方向側への勾配を有するフローベクトルに基づいて、自車両２への接近物体を検出するようになっている。例えば、左側方の画像では、画像上で右方向のベクトル成分を有するフローベクトルを抽出し、一方、右側方の画像では、画像上で左方向のベクトル成分を有するフローベクトルを抽出する。そして、抽出されたフローベクトルが、車両２に接近する接近物体（すなわち、フローベクトルを有する移動物体のうち、自車両２に接近する物体）によるフローベクトルであると判断し、接近物体を認識するようになっている。

つまり、単にオプティカルフローを利用して移動物体を認識しただけでは、その移動物体が自車両２に接近しているかどうかを判断することが困難であるが、本実施形態においては、接近物体検出部１２が、オプティカルフロー算出部１１で認識された移動物体のうち、自車両２へ接近する物体のフローベクトルを、それが存在する領域とその方向とに基づいて抽出，選別して認識することで、自車両２に対して接近している、ひいては、自車両２にとって危険である可能性のある移動物体を認識するようになっているのである。

また、出力部１３は、接近物体検出部１２が自車両２への接近物体を検出したときに、モニタ５上に接近物体が検出されたことを表示するとともに、音声等によって乗員へ報知するようになっている。ここで、出力部１３は、接近物体検出部１２で検出された車両２の進行方向側への勾配を有するフローベクトルの大きさと数とに基づいて、複数の報知態様を切り換えて、画像を表示するとともに接近物体の検出を報知するようになっている。

つまり、車両２の進行方向側への勾配を有するフローベクトルの大きさに着目すれば、そのフローベクトルが大きい場合には、たとえそのフローベクトルを発生させている接近物体が自車両２から離れた距離にあったとしても、高速で自車両２に接近していることになるため自車両２にとって危険である可能性が高く、一方、その移動物体がたとえ高速で自車両２に接近していなくても、自車両２にとって近い距離にあれば、その移動物体が危険である可能性が高いことに変わりはなく、この場合にも車両２の進行方向側への勾配を有するフローベクトルが大きくなる。

したがって、車両２の進行方向側への勾配を有するフローベクトルの大きさの増大に伴って、接近物体の車両２に対する危険度が上昇するものとして、その危険度に応じた複数の報知モードを切り換えて、画面表示，報知を実施するようになっているのである。
また同様に、自車両２への接近物体が多い、又は、自車両２と接近物体との距離が近いときには、車両２の進行方向側への勾配を有するフローベクトルの数が増大することになるため、フローベクトルの数の増大に伴って、接近物体の車両２に対する危険度が上昇するものとして、その危険度に応じた複数の報知モードを切り換えて、画面表示，報知を実施する。

本実施形態においては、出力部１３は、「危険度小報知モード」，「危険度大報知モード」といった複数の報知モードを備えており、接近物体検出部１２が検出した接近物体のフローベクトルの大きさと数とに基づいて、これらの報知モードを切り換えるように構成されている。
すなわち、車両２の進行方向側への勾配を有するフローベクトルについて、その大きさが予め設定された所定の大きさよりも大きなものが検出された場合、又は、予め設定された所定数以上検出された場合には、出力部１３が「危険度大報知モード」に設定され、それ以外の場合には、出力部１３が「危険度小報知モード」に設定される。

「危険度小報知モード」において、出力部１３は、接近物体によるフローベクトルのひとつを矢印で画面表示し、音声によって接近物体の検出を報知する（例えば、「周囲に注意してください」とアナウンスする等）ようになっている。
また、「危険度大報知モード」において、出力部１３は、接近物体検出部１２が検出した接近物体に対応する画面上の領域を強調表示（例えば、輝度や色調を変化させる等）するとともに、接近物体による全てのフローベクトルを矢印で画面表示し、さらに音声によって危険度が高いことを乗員へ報知する（例えば、「接近している車両がありますので注意してください」とアナウンスする等）ようになっている。
なお、出力部１３は、ノーズビューカメラ作動条件が成立しなくなった（Ｖ≧Ｖ₀またはθ≧θ₀）ときにも、その旨を乗員へ報知するようになっている。

本実施形態にかかるノーズビューモニタ装置１は上述のように構成され、図３に示すフローチャートに従って、以下のように制御が行われる。なおこのフローは、常時ＥＣＵ１０において所定のサイクル（例えば、ノーズビューカメラ３の撮像サイクルに同期するサイクル）毎に実行されている。

ステップＡ１０からステップＡ３０は、オプティカルフローを算出するための前提として、ノーズビューカメラ３が作動しているか否かを判定するフローとなっている。
まず、ステップＡ１０では、ノーズカメラスイッチ６がオンになっているか否かが判定される。オンになっていればステップＡ２０へ進み、オフになっていればこのフローを終了する。次に、ステップＡ２０では、車両の走行速度Ｖが所定速度Ｖ₀よりも小さいか否かが判定され、Ｖ＜Ｖ₀の場合にはステップＡ３０へ進み、Ｖ≧Ｖ₀の場合にはこのフローを終了する。続いて、ステップＡ３０では、操舵輪の舵角θが所定角度θ₀よりも小さいか否かが判定され、θ＜θ₀の場合にはステップＡ４０へ進み、θ≧θ₀の場合にはこのフローを終了する。

つまり、ノーズビューカメラ３が作動していない場合にはステップＡ４０以降へは進まずにフローを終了し、ノーズビューカメラ３が作動して初めてステップＡ４０以降へ進むことになる。
ステップＡ４０では、オプティカルフロー算出部１１において、ノーズビューカメラ３が撮像した左右側方の画像における特徴点を個別に算出し、ステップＡ５０で全ての特徴点についてのフローベクトルを算出する。つまりここでは、左右側方の各々の画像内における移動物体が認識されることになる。

続いてステップＡ６０では、接近物体検出部１２において、ステップＡ５０で算出された全てのフローベクトルについて、車両２の進行方向側へのベクトル成分を有するか否かが判定される。車両２の左側方の画像上のフローベクトルに対しては、画像上で右方向のベクトル成分を有するか否かが判定され、一方、車両２の右側方の画像上のフローベクトルに対しては、画像上で左方向のベクトル成分を有するか否かが判定される。つまり、ここでは、ステップＡ５０で認識された移動物体のうち、車両２に接近する移動物体（接近物体）を他と区別して認識することになる。

ここで、車両２の進行方向側へのベクトル成分を有するフローベクトルを検出しなかった場合には、接近物体がないということになるため、このフローを終了するが、上記のフローベクトルを検出した場合には、ステップＡ７０へ進む。
ステップＡ７０では、出力部１３において、接近物体を認識したことがモニタ５に表示されるとともに、音声によって乗員へ報知される。ここで、出力部１３における乗員への報知は、ステップＡ６０で検出された車両２の進行方向側へのベクトル成分を有するフローベクトルの大きさと数に応じて、報知モードが切り換えられる。

ステップＡ６０で検出された接近物体のフローベクトルのうち、その大きさが予め設定された所定の大きさよりも大きいものが検出された場合、又は、予め設定された所定数以上の接近物体のフローベクトルが検出された場合には、出力部１３が「危険度大報知モード」に設定され、接近物体に対応する画面上の領域が強調表示されるとともに、接近物体による全てのフローベクトルが矢印で画面表示され、さらに音声によって危険度が高いことが、乗員へ報知される。

また、ステップＡ６０で検出された接近物体のフローベクトルのうち、その大きさが予め設定された所定の大きさよりも大きいものが検出されず、かつ、予め設定された所定数以上の接近物体のフローベクトルが検出されなかった場合には、出力部１３が「危険度小報知モード」に設定され、接近物体によるフローベクトルのひとつが矢印で画面表示されて、音声によって接近物体の検出が乗員へ報知される。

以上のような制御により、具体的には以下のような作用・効果を奏する。
図５に示すようなＴ字路において、車両２が左右確認しながら幹線道路へ進入しようとする場合、まず車両２のノーズカメラスイッチ６がオンに操作されていると、車両２が幹線道路の手前で走行速度を所定速度Ｖ₀よりも小さくしたときに、自動的にノーズビューカメラ３が作動し、左右側方の画像がモニタ５に表示される。これにより、乗員にモニタ５の画像の切り換えを意識させることなく、自動的に左右側方の画像をモニタ５へ表示させることができる。また、ノーズビューカメラ３が作動すると、ＥＣＵ１０において、撮像した画像におけるオプティカルフローの算出を開始する。

ここで、車両２が図５に示す位置に停止している場合には、図３（ａ）に示すように、ノーズビューカメラ３の位置が固定されているため、撮像した画像中において背景部分（画像上において車両２１，２２の背景となっている部分であり、ここでは、道路や建物，ガードレール，空といった移動しない対象を指す）にはフローベクトルが発生せず、車両２に接近する接近物体としての車両２１，２２によるフローベクトル（図３（ａ）中における黒矢印）のみが発生することになる。そして、このとき、車両２１，２２によるフローベクトルの方向は、車両２１は左側方の画像内において右方向へのベクトル成分を有し、すなわち、画像内における車両２の進行方向側への勾配を持つことになる。一方、車両２２は、右側方の画面内において左方向へのベクトル成分を有し、画像内における車両２の進行方向側への勾配を持つことになる。

したがって、接近物体検出部１２において、左右側方の画像中において、車両の進行方向側への勾配を有するフローベクトルに基づいて、接近物体としての車両２１，２２を検出することができる。
また、車両２が図５に示す位置を低速で（走行速度Ｖ＜Ｖ₀で）走行している場合、つまり、乗員が左右確認を行いながらゆっくりと車両２を前進させている場合には、図３（ｂ）に示すように、ノーズビューカメラ３の撮像位置の移動によって、撮像された画像中において背景部分にもフローベクトル（図３（ｂ）中における白抜き矢印）が発生することになる。そして、車両２１，２２によるフローベクトルは、車両２が停止している場合に発生するであろうフローベクトル（すなわち、図３（ａ）に示された黒矢印のフローベクトル）と、ノーズビューカメラ３の位置移動によって発生する背景部分のフローベクトル（白抜き矢印のフローベクトル）との和としてのフローベクトル（図３（ｂ）中における黒矢印）が発生することになる。また、背景部分のフローベクトルは、車両２が前進することによって、画像上において車両２の前進方向と逆方向への勾配を有するフローベクトルとして発生することになる。

したがって、車両２をゆっくり前進させることによって、車両２１，２２によるフローベクトルの大きさと方向は変形を受けることになるが、車両２が低速で徐行している場合には大きな変形を受けず、画像上において車両２の進行方向側への勾配を持つことができる。また、たとえ、車両２１，２２によるフローベクトルのうち、車両の進行方向側への勾配と、背景部分のフローベクトルとが等しくなったとしても、車両２１，２２によるフローベクトルは、車両２への接近によって画像上において拡大するような方向、すなわち、画像上における上下方向へのベクトルをも有しているため、車両２１，２２によるフローベクトルが打ち消されることはない。

このとき、車両２１，２２によるフローベクトルの方向は、図３（ｃ）に示すように、画像中において車両２の進行方向側の勾配を有するベクトル方向であり、左側方領域においては右方向のベクトル成分を有する方向、右側方領域においては左方向のベクトル成分を有する方向である。換言すると、左側方領域においては鉛直方向から時計回りに１８０度の範囲の方向のフローベクトルであり、右側方領域においては鉛直方向から反時計回りに１８０度の範囲の方向のフローベクトルである。

そして、接近物体検出部１２において、左右側方の画像中において、車両の進行方向側への勾配を有するフローベクトルに基づいて、接近物体としての車両２１，２２を検出することができる。したがって、接近物体を検出したことをＥＣＵ２の出力部１３がモニタ５に出力し、乗員への注意を促すことができる。
また、出力部１３は、接近物体の自車両２に対する危険度に応じて、報知モードを切り換えるようになっているため、危険度を乗員へ効果的に報知することができ、安全性を向上させることができる。

なお、車両２が素早く前進した場合には、ノーズビューカメラ３の位置移動によって発生する背景部分のフローベクトルが大きくなるため、車両２１，２２によるフローベクトルの方向が、画像上において車両２の進行方向側への勾配を持たないようになることが考えられるが、本実施形態においては、車両２の走行速度Ｖが所定速度Ｖ₀以上になるとノーズビューカメラ３の作動が停止するようになっているため、接近物体の誤認識を防止することができる。また同様に、車両２の操舵角θが所定角度θ₀以上になるとノーズビューカメラ３の作動が停止するようになっているため、旋回移動によって接近物体を誤認識することもない。そして結果的に、オプティカルフローによる接近物体の検出精度を向上させることができる。

また、ノーズビューカメラ３の作動が停止した場合にも、出力部１３は、その旨を乗員へ報知するため、乗員への注意を促して、安全性を向上させることができる。
なお、所定速度Ｖ₀及び所定角度θ₀の大きさの設定については、実施の形態に応じて任意であるが、車両２が移動したときに、その走行速度Ｖ，操舵角θが大きいほど、上記の背景部分のフローベクトルは大きくなる。したがって、接近速度の速い物体を検出するためには、所定速度Ｖ₀及び所定角度θ₀の設定値を大きくしても何ら問題はなく、一方、接近速度の遅い物体を検出するためには、車両２が停止していることが望ましいことになる。しかし、車両２が移動している場合には、一般公道を走行する接近物体としての車両２１，２２によるフローベクトルと、背景部分に発生するフローベクトルとの方向性の相違を利用することによって（すなわち、上述のようなロジックによって）、接近物体としての車両２１，２２を背景部分と区別して認識できるのである。

このように、本発明のノーズビューモニタ装置によれば、車両２が停止している場合であっても、低速（Ｖ＜Ｖ₀）で走行している場合でも、あるいは、操舵角が所定角度より小さい（θ＜θ₀）状態において、車両側方における接近物体を容易かつ確実に認識することができ、背景画像の移動を接近物体と誤認識することを防止でき、接近物体の検出精度を向上させることができる。また、オプティカルフローに基づいて認識される移動物体のうち、自車両２に対して危険である接近物体を認識するための構成がシンプルであり、接近物体の認識にかかるＥＣＵ１０の演算量を減少させることができる。また、危険度に応じた報知により、安全性を向上させることができる。

以上、本発明の実施形態を説明したが、本発明はかかる実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述の実施形態では、撮像手段としてのノーズビューカメラ３が、車両２のノーズ部の左右端部に各々設けられているが、いずれか一方のみを備えた構成であってもよく、また、広範な撮像領域を有する広角カメラを用いて車両の左右側方を同時に撮像するように構成してもよい。

また、ノーズビューカメラ３の撮像領域は、車両２の進行方向と進入したい幹線道路の方向とのなす角度に応じて、水平方向に調整されるように構成してもよく、あるいは、走行路面の傾斜に応じて、鉛直方向に調整されるように構成してもよい。
また、上述の実施形態における所定速度Ｖ₀及び所定角度θ₀は、認識したい移動物体のフローベクトルの大きさに応じて任意に設定されるものである。例えば、車両２の走行速度Ｖが所定速度Ｖ₀よりも大きくても、車両２（ノーズビューカメラ３）の位置移動によって発生する背景部分のフローベクトルよりも大きなフローベクトルを有して移動する移動物体については、上述の構成によって認識することができる。

また、上述の実施形態における出力部１３による報知方法は任意であり、例えば、モニタ５上の画像のうち接近物体を強調表示する場合、画像上の接近物体を拡大表示するように構成してもよく、あるいは、車両２の制動装置を作動させることによって乗員への報知を行うように構成してもよい。
また、危険度に応じた複数の報知モードが多段階的に設定されるように構成してもよい。例えば、接近物体検出部１２が検出した接近物体のフローベクトルの大きさ及び数に基づいて切り換える報知モードをさらに増やし、接近物体の自車両２への危険である可能性を多段階的に判定することで、よりきめの細かい報知を実施することができ、安全性を向上させることができるとともに、危険度判定にかかる装置自体の信頼性を向上させることができる。

本発明の一実施形態としてのノーズビューモニタ装置を備えた車両を示す模式的構成図である。本発明の一実施形態としてのノーズビューモニタ装置によるモニタ表示例としての表示画面内容の模式図である。本発明の一実施形態としてのノーズビューモニタ装置における制御を説明するためのフローチャートである。本発明の一実施形態としてのノーズビューモニタ装置の接近物体検出手段における演算処理を説明するための模式図である。本発明の一実施形態としてのノーズビューモニタ装置におけるノーズビューカメラの撮像領域を示す模式的平面図である。

符号の説明

１ノーズビューモニタ装置
２車両（自車両）
３ノーズビューカメラ（撮像手段）
４車速センサ（車両速度検出手段）
５モニタ（報知手段）
６ノーズカメラスイッチ
７操舵角センサ（操舵角検出手段）
１０電子制御ユニット（ＥＣＵ）
１１オプティカルフロー算出部（オプティカルフローベクトル算出手段）
１１Ａ左側方領域のオプティカルフロー算出部
１１Ｂ右側方領域のオプティカルフロー算出部
１２接近物体検出部（接近物体検出手段）
１３出力部

Claims

車両のノーズ前面に設けられて車両の左右両側方の領域の画像を撮像する撮像手段と、
該画像に基づきオプティカルフローベクトルを算出するオプティカルフローベクトル算出手段と、
該オプティカルフローベクトル算出手段により算出された上記の左側方領域におけるオプティカルフローベクトルのうち右方向のベクトル成分を有するオプティカルフローベクトルと、上記の右側方領域におけるオプティカルフローベクトルのうち左方向のベクトル成分を有するオプティカルフローベクトルとに基づいて接近物体を検出する接近物体検出手段と、
該画像を表示するとともに該接近物体の検出を報知する報知手段と、
該車両の車両速度を検出する車両速度検出手段とを備え、
該接近物体検出手段は、該車両速度が予め設定された所定値よりも大きいときに、該接近物体の検出を停止する
ことを特徴とする、ノーズビューモニタ装置。
該報知手段は、該車両の進行方向へのベクトル成分を有するオプティカルフローベクトルの大きさに応じた複数の報知態様を切り換えて、該画像を表示するとともに該接近物体の検出を報知する
ことを特徴とする、請求項１記載のノーズビューモニタ装置。
該報知手段は、該車両の進行方向へのベクトル成分を有するオプティカルフローベクトルの数に応じた複数の報知態様を切り換えて、該画像を表示するとともに該接近物体の検出を報知する
ことを特徴とする、請求項１又は２記載のノーズビューモニタ装置。
該車両の操舵角を検出する操舵角検出手段を備え、
該接近物体検出手段は、該操舵角が予め設定された所定値よりも大きいときに、該接近物体の検出を停止する
ことを特徴とする、請求項１〜３のいずれか１項に記載のノーズビューモニタ装置。
該報知手段は、該接近物体検出手段が該接近物体の検出を停止したことを報知する
ことを特徴とする、請求項１〜４のいずれか１項に記載のノーズビューモニタ装置。