JP6178580B2 - 物体検出装置、物体検出システム及び物体検出方法 - Google Patents

Description

本発明は、車両の周辺を移動する物体を検出する技術に関する。

従来より、車両の周辺をカメラで撮影して得られた撮影画像を用いて物体を検出する物体検出システムが提案されている。物体検出システムは、例えば、フロントカメラで得られた撮影画像に基づいて物体を検出し、その検出結果を示す指標などを表示装置に表示する。このような物体検出システムを利用することにより、ユーザ（主にドライバ）は、見通しの悪い交差点や駐車場などにおいてユーザの死角となる位置から接近する他の車両等の物体を容易に把握できる。

このような物体検出システムにおける物体の検出方式として、時間的に連続して得られた複数の撮影画像を用いるフレーム相関方式が知られている（例えば、特許文献１，２参照。）。例えば、フレーム相関方式の一つであるオプティカルフロー方式は、複数の撮影画像（フレーム）のそれぞれから特徴点を抽出し、複数の撮影画像間での特徴点の動きを示すオプティカルフローの向きに基づいて物体を検出する。

特開２００６−２１５６４２号公報 特開２００９−２７７０２１号公報

ところで、上記のフレーム相関方式は、車両が比較的高速に走行する場合や車両が旋回する場合などにおいて、物体を正しく検出することが難しいといった特性がある。このため、従来の物体検出システムにおいては、車両の速度や舵角に基いて検出精度を確保できない場合は、物体を検出するＡＳＩＣなどの検出手段の動作を停止して、検出機能を無効化するようにしていた。

しかしながら、このように検出手段の動作を停止した場合には、再び検出機能を有効化するときに検出手段を再起動する必要がある。通常、このような検出手段の再起動には、初期化処理として約１秒程度の時間が必要となる。このため、物体の検出を必要とする状況において、検出手段の検出結果を得ることができない場面が生じ得る。

本発明は、上記課題に鑑みてなされたものであり、検出機能を有効化した場合に迅速に検出手段の検出結果を得ることができる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両の周辺を移動する物体を検出する物体検出装置であって、前記車両の周辺をカメラで撮影して得られた撮影画像を用いて物体を検出する検出機能を有する検出手段と、前記車両の速度、及び、前記車両の舵角を含む車両状態を取得する取得手段と、前記車両状態に応じて、前記検出手段の前記検出機能の有効／無効を切り替える制御手段と、を備え、前記制御手段は、前記検出機能に関するパラメータを変更することで、前記検出手段の動作を継続させたまま、前記検出機能の有効／無効を切り替え、前記舵角が所定の舵角範囲から外れる場合は前記検出機能を無効化し、前記速度に応じて前記舵角範囲を変更する。

また、請求項２の発明は、請求項１に記載の物体検出装置において、前記検出手段は、前記撮影画像から導出される導出値が閾値を超えた場合に、前記物体を検出するものであり、前記制御手段は、前記導出値が取り得る値の最大値に前記閾値を変更することで、前記検出機能を無効化する。

また、請求項３の発明は、請求項１または２に記載の物体検出装置において、前記車両状態は、前記車両の速度、及び、前記車両のアンチロック・ブレーキ・システムの動作状態を含み、前記制御手段は、前記アンチロック・ブレーキ・システムの動作中は前記検出機能を無効化する。

また、請求項４の発明は、請求項１または２に記載の物体検出装置において、前記カメラは、前記車両の背面ドアに設けられ、前記車両状態は、前記背面ドアの開閉状態を含み、前記制御手段は、前記背面ドアが開いている場合は前記検出機能を無効化する。

また、請求項５の発明は、物体検出システムであって、請求項１ないし４のいずれかに記載の物体検出装置と、前記物体検出装置の前記検出手段による検出結果をユーザに報知する報知手段と、を備えている。

また、請求項６の発明は、車両の周辺を移動する物体を検出する物体検出方法であって、（ａ）前記車両の周辺をカメラで撮影して得られた撮影画像を用いて物体を検出する工程と、（ｂ）前記車両の速度、及び、前記車両の舵角を含む車両状態を取得する工程と、 （ｃ）前記車両状態に応じて、前記工程（ａ）の検出機能を有する検出手段の前記検出機能の有効／無効を切り替える工程と、を備え、前記工程（ｃ）は、前記検出機能に関するパラメータを変更することで、前記検出手段の動作を継続させたまま、前記検出機能の有効／無効を切り替え、前記舵角が所定の舵角範囲から外れる場合は前記検出機能を無効化し、前記速度に応じて前記舵角範囲を変更する。

請求項１ないし６の発明によれば、制御手段は、パラメータを変更することで、検出手段の動作を継続させたまま、検出手段の検出機能の有効／無効を切り替える。このため、検出手段の検出機能を無効化した場合であっても、検出手段の動作が停止されない。したがって、検出機能を有効化する場合に検出手段の再起動を行う必要はないことから、迅速に検出手段の検出結果を得ることができる。
また、舵角の条件となる舵角範囲を速度に応じて変更することで、検出機能を有効化する条件を緩和できる。このため、検出精度を確保しつつ、広い舵角の範囲で物体を検出できる。

また、特に請求項２の発明によれば、閾値を変更するのみで、検出手段の動作を継続させたまま検出手段の検出機能を容易に無効化できる。

また、特に請求項３の発明によれば、アンチロック・ブレーキ・システムの動作中は、検出機能を無効化することで検出手段の検出精度を確保できる。

また、特に請求項４の発明によれば、背面ドアが開いている場合は、検出機能を無効化することで検出手段の検出精度を確保できる。

図１は、第１の実施の形態の物体検出システムの概略構成を示す図である。 図２は、２つのカメラがそれぞれ撮影する方向を示す図である。 図３は、物体検出システムが利用される場面の一例を示す図である。 図４は、表示画像の一例を示す図である。 図５は、物体検出システムの動作モードの遷移を示す図である。 図６は、フロントカメラで取得された撮影画像の例を示す図である。 図７は、フロントカメラで取得された撮影画像の例を示す図である。 図８は、フロントカメラで取得された撮影画像の例を示す図である。 図９は、オプティカルフロー方式の概要を説明する図である。 図１０は、直進時の検出精度を説明するための図である。 図１１は、旋回時の検出精度を説明するための図である。 図１２は、検出機能の有効化の可否の判定条件の一例を示す図である。 図１３は、物体検出システムの動作の流れを示す図である。 図１４は、第２の実施の形態の物体検出システムの構成を示す図である。 図１５は、第３の実施の形態の物体検出システムの構成を示す図である。 図１６は、背面ドアの開閉状態とバックカメラの光軸との関係を示す図である。 図１７は、第４の実施の形態の物体検出システムの構成を示す図である。 図１８は、４つのカメラがそれぞれ撮影する方向を示す図である。 図１９は、合成画像を生成する手法を説明する図である。 図２０は、表示画像の他の一例を示す図である。 図２１は、検出機能の有効化の可否の判定条件の他の一例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．システムの構成＞
図１は、本実施の形態の物体検出システム１０の概略構成を示す図である。物体検出システム１０は、自動車などの車両に搭載されて当該車両の周辺を移動する物体を検出し、物体を検出した場合はその検出結果をユーザに報知する機能を有している。以下、物体検出システム１０が搭載される車両を「自車両」という。

物体検出システム１０は、撮影画像を表示する表示装置３と、音を発生するスピーカ４とを備えている。表示装置３は、自車両の車室内におけるユーザ（主にドライバ）が視認可能な位置に配置され、各種の情報をユーザに報知する。表示装置３は、目的地までのルートを案内するナビゲーション機能や、ユーザの操作を受け付けるタッチパネル機能を備えていてもよい。また、スピーカ４は、自車両の車室内に配置され、音により情報をユーザに報知する。

また、物体検出システム１０は、自車両の周辺を撮影して撮影画像を得る複数のカメラ２を備えている。複数のカメラ２はそれぞれ、レンズと撮像素子とを備えており、電子的に撮影画像を取得する。各カメラ２は、所定の周期（例えば、１／３０秒周期）で繰り返し撮影画像を取得する。

複数のカメラ２は、フロントカメラ２Ｆとバックカメラ２Ｂとを含んでいる。図２は、２つのカメラ２Ｆ，２Ｂがそれぞれ撮影する方向を示す図である。

図に示すように、フロントカメラ２Ｆは、自車両９の前端のバンパーに設けられ、その光軸２１Ｆは自車両９の前後方向に沿って前方に向けられる。したがって、フロントカメラ２Ｆは、自車両９の前方を撮影して、自車両９の前方の様子を示す撮影画像を取得する。また、バックカメラ２Ｂは、自車両９の後端の背面ドア９２に設けられ、その光軸２１Ｂは自車両９の前後方向に沿って後方に向けられる。したがって、バックカメラ２Ｂは、自車両９の後方を撮影して、自車両９の後方の様子を示す撮影画像を取得する。

これらのカメラ２のレンズには魚眼レンズが採用され、各カメラ２は１８０度以上の画角θを有している。このため、フロントカメラ２Ｆは、自車両９の前方に広がる左右方向に１８０度以上の領域を撮影することが可能であり、バックカメラ２Ｂは、自車両９の後方に広がる左右方向に１８０度以上の領域を撮影することが可能である。

物体検出システム１０は、これらのカメラ２のいずれかで得られた撮影画像を表示装置３において表示する。これにより、ユーザは、自車両９の周辺の様子を略リアルタイムに把握できる。これとともに、物体検出システム１０は、これらのカメラ２のいずれかで得られた撮影画像に基いて自車両９に接近する物体を検出する。そして、物体検出システム１０は、物体を検出した場合は、表示装置３及びスピーカ４を介して、検出結果をユーザに報知する。これにより、ユーザは、見通しの悪い交差点や駐車場などにおいて、ユーザの死角となる位置から接近する物体を容易に把握できるようになっている。

図３は、物体検出システム１０が利用される場面の一例を示す図である。図３においては、自車両９が見通しの悪い交差点に差し掛かった場面を示している。前述のように、フロントカメラ２Ｆは１８０度以上の画角θを有している。このため、図３に示すように、自車両９の前端のみが交差点に進入した状態において、フロントカメラ２Ｆは、交差点内の領域を撮影することが可能である。

したがって、物体検出システム１０は、自車両９が存在する道路と略直交する他方の道路を移動する他の車両８や歩行者などの像を含む撮影画像を取得して、表示装置３に表示することができる。そして、物体検出システム１０は、この撮影画像を用いて他方の道路を移動して左側又は右側から自車両９に接近する物体（他の車両８や歩行者など）を検出し、その検出結果をユーザに報知することができる。このため、ユーザは、自車両９の全体を交差点に侵入させる前に、自車両９に接近する物体を容易に把握できることになる。

図１に戻り、物体検出システム１０は、カメラ２で取得された撮影画像に基づいて自車両９に接近する物体を検出するための物体検出装置１を備えている。物体検出装置１は、画像取得部１２、画像処理回路１３、及び、画像出力部１４を備えている。

画像取得部１２は、カメラ２からアナログの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得し、取得した撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部１２が処理した一の撮影画像は、映像信号の一のフレームとなる。

画像処理回路１３は、画像取得部１２が取得する撮影画像に対して所定の処理を実行するＡＳＩＣやＦＰＧＡなどのハードウェア回路である。画像処理回路１３は、物体を検出する検出機能を有する物体検出回路１３ａを備えている。物体検出回路１３ａは、時間的に連続して得られた複数の撮影画像（フレーム）を用いて物体を検出するフレーム相関方式の物体検出処理を実行する。物体検出回路１３ａは、物体検出処理で物体を検出した場合は、その検出結果を出力する。

画像出力部２３は、撮影画像とともに各種情報を含む表示画像を生成し、ＮＴＳＣなどの所定形式の映像信号に変換して表示装置３に出力する。これにより、撮影画像を含む表示画像が表示装置３において表示される。

また、物体検出装置１は、操作スイッチ１５と、信号受信部１６と、音声出力部１７と、制御部１１とを備えている。

操作スイッチ１５は、自車両９の車室内に設けられるスイッチである。操作スイッチ１５は、ユーザの操作を受け付け、操作内容を示す信号を制御部１１に入力する。

また、信号受信部１６は、自車両９に設けられる車載ネットワーク９１を介して、他の装置からの信号を受信して、自車両９の車両状態を取得する。信号受信部１６は、受信した車両状態を示す信号を制御部１１に入力する。

信号受信部１６は、シフトセンサ６１、速度センサ６２及び舵角センサ６３が送出する信号を受信する。シフトセンサ６１は、自車両９の変速装置のシフトレバーの位置であるシフトポジションを検出し、自車両９のシフトポジションを示す信号を送出する。速度センサ６２は、自車両９の車輪軸の回転に基いて速度を検出し、自車両９の速度を示す信号を送出する。舵角センサ６３は、自車両９のステアリングホイールの中立位置からの回転角度である舵角（操舵角）を検出し、自車両９の舵角を示す信号を送出する。これにより、信号受信部１６は、シフトポジション、速度及び舵角を、自車両９の車両状態として取得する。

音声出力部１７は、制御部１１からの信号に基いて音声信号を生成して、スピーカ４に出力する。これにより、スピーカ４が、警告音などの音を発生させる。

制御部１１は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像処理回路１３を含む物体検出装置１の各部を制御する。制御部１１の各種の機能は、ソフトウェアで実現される。すなわち、制御部１１の機能は、ＲＯＭなどに記憶されたプログラムに従ったＣＰＵの演算処理（プログラムの実行）によって実現される。図中の状態判定部１１ａ、条件変更部１１ｂ、結果報知部１１ｃ及びモード変更部１１ｄは、プログラムの実行により実現される機能の一部である。

状態判定部１１ａは、物体検出回路１３ａの検出機能の有効化の可否を判定する。より具体的には、状態判定部１１ａは、物体検出回路１３ａの検出機能を有効化しても、その検出精度を確保できるか否かを判定する。状態判定部１１ａは、検出機能の検出精度を確保できる場合は検出機能の有効化が可能（有効化すべき）と判定し、検出機能の検出精度を確保できない場合は検出機能の有効化が不可（無効化すべき）と判定する。状態判定部１１ａは、信号受信部１６が取得した自車両９の車両状態（速度及び舵角）に基いて、このような物体検出回路１３ａの検出機能の有効化の可否を判定する。

そして、状態判定部１１ａは、検出機能の有効化が可能と判定した場合は物体検出回路１３ａの検出機能を有効化し、検出機能の有効化が不可と判定した場合は物体検出回路１３ａの検出機能を無効化する。状態判定部１１ａは、このように検出機能の有効／無効を切り替える場合は、検出機能に関するパラメータを変更する。これにより、状態判定部１１ａは、物体検出回路１３ａの動作を継続させたまま、物体検出回路１３ａの検出機能の有効／無効を切り替える。

条件変更部１１ｂは、状態判定部１１ａが検出機能の有効化の可否の判定に用いる判定条件を変更する。この判定条件には、自車両９の舵角に関する条件である舵角範囲が含まれる。条件変更部１１ｂは、この舵角範囲を自車両９の速度に応じて変更する。

結果報知部１１ｃは、物体検出回路１３ａが実行する物体検出処理の検出結果をユーザに報知するための制御を行う。結果報知部１１ｃは、物体検出回路１３ａが出力する検出結果を受け取る。そして、結果報知部１１ｃは、画像出力部１４に信号を送出して、検出結果を示す表示画像を画像出力部１４に生成させる。これにより、検出結果を示す表示画像が表示装置３において表示される。また、結果報知部１１ｃは、音声出力部１７に信号を送出して、検出結果に応じた音声信号を音声出力部１７に生成させる。これにより、検出結果に応じた警告音がスピーカ４から発生される。

図４は、表示装置３に表示される表示画像３１の一例を示す図である。表示画像３１は、カメラ２で取得された撮影画像ＳＧとともに、物体検出処理の検出結果を示す指標となる２つの警告部ＡＦを含んでいる。この２つの警告部ＡＦは、上下に延びる矩形の領域であり、撮影画像ＳＧの左右にそれぞれ配置される。自車両９の左側から接近する物体が存在する場合は、図４に示すように左側の警告部ＡＦが所定の色（例えば、黄色）で点滅する。逆に、自車両９の右側から接近する物体が存在する場合は、右側の警告部ＡＦが所定の色で点滅する。また、このように自車両９に接近する物体が存在する場合は、所定の警告音がスピーカ４から発生される。これにより、ユーザは、自車両９に接近する物体が存在することとともに、その物体が存在する方向を容易に把握できることになる。

また、表示画像３１は、アイコンＣを含んでいる。アイコンＣは、物体検出回路１３ａの検出機能が有効であるか否かを示す指標となる。例えば、物体検出回路１３ａの検出機能が有効である場合は、アイコンＣは所定の有彩色（例えば、緑色）で表示され、物体検出回路１３ａの検出機能が無効の場合は、アイコンＣは無彩色（例えば、灰色）で表示される。物体検出処理の検出結果は、物体検出回路１３ａの検出機能が有効の場合にのみユーザに報知され、物体検出回路１３ａの検出機能が無効の場合はユーザに報知されない。

図１に戻り、モード変更部１１ｄは、物体検出システム１０の動作モードを変更する。物体検出システム１０は、通常モード、フロントモード及びバックモードの３つの動作モードを有している。モード変更部１１ｄは、操作スイッチ１５へのユーザの操作やシフトポジションに応じて動作モードを変更する。

図５は、このような物体検出システム１０の動作モードの遷移を示す図である。通常モードＭ１は、カメラ２で得られた撮影画像を表示装置３において表示しない動作モードである。表示装置３がナビゲーション機能などの機能を有している場合は、通常モードＭ１において、表示装置３が有する機能に基づく画像（例えば、ルート案内用の地図画像）が表示装置３に表示される。

これに対して、フロントモードＭ２及びバックモードＭ３は、自車両９の周辺の様子を示す撮影画像を表示装置３に表示する動作モードである。フロントモードＭ２は、フロントカメラ２Ｆで得られた撮影画像を表示する動作モードである。また、バックモードＭ３は、バックカメラ２Ｂで得られた撮影画像を表示する動作モードである。これらのフロントモードＭ２及びバックモードＭ３では、所定の条件を満足する場合に物体検出回路１３ａの検出機能が有効化され、表示する撮影画像に基いて物体検出処理がなされる。そして、その物体検出処理の検出結果がユーザに報知される。現在の動作モードが、フロントモードＭ２とバックモードＭ３とのいずれであるかは、アイコンＣ（図４参照。）によって示される。

動作モードが通常モードＭ１の場合において、ユーザが操作スイッチ１５を操作した場合は、モード変更部１１ｄは動作モードをフロントモードＭ２に切り替える。したがって、ユーザは、操作スイッチ１５を操作することで、自車両９の前方の様子や自車両９の前方に接近する物体を所望のタイミングで確認することができる。一方で、動作モードがフロントモードＭ２の場合において、ユーザが操作スイッチ１５を操作した場合は、モード変更部１１ｄは動作モードを通常モードＭ１に切り替える。

また、動作モードが通常モードＭ１またはフロントモードＭ２の場合において、シフトポジションが「Ｒ（後退）」となったときは、モード変更部１１ｄは動作モードをバックモードＭ３に切り替える。これにより、ユーザは、自車両９を後退させる場合に、自車両９の後方の様子や自車両９の後方に接近する物体を確認することができる。一方で、動作モードがバックモードＭ３の場合において、シフトポジションが「Ｒ（後退）」以外となった場合は、モード変更部１１ｄは動作モードを通常モードＭ１に切り替える。

＜１−２．物体検出処理の概要＞
次に、物体検出回路１３ａが実行する物体検出処理について説明する。前述のように、物体検出回路１３ａは、時間的に連続して得られた複数の撮影画像（フレーム）を用いるフレーム相関方式で物体を検出する。本実施の形態の物体検出回路１３ａは、フレーム相関方式の一つであるオプティカルフロー方式で物体を検出する。

図６、図７及び図８は、フロントカメラ２Ｆで時系列的に取得された複数の撮影画像ＳＧの例を示している。図６の撮影画像ＳＧが最も古く、図８の撮影画像ＳＧが最も新しい。図６から図８の撮影画像ＳＧそれぞれには、自車両９に接近する同一の物体の像Ｔが含まれている。物体検出回路１３ａは、オプティカルフロー方式の物体検出処理を行なって、このような時間的に連続して得られた複数の撮影画像ＳＧに基づいて自車両９に接近する物体を検出する。

図９は、オプティカルフロー方式の概要を説明する図である。図９は、撮影画像ＳＧ中の物体の像Ｔが含まれる一部の領域を示している。物体検出回路１３ａは、互いに異なる時点に取得された複数の撮影画像（フレーム）のそれぞれから特徴点ＦＰを抽出し、複数の撮影画像間での特徴点ＦＰの動きを示すオプティカルフローに基づいて物体を検出する。

まず、物体検出回路１３ａは、ハリスオペレータなどの周知の手法により、直近に得られた撮影画像ＳＧにおける特徴点（際立って検出できる点）ＦＰを抽出する（ステップＳＴ１）。これにより、物体検出回路１３ａは、物体の像Ｔのコーナー（エッジの交点）などを含む複数の点を特徴点ＦＰとして抽出する。

次に、物体検出回路１３ａは、このように直近の撮影画像ＳＧから抽出した特徴点（以下、「直近特徴点」という。）と、過去の撮影画像ＳＧから抽出した特徴点（以下、「過去特徴点」という。）とを対応付ける。過去特徴点は、例えば、物体検出回路１３ａ内のメモリに記憶されている。そして、物体検出回路１３ａは、対応付けた直近特徴点と過去特徴点とのそれぞれの位置に基づいて、特徴点ＦＰの動きを示すベクトルであるオプティカルフローを導出する（ステップＳＴ２）。

物体検出回路１３ａは、直近特徴点と過去特徴点とを対応付ける際には、直近特徴点の位置から例えば「７ピクセル」の範囲内に存在する過去特徴点のうちから、当該直近特徴点に対応付けるべき過去特徴点を選択する。したがって、物体検出回路１３ａが導出するオプティカルフローの長さが取り得る値の最小値は「１ピクセル」であり、最大値は「７ピクセル」となる。一般に、自ら移動する物体のオプティカルフローは比較的長くなり、背景などの自ら移動しない物体のオプティカルフローは比較的短くなる。また、オプティカルフローには、右向きのオプティカルフローＯＰ１と、左向きのオプティカルフローＯＰ２とが存在する。一般に、自車両９に接近する物体の像Ｔは内向き（撮影画像ＳＧの左右端部から中央側への向き）に移動する。

このため、物体検出回路１３ａは、予め定められた抽出閾値を超える長さを有し、かつ、内向きのオプティカルフローのみを抽出する（ステップＳＴ３）。抽出閾値は、物体検出回路１３ａの検出機能に関するパラメータの一つであり、その通常値は例えば「１ピクセル」となっている。これにより、物体検出回路１３ａは、２ピクセルから７ピクセルまでの長さのオプティカルフローのみを抽出し、背景などのオプティカルフローを排除する。また、物体検出回路１３ａは、撮影画像ＳＧの左右中央より左側の領域では右向きのオプティカルフローＯＰ１のみを抽出し、撮影画像ＳＧの左右中央より右側の領域では左向きのオプティカルフローＯＰ２のみを抽出する。これにより、物体検出回路１３ａは、自車両９から離れる方向に移動する物体のオプティカルフローを排除する。図９の領域は撮影画像ＳＧの左右中央より左側の領域であるため、図９では右向きのオプティカルフローＯＰ１のみが抽出されている。

そして、物体検出回路１３ａは、抽出したオプティカルフローＯＰ１のうち近接するもの同士をグループ化し、このようなグループのそれぞれを物体として検出する。物体検出回路１３ａは、このようにして物体を検出した場合は、その物体の位置を検出結果として制御部１１に出力する。

このようなオプティカルフロー方式などのフレーム相関方式は、画像の走査が不要であるため比較的少ない演算量で物体を検出できるといった特徴がある。しかしながら一方で、オプティカルフロー方式などのフレーム相関方式は、その検出精度が自車両９の速度及び舵角の影響を受けやすく、自車両９の速度や舵角が大きくなるほど物体を正しく検出することが難しいといった特性がある。すなわち、自車両９の速度が大きくなるほど、また、自車両９の舵角が大きくなるほど、フレーム相関方式による検出精度（物体検出回路１３ａの検出精度）は悪化する。

図１０は、自車両９が直進している場合の物体検出回路１３ａの検出精度を説明するための図である。図１０は、自車両９と、自車両９の周辺を自ら移動する物体８１,８２とを示している。２つの物体８１，８２は、自車両９に接近しており、同一の速度で図中右向きに移動している。前述のように、物体検出回路１３ａは、自車両９に接近する物体を検出するために、内向きのオプティカルフローのみを抽出する。ある物体に係るオプティカルフローが内向きとなるのは、当該物体の自車両９に対する相対的な速度ベクトルが、カメラ２の光軸２１と交わる場合である。

まず、自車両９が停止している場合を想定する。この場合は、物体８１，８２の自車両９に対する相対的な速度ベクトルは、物体８１，８２自体の速度ベクトルＴ２となる。これら速度ベクトルＴ２はカメラ２の光軸２１と交わることから、物体８１，８２に係るオプティカルフローは内向きとなる。このため、物体検出回路１３ａは、これらの２つの物体８１，８２を双方ともに検出することができる。

次に、自車両９がある速度で直進している場合を想定する。この場合は、自車両９の速度ベクトルは、光軸２１に沿った速度ベクトルＴ１となる。物体８１，８２の自車両９に対する相対的な速度ベクトルは、物体８１，８２自体の速度ベクトルＴ２と、自車両９の速度ベクトルＴ１の逆ベクトルＴ３との合成ベクトルＴ４となる。図中の上側の物体８１の合成ベクトルＴ４はカメラ２の光軸２１と交わることから、物体検出回路１３ａは、この物体８１については検出できる。しかしながら、図中の下側の物体８２の合成ベクトルＴ４はカメラ２の光軸２１と交わらないため、物体検出回路１３ａは、この物体８２については検出できなくなる。

このように物体検出回路１３ａは、自車両９が走行している場合は、本来検出すべき物体を検出できなくなる場合がある。そして、自車両９の速度が大きくなるほど、合成ベクトルＴ４の向きが図中の下側へ向くことになるため、物体検出回路１３ａは物体を正しく検出することがより難しくなる。このような原理により、物体検出回路１３ａの検出精度は、自車両９の速度が大きくなるほど悪化することになる。

図１１は、自車両９が旋回している場合の物体検出回路１３ａの検出精度を説明するための図である。図１１は、自車両９と、自車両９の周辺に存在する自ら移動しない物体８３とを示している。

まず、自車両９が停止している場合を想定する。この場合は、物体８３の自車両９に対する相対的な速度ベクトルは生じない。このため、物体検出回路１３ａは、この物体８３を検出することはない。

次に、自車両９がある舵角で旋回している場合を想定する。この場合は、自車両９の速度ベクトルは、光軸２１に対して所定の角度Φをなす速度ベクトルＴ５となる。物体８３の自車両９に対する相対的な速度ベクトルは、自車両９の速度ベクトルＴ５の逆ベクトルＴ６となる。この速度ベクトルＴ６はカメラ２の光軸２１と交わることから、物体検出回路１３ａは、自車両９に接近する物体としてこの物体８３を誤検出してしまう。

このように物体検出回路１３ａは、自車両９が旋回している場合は、本来検出すべきでない物体を誤検出する場合がある。そして、自車両９の舵角が大きくなるほど、速度ベクトルＴ６の向きが図中の上側へ向くことになるため、物体検出回路１３ａは物体を正しく検出することがより難しくなる。このような原理により、物体検出回路１３ａの検出精度は、自車両９の舵角が大きくなるほど悪化することになる。

このような物体検出回路１３ａの検出精度を確保するため、状態判定部１１ａは、自車両９の速度及び舵角が所定の判定条件を満足する場合にのみ、物体検出回路１３ａの検出機能を有効化する。

図１２は、状態判定部１１ａが用いる、検出機能の有効化の可否の判定条件を示す図である。図中の横軸は舵角（度）、縦軸は速度（ｋｍ／ｈ）を示している。舵角は、ステアリングホイールを中立位置から左側に回転すると正の値、右側に回転すると負の値で示される。

図１２のグラフ中に自車両９の速度及び舵角をプロットした場合において、そのプロットした点がグラフ中の第１領域Ａ１及び第２領域Ａ２のいずれかに含まれる場合は、状態判定部１１ａは検出機能の有効化が可能（有効化すべき）と判定する。逆に、プロットした点が第１領域Ａ１及び第２領域Ａ２のいずれにも含まれない場合は、状態判定部１１ａは検出機能の有効化が不可（無効化すべき）と判定する。

第１領域Ａ１は、速度が０以上Ｖ１未満、かつ、舵角の絶対値がＲ２未満となる領域である。また、第２領域Ａ２は、速度がＶ１以上Ｖ２未満、かつ、舵角の絶対値がＲ１（Ｒ１＜Ｒ２）未満となる領域である。例えば、Ｖ１は０．１ｋｍ／ｈ、Ｖ２は３．０ｋｍ／ｈ、Ｒ１は２７０度、Ｒ２は５４０度とされる。

物体検出回路１３ａの検出精度は、自車両９の速度が小さいほど自車両９の舵角の影響を受けにくくくなる。したがって、自車両９の速度が十分に小さい場合は、自車両９の舵角をある程度大きくしても物体検出回路１３ａの検出精度を確保することができる。このため、速度が比較的小さい場合の第１領域Ａ１は、速度が比較的大きい場合の第２領域Ａ２と比較して、舵角の条件となる舵角範囲（図１２中の横方向の範囲）は大きくなっている。

また、自車両９の速度が０以上Ｖ１未満の場合とは、自車両９の停止状態に相当する。このように自車両９の停止状態では、物体検出回路１３ａの検出精度は、自車両９の舵角の影響を受けない。このため、このように自車両９の停止状態における舵角の条件となる舵角範囲を規定するＲ２は舵角の最大値としてもよい。

検出機能の有効化の可否の判定条件として、第１領域Ａ１と第２領域Ａ２とのいずれを用いるかは条件変更部１１ｂが設定する。条件変更部１１ｂは、自車両９の速度が０以上Ｖ１未満の場合は第１領域Ａ１を判定条件として設定し、自車両９の速度がＶ１以上Ｖ２未満の場合は第２領域Ａ２を判定条件として設定する。また、自車両９の速度がＶ２以上の場合はいずれの領域も判定条件に設定しない。

これにより、条件変更部１１ｂは、自車両９の速度が小さいほど、舵角の条件となる舵角範囲を大きくすることになる。前述のように、自車両９の速度が０以上Ｖ１未満の場合とは、自車両９の停止状態に相当する。このため、条件変更部１１ｂは実質的に、自車両９の速度に基いて自車両９が走行状態か停止状態かを判定し、自車両９が停止状態の場合は走行状態の場合よりも舵角の条件となる舵角範囲を大きくすることになる。

このように条件変更部１１ｂは、舵角の条件となる舵角範囲を、自車両９の速度に応じて変更する。これにより、検出精度を確保できる範囲で、自車両９の速度に応じて検出機能を有効化する条件を緩和できる。このため、物体検出システム１０では、検出精度を確保しつつ、比較的広い舵角の範囲で物体を検出することができる。

＜１−３．検出機能の有効／無効の切り替え＞
次に、状態判定部１１ａが、物体検出回路１３ａの検出機能の有効／無効を切り替える手法について説明する。状態判定部１１ａは、検出機能の有効化が可能と判定した場合に物体検出回路１３ａの検出機能を有効化し、検出機能の有効化が不可と判定した場合に物体検出回路１３ａの検出機能を無効化する。

状態判定部１１ａは、検出機能に関するパラメータの一つである抽出閾値を変更することで、物体検出回路１３ａの検出機能の有効／無効を切り替える。これにより、状態判定部１１ａは、物体検出回路１３ａの検出機能を無効化する場合においても、物体検出回路１３ａの動作を停止させずに継続させる。物体検出回路１３ａが物体検出処理を実行するが検出結果を出力しない状態となることで、実質的に物体検出回路１３ａの検出機能が無効化される。

前述のように、物体検出回路１３ａは、物体検出処理の実行中において、抽出閾値を超える長さを有するオプティカルフローのみを抽出して物体を検出する。また、物体検出回路１３ａが導出する導出値となるオプティカルフローの長さが取り得る値の最大値は「７ピクセル」である。

状態判定部１１ａは、物体検出回路１３ａの検出機能を無効化する場合には、抽出閾値を通常値の「１ピクセル」から、オプティカルフローの長さが取り得る値の最大値である「７ピクセル」に変更する。「７ピクセル」を超える長さを有するオプティカルフローは存在しない。このため、抽出閾値を「７ピクセル」に変更することにより、物体検出回路１３ａは、物体検出処理を実行したとしても物体を検出することはなく、検出結果を出力しない状態となる。その結果、物体検出回路１３ａの動作が継続したまま、その検出機能が無効化されることになる。なお、物体検出回路１３ａの検出機能を無効化する場合、抽出閾値を最大値にすることが最も望ましいが、通常値より大きい値であれば最大値でなくてもよい。

また、状態判定部１１ａは、物体検出回路１３ａの検出機能を有効化する場合には、抽出閾値を「７ピクセル」から通常値の「１ピクセル」に変更する。これにより、物体検出回路１３ａは、「２ピクセル」を超える長さを有するオプティカルフローを抽出することになり、物体を検出した場合は検出結果を出力する状態になる。検出機能が無効化された場合においても、物体検出回路１３ａの動作は停止されずに継続している。このため、このように物体検出回路１３ａの検出機能を有効化する場合において、一定の時間（約１秒）が必要となる物体検出回路１３ａの再起動を行う必要はない。したがって、検出機能を有効化する場合において、物体検出回路１３ａの検出結果を迅速に得ることができる。

なお、状態判定部１１ａが検出機能の有効化が不可と判定した場合において、物体検出回路１３ａの検出機能を無効化せずに、結果報知部１１ｃが物体検出回路１３ａの検出結果をユーザに報知しないという態様も考えられる。しかしながら、仮に、この態様を採用した場合は、物体検出回路１３ａが検出結果を出力するごとに制御部１１の処理に割り込みが発生するため、制御部１１の処理の負荷が増大する。このため、上記のように物体検出回路１３ａの検出機能を無効化して、物体検出回路１３ａが検出結果を出力しないようにすることが望ましい。

＜１−４．動作の流れ＞
図１３は、物体検出システム１０の動作の流れを示す図である。物体検出システム１０の動作モードがフロントモードＭ２あるいはバックモードＭ３の場合においては、図１３に示す処理が所定の周期（例えば、１／３０秒周期）で繰り返される。以下、図１３を参照して、動作モードがフロントモードＭ２あるいはバックモードＭ３の場合における、物体検出システム１０の動作の流れについて説明する。

まず、信号受信部１６が、自車両９の車両状態を取得する（ステップＳ１１）。信号受信部１６は、速度センサ６２及び舵角センサ６３から送出される信号を受信して、自車両９の速度及び舵角を取得する。

次に、条件変更部１１ｂが、検出機能の有効化の可否の判定条件を設定する（ステップＳ１２）。前述のように、自車両９の速度が０以上Ｖ１未満の場合は第１領域Ａ１を判定条件として設定し、自車両９の速度がＶ１以上Ｖ２未満の場合は第２領域Ａ２を判定条件として設定する。また、自車両９の速度がＶ２以上の場合はいずれの領域も判定条件に設定しない。これにより、条件変更部１１ｂは、自車両９の速度に応じて舵角の条件となる舵角範囲を変更する。

次に、状態判定部１１ａが、条件変更部１１ｂに設定された判定条件を用いて、物体検出回路１３ａの検出機能の有効化の可否を判定する（ステップＳ１３）。状態判定部１１ａは、信号受信部１６が取得した自車両９の車両状態が判定条件を満足する場合は、検出機能の有効化が可能と判定する。一方、状態判定部１１ａは、自車両９の車両状態が判定条件を満足しない場合は検出機能の有効化が不可と判定する。

状態判定部１１ａは、検出機能の有効化が可能と判定した場合は（ステップＳ１４にてＹｅｓ）、物体検出回路１３ａに信号を送出して、物体検出回路１３ａの検出機能に関するパラメータの一つである抽出閾値を、通常値である「１ピクセル」に設定する（ステップＳ１５）。

これにより、物体検出回路１３ａの検出機能が有効化される。物体検出回路１３ａは、その検出機能が有効化された状態で物体検出処理を実行する（ステップＳ１６）。したがって、物体検出回路１３ａは、物体を検出した場合は検出結果を制御部１１に出力する。

物体検出回路１３ａが検出結果を出力した場合は、制御部１１の結果報知部１１ｃがその検出結果を受け取る（ステップＳ１７）。そして、結果報知部１１ｃは、検出結果を示す表示画像を表示装置３において表示させるとともに、検出結果に応じた警告音をスピーカ４から発生させる。これにより、検出結果がユーザに報知される（ステップＳ１８）。

一方、状態判定部１１ａは、検出機能の有効化が不可と判定した場合は（ステップＳ１４にてＮｏ）、物体検出回路１３ａに信号を送出して、オプティカルフローの長さが取り得る値の最大値である「７ピクセル」に抽出閾値を設定する（ステップＳ１９）。

これにより、物体検出回路１３ａの検出機能が無効化される。この場合においても、物体検出回路１３ａの動作は継続され、物体検出回路１３ａはその検出機能が無効化された状態で物体検出処理を実行する（ステップＳ２０）。この場合は、物体検出回路１３ａは物体を検出せず、検出結果を出力することはない。

なお、この図１３に示す処理においては、ステップＳ１５またはステップＳ１９のいずれかにおいて抽出閾値を必ず設定しているが、物体検出回路１３ａの検出機能の有効／無効を切り替える場合にのみ抽出閾値を設定してもよい。

以上のように、本実施の形態の物体検出システム１０では、物体検出回路１３ａは、時間的に連続して得られた複数の撮影画像を用いるフレーム相関方式で物体を検出する。状態判定部１１ａは、検出機能に関するパラメータを変更することで、物体検出回路１３ａの動作を継続させたまま、物体検出回路１３ａの検出機能の有効／無効を切り替える。このため、物体検出回路１３ａの検出機能を無効化した場合であっても、物体検出回路１３ａの動作が停止されない。したがって、検出機能を有効化する場合に物体検出回路１３ａの再起動を行う必要はないことから、物体検出回路１３ａの検出結果を迅速に得ることができる。

また、状態判定部１１ａは、検出機能に関するパラメータの一つである抽出閾値を、オプティカルフローの長さが取り得る値の最大値に変更することで、物体検出回路１３ａの検出機能を無効化する。このため、状態判定部１１ａは、抽出閾値を変更するのみで、物体検出回路１３ａの動作を継続させたまま、物体検出回路１３ａの検出機能を容易に無効化できる。

また、状態判定部１１ａは、自車両９の舵角が所定の舵角範囲に含まれない場合は物体検出回路１３ａの検出機能を無効化する。そして、条件変更部１１ｂは、このような舵角の条件となる舵角範囲を、自車両９の速度に応じて変更する。したがって、検出精度を確保できる範囲で、自車両９の速度に応じて検出機能を有効化する条件を緩和できる。このため、検出精度を確保しつつ、比較的広い舵角の範囲で物体を検出することができる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の物体検出システム１０の構成及び動作は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、状態判定部１１ａが、自車両９の速度及び舵角に基づいて物体検出回路１３ａの検出機能の有効化の可否を判定していた。これに対して、第２の実施の形態では、状態判定部１１ａが、自車両９のアンチロック・ブレーキ・システムの動作状態をさらに考慮して、物体検出回路１３ａの検出機能の有効化の可否を判定する。

図１４は、第２の実施の形態の物体検出システム１０の構成を示す図である。図に示すように、第２の実施の形態の信号受信部１６は、車載ネットワーク９１を介して、自車両９に設けられたアンチロック・ブレーキ・システム（以下、「ＡＢＳ」と略称する。）６４からの信号を受信可能となっている。その他の構成は、図１に示す第１の実施の形態と同じである。

ＡＢＳ６４は、車輪がロックして自車両９がスリップする可能性がある場合に、車輪のロックを抑制する装置である。信号受信部１６は、ＡＢＳ６４から信号を受信して、ＡＢＳ６４が動作中か否かの動作状態を自車両９の車両状態として取得する。

ＡＢＳ６４が動作中の場合は、車輪がロックする可能性がある場合であるため、速度センサ６２が検出する速度（車輪軸の回転に基づく速度）の精度が低くなる。例えば、実際には自車両９は走行状態であるのに、速度センサ６２が検出する速度が０（ｋｍ／ｈ）となる場合がある。

したがって、ＡＢＳ６４が動作中の場合に、物体検出回路１３ａの検出機能を有効化したとしても、物体検出回路１３ａが自車両９に接近する物体を正しく検出できない可能性がある。このような場合に、物体検出回路１３ａの検出結果をユーザに報知すると、実際には自車両９に接近する物体が存在する場合に、ユーザはそのような物体は存在しないと誤認識する可能性がある。

このため、第２の実施の形態の状態判定部１１ａは、図１３のステップＳ１３において、信号受信部１６が取得した信号に基づいてＡＢＳ６４が動作中か否かを判定する。そして、状態判定部１１ａは、ＡＢＳ６４が動作中である場合は、物体検出回路１３ａの検出機能の有効化は不可であると判定して、検出機能を無効化する。一方で、状態判定部１１ａは、ＡＢＳ６４が非動作中である場合は、第１の実施の形態と同様に、自車両９の速度及び舵角に基づいて物体検出回路１３ａの検出機能の有効化の可否を判定する。

このように第２の実施の形態の物体検出システム１０においては、ＡＢＳ６４が動作中の場合は状態判定部１１ａが物体検出回路１３ａの検出機能を無効化する。これにより、物体検出回路１３ａの検出精度を確保することができる。

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の物体検出システム１０の構成及び動作は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、状態判定部１１ａが、自車両９の速度及び舵角に基づいて物体検出回路１３ａの検出機能の有効化の可否を判定していた。これに対して、第３の実施の形態では、状態判定部１１ａが、バックモードＭ３において背面ドア９２の開閉状態をさらに考慮して、物体検出回路１３ａの検出機能の有効化の可否を判定する。

図１５は、第３の実施の形態の物体検出システム１０の構成を示す図である。図に示すように、第３の実施の形態の信号受信部１６は、車載ネットワーク９１を介して、背面ドア９２に設けられたカーテシスイッチ６５からの信号を受信可能となっている。その他の構成は、図１に示す第１の実施の形態と同じである。

カーテシスイッチ６５は、背面ドア９２が開いているか否かの開閉状態を検出する装置である。信号受信部１６は、カーテシスイッチ６５から信号を受信して、背面ドア９２の開閉状態を自車両９の車両状態として取得する。

図１６に示すように、例えば、自車両９の背面ドア９２は跳ね上げ式となっており、ユーザは必要に応じて背面ドア９２を上側に向けて開けることができる。前述のように、バックカメラ２Ｂは自車両９の後端の背面ドア９２に設けられている。図１６の上部に示すように、背面ドア９２が閉じている状態では、バックカメラ２Ｂの光軸２１Ｂは路面に向かい、バックカメラ２Ｂは自車両９の後方の領域を正しく撮影することが可能である。しかしながら、図１６の下部に示すように、背面ドア９２が開いている状態ではバックカメラ２Ｂの光軸２１Ｂは路面に向かわず、バックカメラ２Ｂは自車両９の後方の領域を正しく撮影することができない。

したがって、背面ドア９２が開いている場合に、物体検出回路１３ａの検出機能を有効化したとしても、物体検出回路１３ａが自車両９に接近する物体を正しく検出できない可能性がある。このような場合に、物体検出回路１３ａの検出結果をユーザに報知すると、実際には自車両９に接近する物体が存在する場合に、ユーザはそのような物体は存在しないと誤認識する可能性がある。

このため、本実施の形態の状態判定部１１ａは、バックモードＭ３においては、図１３のステップＳ１３において、信号受信部１６が取得した信号に基づいて背面ドア９２が開いているか否かを判定する。そして、状態判定部１１ａは、背面ドア９２が開いている場合は、物体検出回路１３ａの検出機能の有効化は不可であると判定して、検出機能を無効化する。一方で、状態判定部１１ａは、背面ドア９２が閉じている場合は、第１の実施の形態と同様に、自車両９の速度及び舵角に基づいて物体検出回路１３ａの検出機能の有効化の可否を判定する。

このように第３の実施の形態の物体検出システム１０においては、背面ドア９２が開いている場合は状態判定部１１ａが物体検出回路１３ａの検出機能を無効化する。これにより、物体検出回路１３ａの検出精度を確保することができる。

なお、本実施の形態においても、第２の実施の形態と同様に、状態判定部１１ａが、自車両９のＡＢＳ６４の動作状態をさらに考慮して、物体検出回路１３ａの検出機能の有効化の可否を判定してもよい。また、背面ドア９２は、跳ね上げ式であるとしたが、横開き式であってもよい。

＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の物体検出システム１０の構成及び動作は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第４の実施の形態の物体検出システム１０は、第１の実施の形態の物体検出システム１０の機能に加えて、仮想視点からみた自車両９の周辺を示す合成画像を生成する機能を有している。

図１７は、第４の実施の形態の物体検出システム１０の構成を示す図である。図に示すように、第４の実施の形態の物体検出システム１０は、４つのカメラ２を備えている。４つのカメラ２は、フロントカメラ２Ｆ及びバックカメラ２Ｂの他に、左サイドカメラ２Ｌ及び右サイドカメラ２Ｒを含む。

図１８は、４つのカメラ２Ｆ，２Ｂ，２Ｌ，２Ｒがそれぞれ撮影する方向を示す図である。第１の実施の形態と同様に、フロントカメラ２Ｆは自車両９の前端に設けられ、バックカメラ２Ｂは自車両９の後端に設けられている。

また、左サイドカメラ２Ｌは左側の左サイドミラー９３Ｌに設けられ、その光軸２１Ｌは自車両９の左右方向に沿って左側方に向けられる。また、右サイドカメラ２Ｒは右側の右サイドミラー９３Ｒに設けられ、その光軸２１Ｒは自車両９の左右方向に沿って右側方に向けられる。各カメラ２は１８０度以上の画角θを有しているため、４つのカメラ２Ｆ，２Ｂ，２Ｌ，２Ｒを利用することで、自車両９の全周囲を撮影することが可能である。

図１７に戻り、第４の実施の形態の画像処理回路１３は、物体検出回路１３ａの他に、合成画像を生成する機能を有する画像合成回路１３ｂを備えている。画像合成回路１３ｂは、４つのカメラ２で取得された４つの撮影画像を合成して、仮想視点からみた自車両９の周辺を示す合成画像を生成する。

図１９は、画像合成回路１３ｂが合成画像を生成する手法を説明する図である。フロントカメラ２Ｆ、バックカメラ２Ｂ、左サイドカメラ２Ｌ、及び、右サイドカメラ２Ｒのそれぞれで撮影が行われると、自車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲが取得される。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、自車両９の全周囲のデータが含まれている。

画像合成回路１３ｂは、まず、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（画素の値）を、仮想的な三次元空間における立体曲面ＴＳに投影する。立体曲面ＴＳは、自車両９の周辺の領域に相当する仮想の投影面である。

立体曲面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は自車両９の位置となる車両領域Ｒ０として定められている。画像合成回路１３ｂは、立体曲面ＴＳのうち車両領域（自車両９の位置）Ｒ０には撮影画像のデータを投影せず、車両領域Ｒ０の外側の領域である投影領域Ｒ１に撮影画像のデータを投影する。投影領域の各位置は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのいずれかのデータと対応付けられる。画像合成回路１３ｂは、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのデータをそれぞれ投影領域Ｒ１の対応する位置に投影する。

画像合成回路１３ｂは、投影領域Ｒ１において自車両９の前方に相当する部分ＰＦに、フロントカメラ２Ｆの撮影画像ＳＦのデータを投影する。また、画像合成回路１３ｂは、投影領域Ｒ１において自車両９の後方に相当する部分ＰＢに、バックカメラ２Ｂの撮影画像ＳＢのデータを投影する。さらに、画像合成回路１３ｂは、投影領域Ｒ１において自車両９の左側方に相当する部分ＰＬに左サイドカメラ２Ｌの撮影画像ＳＬのデータを投影し、投影領域Ｒ１において自車両９の右側方に相当する部分ＰＲに右サイドカメラ２Ｒの撮影画像ＳＲのデータを投影する。

このように立体曲面ＴＳの投影領域Ｒ１に撮影画像のデータを投影すると、次に、画像合成回路１３ｂは、自車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この自車両９のモデルは、立体曲面ＴＳが設定される三次元空間における自車両９の位置である車両領域Ｒ０に配置される。

次に、画像合成回路１３ｂは、三次元空間に対して仮想視点ＶＰを設定する。この仮想視点ＶＰは、視点位置と視線方向とで規定される。画像合成回路１３ｂは、任意の視点位置、かつ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。

次に、画像合成回路１３ｂは、立体曲面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、画像合成回路１３ｂは、設定した仮想視点ＶＰに応じて自車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成回路１３ｂは、仮想視点ＶＰからみた自車両９及び自車両９の周辺の領域を示す合成画像ＣＰを生成する。

例えば図に示すように、視点位置を自車両９の直上、視線方向を直下とした仮想視点ＶＰａを設定した場合には、画像合成回路１３ｂは、自車両９及び自車両９の周辺を俯瞰する合成画像ＣＰａを生成できる。また、視点位置を自車両９の左後方、視線方向を自車両９の前方とした仮想視点ＶＰｂを設定した場合には、画像合成回路１３ｂは、自車両９の左後方からみた自車両９及び自車両９の周辺を示す合成画像ＣＰｂを生成できる。

第４の実施の形態の画像出力部１４は、撮影画像ＳＧとともに、このように画像合成回路１３ｂが生成した合成画像ＣＰを含む表示画像を生成して、表示装置３に出力する。これにより、図２０に示すように、撮影画像ＳＧと合成画像ＣＰとを含む表示画像３２が表示装置３において表示される。

この表示画像３２に含まれる合成画像ＣＰは、例えば、自車両９及び自車両９の周辺を俯瞰するものとなっている。また、表示画像３２は、第１の実施の形態と同様の２つの警告部ＡＦ及びアイコンＣを含んでいる。ユーザは、このような表示画像３２を視認することで、自車両９に接近する物体が存在する方向を容易に把握できるとともに、自車両９の周囲全体の様子も同時に把握することができる。

なお、表示装置３に表示する表示画像の態様を、図２０に示す態様と図４に示す態様とのいずれかに、ユーザが所定の操作を行うことで任意に変更できるようになっていてもよい。また、左サイドカメラ２Ｌまたは右サイドカメラ２Ｒの撮影画像を用いて、自車両９に接近する物体を検出する動作モードがあってもよい。

＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態の物体検出回路１３ａは、自車両９に接近する物体を検出するものであったが、自車両９から離れる方向に移動する物体を検出するものであってもよい。

また、上記実施の形態では、物体検出処理の検出結果を示す指標として矩形の警告部ＡＦを表示していたが、矢印などの他の態様の指標を表示するようにしてもよい。また、撮影画像中に含まれる検出した物体の像を強調枠などで強調することで、物体検出処理の検出結果をユーザに報知するようにしてもよい。

また、上記実施の形態では、状態判定部１１ａは、抽出閾値を変更することで物体検出回路１３ａの検出機能の有効／無効を切り替えていた。これに対して、状態判定部１１ａは、検出機能に関する他のパラメータを変更して物体検出回路１３ａの検出機能の有効／無効を切り替えてもよい。例えば、物体検出回路の検出結果の出力のオン／オフを指定するフラグを状態判定部１１ａが変更するようにしてもよい。

また、状態判定部１１ａは、検出機能の有効化の可否の判定条件として、上述した判定条件とは異なる判定条件を用いてもよい。図２１は、検出機能の有効化の可否の判定条件の他の一例を示す図である。図２１のグラフ中には、上記実施の形態と同様の第１領域Ａ１及び第２領域Ａ２に加えて、第３領域Ａ３が存在している。第３領域Ａ３は、速度がＶ２以上Ｖ３未満、かつ、舵角の絶対値がＲ０（Ｒ０＜Ｒ１）未満となる領域である。例えばＶ３は５．０ｋｍ／ｈ、Ｒ０は１２０度とされる。条件変更部１１ｂは、自車両９の速度がＶ２以上Ｖ３未満の場合は第３領域Ａ３を判定条件として設定する。したがってこの場合も、条件変更部１１ｂは、舵角の条件となる舵角範囲を自車両９の速度に応じて変更し、自車両９の速度が小さいほど舵角範囲を大きくすることになる。

また、上記実施の形態においては、物体検出回路１３ａは、オプティカルフロー方式で物体を検出していた。これに対して、物体検出回路１３ａは、フレーム間差分法などの他のフレーム相関方式で物体を検出するものであってもよい。フレーム間差分法は、互いに異なる時点に取得された２つの撮影画像の画素値の差をとり、画素値の差が生じる領域に基づいて物体を検出する手法である。

また、物体検出回路１３ａは、テンプレートマッチング方式などのパターン認識方式で物体を検出するものであってもよい。テンプレートマッチング方式は、検出対象となる物体の外観を示すテンプレート画像をパターンとして予め用意しておき、一つの撮影画像からテンプレート画像に近似する領域を探索することで物体を検出する手法である。

また、上記実施の形態では、プログラムの実行によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１ 物体検出装置
２ カメラ
３ 表示装置
９ 自車両
１０ 物体検出システム
１１ 制御部
１１ａ 状態判定部
１１ｂ 条件変更部
１３ａ 物体検出回路

Claims (6)

1. 車両の周辺を移動する物体を検出する物体検出装置であって、
   前記車両の周辺をカメラで撮影して得られた撮影画像を用いて物体を検出する検出機能を有する検出手段と、
   前記車両の速度、及び、前記車両の舵角を含む車両状態を取得する取得手段と、
   前記車両状態に応じて、前記検出手段の前記検出機能の有効／無効を切り替える制御手段と、
   を備え、
   前記制御手段は、
   前記検出機能に関するパラメータを変更することで、前記検出手段の動作を継続させたまま、前記検出機能の有効／無効を切り替え、
   前記舵角が所定の舵角範囲から外れる場合は前記検出機能を無効化し、前記速度に応じて前記舵角範囲を変更することを特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記検出手段は、前記撮影画像から導出される導出値が閾値を超えた場合に、前記物体を検出するものであり、
   前記制御手段は、前記導出値が取り得る値の最大値に前記閾値を変更することで、前記検出機能を無効化することを特徴とする物体検出装置。
3. 請求項１または２に記載の物体検出装置において、
   前記車両状態は、前記車両の速度、及び、前記車両のアンチロック・ブレーキ・システムの動作状態を含み、
   前記制御手段は、前記アンチロック・ブレーキ・システムの動作中は前記検出機能を無効化することを特徴とする物体検出装置。
4. 請求項１または２に記載の物体検出装置において、
   前記カメラは、前記車両の背面ドアに設けられ、
   前記車両状態は、前記背面ドアの開閉状態を含み、
   前記制御手段は、前記背面ドアが開いている場合は前記検出機能を無効化することを特徴とする物体検出装置。
5. 物体検出システムであって、
   請求項１ないし４のいずれかに記載の物体検出装置と、
   前記物体検出装置の前記検出手段による検出結果をユーザに報知する報知手段と、
   を備えることを特徴とする物体検出システム。
6. 車両の周辺を移動する物体を検出する物体検出方法であって、
   （ａ）前記車両の周辺をカメラで撮影して得られた撮影画像を用いて物体を検出する工程と、
   （ｂ）前記車両の速度、及び、前記車両の舵角を含む車両状態を取得する工程と、
   （ｃ）前記車両状態に応じて、前記工程（ａ）の検出機能を有する検出手段の前記検出機能の有効／無効を切り替える工程と、
   を備え、
   前記工程（ｃ）は、
   前記検出機能に関するパラメータを変更することで、前記検出手段の動作を継続させたまま、前記検出機能の有効／無効を切り替え、
   前記舵角が所定の舵角範囲から外れる場合は前記検出機能を無効化し、前記速度に応じて前記舵角範囲を変更することを特徴とする物体検出方法。

Images