JP2013186245A - 車両周辺監視装置 - Google Patents

Abstract

【課題】車載カメラを搭載した車両の姿勢が変化したことによる合成画像の歪みを防止する。
【解決手段】車両の路面に対する姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量を推定し（Ｓ１１０）、車両の路面に対する姿勢が異常であると判定された場合、車両の路面に対する姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量から実際の車載カメラ２０の位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラ２０の撮影画像を、仮想カメラが撮影したような画像に映像変換する（Ｓ１１２）。
【選択図】図２

Description

本発明は、車両に取り付けられた車載カメラの撮影画像を異なる仮想カメラ位置から撮影したような画像に映像変換して車両周辺の合成画像を生成する車両周辺監視装置に関するものである。

従来、車両周辺を撮影した画像を上空から見た平面画像に変換して得られた鳥瞰画像を一時記憶メモリに記憶させるとともに、ハンドル各信号、車速信号等に基づいて車両の動きを算出し、この車両の動きに基づいて、一時記憶メモリに記憶された複数の鳥瞰画像を用いて車両周辺の合成画像を生成し、この合成画像を表示部に表示させるようにしたものがある（例えば、特許文献１参照）。

特開２００７−１０２７９８号公報

上記特許文献１に記載されたような装置では、車両に取り付けられた車載カメラの位置および向きを規定したパラメータを用いて車載カメラの撮影画像を車両上方の仮想カメラ位置から撮影したような鳥瞰画像に映像変換し、車両の移動に伴って映像変換された複数の鳥瞰画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の鳥瞰画像を用いて車両周辺の合成画像を生成するように構成されている。

しかしながら、このような構成では、車両に取り付けられた車載カメラの位置および向きを規定したパラメータを固定値として映像変換が行われるため、車両の姿勢が変化して車載カメラの位置や向きにずれが生じると、それまでと異なる仮想カメラ位置から撮影したような鳥瞰画像が一時記憶メモリに記憶され、歪んだ領域を含むような合成画像が生成されてしまう。

図８に、車両が後進して路面に設けられた車止めに乗り上げた場合の車両の様子と合成画像の例を示す。図８（ａ）、（ｂ）に示すように、車両が平坦な路面を後進している場合、正常に仮想カメラ位置への視点変換が行われ、合成画像に歪みは生じない。しかし、図８（ｃ）に示すように、車両が路面に設けられた車止めに乗り上げて車両の姿勢が変化して車載カメラの位置や向きに変化が生じると、それまでと異なる仮想カメラ位置から撮影したような鳥瞰画像が一時記憶メモリに記憶される。このため、図８（ｄ）中の点線で囲まれたＡ部に示すように、歪んだ領域を含むような合成画像が生成される。また、このような歪んだ領域は、図８（ｅ）、（ｆ）中のＡ部に示すように、車両が正常な姿勢に戻った後も履歴画像として合成画像に残るため、ユーザに違和感を与えてしまうといった問題がある。

本発明は上記問題に鑑みたもので、車載カメラを搭載した車両の姿勢が変化したことによる合成画像の歪みを防止することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、車両に取り付けられた車載カメラの位置および向きを規定した第１のパラメータを用いて車載カメラの撮影画像を当該車載カメラと異なる仮想カメラ位置から撮影したような画像に映像変換する映像変換手段と、車両の移動に伴って映像変換手段により映像変換された複数の画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の画像を用いて車両周辺の合成画像を生成する合成画像生成手段と、を備えた車両周辺監視装置であって、車両の路面に対する姿勢が異常であるか否かを判定する判定手段と、車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量を推定する変化量推定手段と、を備え、映像変換手段は、判定手段により車両の路面に対する姿勢が異常であると判定された場合、変化量推定手段により推定された車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラの撮影画像を、仮想カメラが撮影したような画像に映像変換することを特徴としている。

このような構成によれば、車両の路面に対する姿勢が異常であるか否かを判定するとともに、車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量を推定し、車両の路面に対する姿勢が異常であると判定された場合、変化量推定手段により推定された車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラの撮影画像が、仮想カメラが撮影したような画像に映像変換されるので、車載カメラを搭載した車両の姿勢が変化したことによる合成画像の歪みを防止することができる。

本発明の第１実施形態に係る車両周辺監視装置の構成を示す図である。 制御部のフローチャートである。 車両の後輪が車止めに乗り上げて、車両の姿勢が前方向に角度θ_１傾いた場合の様子を示す図である。 車両の前輪が車止めに乗り上げて、車両の姿勢が後ろ方向に角度θ_１傾いた場合の様子を示す図である。 フラッシュメモリに記憶されたパラメータを用いて車載カメラ２０の撮影画像を鳥瞰画像に映像変換した場合の画像を表した図である。 パラメータを補正して車載カメラ２０の撮影画像を鳥瞰画像に映像変換した場合の画像を表した図である。 車載カメラの撮影画像に含まれる各特徴点のオプティカルフローについて説明するための図である。 車両が後進して路面に設けられた車止めに乗り上げた場合の車両の様子と合成画像の歪みを表した図である。

（第１実施形態）
本発明の第１実施形態に係る車両周辺監視装置の構成を図１に示す。本車両周辺監視装置は、カメラ角度推定部１１、映像変換処理部１２、車両移動量計算部１３および画像合成部１４を備えた制御部１０を備えている。なお、制御部１０には、車両後方を撮影する車載カメラ２０および表示装置３０が接続されている。

車載カメラ２０は、車両の後方を撮影するバックカメラとして車両後方の左右中央に取り付けられている。車載カメラ２０は、車両後方を撮影した画像を車両周辺監視装置１０へ送出する。

制御部１０は、ＣＰＵ、ＲＯＭ、一次記憶メモリ、フラッシュメモリ、Ｉ／Ｏ等を備えたコンピュータとして構成されており、ＣＰＵはＲＯＭに記憶されたプログラムに従って各種処理を実施する。

カメラ角度推定部１１は、車載カメラ２０を搭載した車両の路面に対する姿勢の変化量を推定する。本実施形態におけるカメラ角度推定部１１は、車両の前後方向の傾斜に応じた信号を出力する傾斜センサおよび車両の左右方向の傾斜に応じた信号を出力する傾斜センサ（いずれも図示せず）より出力される傾斜情報に基づいて車載カメラ２０を搭載した車両の路面に対する姿勢の変化量を推定する。なお、本実施形態におけるカメラ角度推定部１１は、各傾斜センサより出力される傾斜情報に基づいて車載カメラ２０を搭載した車両の水平面に対する姿勢の変化量を推定する。

映像変換処理部１２は、車両に取り付けられた車載カメラ２０の位置および向きを規定したパラメータ（第１のパラメータに相当する）を用いて車載カメラ２０の撮影画像を、当該車載カメラ２０と異なる仮想カメラ位置から撮影したような画像に映像変換する。なお、このような、車載カメラ２０の位置および向きを規定したパラメータを用いて車載カメラの撮影画像を当該車載カメラと異なる仮想カメラ位置から撮影したような画像に映像変換する技術は周知技術である（例えば、特許第３２８６３０６号公報、「全周囲カメラシステムの開発（Ｍａｔｓｕｓｈｉｔａ Ｔｅｃｈｎｉｃａｌ Ｊｏｕｒｎａｌ Ｖｏｌ．５４ Ｎｏ．２ Ｊｕｌ．２００８ 松下電器産業コーポレートＲ＆Ｄ戦略室）」等参照）。

本実施形態では、後輪の車軸の左右中央の位置を基準として、車載カメラ２０の位置Ｏを表す座標（Ｘ_０、Ｙ_０、Ｚ_０）と水平方向を基準とした車載カメラ２０の向き（俯角θ_０）を規定したパラメータがフラッシュメモリに記憶されており、このフラッシュメモリに記憶されたパラメータを用いて車載カメラの撮影画像を車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換する。なお、本実施形態では、車両の後進方向の水平右方向をＸ方向、車両の後進方向をＹ方向、路面からの高さ方向をＺ方向とする。また、パラメータには、前輪の車軸と後輪の車軸との距離Ｌも含まれている。

なお、上記したパラメータは車種毎に用意されており、制御部１０は、搭載車両の車種に該当するパラメータを使用して映像変換するようになっている。

車両移動量計算部１３には、シフトレバーの位置を表すシフト位置信号、車速に応じた車速信号およびステアリングの切り角に応じたステアリング信号が入力されている。車両移動量計算部１３は、シフト位置信号、車速信号およびステアリング信号に基づいて車両の進行方向および移動距離を算出する。

画像合成部１４は、車両の移動に伴って映像変換処理により映像変換された複数の画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の画像を用いて車両周辺の合成画像を生成する。なお、このような映像変換処理により映像変換された複数の画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の画像を用いて車両周辺の合成画像を生成する技術は周知技術である（例えば、特開２００８−２１００８４号公報参照）。

本実施形態における画像合成部１４は、車両移動量計算部１３により算出された車両の進行方向および移動距離を用いて映像変換処理により映像変換された複数の鳥瞰画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の鳥瞰画像を用いて車両周辺の合成画像を生成し、生成した合成画像を表示装置３０へ出力する。

表示装置３０は、液晶等のディスプレイを有し、当該ディスプレイに車両周辺監視装置１０より入力される映像信号に応じた映像を表示させる。

上記した構成において、車載カメラ２０から車両周辺監視装置の制御部１０へ車両後方の撮影画像が入力されると、映像変換処理部１２は、車両に取り付けられた車載カメラ２０の位置および向きを規定したパラメータを用いて車載カメラの撮影画像を当該車載カメラと異なる仮想カメラ位置から撮影したような画像に映像変換する。画像合成部１４は、車両移動量計算部１３により算出された車両の進行方向および移動距離を用いて映像変換処理部１２により映像変換された複数の鳥瞰画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の鳥瞰画像を用いて車両周辺の合成画像を生成し、生成した合成画像を表示装置３０へ出力する。

本実施形態における車両周辺監視装置は、車両の姿勢が変化して車載カメラ２０の位置や向きに変化が生じると、それまでと異なる仮想カメラ位置から撮影したような鳥瞰画像が一時記憶メモリに記憶され、歪んだ領域を含むような合成画像が生成されてしまうという問題解決するため、車両の路面に対する姿勢が異常であるか否かを判定し、車両の路面に対する姿勢が異常であると判定された場合、車両の路面に対する姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量を推定し、この車載カメラ２０の位置および向きの変化量から車両の路面に対する姿勢が異常となった状態の実際の車載カメラ２０の位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラ２０の撮影画像を、仮想カメラが撮影したような画像に映像変換する。

次に、図２に従って、制御部１０の処理について説明する。本車両周辺監視装置は、運転者の操作に応じて車両のイグニッションスイッチがオン状態になると、定期的に図２に示す処理を実施する。

まず、シフト位置信号に基づいてシフトレバーの位置がリバース「Ｒ」になったか否かを判定する（Ｓ１００）。ここで、シフトレバーの位置が、リバース「Ｒ」以外となっている場合、Ｓ１００」の判定はＮＯとなり、本処理を終了する。

また、運転者によりシフトレバーの位置がリバース「Ｒ」にされると、Ｓ１００の判定はＹＥＳとなり、次に、車両の姿勢が異常であるか否かを判定する（Ｓ１０２）。本実施形態では、傾斜センサより入力される傾斜情報に基づいて車両の前後方向の傾斜および車両の左右方向の傾斜を特定し、車両の傾斜が閾値（例えば、５度）未満の場合は車両の姿勢が正常、車両の傾斜が閾値以上の場合は車両の姿勢が異常と判定する。

ここで、車両の傾斜が閾値未満の場合、Ｓ１０２の判定はＮＯとなり、次に、映像変換を行う（Ｓ１０４）。具体的には、フラッシュメモリに記憶されたパラメータを用いて車載カメラ２０の撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換する。具体的には、車載カメラ２０の位置Ｏを表す座標を（Ｘ_０、Ｙ_０、Ｚ_０）、水平方向を基準とした車載カメラ２０の向きをθ_０として、車載カメラ２０の撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換する。

次に、車両の動きを計算する（Ｓ１０６）。具体的には、シフト位置信号、車速信号およびステアリング信号に基づいて車両の進行方向および移動距離を算出する。

次に、車両周辺の合成画像を生成し、生成した合成画像を表示装置３０へ出力する（Ｓ１０８）。具体的には、Ｓ１０４にて映像変換された鳥瞰画像を一次記憶メモリに記憶させるとともに、一次記憶メモリに記憶されている複数の鳥瞰画像を用いて車両周辺の合成画像を生成する。

なお、既に、鳥瞰画像が一次記憶メモリに記憶されている場合には、一次記憶メモリに記憶されている複数の鳥瞰画像を用いて車両周辺の合成画像を生成する。具体的には、新たな鳥瞰画像を一次記憶メモリに記憶させる際に、前回、一次記憶メモリに鳥瞰画像を記憶してからの車両の移動方向および移動距離を関連付けて記憶させるようになっており、一次記憶メモリに記憶された各鳥瞰画像と、当該各鳥瞰画像と関連付けられた車両の移動方向および移動距離に基づいて車両周辺の合成画像を生成し、生成した合成画像を表示装置３０へ出力する。

ただし、ここでは、一次記憶メモリに鳥瞰画像が記憶されていないため、Ｓ１０６にて映像変換された鳥瞰画像を一次記憶メモリに記憶させるだけで、車両周辺の合成画像の生成までは行わない。

上記した処理を繰り返し実施し、次回以降、Ｓ１０８では、新たな鳥瞰画像を一次記憶メモリに記憶させる際に、前回、一次記憶メモリに鳥瞰画像を記憶してからの車両の移動方向および移動距離を関連付けて記憶させる、一次記憶メモリに記憶された各鳥瞰画像と、当該各鳥瞰画像と関連付けられた車両の移動方向および移動距離に基づいて車両周辺の合成画像を生成し、生成した合成画像を表示装置３０へ出力する。このようにして、車両周辺の合成画像が表示装置３０に表示される。

ここで、例えば、車両が後進して車両の後輪が路面に設けられた車止めに乗り上げ、車両の傾斜が閾値以上となった場合、Ｓ１０２の判定はＹＥＳとなり、次に、車載カメラ２０の位置および向きの変化量を推定する（Ｓ１１０）。

図３に、車両の後輪が車止めに乗り上げて、車両の姿勢が前方向に角度θ_１傾いた場合の様子を示す。なお、車両の後輪の車軸の上方向に車載カメラ２０が取り付けられているものとする。また、車載カメラ２０の水平方向を基準とした取り付け向き（俯角）は、θ_０＝３０度となっているものとする。

ここで、車両の姿勢が前方向に角度θ_１＝５度傾いた場合、車載カメラ２０の向きは５度上向きとなる。すなわち、車載カメラ２０の水平方向を基準とした向きの変化量は５度と推定することができる。したがって、車載カメラ２０の水平方向を基準とした向きは、θ_０−θ_１＝（３０度−５度）＝２５度と特定することができる。

また、車両の後輪が車止めに乗り上げて、車両の姿勢が前進方向に角度θ_１傾いた場合、前輪の車軸と後輪の車軸との距離＝Ｌとすると、実際の車載カメラ２０の位置Ｏ’は、車両の姿勢が傾斜していない状態の車載カメラ２０の位置ＯよりもＬ・ｔａｎθ_１だけ上方向に移動する。すなわち、実際の車載カメラ２０の位置Ｏ’の変化量はＬ・ｔａｎθ_１と推定することができ、実際の車載カメラ２０の位置Ｏ’の座標は、（Ｘ_０、Ｙ_０、Ｚ_０＋Ｌ・ｔａｎθ_１）と特定することができる。

また、図４に、車両の前輪が車止めに乗り上げて、車両の姿勢が後ろ方向に角度θ_２傾いた場合の様子を示す。なお、車両の後輪の車軸の上方向に車載カメラ２０が取り付けられており、車載カメラ２０の水平方向を基準とした取り付け向き（俯角）は、θ_０＝３０度となっているものとする。

ここで、車両の姿勢が後ろ方向に角度θ_２＝５度傾いた場合、車載カメラ２０の向きは５度下向きとなる。すなわち、車載カメラ２０の水平方向を基準とした向きの変化量は−５度と推定することができる。したがって、車載カメラ２０の水平方向を基準とした向きは、θ_０＋θ_２＝（３０度＋５度）＝３５度として特定することができる。

ただし、車載カメラ２０の位置Ｏについては、図３に示した場合と異なり、車両の姿勢が傾斜していない状態の車載カメラ２０の位置Ｏと同じとなる。すなわち、実際の車載カメラ２０の位置Ｏ’の座標は、（Ｘ_０、Ｙ_０、Ｚ_０）と特定することができる。

次に、フラッシュメモリに記憶されたパラメータに代えて、Ｓ１１０にて推定した車載カメラ２０の位置および向きを表すパラメータ用いて車載カメラ２０の撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換し（Ｓ１１２）、Ｓ１０６へ進む。

車両の路面に対する姿勢が異常となったにもかかわらず、フラッシュメモリに記憶されたパラメータを用いて車載カメラ２０の撮影画像を鳥瞰画像に映像変換した場合、図５に示すような、映像変換された画像が斜め方向から見たような映像となり歪みの要因となってしまうが、車両の路面に対する姿勢が異常となった場合に、車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きを、実際の車載カメラの位置および向きに補正して、車載カメラ２０の撮影画像を鳥瞰画像に映像変換した場合、図６に示すような、映像変換された画像が、真上方向から見たような歪みのない映像に変換される。

また、車両の姿勢が傾斜していない状態に戻ると、Ｓ１０２の判定はＮＯとなり、次に、映像変換を行う（Ｓ１０４）。具体的には、フラッシュメモリに記憶されたパラメータを用いて車載カメラ２０の撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換する。すなわち、車載カメラ２０の位置Ｏを表す座標を（Ｘ_０、Ｙ_０、Ｚ_０）、水平方向を基準とした車載カメラ２０の向きをθ_０として、車載カメラ２０の撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換する。

上記した構成によれば、車両の路面に対する姿勢が異常であるか否かを判定するとともに、車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量を推定し、車両の路面に対する姿勢が異常であると判定された場合、変化量推定手段により推定された車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラの撮影画像が、仮想カメラが撮影したような画像に映像変換されるので、車載カメラを搭載した車両の姿勢が変化したことによる合成画像の歪みを防止することができる。

また、上記したように、車両の路面に対する傾きに応じた傾斜情報を出力する傾斜センサを備え、傾斜センサより出力される傾斜情報に基づいて車載カメラの路面に対する姿勢が異常であるか否かを判定することができる。

（第２実施形態）
上記第１実施形態に係る車両周辺監視装置は、傾斜センサより入力される傾斜情報に基づいて車両の姿勢が異常であるか否かの判定および車両の姿勢が異常となった状態の車載カメラの位置および向きの変化量の推定を行うようにしたが、本実施形態では、車載カメラ２０の撮影画像に含まれる各特徴点の動きの違いを画像解析により認識し、撮影画像に含まれる特徴点のオプティカルフローに基づいて車両の姿勢が異常であるか否かの判定および車両の姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量の推定を行う。なお、オプティカルフローとは、車載カメラ２０の撮影画像の中で物体の動きをベクトルで表したものである。以下、上記実施形態と同一部分については同一符号を付して説明を省略し、異なる部分を中心に説明する。

車両が平坦な路面を走行する場合、車載カメラ２０の撮影画像に含まれる各特徴点のオプティカルフローは、図７（ａ）中の矢印で示されるようなベクトルで表される。すなわち、撮影画像に含まれる各特徴点のオプティカルフローは、進行方向近くに現れる動きの無限遠点に収束するようなベクトルで表される。

しかし、車両の車輪が段差に乗り上げて車両のピッチ角が変化したような場合、車載カメラ２０の撮影画像に含まれる各特徴点のオプティカルフローは、図７（ｂ）中の点線矢印に示したような、進行方向近くに現れる動きの無限遠点に収束するようなベクトルとは異なり、図７（ｂ）中の実線矢印で示されるようなベクトルで表される。すなわち、車両の車輪が段差に乗り上げて車両のピッチ角が変化したような場合、撮影画像に含まれる各特徴点のオプティカルフローは、同一方向に向かうようなベクトルで表される。

本実施形態では、車載カメラ２０の撮影画像に含まれる各特徴点の動きの違いを画像解析により認識し、車両の姿勢が異常であるか否かの判定および車両の姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量を推定する。具体的には、車両が平坦な路面を走行する場合における車載カメラ２０の撮影画像に含まれる各特徴点のベクトルがデータベースとして記憶されており、このデータベースにより特定される車両が平坦な路面を走行する場合における車載カメラ２０の撮影画像に含まれる各特徴点のベクトルと、実際の車載カメラ２０の撮影画像に含まれる各特徴点のベクトルの相違から、車両の姿勢が異常であるか否か判定を判定する（Ｓ１０２）。そして、車両の姿勢が異常であると判定された場合、車両が平坦な路面を走行する場合における車載カメラ２０の撮影画像に含まれる各特徴点のベクトルと、実際の車載カメラ２０の撮影画像に含まれる各特徴点のベクトルの相違から車両の姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量を推定する（Ｓ１１０）。

そして、車両の姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量から実際の車載カメラ２０の位置および向きを表すパラメータを特定し、当該パラメータを用いて車載カメラ２０の撮影画像を、仮想カメラが撮影したような画像に映像変換する（Ｓ１１２）。

上記したように、車載カメラの撮影画像を画像解析し、当該撮影画像に含まれる特徴点の移動ベクトルを推定し、この撮影画像に含まれる特徴点の移動ベクトルに基づいて車載カメラの路面に対する姿勢が異常であるか否かを判定することもできる。

（第３実施形態）
上記第１実施形態に係る車両周辺監視装置は、傾斜センサより入力される傾斜情報に基づいて車両の姿勢が異常であるか否かの判定および車両の姿勢が異常となった状態の車載カメラの位置および向きの変化量の推定を行うようにしたが、本実施形態では、車両の旋回時の遠心力による車両の姿勢の変化量を特定するための信号（第１の信号に相当する）として、車両のステアリングの角度に応じた舵角信号を取得するとともに、車両の加減速による車両の姿勢の変化量を特定するための信号（第２の信号に相当する）として、車速センサより出力される車速信号を取得し、舵角信号により特定される車両の旋回時の遠心力による姿勢の変化量および車速信号により特定される車両の加減速による車両の姿勢の変化量に基づいて車載カメラの路面に対する姿勢が異常であるか否かを判定するとともに、車両の姿勢が異常となった状態の車載カメラの位置および向きの変化量の推定を行う。

なお、車両の走行時における車両の姿勢は、車両の旋回時の遠心力、車両の加速度の変化だけでなく、車両のサスペンションの性能等によっても左右される。

本実施形態における車両周辺監視装置は、車種毎に、車両のステアリング角、車両の加速度の変化等の車両の挙動と、車両の姿勢の変化量を規定したテーブルが用意されている。

本車両周辺監視装置は、搭載車両の車種に該当するテーブルを用いて車両の走行時における車両の姿勢が異常か否かを判定し（Ｓ１０２）、車両の路面に対する姿勢が異常であると判定された場合、車両の姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量を推定し（Ｓ１１０）、これらの車載カメラ２０の位置および向きの変化量から実際の車載カメラ２０の位置および向きを表すパラメータを特定し、当該パラメータを用いて車載カメラ２０の撮影画像を、仮想カメラが撮影したような画像に映像変換する（Ｓ１１２）。

（その他の実施形態）
上記第１〜第３実施形態では、車載カメラの撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に画像変換する例を示したが、仮想カメラ位置は、車両の上方向に限定されるものではない。

また、上記第１〜第３実施形態では、車両の上方向を仮想カメラ位置として、車載カメラの撮影画像を仮想カメラ位置から見たような鳥瞰画像に映像変換し、映像変換された複数の鳥瞰画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の鳥瞰画像を用いて車両周辺の合成画像を生成する装置において、車載カメラの路面に対する姿勢が異常である判定された場合、車載カメラの路面に対する姿勢の変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラの撮影画像を、仮想カメラが撮影したような画像に映像変換するようにしたが、車載カメラの角度が変わることによって影響を受けるシステム、例えば、車両に取り付けられた車載カメラの撮影映像の画素から対象物との距離を推定するシステムにおいて、車載カメラの路面に対する姿勢が異常である判定された場合、車載カメラの路面に対する姿勢の変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラの撮影画像を、仮想カメラが撮影したような画像に映像変換するように構成してもよい。

また、上記第１実施形態では、車両の姿勢が前方向に傾いた場合と、車両の姿勢が後ろ方向に傾いた場合について、車載カメラの路面に対する姿勢の変化量から車載カメラの路面に対する姿勢が異常となった状態の車載カメラの位置および向きを表す第２のパラメータを特定する例を示したが、車両の姿勢が左方向に傾いた場合、車両の姿勢が右方向に傾いた場合、車両の姿勢が左前方向に傾いた場合、車両の姿勢が左後ろ方向に傾いた場合等、車載カメラの路面に対する姿勢の変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定することができる。また、第２、第３実施形態についても同様である。

また、車両の姿勢が異常であるか否かの判定および車両の姿勢が異常となった状態の車載カメラの位置および向きの変化量の推定を、上記第１実施形態では、傾斜センサからの傾斜情報を用いて行い、第２実施形態では車載カメラ２０の撮影画像に含まれる各特徴点のオプティカルフローに基づいて行い、第３実施形態では、車両の旋回時の遠心力による姿勢の変化量および車速信号により特定される車両の加減速による車両の姿勢の変化量に基づいて行うようにしたが、第１〜第３実施形態に示した各手法のうち、少なくとも２つを組み合わせるようにして行うこともできる。

また、上記第１〜第３実施形態では、車載カメラ２０の位置および向きを表すパラメータとして、車載カメラ２０の位置Ｏを表す座標（Ｘ_０、Ｙ_０、Ｚ_０）と水平方向を基準とした車載カメラ２０の向き（俯角θ_０）と前輪の車軸と後輪の車軸との距離Ｌを含む例を示したが、このような要素以外の情報をパラメータとして規定するように構成してもよい。

また、上記第１〜第３実施形態では、バックカメラとして車両に取り付けられた車載カメラ２０の撮影画像から車両周辺の合成画像を生成する例を示したが、バックカメラ以外の車載カメラ２０に適用することもできる。

また、上記第１〜第３実施形態では、１つの車載カメラ２０の撮影画像から車両周辺の合成画像を生成する例を示したが、複数の車載カメラ２０の撮影画像から車両周辺の合成画像を生成するように構成してもよい。

なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、Ｓ１０４、Ｓ１１２が映像変換手段に相当し、Ｓ１０６、Ｓ１０８が合成画像生成手段に相当し、Ｓ１０２が判定手段に相当し、Ｓ１１０が変化量推定手段に相当する。

１０ 制御部
１１ カメラ角度推定部
１２ 映像変換処理部
１３ 車両移動量計算部
２０ 車載カメラ
３０ 表示装置

Claims (8)

1. 車両に取り付けられた車載カメラの位置および向きを規定した第１のパラメータを用いて前記車載カメラの撮影画像を当該車載カメラと異なる仮想カメラ位置から撮影したような画像に映像変換する映像変換手段と、
   前記車両の移動に伴って前記映像変換手段により映像変換された複数の画像を一次記憶メモリに記憶させるとともに前記一次記憶メモリに記憶された前記複数の画像を用いて前記車両周辺の合成画像を生成する合成画像生成手段と、を備えた車両周辺監視装置であって、
   前記車両の路面に対する姿勢が異常であるか否かを判定する判定手段と、
   前記車両の路面に対する姿勢が異常となった状態の前記車載カメラの位置および向きの変化量を推定する変化量推定手段と、を備え、
   前記映像変換手段は、前記判定手段により前記車両の路面に対する姿勢が異常であると判定された場合、前記変化量推定手段により推定された前記車両の路面に対する姿勢が異常となった状態の前記車載カメラの位置および向きの変化量から実際の前記車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて前記車載カメラの撮影画像を、前記仮想カメラが撮影したような画像に映像変換することを特徴とする車両周辺監視装置。
2. 前記判定手段は、前記車両の路面に対する傾斜に応じた傾斜情報を出力するセンサより出力される傾斜情報に基づいて前記車載カメラの路面に対する姿勢が異常であるか否かを判定することを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記変化量推定手段は、前記車両の路面に対する傾斜に応じた傾斜情報を出力するセンサより出力される傾斜情報に基づいて前記車両の路面に対する姿勢が異常となった状態の前記車載カメラの位置および向きの変化量を推定することを特徴とする請求項１または２に記載の車両周辺監視装置。
4. 前記判定手段は、前記車載カメラの撮影画像に含まれる特徴点の移動ベクトルを推定し、当該撮影画像に含まれる特徴点の移動ベクトルに基づいて前記車載カメラの路面に対する姿勢が異常であるか否かを判定することを特徴とする請求項１ないし３のいずれか１つに記載の車両周辺監視装置。
5. 前記変化量推定手段は、前記車載カメラの撮影画像に含まれる特徴点の移動ベクトルを推定し、当該撮影画像に含まれる特徴点の移動ベクトルに基づいて前記車両の路面に対する姿勢が異常となった状態の前記車載カメラの位置および向きの変化量を推定することを特徴とする請求項１ないし４のいずれか１つに記載の車両周辺監視装置。
6. 前記判定手段は、前記車両の旋回時の遠心力による前記車両の姿勢の変化量を特定するための第１の信号および前記車両の加減速による車両の姿勢の変化量を特定するための第２の信号を取得し、前記第１の信号により特定される前記車両の旋回時の遠心力による姿勢の変化量および前記第２の信号より特定される前記車両の加減速による車両の姿勢の変化量に基づいて前記車載カメラの路面に対する姿勢が異常であるか否かを判定することを特徴とする請求項１ないし５のいずれか１つに記載の車両周辺監視装置。
7. 前記変化量推定手段は、前記車両の旋回時の遠心力による前記車両の姿勢の変化量を特定するための第１の信号および前記車両の加減速による車両の姿勢の変化量を特定するための第２の信号を取得し、前記第１の信号により特定される前記車両の旋回時の遠心力による姿勢の変化量および前記第２の信号より特定される前記車両の加減速による車両の姿勢の変化量に基づいて前記車両の路面に対する姿勢が異常となった状態の前記車載カメラの位置および向きの変化量を推定することを特徴とする請求項１ないし６のいずれか１つに記載の車両周辺監視装置。
8. 前記仮想カメラ位置は、前記車両の上方向に位置し、
   前記仮想カメラ位置から撮影したような画像は鳥瞰画像であることを特徴とする請求項１ないし７のいずれか１つに記載の車両周辺監視装置。

Images