JP4468859B2 - 画像合成装置および合成方法 - Google Patents

Description

本発明は、車両に搭載された複数の撮像カメラにより撮像された画像データを合成する画像合成装置に関し、特に車両の後方の物体を撮像したときの画像合成技術に関する。

自動車への撮像カメラの搭載率の向上に伴い、画像合成を用いたアプリケーションが急拡大している。このようなアプリケーションの多くは、運転者の運転を支援し、車両の走行時の安全性を向上させるものである。例えば、車両に搭載された撮像カメラによって撮像された画像情報に基づき車両に接近する危険物や障害物を報知したり、あるいは運転者にとって死角となる空間を可視化している。

特許文献１は、車体の周囲を一望することができる車載画像表示装置を開示している。これによれば、車両の左側面後方撮像カメラ、右側面後方撮像カメラ、中央の後方撮像カメラを取り付け、左右の後方撮像カメラにより撮像された画像の重複する領域を、中央の後方撮像カメラにより撮像された画像に置き換えるようなトリミングおよび画像合成を行っている。さらに、車両の走行状態、すなわち、後退時、低速時、高速時に応じて画像の切り出す距離を可変にし、かつ、合成画像時のトリミングする領域を可変にしている。

特開平１１−３４８６５９号

例えば図９に示すように、自車の左右のサイドミラーに内蔵された撮像カメラ２００、２１０により自車の後方視界を映し出し、それぞれの画像を合成す場合、次のような課題が生じる。それぞれの撮像カメラ２００、２１０の視野角θｓは、一定の範囲で重複するように設定されるが、その重複する範囲に物体（ここでは、後続車両とする）が存在するとき、自車から後続車両までの距離によって合成画像に後続車両が二重に写るといった不具合が生じてしまう。撮像カメラ２００、２１０の視野角が交差する位置Ｐ（以下、交差位置という）、すなわち自車から距離Ｄ１の位置に後続車両Ａがあるとき、合成画像には、後続車両Ａが綺麗に映し出される。一方、交差位置Ｐより後方の視野角が重複する領域Ｗ、すなわち自車から距離Ｄ２（Ｄ２＞Ｄ１）の位置に後続車両Ｂがあるとき、合成画像には、後続車両Ｂが二重に映し出されてしまう。従って、運転者は、後続車両が１台であるにもかかわらず、後続車両が２台あると誤認識してしまうことがある。

特許文献１では、走行速度に応じて画像の切り出す距離を大きくし、例えば低速時には５ｍ、高速時には１０ｍの位置で画像の切り出しを行っているが、これらの値は固定的であり、必ずしも上記課題を解決するには至っていない。

本発明は、上記従来の課題を解決するために成されたものであり、複数の撮像カメラにより撮像された画像情報に基づき車両の後方の画像を合成するとき、車両から後方の物体までの距離に応じて不具合なく自然な合成画像を合成することができる画像合成装置および合成方法を提供することを目的とする。

本発明に係る画像合成装置は、車両の第１の側部に取り付けられ、第１の視野角で車両の後方を撮像し、第１の画像情報を生成する第１の撮像装置と、車両の第２の側部に取り付けられ、第２の視野角で車両の後方を撮像し、第２の画像情報を生成する第２の撮像装置と、車両の後方の物体との距離を算出する距離算出手段と、第１および第２の画像情報を受け取り、算出された物体までの距離に応じて第１および第２の画像情報のトリミング量を可変し、トリミングされた第１および第２の画像情報を合成する画像合成手段と、合成された画像を表示する表示手段とを有する。

好ましくは、画像合成手段は、第１および第２の撮像装置の第１および第２の視野角の交差する交差位置より後方に物体があるとき、交差位置より後方において第１および第２の画像情報が重複しないように、第１および第２の画像情報の少なくとも一方をトリミングする。交差位置を基準に、第１および第２の画像情報のそれぞれをトリミングしてもよいし、一方の画像情報のみをトリミングしてもよい。第１および第２の撮像装置の第１および第２の視野角は、ほぼ等しく、車両の両側部から車両の進行方向に関してほぼ対称となるような空間を撮像範囲として設定することが望ましい。例えば、第１および第２の撮像装置は、車両のサイドミラーに内蔵することができる。但し、第１および第２の撮像装置の視野角が異なるものであっても良い。

画像合成装置はさらに、車両の後部中央付近に設けられ、第３の視野角で車両の後方を撮像し、第３の画像情報を生成する第３の撮像装置を含み、第１および第２の視野角の交差する交差位置より手前に物体があるとき、画像合成手段は、第３の撮像装置により撮像された物体の第３の画像情報を合成画像に用いる。好ましくは、第３の撮像装置の第３の視野角は、第１、第２の視野角よりも広角である。

本発明に係る、車両に搭載された複数の撮像装置を用いて車両の後方の画像を合成する画像合成方法は、車両の左右の側部に搭載された第１および第２の撮像装置からの第１および第２の画像情報を取得するステップと、車両の後方に位置する物体の距離を算出するステップと、物体までの距離に応じて第１および第２の画像情報のトリミングする範囲を可変するステップと、トリミングされた第１および第２の画像情報を合成するステップと、合成された画像を表示するステップとを有する。

好ましくは、トリミングするステップは、第１の撮像装置の視野角と第２の撮像装置の視野角が交差する交差位置より後方に物体が位置するとき、交差位置より後方において第１および第２の画像情報が重複しないようように第１および第２の画像情報をトリミングする。

本発明によれば、車両の後方の物体までの距離を算出し、当該距離に応じて第１および第２の撮像装置で撮像された第１および第２の画像情報をトリミングするようにしたので、車両後方の物体が二重に映し出されることなくごく自然な画像合成およびその表示を行うことができる。

以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施例に係る車載用の画像合成装置の構成を示すブロック図、図２は、撮像カメラの搭載位置を示す図である。本実施例では、自車１０の左右のサイドミラー１２、１４に、左側面および右側面に撮像カメラ２０、２２が内蔵されており、これらの撮像カメラ２０、２２は、視野角θ１にて車両の後方空間を撮像する。好ましくは、自車１０のセンターに関して左右の撮像カメラの撮像空間が対称となるように撮像カメラ２０、２２が取り付けられる。また、車両の後部中央にセンター用の撮像カメラ２４が取り付けられ、撮像カメラ２４は、視野角θ２（θ２＞θ１）にて車両の後方を広角に撮像する。

撮像カメラ２０、２２、２４により撮像された画像データは、トリミング処理部３０および制御部３８へ供給される。トリミング処理部３０は、各撮像カメラで撮像された画像データを車両後方に位置する物体の距離に応じてトリミングを行う。画像合成処理部３２は、トリミングされた画像データを受け取り１フレームまたは１フィールドの画像の合成を行う。表示部３４は、合成された画像データに基づき車両公報の視界の動画像または静止画をディスプレイ等に表示する。入力部３６は、撮像カメラの動作や画像合成の動作に関する指示を入力する。

制御部３８は、例えば、ＲＯＭ、ＲＡＭ等を含むマイクロコンピュータ等から構成され、画像合成に必要な処理プログラムやデータをＲＯＭ、ＲＡＭに格納している。制御部３８は、トリミング処理部３０に対して、撮像された画像データについてどの領域をトリミングするかの指示を与えたり、画像合成処理部３２に対して、どの画像データを合成すべきかの指示を与える。さらに、制御部３８は、撮像カメラからの画像データに基づき、車両後方に位置する物体までの距離を算出する。距離の算出は、例えば、左右の撮像カメラ２０、２２（ステレオカメラ）により撮像された画像データにおける物体との成す角度により物体までの距離を算出する。さらに、図１に示すようにレーダー測位部４０を設け、ミリ波レーダー等により後方の物体までの距離を測位するようにしてもよい。

次に、本実施例における画像合成の動作を図３のフローチャートを参照して説明する。ここでは、車両後方の物体を後続車両とする。自車１０の走行が開始されると（ステップＳ１０１）、左右の撮像カメラ２０、２２およびセンター用の撮像カメラ２４により自車後方の撮像が開始される（ステップＳ１０２）。あるいは、入力部３６からのユーザの指示に応答して撮像を開始するようにしてもよい。

次に、制御部３８は、撮像カメラからの画像データに基づき、後続車両が存在するか否かを判定する（ステップＳ２０３）。制御部３８は、予め決められたパターンが画像データ内に含まれるか否かをパターンマッチングし、一致するパターンを認識したとき、後続車両が存在すると判定する。認識するパターンとして、車両の外観形状、ナンバープレート等の車両に固有の情報を認識の対象とすることができる。勿論、車両の他にも、認識するパターンとして自転車、バイク、人などを含めることができる。パターンマッチングの手法以外にも、例えば画像データ内に特定の色が認識されたときに、後続車両があると判定しても良いし、レーダーを用いて物体の認識を行うのものであってもよい。物体を認識する手段は、上記以外の公知の手段を用いることが可能である。

後続車両が存在するとき（ステップＳ１０４）、制御部３８は、自車１０から後続車両までの距離を算出する（ステップＳ１０５）。後続車両までの距離は、上記したように、後続車両と左右の撮像カメラ２０、２２との成す角度から算出するようにしてもよいし、レーダー測位部４０により測位するようにしてもよい。

制御部３８は、交差位置Ｐまでの距離Ｄｐと後続車両までの距離と比較し、比較結果に基づきトリミングの調整を行う。例えば図４に示すように、後続車両Ｃまでの距離Ｄ３が左右の撮像カメラ２０、２２の視野角θ１が交差する交差位置Ｐよりも後方か否かを比較する。交差位置Ｐは、撮像カメラの取り付け位置と視野角θ１から幾何学的に算出され、自車から交差位置Ｐまでの直線距離をＤｐとする。距離Ｄ３が距離Ｄｐよりも小さいとき（ステップＳ１０６）、左右の撮像カメラ２０、２２の死角に後続車両Ｃが存在するため、左右の撮像カメラ２０、２２により後続車両Ｃを撮像することができない。このため、センター用の撮像カメラ２４による画像データを表示に用いる。従って、制御部３８は、左右の撮像カメラ２０、２２からの画像データについてトリミングを行わない指示をトリミング処理部３０に与える（ステップＳ１０７）。

図５に示すように、後続車両Ａの距離Ｄ１が交差位置Ｐまでの距離Ｄｐの一定の範囲内（例えば、交差位置Ｐの前後０．５メートル以内）にあるとき（ステップＳ１０８）、左右の撮像カメラ２０、２２の画像データをそのまま合成しても後続車両Ａが二重に映し出されない。さらに、後続車両Ａよりも後方の空間は、後続車両Ａによって遮られているので、視野角θ１が重複する空間Ｗの映像が二重になることも実質的に防がれる。従って、制御部３８は、左右の撮像カメラ２０、２２の画像データのトリミングを行わない指示をトリミング処理部３０に与える（ステップＳ１０９）。

一方、図６に示すように、後続車両Ｂまでの距離Ｄ２が交差位置Ｐまでの距離Ｄｐよりも大きいとき、すなわち交差位置Ｐよりも後方の視野角が重複する領域Ｗにあるとき（ステップＳ１１０）、制御部３８は、左右の撮像カメラ２０、２２からの画像データが重複しないようにトリミング量を調整する（ステップＳ１１１）。

図６（ｂ）は、後続車両Ｂの距離Ｄ２における面での画像データを仮定したものである。左側面の撮像カメラ２０による画像データＧ１は、水平方向Ｈ１ａからＨ１ｂまでの撮像範囲を有し、右側面の撮像カメラ２２の画像データＧ２は、水平方向Ｈ２ａからＨ２ｂまでの撮像範囲を有し、Ｈ１ｂとＨ２ｂの間が視野角が重複する範囲Ｗである。制御部３８は、自車１０のセンターから交差位置Ｐを通るラインＣの位置まで、画像データＧ１、Ｇ２をトリミングをする。すなわち、画像データＧ１に関して、水平方向Ｈ１ｂからラインＣまでの画像データがトリミングされ（ハッチング領域）、画像データＧ２に関して、水平方向Ｈ２ｂからラインＣまでの画像データがトリミングされる。画像データＧ１、Ｇ２を、ラインＣに関して均等にトリミングすることにより、視野角が重複する範囲Ｗが解消される。

次に、制御部３８は、画像合成処理部３２に対して、トリミング処理部３０からの画像データを合成する指示を与え、トリミングされた画像データの画像合成が行われる（ステップＳ１１２）。後続車両Ｃが交差位置Ｐより手前にある場合には、制御部３８は、画像合成を行うことなく、センター用の撮像カメラ２４の画像データを合成画像として出力するように画像合成処理部３２に指示する。

画像合成処理部３２から出力された合成画像データは、表示部３４によりディスプレイ上に表示される（ステップＳ１１３）。以上の画像合成は、例えば自車の走行が停止されたり、あるいは、ユーザからの指示があるまで継続される。

図６（ｃ）は、交差位置Ｐよりも後方に位置する後続車両Ｂを撮像したときの合成画像の表示例である。画像データＧ１、Ｇ２をラインＣに関して均等にトリミングしているため、後続車両Ｂが二重になることなく肉眼でみるのと同等の自然な画像が表示されている。

次に、本発明の他の変形例について説明する。上記実施例において、後続車両Ｃが交差位置Ｐより手前にあるとき、センター用の撮像カメラ２４の画像データを表示するようにしたが、センター用の撮像カメラ２４の画像データを左右の撮像カメラの画像データと合成するようにしてもよい。図７は、後続車両Ｃまでの距離Ｄ３における面の画像データを示している。センター用の撮像カメラ２４による視野角θ３としたとき、センター撮像カメラ２４により水平方向Ｈ３ａからＨ３ｂまでの撮像範囲（θ３×Ｄ３で近似される）の画像データＧ３となる。画像データＧ３の両側に、左右の撮像カメラ２０、２２の画像データＧ１、Ｇ２が合成されるように、画像データＧ１、Ｇ２をトリミングする。トリミングする位置は、視野角θ３が、撮像カメラの視野角θ１と交差する位置にしてもよい。

上記実施例では、後続車両Ｂが交差位置Ｐよりも後方にあるとき、画像データＧ１、Ｇ２を、ラインＣに関して均等な量だけトリミングするようにしたが、例えば、画像データＧ１またはＧ２のいずれか一方をトリミングするようにしてもよい。例えば、図８に示すように、後続車両の距離をＤ２としたとき、画像データＧ１の水平方向の撮像範囲Ｈ１ｂに一致するように、画像データＤ２をＴ１の量をトリミングする。同様に、後続車両Ｂの距離がＤ２ａ、Ｄ２ｂとなったとき、撮像範囲Ｈ１ｂに一致するように、画像データＧ２をＴ２、Ｔ３の量をトリミングする。それとは反対に、画像データＧ２の水平方向の撮像範囲Ｈ２ｂに一致するように画像データＧ１をＴ１、Ｔ２、Ｔ３の量だけ水平方向にトリミングするようにしても良い。

上記実施例では、左右の撮像カメラ２０、２２の視野角をともにθ１とし、ラインＣに関して撮像範囲が対称となるようにしたが、それぞれの視野角が異なるものであってもよい。この場合、交差位置Ｐは、自車のセンターからずれるが、交差位置Ｐより後方の重複する領域Ｗに位置する後続車両に対しては、上記実施例と同様に、距離に応じたトリミング量の調整を行うことができる。

上記実施例では、自車の後方を撮像するために撮像カメラを３台搭載する例を示したが、これに加えて自車の前方や側方を撮像する撮像カメラを搭載することも可能である。また、センター用の撮像カメラ２４は、自車が後方に走行するときに、後方の空間を撮像ために利用するようにしてもよい。さらに、車両の後方の物体は、車両以外のバイク、自転車、その他の移動体であってもよい。

以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本発明に係る画像合成装置は、車両等の安全運転支援システムとして利用することができる。利用態様として、ナビゲーション装置や他のコンピュータ等の電子装置と機能的に結合することが可能である。

本発明の実施例に係る画像合成装置の構成を示すブロック図である。 車両に搭載される撮像カメラの配置を示す図である。 本実施例に係る画像合成装置の動作を説明するフローチャートである。 左右の撮像カメラの視野角と後続車両との関係を示す図である。 左右の撮像カメラの視野角と後続車両との関係を示す図である。 同図（ａ）は左右の撮像カメラの視野角と後続車両との関係を示す図、同図（ｂ）はトリミング量を説明する図、同図（ｃ）はトリミングされた画像の合成例を示す図である。 本実施例の変形例を説明する図である。 本実施例の変形例を説明する図である。 従来の画像合成装置の課題を説明する図である。

符号の説明

１：画像合成装置 １０：自車
２０：左側面の撮像カメラ ２２：右側面の撮像カメラ
２４：後部センターの撮像カメラ ３０：トリミング処理部
３２：画像合成処理部 ３４：表示部
３６：入力部 ３８：制御部
４０：レーダー測位部

Claims (11)

1. 車両の第１の側部に取り付けられ、第１の視野角で車両の後方を撮像し、第１の画像情報を生成する第１の撮像装置と、
   車両の第２の側部に取り付けられ、第２の視野角で車両の後方を撮像し、第２の画像情報を生成する第２の撮像装置と、
   車両の後方の物体との距離を算出する距離算出手段と、
   第１および第２の画像情報を受け取り、算出された物体までの距離に応じて第１および第２の画像情報のトリミング量を可変し、トリミングされた第１および第２の画像情報を合成する画像合成手段と、
   合成された画像を表示する表示手段とを有し、
   前記画像合成手段は、第１および第２の視野角の交差する交差位置より後方に物体があるとき、交差位置より後方の第１および第２の画像情報が重複しないように、第１および第２の画像情報の少なくとも一方をトリミングする、画像合成装置。
2. 車両の第１の側部に取り付けられ、第１の視野角で車両の後方を撮像し、第１の画像情報を生成する第１の撮像装置と、
   車両の第２の側部に取り付けられ、第２の視野角で車両の後方を撮像し、第２の画像情報を生成する第２の撮像装置と、
   車両の後部中央付近に設けられ、第３の視野角で車両の後方を撮像し、第３の画像情報を生成する第３の撮像装置と、
   車両の後方の物体との距離を算出する距離算出手段と、
   第１および第２の画像情報を受け取り、算出された物体までの距離に応じて第１および第２の画像情報のトリミング量を可変し、トリミングされた第１および第２の画像情報を合成する画像合成手段と、
   合成された画像を表示する表示手段とを有し、
   前記画像合成手段は、第１および第２の視野角の交差する交差位置より手前に物体があるとき、第３の撮像装置により撮像された物体の第３の画像情報を合成画像に用いる、画像合成装置。
3. 車両の第１の側部に取り付けられ、第１の視野角で車両の後方を撮像し、第１の画像情報を生成する第１の撮像装置と、
   車両の第２の側部に取り付けられ、第２の視野角で車両の後方を撮像し、第２の画像情報を生成する第２の撮像装置と、
   車両の後部中央付近に設けられ、第３の視野角で車両の後方を撮像し、第３の画像情報を生成する第３の撮像装置と、
   車両の後方の物体との距離を算出する距離算出手段と、
   第１および第２の画像情報を受け取り、算出された物体までの距離に応じて第１および第２の画像情報のトリミング量を可変し、トリミングされた第１および第２の画像情報を合成する画像合成手段と、
   合成された画像を表示する表示手段とを有し、
   前記画像合成手段は、第１および第２の視野角の交差する交差位置より後方に物体があるとき、交差位置より後方の第１および第２の画像情報が重複しないように、第１および第２の画像情報の少なくとも一方をトリミングし、
   前記画像合成手段は、第１および第２の視野角の交差する交差位置より手前に物体があるとき、第３の撮像装置により撮像された物体の第３の画像情報を合成画像に用いる、画像合成装置。
4. 前記画像合成手段は、交差位置を基準に第１の画像情報および第２の画像情報をそれぞれトリミングする、請求項１または３に記載の画像合成装置。
5. 前記画像合成手段は、第１および第２の画像情報をトリミングし、トリミングされた第１および第２の画像情報と第３の画像情報を合成する、請求項２または３に記載の画像合成装置。
6. 距離算出手段は、第１および第２の撮像装置により生成された第１および第２の画像情報に基づき物体までの距離を算出する、請求項１ないし３いずれか１つに記載の画像合成装置。
7. 距離算出手段は、レーダーにより物体までの距離を算出する、請求項１ないし３いずれか１つに記載の画像合成装置。
8. 第１および第２の撮像装置は、車両のサイドミラーに内蔵されている、請求項１ないし７いずれか１つに記載の画像合成装置。
9. 車両に搭載された複数の撮像装置を用いて車両の後方の画像を合成する画像合成方法であって、
   車両の左右の側部に搭載された第１および第２の撮像装置により車両の後方を撮像し、それぞれ第１および第２の画像情報を取得するステップと、
   車両の後方に位置する物体までの距離を算出するステップと、
   物体までの距離に応じて第１および第２の画像情報のトリミングする範囲を可変するステップと、
   トリミングされた第１および第２の画像情報を合成するステップと、
   合成された画像を表示するステップとを有し、
   前記トリミングする範囲を可変するステップは、第１の撮像装置の視野角と第２の撮像装置の視野角が交差する交差位置より後方に物体が位置するとき、交差位置より後方の第１および第２の画像情報が重複しないようように第１および第２の画像情報の少なくとも一方をトリミングする、
   画像合成方法。
10. 車両に搭載された複数の撮像装置を用いて車両の後方の画像を合成する画像合成方法であって、
    車両の左右の側部に搭載された第１および第２の撮像装置により車両の後方を撮像し、それぞれ第１および第２の画像情報を取得するステップと、
    車両の後方に位置する物体までの距離を算出するステップと、
    物体までの距離に応じて第１および第２の画像情報のトリミングする範囲を可変するステップと、
    トリミングされた第１および第２の画像情報を合成するステップと、
    合成された画像を表示するステップと、
    交差位置より前方に物体が位置するとき、車両の後部中央付近に搭載された第３の撮像装置により物体を撮像し、第３の撮像装置により撮像された画像を表示するステップとを有する、画像合成方法。
11. 車両に搭載された複数の撮像装置を用いて車両の後方の画像を合成する画像合成方法であって、
    車両の左右の側部に搭載された第１および第２の撮像装置により車両の後方を撮像し、それぞれ第１および第２の画像情報を取得するステップと、
    車両の後方に位置する物体までの距離を算出するステップと、
    物体までの距離に応じて第１および第２の画像情報のトリミングする範囲を可変するステップと、
    トリミングされた第１および第２の画像情報を合成するステップと、
    合成された画像を表示するステップと、
    交差位置より前方に物体が位置するとき、車両の後部中央付近に搭載された第３の撮像装置により物体を撮像し、第３の撮像装置により撮像された画像を表示するステップとを有し、
    前記トリミングする範囲を可変するステップは、第１の撮像装置の視野角と第２の撮像装置の視野角が交差する交差位置より後方に物体が位置するとき、交差位置より後方の第１および第２の画像情報が重複しないようように第１および第２の画像情報の少なくとも一方をトリミングする、画像合成方法。

Images