JP2004048621A

JP2004048621A - Image compositing apparatus and method

Info

Publication number: JP2004048621A
Application number: JP2002206484A
Authority: JP
Inventors: Ken Oizumi; 大泉　　謙
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-07-16
Filing date: 2002-07-16
Publication date: 2004-02-12
Anticipated expiration: 2022-07-16
Also published as: JP3928509B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image compositing apparatus and method which can display an image with high reliability to a driver even when an opening/closing body such as the door of a vehicle is opened in driving the vehicle. <P>SOLUTION: This image compositing apparatus is provided with a plurality of cameras 5a to 5d installed in the vehicle, and a CPU 2 which composites a plurality of pieces of image data photographed by the cameras 5a to 5d and changes duty ranges of the cameras 5a to 5d when a dead angle is caused in ranges 104, 105 of photography of the cameras 5a to 5d by opening/closing of the opening/closing body such as the door of the vehicle, and a display unit 6 which displays the composited data. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像合成装置および画像合成方法に係り、特に、車両に設置した複数の撮影手段で撮影した画像を、車両上方に設定した視点位置から見下ろした画像に変換し、複数の変換画像を１つの画像に合成して表示器に表示する画像合成装置および画像合成方法に関する。
【０００２】
【従来の技術】
近年、車両に設置した電子式のカメラによって車両の周辺を撮影し、監視することによって、安全運転を支援する装置が実用化され、普及しつつある。
このような技術は、例えば特開２００１−３３９７１６号公報に記載されている。
この従来技術は、視点位置をダイナミックに変更して、運転者からの死角を低減したり、運転操作を容易にするため、車内に設置した表示装置に運転状況に応じて最適な合成画像を表示しようとする車両周辺監視装置および方法である。
【０００３】
【発明が解決しようとする課題】
車両に取り付けられているカメラは、撮影したい範囲と車両形状を考慮し、その取り付け位置が決定されているが、車両のドア、トランクなど（以下、これらをまとめて開閉体と称す）が開いた場合、開いた部位がカメラに映り込んだり、また、開閉体にカメラが取り付けられている場合にはカメラの位置および向きが変わってしまい、表示映像に影響が出て運転者に誤解を与えるという問題点があった。上記従来技術においては、このような実情は考慮されていなかった。
【０００４】
具体的には、各カメラが撮影する範囲は、カメラの位置などをもとに決定されている。各カメラの位置は、通常、車両のドアやトランクやリヤゲートなどの開閉体は閉じている状態を基準に決定されているため、これらの開閉体が開いている場合、カメラの映像内に開いた開閉体が映り込み、撮影範囲に死角が生じ、期待した範囲の映像が取得できなくなる。また、トランクやリヤゲートなどの開閉体にカメラが設置されている場合もあり、このカメラが設置された開閉体の開閉により、該カメラの向きおよび位置が変わり、期待した範囲の映像を取得できなくなる。このように従来においては、開閉体の開閉を検知していないため、前述のように期待した範囲の映像が取得できない場合にも、取得した映像をもとに表示映像を作成するため、運転者が混乱する場合があった。
【０００５】
本発明の目的は、車両のドア等の開閉体が開いた場合でも、運転者に画像を表示できる画像合成装置および画像合成方法を提供することにある。
【０００６】
【課題を解決するための手段】
この目的を達成するため、本発明は、車両に設置した複数の撮影手段によって撮影された複数の画像データを合成し、合成されたデータを表示し、車両の開閉体の開閉により撮影手段の撮影範囲に死角が生じる場合、撮影手段の担当範囲を変更することを特徴とする。
【０００７】
【発明の効果】
本発明によれば、車両のドア等の開閉体が開いた場合でも、運転者に画像を表示することができる。
【０００８】
【発明の実施の形態】
実施の形態１
図１は、本発明の実施の形態１の画像合成装置の構成を示す図である。
５ａ〜５ｄはそれぞれ車両に複数個設置され、車両の周囲を撮影する電子式のカメラ、１はＥＣＵ（エレクトロニック・コントロール・ユニット）、２はカメラ５ａ〜５ｄからの画像の処理等の各種処理を行うＣＰＵ（中央演算処理装置）、３はＣＰＵ２の制御プログラムやあらかじめ与えられる設定値などを保持するＲＯＭ、４はＣＰＵ２の演算実行時に必要なデータを一時的に保持するＲＡＭ、６は表示器、７はドア等の車両の開閉体の開閉を検知する開閉検知センサである。
本発明は、車両に設置した複数のカメラ５ａ〜５ｄで撮影した複数の画像を、車両の上方に設定した視点位置から見下ろした画像にそれぞれ変換し、これら複数の変換画像を１つの画像に合成して表示器６の表示画面に表示する画像合成装置に関するものである。
【０００９】
図２はこのような表示画面の一例を示す図であり、１０１は車両である。
画像変換、視点変換、ならびに画像の合成については、後で図９〜図１１を用いて詳述する。
【００１０】
車両に設置した複数のカメラ５ａ〜５ｄ（ここでは、４個のみ図示）によって撮影された複数の画像データをＣＰＵ２によって合成し、合成されたデータを表示器６に表示する。
【００１１】
図３は、本実施の形態１における車両を上から見た概略図である。
１０１は車両、１０２、１０３はカメラ、１０４、１０５は撮影の範囲、１０６は分割線である。
【００１２】
図３に示すように、車両１０１の例えば右前方にカメラ１０２、右後方にカメラ１０３が取り付けられ、それぞれ範囲１０４と範囲１０５を撮影している。撮影された映像は、車両１０１の上空の仮想カメラの映像に変換・合成され（詳細は後述）、表示画像を作成する。範囲１０４と範囲１０５は一部重複しているため、ここでは分割線１０６で分割し、分割線１０６より前側はカメラ１０２の映像を用い、分割線１０６より後ろ側はカメラ１０３の映像を用いることとする。
【００１３】
図４は、本実施の形態１におけるドアが開いた状態の車両を上から見た概略図である。
図４に示すように、車両１０１のドア２０１が開いた場合、開いたドア２０１によって範囲２０２は、カメラ１０２では撮影できなくなる。この場合、範囲２０２を撮影するはずだった部分には、開いたドア２０１が映っている。同様に、開いたドア２０１によって範囲２０３は、カメラ１０３で撮影できなくなる。この場合、範囲２０３を撮影するはずだった部分には、開いたドア２０１が映っている。
【００１４】
範囲２０２および範囲２０３は、カメラ特性、それぞれのカメラ１０２、１０３の取り付け位置と角度、車両１０１の形状、ドア２０１の形状、およびドア２０１の開度から計算できる。
【００１５】
ドア２０１が開いているときに、ドア２０１が閉じているときの画像変換・合成ルール（分割線１０６を用いたルール）を適用して画像の合成を行なうと、ドア２０１が映った画像をもとに変換・合成された表示画像が作成されてしまう。そこで、ドア２０１が開いたことを開閉検知センサ（図４では図示せず。図１の開閉検知センサ７参照）で検知し、ドア２０１が開いている場合は、範囲１０４から範囲２０２を除いた範囲についてカメラ１０２の映像を用い、撮影範囲１０５から範囲２０３を除いた範囲についてカメラ１０３の映像を用いて、ＣＰＵ２（図１）により複数の画像データを合成し、表示画像の作成を行なう。すなわち、車両１０１のドア２０１の開閉によりカメラ１０２、１０３の撮影の範囲１０４、１０５に死角が生じる場合、合成のためのカメラ１０２、１０３の担当範囲を変更するものである。
【００１６】
ドア２０１の開閉検知センサ７（図１）で、ドア２０１が開いている角度が検知可能な場合は、ドア２０１の開度に応じて、範囲２０２および範囲２０３を変更して、最適な画像合成を行なう。ドア２０１の開閉検知センサ７がドア２０１の角度を検知できず、ドア２０１が開いているか閉じているかを検知するだけである場合には、ドア２０１の開度に応じた範囲２０２および範囲２０３の設定が不可能である。この場合には、ドア２０１が閉まった状態から全開の状態になるまで通過する領域すべてに物体があるものとして、範囲２０２および範囲２０３の計算を行なう。
【００１７】
ドア２０１の開き方、すなわち、軌跡、開く面積などは毎回一定なので、計算はあらかじめ行なって、ＲＯＭ３（図１）内に記録しておき、ドア２０１の開き方に応じて情報を呼び出してもよい。
【００１８】
また、ドア２０１が開いたことにより、どのカメラ１０２、１０３にも映らなくなる範囲が発生することがある（例えば図４では、範囲２０４、２０５）。この範囲の発生は、ドア２０１の開度の取得が不可能で、ドア２０１が全閉状態から全開状態になるまで通過する領域すべてに物体があるものとして、撮影不能範囲の計算を行なった場合により顕著である。その領域が変換・合成した結果の表示画像に含まれる場合には、もともとカメラで撮影されない領域として処理するか、黒で塗りつぶした状態で表示する。ドア２０１が開いたことにより表示されなくなった領域であることがわかるように、赤や他の色で明示的に表示してもよい。このようなどのカメラでも撮影できない範囲は、ドアが複数同時に開いた場合にはより多く発生する。また、表示画像上には開いたドア２０１を表す表示を行なったり、同時にドアが開いているメッセージを表示して、注意を喚起しても良い。
【００１９】
図５は、本実施の形態１におけるフローを示す図である。
以下、本実施の形態１におけるフローについて説明する。
【００２０】
まず、Ｓ１において、図３の車両１０１の開閉体（例えば図４のドア２０１）の開閉を、開閉検知センサ７（図１）からの信号によりＣＰＵ２（図１）が検出する。
【００２１】
次に、開閉体の開閉が検出された場合には、カメラ（例えば図３、図４のカメラ１０２、１０３）の撮影範囲に死角が生じるので、Ｓ２において、開閉体が全閉〜全開の間に通る範囲に物体があるものとして、各カメラの撮影範囲をＣＰＵ２が再計算する。あるいは、開閉体の開き方、すなわち、軌跡、開く面積などは毎回一定なので、計算をあらかじめ行なって、ＲＯＭ３（図１）内に記録しておき、ドア２０１の開き方に応じてＣＰＵ２が情報を呼び出す（すなわち、開閉体の開閉の状況によりテーブルを切り替える）。開閉体の開閉が検出されない場合には、Ｓ２の処理は行なわない（このフローは図示省略）。
【００２２】
次に、Ｓ３において、ＣＰＵ２が、担当範囲が変更されたカメラ１０２、１０３からの複数の画像データを合成し、表示画像の作成を行なう。
【００２３】
次に、Ｓ４において、ＣＰＵ２が、撮影不能範囲を合成画像上に描画する。
【００２４】
最後に、Ｓ５において、処理された画像をＣＰＵ２が表示器６（図１）に表示する。
【００２５】
すなわち、本実施の形態１の画像合成装置は、車両１０１（図３、図４）に設置した複数のカメラ１０２、１０３（図１では５ａ〜５ｄ）と、カメラ１０２、１０３によって撮影された複数の画像データを合成し、また車両１０１のドア２０１等の開閉体の開閉によりカメラ１０２、１０３の撮影の範囲１０４、１０５に死角が生じる場合、カメラ１０２、１０３の担当範囲を変更するＣＰＵ２（図１）と、合成されたデータを表示する表示器６とを有する。なお、図１のＣＰＵ２が、特許請求の範囲の変更手段および合成手段に相当し、表示器６が表示手段に相当する。
【００２６】
また、本実施の形態１の画像合成方法は、車両１０１のドア２０１等の開閉体の開閉を図１の開閉検知センサ７からの信号によりＣＰＵ２により検出する工程と、車両１０１に取り付けられた複数のカメラ１０２、１０３によって撮影された複数の画像データを合成する工程と、合成されたデータを表示する工程と、車両１０１の開閉体の開閉によりカメラ１０２、１０３の撮影の範囲１０４、１０５に死角が生じる場合、合成のためのカメラ１０２、１０３の担当範囲を変更する工程とを有する。なお、図５のＳ１が開閉体の開閉を検出する工程に相当し、Ｓ２が撮影手段の担当範囲を変更する工程に相当し、Ｓ３が複数の画像データを合成する工程に相当し、Ｓ５が合成されたデータを表示する工程に相当する。
【００２７】
以上により、本実施の形態１では、ドア２０１等の開閉体の少なくとも一部が開いた際に、カメラの担当範囲を変更することにより、映像に開閉体の一部が写りこんだ影響を最低限に抑えることができ、また、開閉体が開くことで、あるカメラで撮影不能になった部分を他のカメラでフォローすることができる。その結果、運転者にわかりやすい周囲画像を表示することができ、信頼性を向上することができる。
【００２８】
また、開閉体が開いた際に、開閉体が開いたことでカメラの撮影に影響が出た範囲を表示器６の表示画面に明示することにより、運転者にわかりやすい周囲画像を表示することができ、信頼性を向上することができる。また、画面を通じて開閉体が開いていることを運転者に明示することにより、従来のように開閉体が開いていることが表示されない画面だけを見て移動することを未然に防ぐことができ、信頼性を向上することができる。
【００２９】
このように、本実施の形態１によれば、ドアを開くなどして、車両形状が変化した場合にも適切な画像変換・合成を行なうことが可能となり、運転者に最適な映像を表示することができる。
【００３０】
実施の形態２
本実施の形態２においても、画像合成装置の基本構成は図１に示したものと同一である。
図６は、本実施の形態２におけるドアが閉じた状態の車両を上から見た概略図である。
３０１は車両、３０２はドア、３０３、３０４はカメラ、３０５、３０６は撮影の範囲、３０７は分割線である。
【００３１】
図６に示すように、本実施の形態２では、車両３０１のドア３０２にカメラ３０３が取り付けられている。また、車両３０１の右後方にカメラ３０４が取り付けられ、それぞれ範囲３０５、範囲３０６を撮影する。撮影された映像は、後述の手法を用いて、ＣＰＵ２（図１）により、車両３０１の上空の仮想カメラの映像に変換・合成され、表示画像を作成する。範囲３０５と範囲３０６は一部重複しているため、ここでは分割線３０７で分割し、分割線３０７より前側はカメラ３０３の映像を用い、分割線３０７より後ろ側はカメラ３０４の映像を用いることとする。
【００３２】
図７は、本実施の形態２におけるドアが開いた状態の車両を上から見た概略図である。
図７に示すように、車両３０１のドア３０２が開いた場合、ドア３０２に取り付けられたカメラ３０３の位置および向きが変化し、図６の範囲３０５はカメラ３０３では撮影できなくなり、カメラ３０３は範囲４０１を撮影することになる。また、開いたドア３０２によって範囲４０２はカメラ３０４で撮影できなくなる。この場合、範囲４０２を撮影するはずだった部分には、開いたドア３０２が映っている。
【００３３】
範囲４０１および範囲４０２は、カメラ特性、それぞれのカメラ３０３、３０４の取り付け位置と角度、車両３０１の形状、ドア３０２の形状、およびドア３０２の開度から計算できる。
【００３４】
ドア３０２が開いているときに、ドア３０２が閉まったときと同じ画像変換・合成ルール（図６の分割線３０７を用いたルール）を適用して画像の変換・合成を行なうと、カメラ３０３の撮影している範囲が異なり、かつ、カメラ３０４では、ドア３０２が映った画像を撮影しているため、変換・合成された表示画像は期待したものとは違うものが作成されてしまう。
【００３５】
そこで、ドア３０２が開いたことを図１の開閉検知センサ７で検知し、ドア３０２が開いている場合は、カメラ３０３の撮影する範囲として図７の範囲４０１を用い、カメラ３０４の撮影する範囲としては、図６の範囲３０５から図７の範囲４０２を除いた範囲を用いて、表示画像の作成を行なう。
【００３６】
ドア３０２の開閉検知センサ７（図１）が、ドア３０２が開いている角度を検知可能な場合は、ドア３０２の開度に応じて、範囲４０１および範囲４０２を変更して、最適な画像合成を行なう。ドア３０２の開閉検知センサ７がドア３０２の角度を検知できず、ドア３０２が開いているか閉じているかを検知するだけである場合には、ドア３０２の開度に応じた範囲４０１および範囲４０２の設定が不可能である。この場合には、ドア３０２に取り付けられたカメラ３０３の位置および向きの確定が不可能なため、カメラ３０３の撮影した映像を画像の変換・合成に用いることはできない。よって、ドア３０２の開度が取得不能な場合は、ドア３０２が開いたときには、ドア３０２に取り付けられたカメラ３０３の映像を使わないようにする。また、カメラ３０４の撮影可能範囲については、ドア３０２が全閉状態から全開状態になるまで通過する領域すべてに物体があるものとして、範囲４０２の計算を行ない、決定する。ドア３０２の開き方（軌跡、開く面積など）は毎回一定なので、計算はあらかじめ行なって、図１のＲＯＭ３内に記録しておき、ドア３０２の開き方に応じて情報を呼び出してもよい。
【００３７】
また、ドア３０２が開いたことにより、どのカメラ３０３、３０４にも映らなくなる範囲が発生することがある。この範囲の発生は、ドア３０２の開度の取得が不可能で、ドア３０２が全閉状態から全開状態になるまで通過する領域すべてに物体があるものとして、撮影不能範囲の計算を行なった場合により顕著である。その領域が変換・合成した結果の表示画像に含まれる場合には、もともとカメラで撮影されない領域として処理するか、黒で塗りつぶした状態で表示する。ドア３０２が開いたことにより表示されなくなった領域であることがわかるように、赤や他の色で明示的に表示してもよい。このようなどのカメラでも撮影できない範囲は、ドアが複数同時に開いた場合にはより多く発生する。また、表示画像上には開いたドア３０２を表す表示を行ない、同時にドアが開いているメッセージを表示して、注意を喚起しても良い。
【００３８】
図８は、本実施の形態２におけるフローを示す図である。
以下、本実施の形態２におけるフローについて説明する。
【００３９】
まず、Ｓ１において、車両３０１の開閉体（例えば図６のドア３０２）の開閉を、開閉検知センサ７（図１）からの信号によりＣＰＵ２（図１）が検出する。
【００４０】
次に、開閉体の開閉が検出された場合には、カメラ（例えば図６、図７のカメラ３０３、３０４）の撮影範囲に死角が生じるので、Ｓ２において、車両３０１の開閉体の開閉の度合いに応じて各カメラの撮影範囲をＣＰＵ２が再計算する。あるいは、開閉体の開き方、すなわち、軌跡、開く面積などは毎回一定なので、計算をあらかじめ行なって、ＲＯＭ３（図１）内に記録しておき、ドア３０２の開き方に応じてＣＰＵ２が情報を呼び出す（すなわち、開閉体の開閉の状況によりテーブルを切り替える）。開閉体の開閉が検出されない場合には、Ｓ２の処理は行なわない（このフローは図示省略）。
【００４１】
次に、Ｓ３において、ＣＰＵ２が、担当範囲が変更されたカメラ３０３、３０４からの複数の画像データを合成し、表示画像の作成を行なう。
【００４２】
次に、Ｓ４において、ＣＰＵ２が、撮影不能範囲を合成画像上に描画する。
【００４３】
最後に、Ｓ５において、処理された画像をＣＰＵ２が表示器６（図１）に表示する。
【００４４】
以上により、本実施の形態２では、ドア３０２等の開閉体の少なくとも一部が開いた際に、カメラの担当範囲を変更することにより、映像に開閉体の一部が写りこんだ影響を最低限に抑えることができ、また、開閉体が開くことで、あるカメラで撮影不能になった部分を他のカメラでフォローすることができる。その結果、運転者にわかりやすく信頼性の高い周囲画像を表示することができ、安全性を向上することができる。また、開閉体が開いた際に、開閉体が開いたことでカメラの撮影に影響が出た範囲を表示器６の表示画面に明示することにより、運転者にわかりやすい周囲画像を表示することができ、信頼性を向上することができる。また、画面を通じて開閉体が開いていることを運転者に明示することにより、従来のように開閉体が開いていることが表示されない画面だけを見て移動することを未然に防ぐことができ、信頼性を向上することができる。
【００４５】
このように、本実施の形態２によれば、ドアが開くなどして、車両形状が変化し、かつ、カメラの一部が移動した場合にも、適切な画像変換・合成を行なうことが可能となり、運転者に最適な映像を表示することができる。
【００４６】
《画像の変換・合成》
既述のように、本発明では、車両に設置した複数のカメラで撮影した複数の画像を、車両の上方に設定した視点位置から見下ろした画像にそれぞれ変換し、これら複数の変換画像を１つの画像に合成して表示６の表示画面に表示する画像合成装置である（図２に表示例を図示）。以下、本発明の画像合成装置および画像合成方法における画像変換、視点変換、ならびに画像の合成について説明する。
【００４７】
本発明では、画像を出力する実カメラ（図１の５ａ〜５ｄ。図３、図４の１０２、１０３。図６、図７の３０３、３０４。後述図１１の１１）で撮影した撮影画像について実カメラの内部への出射角を実カメラの外部からの入射角未満として図１のＣＰＵ２により画像変換を行ない、この画像変換された画像変換画像の視点変換をＣＰＵ２により行なう。視点変換された複数の視点変換画像は、ＣＰＵ２により１つの画像に合成され、その合成された画像が表示器６に表示される。
【００４８】
次に、図９、図１０を用いて画像変換について説明する。図に示すように、実カメラモデル１１ａのカメラ本体２１外の光線２５（図１０）は必ず代表点２２（レンズの焦点位置や中心点を用いることが多い）を通り、カメラ本体２１内の光線２６（図１０）はカメラ本体２１内に設けられた撮像面２３に入る。そして、実カメラモデル１１ａの向きを示すカメラ光軸２４に垂直に撮像面２３が設けられ、また撮像面２３の中心をカメラ光軸２４が通るように、撮像面２３が配置されている。もちろん、シミュレートする対象の実カメラの特性によっては、撮像面２３の中心をカメラ光軸２４が通らなくともよいし、撮像面２３とカメラ光軸２４が垂直でなくともよい場合もある。また、代表点２２と撮像面２３との距離は計算の都合上単位距離（１）とするのがよい。また、ＣＣＤカメラなどをシミュレートする場合には、撮像面２３はシミュレートする対象の実カメラの画素数を再現するように格子状に分割される。最終的には、光線２６が撮像面２３のどの位置（画素）に入射するかのシミュレーションを行なうことになるため、代表点２２と撮像面２３との距離および撮像面２３の縦横の長さの比率だけが問題になり、実距離は問題にならない。
【００４９】
そして、ＣＰＵ２による画像変換は、実カメラで撮影された撮影画像について、実カメラモデル１１ａ（図５）のカメラ本体２１の内部への出射角α_Ｏ、β_Ｏ（出射角α_Ｏはカメラ光軸２４に対する光線２６の角、出射角β_Ｏはカメラ光軸２４に直交する軸に対する光線２６の角）を実カメラモデル１１ａのカメラ本体２１の外部からの入射角α_Ｉ、β_Ｉ（入射角α_Ｉはカメラ光軸２４に対する光線２５の角、入射角β_Ｉはカメラ光軸２４に直交する軸に対する光線２５の角）未満として画像変換する。
【００５０】
すなわち、光線２５は必ず代表点２２を通り光線２６となる。また、極座標系の考え方を用いると、光線２５は代表点２２を原点に入射角α_Ｉ、β_Ｉの２つの角度で示すことができる。そして、光線２５は代表点２２を通過する際に、次式によって定まる出射角α_Ｏ、β_Ｏを有する光線２６となる。
【００５１】
（α_Ｏ，β_Ｏ）＝ｆ（α_Ｉ，β_Ｉ）　　　　　　　（１）
このとき、α_Ｏ＜α_Ｉの関係式が常に成立するようにする。この場合、光線２５は代表点２２を通過する際に（１）式によって方向が変えられ、光線２６は撮像面２３と交点２７において交わる。例えば、ＣＣＤカメラをシミュレートしている場合には、交点２７の座標（位置）から撮像面２３上のどの画素に光線２６が入射するかを求めることができる。
【００５２】
なお、撮像面２３の設定によっては光線２６と撮像面２３とが交わらない場合もあるが、この場合には光線２５は実カメラモデル１１ａには映らないということになる。
【００５３】
また、シミュレーションする対象の実カメラの最大画角をＭ（度）とした場合には、カメラ本体２１内部に入射を許される光線２５はα_Ｉ＜（Ｍ／２）を満たす必要がある。この条件を満たさない光線２５は実カメラモデル１１ａに映らないということになる。このときの出射角α_Ｏの最大値はｆ（Ｍ／２）で計算される。また、（１）式の関数ｆ（α_Ｉ，β_Ｉ）を決定した上で、代表点２２と撮像面２３との距離（前述の通り単位距離とするのがよい）と撮像面２３の縦横の長さとを決定し、実カメラモデル１１ａの撮像範囲を規定する。なお、図９に示すように、最大出射角θ_Ｏｍａｘの大きさは最大入射角θ_Ｉｍａｘの大きさよりも小さい。
【００５４】
以上の手順により、代表点２２に入射した光線２５が実カメラモデル１１ａの撮像面２３上のどの画素（位置）に入射するかを計算することができ、実カメラで撮影された撮影画像すなわち光線２５が代表点２２を通って直進したときの撮影画像について画像変換して、画像変換画像を得ることができる。したがって、（１）式によって実カメラに入射する光線の入射角α_Ｉ、β_Ｉと画像変換画像の画素（位置）との関係を求めることができる。
【００５５】
また、（１）式とともに、次式を用いることによって実カメラモデル１１ａの撮像面２３上の任意の点に入射する光線２６が代表点２２に対してどの方向から入射したかを計算することが可能になる。
【００５６】
（α_Ｉ，β_Ｉ）＝ｆｉ（α_Ｏ，β_Ｏ）　　　　　　（２）
また、最も簡単な（１）式の例は、次のような入射角α_Ｉ、β_Ｉと出射角α_Ｏ、β_Ｏとが比例関係を持つ式である。
【００５７】
α_Ｏ＝ｋα_Ｉ　　　　　　　　　　　　　　　（３）
β_Ｏ＝β_Ｉ　　　　　　　　　　　　　　　　（４）
ここで、ｋは実カメラモデル１１ａのレンズ特性を決定するパラメータであり、ｋ＜１である。仮にｋ＝１の場合には、従来のピンホールカメラモデルと同じ動作となる。実際のレンズの歪曲収差特性はレンズの目的（設計意図）によるが、通常の広角レンズはパラメータｋを、１＜ｋ＜０の範囲で適当に設定することで近似することができ、ピンホールカメラモデルを用いたカメラシミュレーションよりも正確なカメラシミュレーションが可能となる。
【００５８】
また、レンズシミュレーションをより精密に行ないたい場合には、関数ｆ（α_Ｉ，β_Ｉ）を（３）式、（４）式に示すような比例関係ではなく、実カメラのレンズ特性を実際に測定し、実カメラのレンズ特性を示す関数で画像変換する。この場合、もちろん出射角α_Ｏを入射角α_Ｉ未満とする。
【００５９】
以上の画像変換を行なったのちに、視点変換を行なう。最も単純な視点変換は、空間上にカメラモデルと投影面を置き、カメラで撮影した映像を投影面に対して投影することで実現される。
【００６０】
次に、図１１を用いてＣＰＵ２による視点変換について説明する。まず、実空間に合わせて仮想空間を設定し、仮想空間上に位置および向きを合わせて実カメラ１１と仮想カメラ３２とを配置する。次に、投影面を設定する。図１１ではｘｙ平面を投影面に設定しているが、実空間の地形や物体の存在に合わせて、投影面を複数設けてもよい。次に、仮想カメラ３２の画素の１つに注目し、注目した画素を画素Ｖとする。仮想カメラ３２の画素Ｖは面積を持っているので、画素Ｖの中心点の座標を画素Ｖの座標とする。仮想カメラ３２の位置および向きの情報と合わせ、投影面と光線３５との交点３３を求める。次に、交点３３から実カメラ１１への光線３４を考える。光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲内の場合には、光線３４が実カメラ１１のどの画素に入射するかを計算する。この場合、図９、１０で説明した画像変換後の画像変換画像について光線３４が実カメラ１１のどの画素に入射するかを計算する。この光線３４が入射する画素を画素Ｒとすると、画素Ｖと画素Ｒとが対応し、画素Ｖの色および輝度を画素Ｒの色および輝度とする。
【００６１】
なお、光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲外の場合や、光線３４が実カメラ１１の撮像面に入射しない場合には、交点３３は実カメラ１１に映っていないので、仮想カメラ３２の画素Ｖには何も映っていないとする。この場合の画素Ｖの色はシステムのデフォルト値（黒など。もちろん黒以外でもよい）を用いるものとする。
【００６２】
また、画素Ｖを代表する座標は上記例では１画素につき１点としたが、代表する代表座標を画素Ｖ内に複数設けてもよい。この場合には、各代表座標それぞれに対して光線３４が実カメラ１１のどの画素に入射するかを計算し、得られた複数の色および輝度をブレンディングし、画素Ｖの色および輝度とする。この場合、ブレンディングの比率は等しくする。また、色および輝度のブレンディンクの手法としてはアルファブレンディングなどの手法があり、コンピュータグラフィックの分野では一般的な手法である。
【００６３】
以上の処理を仮想カメラ３２の画素すべてについて行ない、仮想カメラ３２の各画素の色および輝度を確定することで仮想カメラ３２の画像すなわち視点変換画像を作成することができ、空間上の実カメラ１１の画像すなわち画像変換画像を視点変換画像へと視点変換することができる。
【００６４】
この手法は撮影画像を投影面に対して単純に投影する方法に比べ、仮想カメラ３２の特性や位置が自由に設定でき、かつ仮想カメラ３２の特性や位置の変化にも容易に対応できる。
【００６５】
なお、仮想カメラ３２の各画素は基本的に実カメラ１１の画素との対応になり、その対応は仮想カメラ３２および実カメラ１１の位置および向きおよび投影面の設定が変わらない限り変わらないので、計算能力に余裕のない処理装置を用いる場合には、対応関係を変換テーブルとして保存し、実行時に参照してもよい。また、仮想カメラ３２の画素数が増加するにつれ、変換テーブルの容量も比例して増加するので、仮想カメラ３２の画素数が多い場合には、大容量のメモリを持つ処理装置（コンピュータ）を用いるよりも、視点変換の計算を高速に行なうことができる処理装置を用いた方がコスト的に有利になる。
【００６６】
このような視点変換装置においては、出射角α_Ｏの変化に対する撮像面２３上の位置の変化は、撮像面２３の中心部と輪郭部とでほぼ同じであるから、輪郭部付近の画像や、画角の大きなカメラで撮影した画像についても、歪みの少ない視点変換画像を得ることができ、しかも補正関数を算出するためにパターン画像を撮影する必要がないから、容易に視点変換することができる。また、出射角α_Ｏと入射角α_Ｉとが比例する関数で画像変換したときには、画像変換された画像変換画像の中心部と輪郭部では同倍率となるから、歪みの少ない視点変換画像を得ることができる。また、実カメラ１１のレンズ特性を示す関数で画像変換したときには、実カメラ１１のレンズ（収差）による歪みの少ない視点変換画像を得ることができる。また、視点変換手段１３は視点変換画像の各画素の色および輝度を画像変換画像の各画素の中心点に位置する色および輝度としているから、色および輝度の平均値などの計算を行なう必要がないので、視点変換時の計算量を少なくすることができる。
【００６７】
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態１の画像合成装置の構成を示す図である。
【図２】変換・合成後の表示画面の一例を示す図である。
【図３】本実施の形態１におけるドアが閉じた状態の車両を上から見た概略図である。
【図４】本実施の形態１におけるドアが開いた状態の車両を上から見た概略図である。
【図５】本実施の形態１におけるフローを示す図である。
【図６】本実施の形態２におけるドアが閉じた状態の車両を上から見た概略図である。
【図７】本実施の形態２におけるドアが開いた状態の車両を上から見た概略図である。
【図８】本実施の形態２におけるフローを示す図である。
【図９】図１に示した画像合成装置のＣＰＵによる画像変換についての説明図である。
【図１０】図１に示した画像合成装置のＣＰＵによる画像変換についての説明図である。
【図１１】図１に示した画像合成装置のＣＰＵによる視点変換についての説明図である。
【符号の説明】
５ａ〜５ｄ…カメラ
１…ＥＣＵ（エレクトロニック・コントロール・ユニット）
２…ＣＰＵ（中央演算処理装置）
３…ＲＯＭ
４…ＲＡＭ
６…表示器
７…開閉検知センサ
１１…実カメラ
１１ａ…実カメラモデル
１２…画像変換手段
１３…視点変換手段
１４…表示手段
２１…カメラ本体
２２…代表点
２３…撮像面
２４…カメラ光軸
２５…光線
２６…光線
２７…交点
３２…仮想カメラ
３３…交点
３４…光線
３５…光線
１０１、３０１…車両
１０２、１０３、３０３、３０４…カメラ
１０４、１０５、３０５、３０６、４０１…撮影の範囲
１０６、３０７…分割線
２０１、３０２…ドア
２０２、２０３、４０２…ドアが開いたことにより撮影できない範囲
２０４、２０５…ドアが開いたことによりどのカメラにも映らなくなる範囲[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image synthesizing apparatus and an image synthesizing method, and in particular, converts an image photographed by a plurality of photographing means installed on a vehicle into an image looking down from a viewpoint position set above the vehicle, and converts the plurality of converted images. The present invention relates to an image synthesizing apparatus and an image synthesizing method for synthesizing one image and displaying the image on a display.
[0002]
[Prior art]
2. Description of the Related Art In recent years, devices that support safe driving by photographing and monitoring the periphery of a vehicle with an electronic camera installed in the vehicle have been put into practical use and are becoming popular.
Such a technique is described in, for example, JP-A-2001-339716.
This conventional technology dynamically changes the viewpoint position to reduce the blind spot from the driver and to display the optimum synthesized image according to the driving situation on the display device installed in the vehicle in order to facilitate the driving operation. An apparatus and method for monitoring the periphery of a vehicle.
[0003]
[Problems to be solved by the invention]
The camera attached to the vehicle has its mounting position determined in consideration of the area to be photographed and the shape of the vehicle, but the door, trunk, etc. of the vehicle (hereinafter, these are collectively referred to as an open / close body) are opened. In such a case, the open part is reflected on the camera, and if the camera is attached to the opening / closing body, the position and orientation of the camera will change, which will affect the displayed image and mislead the driver. There was a problem. In the above prior art, such a situation was not considered.
[0004]
Specifically, the range in which each camera captures an image is determined based on the position of the camera. Normally, the position of each camera is determined based on the state that the doors, trunks, rear gates, etc. of the vehicle are closed, so if these doors are open, they will open in the camera image. The opening / closing body is reflected, a blind spot occurs in the shooting range, and an image in an expected range cannot be obtained. Further, there are cases where a camera is installed on an opening / closing body such as a trunk or a rear gate, and the opening and closing of the opening / closing body on which the camera is installed changes the direction and position of the camera, so that it is impossible to obtain an image in an expected range. . As described above, in the related art, since the opening / closing of the opening / closing body is not detected, even when the image in the expected range cannot be acquired as described above, the display image is created based on the acquired image. Was sometimes confused.
[0005]
An object of the present invention is to provide an image synthesizing apparatus and an image synthesizing method capable of displaying an image to a driver even when an opening / closing body such as a door of a vehicle is opened.
[0006]
[Means for Solving the Problems]
In order to achieve this object, the present invention combines a plurality of image data taken by a plurality of photographing means installed in a vehicle, displays the combined data, and opens and closes a vehicle opening / closing body to photograph the photographing means. When the blind spot occurs in the range, the range in which the photographing unit is responsible is changed.
[0007]
【The invention's effect】
According to the present invention, an image can be displayed to a driver even when an opening / closing body such as a door of a vehicle is opened.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiment 1
FIG. 1 is a diagram illustrating a configuration of an image synthesizing apparatus according to Embodiment 1 of the present invention.
A plurality of electronic cameras 5a to 5d are installed in the vehicle, respectively, for photographing the periphery of the vehicle, 1 is an electronic control unit (ECU), and 2 is for various processes such as processing of images from the cameras 5a to 5d. CPU (Central Processing Unit) 3, ROM for holding a control program of the CPU 2, a preset value and the like, 4, a RAM for temporarily holding data required when the CPU 2 executes the calculation, 6 a display, Reference numeral 7 denotes an opening / closing detection sensor for detecting opening / closing of a vehicle opening / closing body such as a door.
The present invention converts a plurality of images taken by a plurality of cameras 5a to 5d installed in a vehicle into images viewed from a viewpoint set above the vehicle, and combines the plurality of converted images into one image. And an image synthesizing device for displaying the image on the display screen of the display device 6.
[0009]
FIG. 2 is a diagram showing an example of such a display screen, where 101 is a vehicle.
Image conversion, viewpoint conversion, and image synthesis will be described later in detail with reference to FIGS.
[0010]
The CPU 2 combines a plurality of image data captured by a plurality of cameras 5 a to 5 d (here, only four are shown) installed in the vehicle, and displays the combined data on the display 6.
[0011]
FIG. 3 is a schematic view of the vehicle according to the first embodiment as viewed from above.
101 is a vehicle, 102 and 103 are cameras, 104 and 105 are shooting ranges, and 106 is a dividing line.
[0012]
As shown in FIG. 3, for example, a camera 102 is mounted on the front right of the vehicle 101 and a camera 103 is mounted on the rear right, and captures a range 104 and a range 105, respectively. The captured video is converted and combined with a video of a virtual camera in the sky above the vehicle 101 (details will be described later), and a display image is created. Since the range 104 and the range 105 partially overlap with each other, they are divided by the dividing line 106, and the image of the camera 102 is used before the dividing line 106, and the image of the camera 103 is used after the dividing line 106. And
[0013]
FIG. 4 is a schematic view of the vehicle with the door open according to the first embodiment viewed from above.
As shown in FIG. 4, when the door 201 of the vehicle 101 is opened, the camera 102 cannot capture an image of the range 202 due to the opened door 201. In this case, an open door 201 is reflected in a portion where the range 202 was supposed to be photographed. Similarly, the range 203 cannot be photographed by the camera 103 due to the opened door 201. In this case, an open door 201 is reflected in a portion where the range 203 was supposed to be photographed.
[0014]
The range 202 and the range 203 can be calculated from the camera characteristics, the mounting positions and angles of the cameras 102 and 103, the shape of the vehicle 101, the shape of the door 201, and the opening of the door 201.
[0015]
When the image conversion / synthesis rule (the rule using the dividing line 106) when the door 201 is closed and the image is synthesized when the door 201 is open, the image of the door 201 is also displayed. Then, a converted and synthesized display image is created. Therefore, the opening / closing detection sensor (not shown in FIG. 4; see the opening / closing detection sensor 7 in FIG. 1) detects that the door 201 has been opened, and when the door 201 is open, the range 202 is excluded from the range 104. Using the image of the camera 102 for the range and the image of the camera 103 for the range excluding the range 203 from the shooting range 105, the CPU 2 (FIG. 1) combines a plurality of image data to create a display image. That is, when blind spots occur in the shooting ranges 104 and 105 of the cameras 102 and 103 due to the opening and closing of the door 201 of the vehicle 101, the assigned range of the cameras 102 and 103 for combining is changed.
[0016]
When the opening / closing detection sensor 7 (FIG. 1) of the door 201 can detect the angle at which the door 201 is open, the range 202 and the range 203 are changed according to the degree of opening of the door 201 to obtain an optimal image synthesis. Perform When the opening / closing detection sensor 7 for the door 201 cannot detect the angle of the door 201 and only detects whether the door 201 is open or closed, the range 202 and the range 203 corresponding to the opening degree of the door 201 are determined. Setting is not possible. In this case, the calculation of the range 202 and the range 203 is performed on the assumption that the object is present in all the areas that pass from the state where the door 201 is closed to the state where the door 201 is fully opened.
[0017]
Since the way of opening the door 201, that is, the trajectory, the area to be opened, and the like are constant each time, the calculation may be performed in advance, recorded in the ROM 3 (FIG. 1), and the information may be called according to the way of opening the door 201. .
[0018]
In addition, when the door 201 is opened, there may be a range where the image is not displayed on any of the cameras 102 and 103 (for example, the ranges 204 and 205 in FIG. 4). The occurrence of this range is due to the fact that it is impossible to obtain the opening degree of the door 201, and the non-capturable range is calculated assuming that there is an object in the entire area where the door 201 passes from the fully closed state to the fully opened state. Is more pronounced. When the area is included in the display image obtained as a result of the conversion and synthesis, the area is processed as an area that is not originally captured by the camera, or is displayed in black. The area may be explicitly displayed in red or another color so that the user can recognize that the area is no longer displayed when the door 201 is opened. Such a range that cannot be photographed by any camera occurs more frequently when a plurality of doors are simultaneously opened. A display indicating the opened door 201 may be displayed on the display image, or a message indicating that the door is open may be displayed at the same time to call attention.
[0019]
FIG. 5 is a diagram showing a flow in the first embodiment.
Hereinafter, the flow according to the first embodiment will be described.
[0020]
First, in S1, the CPU 2 (FIG. 1) detects opening / closing of the opening / closing body (for example, the door 201 in FIG. 4) of the vehicle 101 in FIG. 3 based on a signal from the opening / closing detection sensor 7 (FIG. 1).
[0021]
Next, when the opening / closing of the opening / closing body is detected, a blind spot occurs in the photographing range of the camera (for example, the cameras 102 and 103 in FIGS. 3 and 4). The CPU 2 recalculates the photographing range of each camera assuming that there is an object in the range passing through. Alternatively, since the manner of opening the opening / closing body, that is, the locus, the area to be opened, and the like are constant each time, the calculation is performed in advance and recorded in the ROM 3 (FIG. 1). Call (that is, switch the table according to the opening / closing state of the opening / closing body). If the opening / closing of the opening / closing body is not detected, the process of S2 is not performed (this flow is not shown).
[0022]
Next, in S3, the CPU 2 synthesizes a plurality of image data from the cameras 102 and 103 whose assigned ranges have been changed, and creates a display image.
[0023]
Next, in S4, the CPU 2 draws the non-shooting range on the composite image.
[0024]
Finally, in S5, the CPU 2 displays the processed image on the display 6 (FIG. 1).
[0025]
That is, the image synthesizing apparatus according to the first embodiment includes a plurality of cameras 102 and 103 (5a to 5d in FIG. 1) installed on the vehicle 101 (FIGS. 3 and 4) and a plurality of images captured by the cameras 102 and 103. CPU2 that combines the image data of the cameras 102 and 103 and changes the range of responsibility of the cameras 102 and 103 when the opening and closing of the opening and closing members such as the door 201 of the vehicle 101 causes blind spots in the shooting ranges 104 and 105 of the cameras 102 and 103 (FIG. 1) and a display 6 for displaying the synthesized data. Note that the CPU 2 in FIG. 1 corresponds to the changing means and the combining means in the claims, and the display 6 corresponds to the displaying means.
[0026]
The image synthesizing method according to the first embodiment includes a step of detecting the opening and closing of an opening / closing body such as a door 201 of the vehicle 101 by the CPU 2 based on a signal from the opening / closing detection sensor 7 in FIG. Combining the plurality of image data captured by the cameras 102 and 103, displaying the combined data, and opening / closing the opening / closing body of the vehicle 101 to form a blind spot in the shooting range 104/105 of the camera 102/103. If the error occurs, changing the range of responsibility of the cameras 102 and 103 for composition. Note that S1 in FIG. 5 corresponds to a step of detecting opening / closing of the opening / closing body, S2 corresponds to a step of changing the range of responsibility of the photographing unit, S3 corresponds to a step of combining a plurality of image data, and S5 corresponds to S5. This corresponds to a step of displaying the synthesized data.
[0027]
As described above, in the first embodiment, when at least a part of the opening and closing body such as the door 201 is opened, the influence of the part of the opening and closing body in the image is minimized by changing the range of responsibility of the camera. When the opening / closing body is opened, a portion that cannot be photographed by one camera can be followed by another camera. As a result, a surrounding image that is easy for the driver to understand can be displayed, and reliability can be improved.
[0028]
Further, when the opening / closing body is opened, by displaying on the display screen of the display unit 6 a range in which opening and closing of the opening / closing body affects the photographing of the camera, it is possible to display a surrounding image which is easy for the driver to understand. And reliability can be improved. In addition, by clearly indicating to the driver that the opening / closing body is open through the screen, it is possible to prevent the user from moving by looking at only the screen where the opening / closing body is not displayed as in the related art, Reliability can be improved.
[0029]
As described above, according to the first embodiment, it is possible to perform appropriate image conversion / synthesis even when the vehicle shape is changed by opening a door or the like, and an optimal image is displayed for the driver. be able to.
[0030]
Embodiment 2
Also in the second embodiment, the basic configuration of the image synthesizing apparatus is the same as that shown in FIG.
FIG. 6 is a schematic view of a vehicle with the door closed according to the second embodiment as viewed from above.
301 is a vehicle, 302 is a door, 303 and 304 are cameras, 305 and 306 are shooting ranges, and 307 is a dividing line.
[0031]
As shown in FIG. 6, in the second embodiment, a camera 303 is attached to a door 302 of a vehicle 301. Further, a camera 304 is attached to the right rear of the vehicle 301, and photographs a range 305 and a range 306, respectively. The captured image is converted and synthesized into an image of a virtual camera over the vehicle 301 by the CPU 2 (FIG. 1) by using a method described later, and a display image is created. Since the range 305 and the range 306 partially overlap with each other, the image is divided by the dividing line 307, and the image of the camera 303 is used before the dividing line 307, and the image of the camera 304 is used after the dividing line 307. And
[0032]
FIG. 7 is a schematic view of the vehicle with the door open according to the second embodiment viewed from above.
As shown in FIG. 7, when the door 302 of the vehicle 301 is opened, the position and the direction of the camera 303 attached to the door 302 change, and the range 305 in FIG. 401 will be photographed. Further, the range 402 cannot be photographed by the camera 304 due to the opened door 302. In this case, an open door 302 is reflected in a portion where the range 402 was supposed to be photographed.
[0033]
The range 401 and the range 402 can be calculated from the camera characteristics, the mounting positions and angles of the cameras 303 and 304, the shape of the vehicle 301, the shape of the door 302, and the opening of the door 302.
[0034]
When the same image conversion / synthesis rule (rule using the dividing line 307 in FIG. 6) is applied when the door 302 is open and the image is converted / synthesized, the camera 303 Since the shooting range is different and the camera 304 shoots an image showing the door 302, a converted and synthesized display image different from the expected one is created.
[0035]
Therefore, the opening / closing detection sensor 7 shown in FIG. 1 detects that the door 302 is opened. When the door 302 is opened, the range 401 shown in FIG. For example, a display image is created using a range excluding the range 305 of FIG. 6 from the range 305 of FIG.
[0036]
When the opening / closing detection sensor 7 (FIG. 1) of the door 302 can detect the angle at which the door 302 is open, the range 401 and the range 402 are changed according to the degree of opening of the door 302 to obtain an optimal image synthesis. Perform When the opening / closing detection sensor 7 of the door 302 cannot detect the angle of the door 302 but only detects whether the door 302 is open or closed, the range 401 and the range 402 corresponding to the opening degree of the door 302 Setting is not possible. In this case, since the position and orientation of the camera 303 attached to the door 302 cannot be determined, the video captured by the camera 303 cannot be used for image conversion / composition. Therefore, when the opening of the door 302 cannot be acquired, when the door 302 is opened, the image of the camera 303 attached to the door 302 is not used. Further, the photographable range of the camera 304 is determined by calculating the range 402, assuming that there is an object in the entire area where the door 302 passes from the fully closed state to the fully opened state. Since the way of opening the door 302 (trajectory, opening area, etc.) is constant each time, the calculation may be performed in advance, recorded in the ROM 3 of FIG. 1, and the information may be called according to the way of opening the door 302.
[0037]
Further, when the door 302 is opened, a range in which the camera 303 or 304 does not show the image may occur. The occurrence of this range is due to the fact that it is impossible to obtain the opening of the door 302 and the calculation of the non-shooting range is performed assuming that there is an object in the entire area where the door 302 passes from the fully closed state to the fully opened state. Is more pronounced. If the area is included in the display image obtained as a result of the conversion and synthesis, the area is processed as an area that is not originally captured by the camera, or is displayed in a black-out state. The region may be explicitly displayed in red or another color so that the region is not displayed anymore because the door 302 is opened. Such a range that cannot be photographed by any camera occurs more frequently when a plurality of doors are simultaneously opened. Further, a display indicating the opened door 302 may be displayed on the display image, and a message indicating that the door is open may be displayed at the same time to draw attention.
[0038]
FIG. 8 is a diagram showing a flow in the second embodiment.
Hereinafter, the flow according to the second embodiment will be described.
[0039]
First, in S1, the CPU 2 (FIG. 1) detects opening / closing of an opening / closing body of the vehicle 301 (for example, the door 302 in FIG. 6) based on a signal from the opening / closing detection sensor 7 (FIG. 1).
[0040]
Next, when the opening / closing of the opening / closing body is detected, a blind spot occurs in the photographing range of the camera (for example, the cameras 303 and 304 in FIGS. 6 and 7). The CPU 2 recalculates the photographing range of each camera according to. Alternatively, since the way of opening and closing the opening / closing body, that is, the locus, the area to be opened, and the like are constant each time, the calculation is performed in advance and recorded in the ROM 3 (FIG. 1). Call (that is, switch the table according to the opening / closing state of the opening / closing body). If the opening / closing of the opening / closing body is not detected, the process of S2 is not performed (this flow is not shown).
[0041]
Next, in S3, the CPU 2 synthesizes a plurality of image data from the cameras 303 and 304 whose assigned range has been changed, and creates a display image.
[0042]
Next, in S4, the CPU 2 draws the non-shooting range on the composite image.
[0043]
Finally, in S5, the CPU 2 displays the processed image on the display 6 (FIG. 1).
[0044]
As described above, in the second embodiment, when at least a part of the opening / closing body such as the door 302 is opened, the influence of the part of the opening / closing body on the image is minimized by changing the range of responsibility of the camera. When the opening / closing body is opened, a part that cannot be photographed by one camera can be followed by another camera. As a result, the surrounding image that is easy to understand for the driver and has high reliability can be displayed, and safety can be improved. Further, when the opening / closing body is opened, by displaying on the display screen of the display unit 6 a range in which opening and closing of the opening / closing body affects the photographing of the camera, it is possible to display a surrounding image which is easy for the driver to understand. And reliability can be improved. In addition, by clearly indicating to the driver that the opening / closing body is open through the screen, it is possible to prevent the user from moving by looking at only the screen where the opening / closing body is not displayed as in the related art, Reliability can be improved.
[0045]
As described above, according to the second embodiment, it is possible to perform appropriate image conversion / composition even when the vehicle shape changes due to a door opening or the like and a part of the camera moves. Thus, an optimal image can be displayed to the driver.
[0046]
《Conversion and composition of images》
As described above, in the present invention, a plurality of images taken by a plurality of cameras installed in a vehicle are respectively converted into images looked down from a viewpoint set above the vehicle, and the plurality of converted images are converted into one image. This is an image synthesizing device that synthesizes an image and displays it on the display screen of display 6 (a display example is shown in FIG. 2). Hereinafter, image conversion, viewpoint conversion, and image synthesis in the image synthesis device and the image synthesis method of the present invention will be described.
[0047]
In the present invention, images taken by a real camera (5a to 5d in FIG. 1, 102 and 103 in FIGS. 3 and 4, 303 and 304 in FIGS. 6 and 7, and 11 in FIG. 11 to be described later) that output images are used. The image conversion is performed by the CPU 2 shown in FIG. 1 by setting the outgoing angle to the inside of the real camera to be smaller than the incident angle from the outside of the real camera, and the CPU 2 performs the viewpoint conversion of the converted image. The plurality of viewpoint-converted images whose viewpoints have been converted are combined into one image by the CPU 2, and the combined image is displayed on the display 6.
[0048]
Next, image conversion will be described with reference to FIGS. As shown in the figure, the light ray 25 (FIG. 10) outside the camera body 21 of the real camera model 11a always passes through the representative point 22 (often using the focal position or center point of the lens), and the light ray inside the camera body 21. 26 (FIG. 10) enters the imaging surface 23 provided in the camera body 21. An imaging surface 23 is provided perpendicular to the camera optical axis 24 indicating the direction of the real camera model 11a, and the imaging surface 23 is arranged so that the camera optical axis 24 passes through the center of the imaging surface 23. Of course, depending on the characteristics of the real camera to be simulated, the camera optical axis 24 may not pass through the center of the imaging surface 23, and the imaging surface 23 and the camera optical axis 24 may not be perpendicular. The distance between the representative point 22 and the imaging plane 23 is preferably set to the unit distance (1) for the sake of calculation. In the case of simulating a CCD camera or the like, the imaging surface 23 is divided into a grid so as to reproduce the number of pixels of the real camera to be simulated. Ultimately, a simulation is performed to determine which position (pixel) on the imaging surface 23 the light ray 26 enters. Therefore, the distance between the representative point 22 and the imaging surface 23 and the length and width of the imaging surface 23 are determined. Only the ratio matters, not the actual distance.
[0049]
Then, the image conversion by the CPU 2 is performed on the image taken by the real camera, the emission angle α of the real camera model 11a (FIG. 5) into the camera body 21. _O , Β _O (Emission angle α _O Is the angle of the ray 26 with respect to the camera optical axis 24, the exit angle β _O Is the angle of the light ray 26 with respect to the axis orthogonal to the camera optical axis 24) and the incident angle α from the outside of the camera body 21 of the real camera model 11a. _I , Β _I (Incident angle α _I Is the angle of the ray 25 with respect to the camera optical axis 24, the angle of incidence β _I Is smaller than the angle of the light ray 25 with respect to the axis orthogonal to the camera optical axis 24).
[0050]
That is, the light ray 25 always passes through the representative point 22 and becomes a light ray 26. Further, using the concept of the polar coordinate system, the light ray 25 is incident on the representative point 22 with the incident angle α _I , Β _I Can be indicated by two angles. Then, when the light ray 25 passes through the representative point 22, the emission angle α determined by the following equation _O , Β _O Becomes a light ray 26 having
[0051]
(Α _O , Β _O ) = F (α _I , Β _I (1)
At this time, α _O <Α _I Is always satisfied. In this case, when the light ray 25 passes through the representative point 22, the direction is changed according to the equation (1), and the light ray 26 intersects the imaging surface 23 at the intersection 27. For example, when a CCD camera is simulated, it is possible to determine from the coordinates (position) of the intersection 27 to which pixel on the imaging surface 23 the light ray 26 is incident.
[0052]
Depending on the setting of the imaging surface 23, the light ray 26 may not intersect with the imaging surface 23, but in this case, the light ray 25 is not reflected on the real camera model 11a.
[0053]
If the maximum angle of view of the real camera to be simulated is M (degrees), the ray 25 allowed to enter the camera body 21 is α _I <(M / 2) must be satisfied. The light ray 25 that does not satisfy this condition is not reflected on the real camera model 11a. Output angle α at this time _O Is calculated by f (M / 2). Also, the function f (α) of the equation (1) _I , Β _I ), The distance between the representative point 22 and the imaging surface 23 (preferably the unit distance as described above) and the length and width of the imaging surface 23 are determined, and the imaging range of the real camera model 11a is determined. Stipulate. In addition, as shown in FIG. _Omax Is the maximum incident angle θ _Imax Smaller than the size of.
[0054]
According to the above-described procedure, it is possible to calculate which pixel (position) on the imaging surface 23 of the real camera model 11a the light ray 25 incident on the representative point 22 can be calculated. Image conversion can be performed on the captured image when the straight line 25 has passed through the representative point 22 to obtain an image-converted image. Therefore, the incident angle α of the light beam incident on the actual camera is obtained by the equation (1) _I , Β _I And the pixel (position) of the converted image can be determined.
[0055]
In addition, by using the following expression together with the expression (1), it is possible to calculate from which direction the light ray 26 incident on an arbitrary point on the imaging surface 23 of the real camera model 11a is incident on the representative point 22. Will be possible.
[0056]
(Α _I , Β _I ) = Fi (α _O , Β _O ) (2)
Further, the simplest example of the expression (1) is an incident angle α as follows. _I , Β _I And emission angle α _O , Β _O Is an equation having a proportional relationship.
[0057]
α _O = Kα _I (3)
β _O = Β _I (4)
Here, k is a parameter for determining the lens characteristics of the real camera model 11a, and k <1. If k = 1, the operation is the same as that of the conventional pinhole camera model. Although the actual distortion characteristic of the lens depends on the purpose (design intention) of the lens, a normal wide-angle lens can be approximated by appropriately setting the parameter k in the range of 1 <k <0. A more accurate camera simulation can be performed than a camera simulation using a model.
[0058]
In order to perform lens simulation more precisely, the function f (α _I , Β _I ) Is not a proportional relationship as shown in the equations (3) and (4), but the lens characteristics of the real camera are actually measured, and image conversion is performed using a function indicating the lens characteristics of the real camera. In this case, of course, the emission angle α _O Is the incident angle α _I Less than
[0059]
After performing the above image conversion, the viewpoint conversion is performed. The simplest viewpoint conversion is realized by placing a camera model and a projection plane in space, and projecting an image captured by the camera onto the projection plane.
[0060]
Next, viewpoint conversion by the CPU 2 will be described with reference to FIG. First, a virtual space is set in accordance with the real space, and the real camera 11 and the virtual camera 32 are arranged in the virtual space with their positions and orientations adjusted. Next, a projection plane is set. In FIG. 11, the xy plane is set as the projection plane, but a plurality of projection planes may be provided according to the terrain in the real space or the existence of the object. Next, attention is paid to one of the pixels of the virtual camera 32, and the noted pixel is defined as a pixel V. Since the pixel V of the virtual camera 32 has an area, the coordinates of the center point of the pixel V are set as the coordinates of the pixel V. The intersection 33 between the projection plane and the light ray 35 is obtained by combining the position and orientation information of the virtual camera 32. Next, a light ray 34 from the intersection 33 to the real camera 11 is considered. If the light beam 34 is incident on the real camera 11 within the shooting range of the real camera 11, a calculation is made as to which pixel of the real camera 11 the light beam 34 is incident on. In this case, for the converted image after the image conversion described with reference to FIGS. Assuming that the pixel on which the light ray 34 is incident is a pixel R, the pixel V corresponds to the pixel R, and the color and luminance of the pixel V are the color and luminance of the pixel R.
[0061]
When the light ray 34 enters the real camera 11 outside the shooting range of the real camera 11 or when the light ray 34 does not enter the imaging surface of the real camera 11, the intersection 33 is not reflected on the real camera 11. Assume that nothing is reflected on the pixel V of the virtual camera 32. In this case, the color of the pixel V uses a system default value (such as black, but may be other than black).
[0062]
In addition, in the above example, one coordinate is set for one pixel in the above example, but a plurality of representative coordinates may be provided in the pixel V. In this case, it is calculated which pixel of the real camera 11 the light ray 34 enters for each of the representative coordinates, and the obtained plural colors and luminances are blended to obtain the color and luminance of the pixel V. In this case, the blending ratios are made equal. As a method of blending colors and brightness, there is a method such as alpha blending, which is a general method in the field of computer graphics.
[0063]
The above processing is performed for all the pixels of the virtual camera 32, and the color and luminance of each pixel of the virtual camera 32 are determined, whereby an image of the virtual camera 32, that is, a viewpoint conversion image can be created. Of the image, that is, the image-converted image, can be converted into the viewpoint-converted image.
[0064]
This method can freely set the characteristics and the position of the virtual camera 32 and can easily cope with changes in the characteristics and the position of the virtual camera 32, as compared with a method of simply projecting a captured image on a projection plane.
[0065]
Note that each pixel of the virtual camera 32 basically corresponds to a pixel of the real camera 11, and the correspondence does not change unless the positions and orientations of the virtual camera 32 and the real camera 11 and the setting of the projection plane change. When using a processing device that does not have enough computing power, the correspondence may be stored as a conversion table and referred to at the time of execution. Further, as the number of pixels of the virtual camera 32 increases, the capacity of the conversion table also increases in proportion. Therefore, when the number of pixels of the virtual camera 32 is large, a processing device (computer) having a large-capacity memory is used. It is more cost-effective to use a processing device that can perform the calculation of the viewpoint transformation at a higher speed than that.
[0066]
In such a viewpoint conversion device, the emission angle α _O Since the change in the position on the imaging surface 23 with respect to the change in the image is substantially the same at the center portion and the outline of the imaging surface 23, the distortion of the image near the outline and the image photographed by the camera having a large angle of view is also large. It is possible to obtain a viewpoint-converted image with few points, and it is not necessary to take a pattern image in order to calculate a correction function. Also, the emission angle α _O And the incident angle α _I When the image is converted by a function proportional to the above, the center and the outline of the converted image have the same magnification, so that a viewpoint-converted image with less distortion can be obtained. Further, when image conversion is performed using a function indicating the lens characteristics of the real camera 11, it is possible to obtain a viewpoint-converted image with less distortion due to the lens (aberration) of the real camera 11. In addition, since the viewpoint conversion unit 13 uses the color and luminance of each pixel of the viewpoint converted image as the color and luminance located at the center point of each pixel of the image converted image, it is necessary to calculate the average value of the color and luminance. Since there is no calculation, the amount of calculation at the time of viewpoint conversion can be reduced.
[0067]
Although the present invention has been specifically described based on the embodiments, the present invention is not limited to the above-described embodiments, and it is needless to say that various modifications can be made without departing from the gist of the present invention.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an image synthesizing apparatus according to Embodiment 1 of the present invention.
FIG. 2 is a diagram showing an example of a display screen after conversion and synthesis.
FIG. 3 is a schematic view of the vehicle with the door closed according to the first embodiment as viewed from above.
FIG. 4 is a schematic view of the vehicle with the door opened according to the first embodiment as viewed from above.
FIG. 5 is a diagram showing a flow in the first embodiment.
FIG. 6 is a schematic view of a vehicle with a door closed according to the second embodiment as viewed from above.
FIG. 7 is a schematic view of a vehicle with a door opened according to the second embodiment viewed from above.
FIG. 8 is a diagram showing a flow in the second embodiment.
FIG. 9 is an explanatory diagram of image conversion by a CPU of the image synthesizing apparatus shown in FIG. 1;
FIG. 10 is an explanatory diagram of image conversion by a CPU of the image synthesizing apparatus shown in FIG. 1;
FIG. 11 is an explanatory diagram of viewpoint conversion by a CPU of the image synthesizing apparatus shown in FIG. 1;
[Explanation of symbols]
5a-5d… Camera
1 ... ECU (Electronic Control Unit)
2. CPU (Central Processing Unit)
3 ROM
4 ... RAM
6 ... Display
7 Open / close detection sensor
11 ... Real camera
11a ... Real camera model
12 ... Image conversion means
13. Viewpoint conversion means
14 Display means
21 ... Camera body
22 ... Representative point
23 ... Imaging surface
24 ... Camera optical axis
25 ... ray
26 ... ray
27 ... intersection
32 ... Virtual camera
33 ... intersection
34 ... ray
35 ... ray
101,301 ... vehicle
102, 103, 303, 304 ... camera
104, 105, 305, 306, 401... Shooting range
106, 307 ... dividing line
201, 302 ... door
202, 203, 402... Range that cannot be photographed due to opening of the door
204, 205: Range that cannot be reflected on any camera by opening the door

Claims

車両に設置した複数の撮影手段と、
前記撮影手段によって撮影された複数の画像データを合成する合成手段と、
前記合成されたデータを表示する表示手段と、
前記車両の開閉体の開閉により前記撮影手段の撮影範囲に死角が生じる場合、前記合成のための前記撮影手段の担当範囲を変更する変更手段と
を有することを特徴とする画像合成装置。A plurality of photographing means installed on the vehicle,
Synthesizing means for synthesizing a plurality of image data shot by the shooting means,
Display means for displaying the synthesized data;
An image synthesizing apparatus, comprising: changing means for changing a range in which the photographing unit is responsible for the composition when a blind spot occurs in a photographing range of the photographing unit due to opening and closing of the opening and closing body of the vehicle.

車両の開閉体の開閉を検出する工程と、
車両に設置した複数の撮影手段によって撮影された複数の画像データを合成する工程と、
前記合成されたデータを表示する工程と、
前記車両の開閉体の開閉により前記撮影手段の撮影範囲に死角が生じる場合、前記合成のための前記撮影手段の担当範囲を変更する工程と
を有することを特徴とする画像合成方法。Detecting the opening and closing of the opening and closing body of the vehicle;
Combining a plurality of image data taken by a plurality of photographing means installed in the vehicle,
Displaying the synthesized data;
A step of changing the range of responsibility of the photographing means for the composition when a blind spot occurs in the photographing range of the photographing means due to opening and closing of the opening / closing body of the vehicle.

前記開閉体が開いた際に、前記開閉体が開いたことにより前記撮影手段の撮影に影響が出た範囲を表示することを特徴とする請求項２記載の画像合成方法。3. The image combining method according to claim 2, wherein when the opening and closing body is opened, a range in which the opening of the opening and closing body influences the photographing of the photographing unit is displayed.

前記開閉体が開いた際に、前記開閉体が開いていることを表示することを特徴とする請求項２記載の画像合成方法。3. The image synthesizing method according to claim 2, wherein when the opening / closing body is opened, an indication that the opening / closing body is open is displayed.