JP2008230561A - 撮像制御装置および測光領域調整方法 - Google Patents

Abstract

【課題】車両の傾斜状態が変化したとしても、撮影したい範囲に関して適正な露出を得ることが可能な「撮像制御装置および測光領域調整方法」を提供する。
【解決手段】車両の傾斜状態の変化量を検出して、その検出した傾斜状態の変化量に応じた分だけ、当初の測光領域２５０を下方の測光領域２８０へ移動させることにより、車両の傾斜状態が変化し、カメラの向きが変わることによって、路面等の適正露出に悪影響を与えるもの（太陽等）が当初の測光領域２５０に含まれることとなったとしても、当該適正露出に悪影響を与えるものを含まない位置に測光領域２８０が移動するようにして、車両の傾斜状態が変化した場合としても、路面等の撮影したい範囲に関して適正な露出を得ることができるようにする。
【選択図】図２

Description

本発明は、撮像制御装置および測光領域調整方法に関し、特に、車両に設置されるカメラの撮像制御装置に用いて好適なものである。

近年、駐車場等において、自車両の周辺を自車両の上方から見下ろした車両周辺画像を、車載用ナビゲーション装置等の車載機におけるディスプレイに表示する運転支援システムが提案されている。

この種のシステムでは、車載カメラとして、魚眼レンズ等の広角レンズを備えた複数台の広角カメラを、自車両の互いに異なる位置（例えば、自車両の前後および左右の計４箇所）に搭載するようになっていた。そして、各広角カメラがそれぞれ撮像した自車両の周辺の画像を視点変換処理することにより、主に路面部分の画像を用いることによって、車両周辺画像を生成するようになっていた。

魚眼レンズを使用して被写体を撮像することにより、１８０°などの広範囲で被写体を撮像することできるが、屋外などでは、空など明るい部分が多く写る。このため、撮像画面全体を測光領域とすると露出がアンダーとなり、路面等が暗めに写ってしまう。そこで、上記運転支援システムでは、路面等ができるだけ多く写るようにカメラの向きを設定し、魚眼レンズの撮像画面において一部（自車両の周辺の路面等が写る部分）のみを測光領域に設定していた。

なお、車載カメラを用いた技術として、見通しの悪い交差点やＴ字路で運転席から見ることの出来ない左右の視界を撮影するカメラの画像を用いて、路面上の車線位置を認識することが可能な車両運転支援装置も提案されている（例えば、特許文献１を参照）。この特許文献１に記載の技術では、認識した車線情報をもとにして車線の逸脱可能性を判断することにより運転者に対して適正な運転操作を促すことができる。
特開２００５−１３５２０３号公報

ところで、前述した運転支援システムでは、車載カメラの自動露出（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）および自動ホワイトバランス（ＡＷＢ：Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）を行う際に、自車両の周辺の路面等、つまり地平線より下の範囲を測光領域とした測光を行うようになっていた。しかし、以下に示すような場合には、路面等の見たい範囲に関して必ずしも適切な露出を行うことができない場合があった。

すなわち、車両内の乗車人数や車両内への荷物の載せ方等により、車両の傾斜状態が変化した場合、車載カメラの向きも一緒に変化することにより、測光領域内に入る被写体が変わる。特に、車載カメラの測光領域に、路面等の見たい範囲に関して適正な露出に悪影響を与える太陽、対向車のヘッドライトまたはバックライト等が含まれることがあった。

このことを、図４〜図６を用いて説明する。図４は、駐車場において、車両１０が、左ドアミラー側から太陽光を多く受けるような向き（方位）を向いている状況下で、当該左ドアミラー付近に設置されたカメラ２０によって駐車場の路面３０を含む外界を撮像する場合を例に示している。

図５は、図４に示す状況下において、カメラ２０の測光領域４０の設定例を示す説明図である。図５に示すように、カメラ２０によって駐車場面５０を含む外界６０を撮像する場合、カメラ２０の測光領域４０は直射日光の影響を回避するような位置（路面等の見たい範囲が中心に来る位置）に設定されるため、駐車場面５０の明るさを忠実に反映した測光を行うことができるようになっている。

図６は、車両内の乗車人数が増加したことにより、車両の傾斜状態が変化（自車両から見て右に傾く）した場合におけるカメラ２０の測光領域４０を示す説明図である。図６に示すように、車両の傾斜状態が変化した場合、カメラ２０の向きも一緒に変化することにより、測光領域４０内に入る被写体が変わる。この結果、カメラ２０の測光領域４０に、駐車場の路面５０等の見たい範囲に関して適正な露出に悪影響を与える太陽が含まれている。

この場合には、測光領域４０に含まれる外界６０が平均的に明るいと判断され、この判断に基づいて、カメラの撮像画像における駐車場面５０が必要以上に暗くなる（露出アンダーとなる）ように露出が決定されてしまい、駐車場の路面５０等の見たい範囲が非常に見づらくなってしまうという問題が生じていた。

本発明は、このような問題を解決するために成されたものであり、車両の傾斜状態が変化したとしても、撮影したい範囲に関して適正な露出が得られるようにすることを目的とする。

上記した課題を解決するために、本発明では、車両の傾斜状態の変化量および変化方向を検出して、その検出した傾斜状態の変化量に応じた分だけ、検出された傾斜状態の変化方向から推定される撮影範囲の移動方向と逆方向にカメラの測光領域を移動させるようにしている。

上記のように構成した本発明によれば、地平線より下の領域が測光領域となるように初期設定されているカメラを搭載した車両の傾斜状態が変化し、カメラの向きが変わることによって、路面等の適正露出に悪影響を与える物体が当初の測光領域に含まれることとなったとしても、当該測光領域は当該物体を含まない位置に移動されることとなる。その結果、車両の傾斜状態が変化したとしても、撮影したい範囲に関して適正な露出を得ることができる。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明による撮像制御装置を実施した車両周辺画像生成装置１００の構成例を示すブロック図である。車両周辺画像生成装置１００は、駐車場等において、自車両の周辺を自車両の上方から見下ろした画像を生成し、これを車載用ナビゲーション装置等の車載機における表示装置２００に表示するものである。

図１において、１１０は複数の撮像装置であり、自車両の前方を撮影するためのフロントカメラ１２０、自車両の左側方を撮影するための左サイドカメラ１３０、自車両の右側方を撮影するための右サイドカメラ１４０および自車両の後方を撮影するためのリアカメラ１５０により構成されている。

なお、車両周辺画像生成装置１００の各カメラ１２０〜１５０で撮影したい範囲は主に自車両周辺の路面である。そのため、各カメラ１２０〜１５０は、その撮影範囲に路面が多く含まれるような姿勢で車両に設置される。そして、当該自車両周辺の路面が主に測光領域に含まれるように、各カメラ１２０〜１５０の撮影画像における測光領域の位置情報が、各カメラ１２０〜１５０内に設けられている図示しないカメラ制御用ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）に初期設定されている。

１６０は車両周辺画像生成部であり、画像処理部１７０、マッピングテーブル記憶部１８０および自車両画像記憶部１９０を備えている。画像処理部１７０は、各カメラ１２０〜１５０にて撮影された画像を入力し、マッピングテーブル記憶部１８０に記憶されている変換情報に従って、自車両の周辺を上方から見たときの背景画像を生成する。

ここで、背景画像は、フロントカメラ１２０により撮影された画像を視点変換して生成されたフロント車両周辺画像と、左サイドカメラ１３０により撮影された画像を視点変換して生成された左サイド車両周辺画像と、右サイドカメラ１４０により撮影された画像を視点変換して生成された右サイド車両周辺画像と、リアカメラ１５０により撮影された画像を視点変換して生成されたリア車両周辺画像とを合成することによって生成する。

マッピングテーブル記憶部１８０は、各カメラ１２０〜１５０により撮影された画像の画素データと自車両の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記載している。自車両画像記憶部１９０は、自車両を上方から見たときの形体を示す自車両画像を記憶しており、画像処理部１７０により読み出される。画像処理部１７０は、上述した背景画像の略中央に自車両画像を合成することにより、車両周辺画像を生成する。画像処理部１７０により生成された車両周辺画像は表示装置２００に表示される。

２１０は本実施形態の撮像制御装置であり、傾斜推定部２２０、傾斜変化検出部２３０および測光領域変更部２４０を備えている。傾斜推定部２２０は、自車両の傾斜状態を所定時間毎に推定する。傾斜状態の推定は、例えば車両に搭載されている３Ｄジャイロ２１５等の傾きセンサの出力に基づき行う。すなわち、傾斜推定部２２０は、３Ｄジャイロ２１５が検出した車両の水平レベルに対する傾斜角情報を取得し、その傾斜角情報に応じて自車両の傾斜状態を推定する。

傾斜変化検出部２３０は、傾斜推定部２２０により推定される自車両の傾斜状態の変化量および変化方向を所定時間毎に検出する。すなわち、傾斜変化検出部２３０は、傾斜推定部２２０により推定された自車両の傾斜状態を所定時間毎に取得し、初期設定された車両の傾斜状態からの変化量および変化方向を所定時間毎に検出する。

測光領域変更部２４０は、傾斜変化検出部２３０により検出された傾斜状態の変化量に応じた分だけ、カメラ１２０〜１５０の測光領域を初期設定の位置から、検出された傾斜状態の変化方向から推定される撮影範囲の移動方向と逆方向に移動させる。具体的には、測光領域変更部２４０は、各カメラ１２０〜１５０のうち、車両の傾斜方向に基づき撮影範囲が上方へ移動すると推定されるカメラを少なくとも対象として、当該対象カメラ内のカメラ制御用ＤＳＰに設定されている測光領域の位置情報を、移動後の測光領域の位置情報で書き換える。

測光領域の移動について例示すれば、車両の傾斜状態が初期状態から変化（自車両から見て右斜め後ろに傾く）した場合、フロントカメラ１２０および左サイドカメラ１３０の向きが上方に移動することによって、路面等の適正露出に悪影響を与える物体が、フロントカメラ１２０および左サイドカメラ１３０の当初の測光領域に含まれることとなってしまう。この場合、測光領域変更部２４０は、傾斜変化検出部２３０により検出された傾斜状態の変化量に応じた分だけ、フロントカメラ１２０および左サイドカメラ１３０の測光領域を初期設定の位置から下方へ移動させる。

なお、右サイドカメラ１４０およびリアカメラ１５０の向きは上方に移動しないため、路面等の適正露出に悪影響を与える物体が当初の測光領域に入ってくることはない。したがって、測光領域変更部２４０は、右サイドカメラ１４０およびリアカメラ１５０の測光領域を下方へ移動させても良いが、必ずしもこれを行う必要はない。

次に、測光領域変更部２４０による測光領域の移動について、図２を参照しながら説明する。図２は、車両の傾斜状態が変化（自車両から見て右に傾く）した場合、車両に搭載されている左サイドカメラ１３０の測光領域の移動を示す説明図である。図２に示すように、車両の傾斜状態が変化した場合、左サイドカメラ１３０の向きも一緒に変化することにより、初期設定されている当初の測光領域２５０内に入る被写体（外界２６０）が変わる。特に、左サイドカメラ１３０の測光領域２５０に、駐車場の路面２７０等の見たい範囲に関して適正な露出に悪影響を与える太陽が含まれている。

このとき、測光領域変更部２４０は、傾斜変化検出部２３０により検出された傾斜状態の変化量に応じた分だけ、左サイドカメラ１３０の当初の測光領域２５０を下方の測光領域２８０へ移動させる。これにより、車両の傾斜状態が変化したとしても、移動後の測光領域２８０の範囲内に、駐車場の路面２７０等の見たい範囲に関して適正な露出に悪影響を与える太陽を含まないようにすることができるため、駐車場の路面２７０の適正な露出を得ることができる。

なお、上記のように車両の傾斜状態が変化（自車両から見て右に傾く）したとしても、他のカメラ１２０、１４０、１５０については、その測光領域２５０に、太陽が含まれることはない。そのため、測光領域変更部２４０は、カメラ１２０、１４０、１５０について当初の測光領域を下方へ移動させることは必ずしも必要でない。

次に、本実施形態における撮像制御装置２１０の動作について説明する。図３は、本実施形態による撮像制御装置２１０の動作例を示すフローチャートである。図３における各処理は、運転手が車両の操作を行っている場合における撮像制御装置２１０の処理内容を示しており、これが所定時間毎に繰り返し行われる。

まず、傾斜推定部２２０は、３Ｄジャイロ２１５が検出した車両の水平レベルに対する傾斜角情報を取得し、その傾斜角情報に応じて自車両の傾斜状態を推定する（ステップＳ１００）。次に、傾斜変化検出部２３０は、傾斜推定部２２０により推定された自車両の傾斜状態の初期状態からの変化量および変化方向を検出する（ステップＳ１２０）。

最後に、測光領域変更部２４０は、傾斜変化検出部２３０により検出された傾斜状態の変化方向に基づき撮影範囲が上方へ移動するカメラを対象として、傾斜状態の変化量に応じた分だけ、測光領域を初期設定の位置から下方へ移動させる（ステップＳ１４０）。これにより、撮像制御装置２１０は、図３における処理を終了する。

なお、ステップＳ１４０において、測光領域変更部２４０は、傾斜変化検出部２３０により検出された傾斜状態の変化量が所定の閾値を超えた場合に限り、カメラ１２０〜１５０の測光領域を移動させるようにしてもよい。

以上詳しく説明したように、本実施形態では、車両の傾斜状態が変化した場合、車両の傾斜状態の変化量および変化方向を検出して、その検出した傾斜状態の変化方向に基づき撮影範囲が上方へ移動すると推定されるカメラを少なくとも対象として、その検出した傾斜状態の変化量に応じた分だけ、カメラの当初の測光領域を下方へ移動させるようにしている。

このようにすれば、車両の傾斜状態が変化し、カメラ１２０〜１５０の向きが変わることによって、路面等の適正露出に悪影響を与える太陽等が当初の測光領域に含まれることとなったとしても、当該測光領域は当該太陽等を含まない位置に移動されることとなる。その結果、車両の傾斜状態が変化したとしても、路面等の見たい範囲に関して適正な露出を得ることができる。

なお、自車両の傾斜状態の変化量および変化方向の検出は、前記実施形態に示した方法に限定されない。例えば、車両内への搭乗者の乗車状態を検出するために、室内センサ（本発明の乗車状態検出部に相当する）を設ける。室内センサとしては、例えば室内カメラを用いることができる。または、重量センサや感圧センサを各座席下に設置しても良い。傾斜変化検出部２３０は、以上のような室内センサにより検出される乗車状態に応じて、自車両の傾斜状態の変化量と変化方向を検出するようにしても良い。

具体的には、運転手１名のみが乗車しているときを車両が傾斜していない基準状態とする。そして、前席に２名乗車している場合、定員人数が乗車している場合等の乗車状態の各パターン毎に、車両の傾斜状態の基準状態からの変化量および変化方向を傾斜状態パターンとしてあらかじめ用意しておく。この状態で、運転手の他に乗車している人数やその人の乗車場所を室内センサにより検出する。そして、室内センサにより検出された乗車状態に適合する傾斜状態パターンを選択し、その選択した傾斜状態パターンから自車両の傾斜状態の変化量と変化方向を検出する。

また、傾斜変化検出部２３０は、車両のサスペンション沈みの変化状態を検出するセンサ（本発明の沈み変化状態検出部に相当する）の検出結果に応じて、車両の傾斜状態の変化量と変化方向を検出するようにしても良い。また、傾斜変化検出部２３０は、車両に取り付けられているオートヘッドライトの光軸調整部が行う光軸の調整状態に応じて、自車両の傾斜状態の変化量と変化方向を検出するようにしても良い。さらに、傾斜変化検出部２３０は、道路の段差情報または傾き情報を含む地図情報を参照して、自車両の現在位置における傾斜状態の変化量と変化方向を検出するようにしても良い。

また、本実施形態では、傾斜変化検出部２３０は、初期設定された自車両の傾斜状態を基準とし、傾斜推定部２２０により推定された自車両の傾斜状態までの変化量および変化方向を検出する例について説明しているが、車両の傾斜状態の変化量および変化方向の検出方法はこれに限定されない。例えば、傾斜変化検出部２３０が、傾斜推定部２２０により推定された自車両の傾斜状態を所定時間ごとに取得し、その所定時間における自車両の傾斜状態の変化量および変化方向（所定時間前に推定された傾斜状態から現在の傾斜状態への変化量および変化方向）を検出するようにしても良い。この場合、全てのカメラ１２０〜１５０を対象として測光領域の移動処理を行うのが好ましい。

また、本実施形態では、車両の傾斜状態が変化した場合、車両の傾斜状態の変化量に応じた分だけ、カメラの測光領域を下方へ移動させる例について説明しているが、傾斜状態の変化量に応じた分だけ、カメラの向きを下方へ移動させるようにしても良い。ただし、車両に搭載されるカメラの向きを可動式にすることは、車両周辺画像生成装置１００の機械構造を複雑にするため、本実施形態のように、車両の傾斜状態が変化した場合、カメラの測光領域を下方へ移動させるのが好ましい。

また、本実施形態では、撮像制御装置２１０を車両周辺画像生成装置１００において実施する例について説明したが、撮像制御装置２１０の実施対象はこれに限定されない。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明による撮像制御装置を実施した車両周辺画像生成装置の構成例を示す図である。 本実施形態による測光領域の移動例を示す図である。 本実施形態による撮像制御装置の動作例を示すフローチャートである。 駐車場面を含む外界を撮影する車両を示す図である。 測光領域の位置の初期設定例を示す図である。 車両傾斜発生時における測光領域の位置を示す図である。

符号の説明

１１０ 撮像装置
１２０ フロントカメラ
１３０ 左サイドカメラ
１４０ 右サイドカメラ
１５０ フロントカメラ
２１０ 撮像制御装置
２１５ ３Ｄジャイロ
２２０ 傾斜推定部
２３０ 傾斜変化推定部
２４０ 測光領域変更部
２５０，２８０ 測光領域

Claims (8)

1. 車両に設置されるカメラの撮像制御装置であって、
   前記車両の傾斜状態の変化量および変化方向を検出する傾斜変化検出部と、
   前記傾斜変化検出部により検出された傾斜状態の変化量に応じた分だけ、前記傾斜変化検出部により検出された傾斜状態の変化方向から推定される撮影範囲の移動方向と逆方向に前記カメラの測光領域を移動させる測光領域変更部とを備えることを特徴とする撮像制御装置。
2. 請求項１に記載の撮像制御装置において、
   前記傾斜変化検出部は、初期設定された前記車両の傾斜状態からの変化量および変化方向を検出することを特徴とする撮像制御装置。
3. 請求項１または２に記載の撮像制御装置において、
   前記傾斜変化検出部は傾きセンサを備え、前記傾きセンサが検出した前記車両の水平レベルに対する傾斜角情報に応じて、前記車両の傾斜状態の変化量および変化方向を検出することを特徴とする撮像制御装置。
4. 請求項１または２に記載の撮像制御装置において、
   前記傾斜変化検出部は、前記車両内への搭乗者の乗車状態を検出する乗車状態検出部を備え、前記乗車状態検出部により検出される乗車状態に応じて、前記車両の傾斜状態の変化量および変化方向を検出することを特徴とする撮像制御装置。
5. 請求項１または２に記載の撮像制御装置において、
   前記傾斜変化検出部は、前記車両のサスペンション沈みの変化状態を検出する沈み変化状態検出部の検出結果に応じて、前記車両の傾斜状態の変化量および変化方向を検出することを特徴とする撮像制御装置。
6. 請求項１または２に記載の撮像制御装置において、
   前記傾斜変化検出部は、前記車両に取り付けられているオートヘッドライトの光軸調整部が行う光軸の調整状態に応じて、前記車両の傾斜状態の変化量および変化方向を検出することを特徴とする撮像制御装置。
7. 請求項１または２に記載の撮像制御装置において、
   前記傾斜変化検出部は、道路の段差情報または傾き情報を含む地図情報を参照し、前記車両の現在位置における傾斜状態の変化量および変化方向を検出することを特徴とする撮像制御装置。
8. 車両に設置されるカメラの測光領域調整方法であって、
   前記車両の傾斜状態の変化量および変化方向を検出する第１のステップと、
   前記第１のステップで検出された傾斜状態の変化量に応じた分だけ、前記第１のステップにより検出された傾斜状態の変化方向から推定される撮影範囲の移動方向と逆方向に前記カメラの測光領域を移動させる第２のステップとを備えることを特徴とする測光領域調整方法。