JP2012138688A - 車載カメラの露出制御値の決定方法 - Google Patents

Abstract

【課題】ターゲットの撮像環境に影響されにくい形で、そのターゲットの認識に適した露出制御値を決定する。
【解決手段】ターゲットを撮像範囲に配置した状態でのカメラによる撮像画像からターゲットを検出した後（Ｓ１４〜Ｓ１６）、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する（Ｓ１７）。このような決定方法によれば、撮像画像からまずターゲットを検出し、その上でターゲットの輝度を測定するようにしているため、背景を含まない形で測定したターゲットの輝度に基づき露出制御値を算出することができる。したがって、ターゲットの撮像環境に影響されにくい形で、そのターゲットの認識に適した露出制御値を決定することができる。
【選択図】図３

Description

本発明は、車両周辺を撮像する車載カメラで所定のターゲットを認識するのに適した露出制御値を決定する方法に関する。

従来、車両の前方や後方など、車両周辺を撮像する車載カメラが知られている。例えば車両の前方を撮像する車載カメラは、道路の白線や、他車両等の立体物の認識処理に利用される。こうした車載カメラは、車両に取り付ける際に光軸方向に取付け誤差が生じ、画像座標から精度の高い距離を求めることができないため、車両の製造工場やディーラ等において、車両ごとに車載カメラの光軸調整が行われる。この光軸調整の方法としては、明部（白色領域）と暗部（黒色領域）とからなるパターンのターゲットを車両に対してあらかじめ規定した位置に配置し、そのターゲットを車載カメラで撮像することにより、光軸方向の画像座標を求める方法が一般的である。

しかしながら、このような方法の光軸調整では、ターゲットを撮像する際の車載カメラの露出制御値が、ターゲットを認識するのに適した値に設定されていないと、光軸調整を精度よく行うことができない。すなわち、ターゲットを認識するのに最適な露出制御値は一定ではなく、ターゲットを設置する環境（背景等の外乱）によって変化する。例えば、撮影画像全域を測光領域とする一般的な露出制御では、ターゲットの背景が暗い場合には、暗い背景に露出が合い、撮像画像においてターゲットの白色領域が飽和することで実際よりも広がってしまい、逆に、背景が明るい場合には、明るい背景に露出が合い、撮像画像におけるターゲットの白色領域と黒色領域とのコントラストが低下してしまう。このように露出制御値が適切でない撮像画像は、白色領域と黒色領域との境界を精度よく認識することができず、光軸調整の精度を悪化させる要因となる。

このような問題に対する従来の方法として、例えば特許文献１には、車載カメラとターゲットとの位置関係やターゲットの大きさなどに基づき、撮像画像においてターゲットが存在すると想定されるエリア（ターゲット存在エリア）をあらかじめ設定し、そのエリアに属する画素の画素値の平均値が所定値となるような露出制御値を算出することが記載されている。また、例えば特許文献２には、測光領域の明るさヒストグラムから認識対象の明るさヒストグラムを除いて（つまり背景に注目して）露出制御を行うことが記載されている。

特許第４１７９１４２号公報 欧州特許第１０７４４３０号明細書

しかしながら、特許文献１に記載の方法では、車載カメラとターゲットとの位置関係やターゲットの大きさなどに基づきターゲット存在エリアをあらかじめ設定するようにしているため、ターゲットの設置誤差などによりターゲットの背景がターゲット存在エリアに含まれてしまうことが考えられる。また、特許文献２に記載の方法は、背景に注目して露出制御を行うものである。したがって、従来の方法では、撮像環境の影響を有効に排除することは困難であった。

本発明は、こうした問題にかんがみてなされたものであり、ターゲットの撮像環境に影響されにくい形で、そのターゲットの認識に適した露出制御値を決定することを目的としている。

上記目的を達成する請求項１に記載の車載カメラの露出制御値の決定方法は、車両周辺を撮像する車載カメラで所定のターゲットを認識するのに適した露出制御値を決定する方法である。この決定方法では、まず、検出ステップとして、ターゲットを撮像範囲に配置した状態での車載カメラによる撮像画像からターゲットを検出する。次に、算出ステップとして、検出ステップで検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する。

このような決定方法によれば、撮像画像からまずターゲットを検出し、その上でターゲットの輝度を測定するようにしているため、背景を含まない形で測定したターゲットの輝度に基づき露出制御値を算出することができる。したがって、ターゲットの撮像環境に影響されにくい形で、そのターゲットの認識に適した露出制御値を決定することができる。

ところで、ターゲットを撮像する際の露出制御値によっては、撮像画像が暗すぎる又は明るすぎることにより、撮像画像からターゲットを検出できないことも考えられる。
そこで、請求項１に記載の方法を前提とする請求項２に記載の決定方法では、前述した検出ステップにおいて、まず検索ステップとして、車載カメラによる撮像画像においてターゲットを検索し、この検索ステップでターゲットが検出されなかった場合には、調整ステップとして、車載カメラの露出制御値を調整する。そして、検索ステップでターゲットが検出されるまで調整ステップと検索ステップとを繰り返す。このような決定方法によれば、撮像画像からターゲットが検出できるように露出制御値を調整することができる。

具体的には、請求項２に記載の方法を前提とする請求項３に記載の決定方法では、前述した検出ステップの前に、設定ステップとして、車載カメラの露出制御値の初期値を、車載カメラによる撮像画像において飽和する画素が生じない程度に撮像画像が暗くなる値に設定する。そして、調整ステップでは、当該調整ステップが繰り返されることにより車載カメラによる撮像画像が徐々に明るくなるように車載カメラの露出制御値を調整する。このような決定方法によれば、ターゲットが検出できる状態の撮像画像において、ターゲットを表す画素が飽和した状態となることを防ぐことができる。

また、請求項２又は請求項３に記載の方法を前提とする請求項４に記載の決定方法では、前述した検索ステップで、車載カメラによる撮像画像における一部であってターゲットが存在し得る範囲においてターゲットを検索する。すなわち、撮像画像においてターゲットが存在し得る範囲は、車載カメラに対するターゲットの配置からある程度絞り込むことが可能であるため、その範囲を対象としてターゲットを検索するのである。したがって、ターゲットの検索に要する処理負荷を低減することができる。

一方、請求項１から請求項４までのいずれか１項に記載の方法を前提とする請求項５に記載の決定方法では、ターゲットは、明部と暗部とを含むパターンを有し、算出ステップでは、ターゲットにおける明部の輝度を測定する。このような決定方法によれば、ターゲットの輝度を適切に測定することができる。

また、請求項１から請求項５までのいずれか１項に記載の方法を前提とする請求項６に記載の決定方法では、前述したターゲットとして、車載カメラの光軸調整に用いられるターゲットを用いる。このような決定方法によれば、光軸調整用のターゲットの認識に適した露出制御値を決定することができるため、車載カメラの光軸調整を精度よく行うことができる。

実施形態の露出制御装置の構成を示すブロック図である。 ターゲットのパターンを示す図である。 光軸調整用露出制御の処理手順を表すフローチャートである。 撮像画像におけるターゲットが存在し得る範囲を示す図である。 （ａ）は初期値の露出制御値での撮像画像からターゲットを検索する処理を示す図、（ｂ）は（ａ）よりも明るくなるように調整した露出制御値での撮像画像からターゲットを検索する処理を示す図、（ｃ）は（ｂ）よりも更に明るくなるように調整した露出制御値での撮像画像からターゲットを検索する処理を示す図、（ｄ）はターゲットの認識に適した露出制御値での撮像画像を示す図である。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．全体構成］
図１は、実施形態の露出制御装置１０の構成を示すブロック図である。

この露出制御装置１０は、車両に搭載された状態で用いられるものであり、その車両に搭載されている車載カメラ（以下、単に「カメラ」という。）２１、統合判断ＥＣＵ２２、警報部２３及び操舵ＥＣＵ２４とともに、前方車両の認識に基づく警報処理及び操舵制御を実現する。

露出制御装置１０は、ＣＰＵ１１、メモリ１２、カメラ２１の撮像画像を入力するための画像インタフェース１３、及び、統合判断ＥＣＵ２２との通信を行うための通信インタフェース１４を備えている。

カメラ２１は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮像するものである。なお、カメラ２１は、車室内の所定位置に設置されるときに、その撮像範囲が車両の進行方向に対して所定の撮像範囲となるように、その向き等が調整される。

また、カメラ２１は、公知のＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサに加え、増幅部及びＡ／Ｄ変換部を内蔵している。これら増幅部及びＡ／Ｄ変換部は、イメージセンサによって画像を撮像したとき、その画像の各画素の輝度（明るさ）を示すアナログ信号を所定のゲインで増幅し、かつ増幅したアナログ値をデジタル値に変換する。そして、カメラ２１は、このデジタル値に変換した信号（画素値）を、画像信号として、画像のラインごとに出力する。

画像インタフェース１３には、カメラ２１から出力される画素値及び水平・垂直同期信号が入力される。ＣＰＵ１１は、画像インタフェース１３に入力された水平・垂直同期信号に基づいて、画像の水平ラインごとに出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、カメラ２１から出力される画素値をメモリ１２に記憶する。このようにして、カメラ２１から出力される画像信号がメモリ１２に保存される。

ＣＰＵ１１は、カメラ２１から出力された画像信号を処理することにより、認識対象物（本実施形態では前方車両）の位置の認識を行うとともに、その認識した前方車両の位置を統合判断ＥＣＵ２２へ出力する。さらに、ＣＰＵ１１は、前方車両が適切に認識されるようにカメラ２１の露出制御を行う。具体的には、ＣＰＵ１１は、カメラ２１の露光時間（シャッタースピード）及びフレームレート、更に増幅部のゲインを調整するため、これらの調整指示値を含むカメラ制御値をカメラ２１へ出力する。

通信インタフェース１４は、ＣＰＵ１１と統合判断ＥＣＵ２２との間の通信を調整するものである。本実施形態では、ＣＰＵ１１は、画像信号における前方車両の位置を認識して、この認識した前方車両の位置を統合判断ＥＣＵ２２へ送信する。統合判断ＥＣＵ２２は、ＣＰＵ１１から送信された前方車両の位置に基づいて、自車が前方車両と接触する危険性があるか否かを判定し、危険性があると判定した場合には、警報部２３に対して警報を発するように指示する。また、危険性が高い場合には、単に警報を発するだけでなく、操舵ＥＣＵ２４に対して操舵制御（操舵装置のアシスト量を調節したり、操舵装置を自動的に駆動したりして危険を回避する制御）を行うように指示する。

［２．露出制御値の決定方法］
次に、カメラ２１の光軸調整の前段階で行われる露出制御値の決定方法について説明する。カメラ２１は、車両に取り付ける際に光軸方向に取付け誤差が生じ、画像座標から精度の高い距離を得ることができないため、車両の製造工場やディーラ等において車両ごとに光軸調整が行われる。光軸調整では、車両に対してあらかじめ規定した位置に配置したターゲットを撮像する。図２は、光軸調整に用いられるターゲットのパターンを示す図である。このターゲットは、明部（白色領域）と暗部（黒色領域）とからなるパターンを有しており、黒い正方形の中心点を挟んで対角方向に２つの白い正方形が配置されている。

カメラ２１の光軸調整は、このターゲットを撮像することにより行われるが、ターゲットを撮像する際のカメラ２１の露出制御値が、ターゲットを認識するのに適した値に設定されていないと、白色領域と黒色領域との境界を精度よく認識することができず、光軸調整を精度よく行うことができない。

つまり、光軸調整を精度よく行うには、カメラ２１でターゲットを鮮明に撮像することが必要であり、このためには、光軸調整を行う前に、ターゲットを認識するのに適した露出制御値を決定する必要がある。そこで、本実施形態では、光軸調整を行う前に、カメラ２１でターゲットを認識するのに適した露出制御値を決定するための光軸調整用露出制御を行う。

図３は、あらかじめ記憶されているプログラムに従いＣＰＵ１１が実行する光軸調整用露出制御の処理手順を表すフローチャートである。なお、光軸調整用露出制御は、図２に示すターゲットを、カメラ２１の撮像範囲に配置した状態で行われる。

ＣＰＵ１１は、光軸調整用露出制御を開始すると、まずＳ１１で、カメラ２１の撮像画像において飽和する画素が生じないように、十分に短い露光時間を設定する。つまり、カメラ２１の露出制御値の初期値を、カメラ２１による撮像画像が十分に暗くなる値に設定する。

続いて、Ｓ１２では、Ｓ１１で設定した値（後述するＳ１６の処理の後であれば、Ｓ１６で決定した値）に従いカメラ２１の露出制御を行う。
続いて、Ｓ１３では、Ｓ１２で露出制御したカメラ２１による撮像画像を取得する。

続いて、Ｓ１４では、Ｓ１３で取得した撮像画像においてターゲットパターンを走査することにより、ターゲットを検索する。具体的には、カメラ２１の撮像範囲におけるターゲットの位置は、カメラ２１に対するターゲットの位置をあらかじめ定められた位置関係（光軸調整のための配置に比べて精度は要求されない。）にすることで、撮像画像においてターゲットが存在し得る範囲をある程度絞り込むことが可能となる。したがって、Ｓ１４では、図４に示すように、撮像画像における一部であってターゲットが存在し得る範囲でターゲットを検索する。

続いて、Ｓ１５では、Ｓ１４の検索によって撮像画像からターゲットが検出されたか否かを判定する。
そして、Ｓ１５でターゲットが検出されなかったと判定した場合には、Ｓ１６へ移行し、露光時間を長くするように露出制御値を変更する。具体的には、露光時間を長くしてもターゲットがダイナミックレンジ内に収まるように露光時間を決定する。つまり、Ｓ１６が繰り返し実行されることによりカメラ２１による撮像画像が徐々に明るくなるようにカメラ２１の露出制御値を調整する。その後、Ｓ１２へ戻り、前述した処理を行う。

一方、Ｓ１５でターゲットが検出されたと判定した場合には、Ｓ１７へ移行し、ターゲットの白色領域の輝度を測定し、測定した輝度に基づいて、ターゲットを認識するのに適した露出制御値を決定する。具体的には、ターゲットにおける白色領域の画素値の平均値を算出し、算出した平均値とあらかじめ定められている目標値との比率から、白色領域の画素値の平均値が目標値となるような露光時間を決定する。その後、光軸調整用露出制御を終了する。

［３．効果］
以上説明したように、本実施形態のカメラ２１の露出制御値の決定方法では、カメラ２１の露出制御値の初期値を、カメラ２１による撮像画像において飽和する画素が生じない程度に撮像画像が暗くなる値に設定し、カメラ２１による撮像画像においてターゲットパターンを走査することでターゲットを検索する（図５（ａ））。そして、ターゲットが検出されなかった場合には、ターゲットが検出されるまでカメラ２１による撮像画像が徐々に明るくなるようにカメラ２１の露出制御値を繰り返し調整する（図５（ａ）→図５（ｂ）→図５（ｃ））。このため、必要以上に明るく調整された撮像画像からターゲットが検出されることが防止され、撮像画像においてターゲットを表す画素が飽和した状態となることを防ぐことができる。

また、カメラ２１による撮像画像における一部であってターゲットが存在し得る範囲を対象としてターゲットを検索するようにしているため、ターゲットの検索に要する処理負荷を低減することができる。

さらに、本実施形態の決定方法では、ターゲットを撮像範囲に配置した状態でのカメラ２１による撮像画像からターゲットを検出した後、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する。このような決定方法によれば、撮像画像からまずターゲットを検出し、その上でターゲットの輝度を測定するようにしているため、背景を含まない形で測定したターゲットの輝度に基づき露出制御値を算出することができる。したがって、ターゲットの撮像環境に影響されにくい形で、そのターゲットの認識に適した露出制御値を決定することができる。また、こうして決定した露出制御値を用いれば、図５（ｄ）に示すように、ターゲットが鮮明に撮像されることとなるため、カメラ２１の光軸調整を精度よく行うことができる。

加えて、ターゲットにおける白色領域の輝度（画素値の平均値）をターゲットの輝度として測定するようにしているため、ターゲットの輝度を適切に測定することができる。
［４．特許請求の範囲との対応］
なお、本実施形態では、Ｓ１１の処理が設定ステップに相当する。また、Ｓ１４〜Ｓ１６の処理が検出ステップに相当し、特に、Ｓ１４の処理が検索ステップに相当し、Ｓ１６の処理が調整ステップに相当する。また、Ｓ１７の処理が算出ステップに相当する。

［５．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

例えば、上記実施形態で例示したターゲットのパターン（図２）はあくまでも一例であり、これに限定されるものではない。また、上記実施形態では、光軸調整に用いるターゲットを認識するのに適した露出制御値を決定する方法について説明したが、光軸調整以外に用いるターゲットであっても本発明を適用することは可能である。

また、上記実施形態では、前方車両の認識に基づく警報処理及び操舵制御を実現するための車載カメラ（カメラ２１）について説明したが、車載カメラの用途はこれに限定されるものではなく、例えば白線認識に基づく警報処理及び操舵制御を実現するためのものであってもよい。また、車載カメラは車両前方を撮像するものに限らず、例えば車両後方を撮像するものなど、車両周辺を撮像する車載カメラであれば本発明を適用することは可能である。

１０…露出制御装置、１１…ＣＰＵ、１２…メモリ、１３…画像インタフェース、１４…通信インタフェース、２１…車載カメラ、２２…統合判断ＥＣＵ

Claims (6)

1. 車両周辺を撮像する車載カメラで所定のターゲットを認識するのに適した露出制御値を決定する決定方法であって、
   前記ターゲットを撮像範囲に配置した状態での前記車載カメラによる撮像画像から前記ターゲットを検出する検出ステップと、
   前記検出ステップで検出した撮像画像における前記ターゲットの輝度を測定し、測定した輝度を前記ターゲットの認識に適した目標値とするための露出制御値を算出する算出ステップと、
   を含むことを特徴とする車載カメラの露出制御値の決定方法。
2. 請求項１に記載の車載カメラの露出制御値の決定方法であって、
   前記検出ステップは、
   前記車載カメラによる撮像画像において前記ターゲットを検索する検索ステップと、
   前記検索ステップで前記ターゲットが検出されなかった場合に前記車載カメラの露出制御値を調整する調整ステップとを含み、
   前記検索ステップで前記ターゲットが検出されるまで前記調整ステップと前記検索ステップとを繰り返すこと
   を特徴とする車載カメラの露出制御値の決定方法。
3. 請求項２に記載の車載カメラの露出制御値の決定方法であって、
   前記検出ステップの前に、前記車載カメラの露出制御値の初期値を、前記車載カメラによる撮像画像において飽和する画素が生じない程度に撮像画像が暗くなる値に設定する設定ステップを更に含み、
   前記調整ステップでは、当該調整ステップが繰り返されることにより前記車載カメラによる撮像画像が徐々に明るくなるように前記車載カメラの露出制御値を調整すること
   を特徴とする車載カメラの露出制御値の決定方法。
4. 請求項２又は請求項３に記載の車載カメラの露出制御値の決定方法であって、
   前記検索ステップでは、前記車載カメラによる撮像画像における一部であって前記ターゲットが存在し得る範囲において前記ターゲットを検索すること
   を特徴とする車載カメラの露出制御値の決定方法。
5. 請求項１から請求項４までのいずれか１項に記載の車載カメラの露出制御値の決定方法であって、
   前記ターゲットは、明部と暗部とを含むパターンを有し、
   前記算出ステップでは、前記ターゲットにおける明部の輝度を測定すること
   を特徴とする車載カメラの露出制御値の決定方法。
6. 請求項１から請求項５までのいずれか１項に記載の車載カメラの露出制御値の決定方法であって、
   前記ターゲットとして、前記車載カメラの光軸調整に用いられるターゲットを用いること
   を特徴とする車載カメラの露出制御値の決定方法。