JP2013157770A - 車載カメラ用露出制御装置 - Google Patents

Abstract

【課題】周囲の明るさが変化しても、路面と認識対象物とのコントラストが一定になるような画像を得る。
【解決手段】撮像部１００で撮像され、濃度変換部１４０で、撮像部１００が有する第１の露光特性が変換された線形性を有する第２の露光特性に基づいて、輝度値が濃度値に変換された画像を生成し、目標濃度値設定部２３４において、濃度値算出部２３３で算出された、画像の所定のウインドウ内部の画素が撮像されるべき目標濃度値が設定され、露光特性設定部２３５において、算出された目標濃度値を得るための第３の露光特性が、第２の露光特性に基づいて設定され、撮像素子制御部２３６が撮像部１００に対して、設定された第３の露光特性で撮像を行う指示を出力し、撮像部１００で撮像を行う。
【選択図】図１

Description

本発明は、車両に設置され、周囲の明るさに応じて、車載カメラの露出制御を行う車載カメラ用露出制御装置に関する。

近年、車両にカメラを設置し、走行車線の端に描画された白線や黄線（以下、レーンマーカと呼ぶ）を撮像した画像の中から、画像処理によってレーンマーカを検出し、このレーンマーカの位置と車両の挙動とに基づいて、車線逸脱の可能性を判断して警報を出力する車線逸脱警報システムが提案されている。

このような画像処理を用いたシステムにあっては、周囲の明るさによらずに、レーンマーカを安定して検出できることが望ましい。

そのため、周囲の明るさに応じて、カメラの露出制御を行う露出制御装置が提案されている（特許文献１）。

特開２００６−６０５０４号公報

特許文献１に記載された発明では、路面領域の平均画素値を算出して 算出された平均画素値に、平均画素値に応じた定数を乗じて平均画素値を補正し、この補正した平均画素値が目標画素値と等しくなるように露出制御を行い、こうして撮像された画像の中からレーンマーカの検出を行っている。

しかしながら、特許文献１に記載された露出制御方法にあっては、撮像部に使用されている撮像素子の露光特性の非線形性を考慮していないため、露出制御された画像において、路面領域とレーンマーカとのコントラストが一定ではなかった。

ここで、露出制御された画像の中からレーンマーカを検出する際には、撮像された画像毎に、路面とレーンマーカとを識別するための適切なしきい値を設定する必要があるが、上記のようにコントラストが一定でないときには、路面とレーンマーカとを適切に識別するために画像毎にしきい値を変化させる必要があり、このしきい値を設定する処理が複雑になって演算時間が増加するという問題があった。

さらに、特許文献１に記載された露出制御方法にあっては、周囲が急激に明るくなるときの露出制御方法については記載されているが、周囲が急激に暗くなるときの露出制御方法については何ら言及されておらず、特許文献１に記載された発明が、トンネル進入時のように、周囲が急激に暗くなる場面に適用できるものなのか否かが不明確である。

本発明は上記事情に鑑みなされたもので、周囲の明るさの変化、また、その変化の方向によらずに、レーンマーカのような所定の対象物を、一定のコントラストで撮像できるように露出制御することが可能な、車載カメラ用露出制御装置を提供することを目的とする。

本発明に係る車載カメラ用露出制御装置は、撮像部で撮像された情報を、非線形性を有する第１の露光特性が変換された、線形性を有する第２の露光特性に基づいて画像化し、画像の所定位置に設定したウインドウ内部の画素の濃度値に対応した輝度値に基づいてウインドウ内部の画素が撮像されるべき目標濃度値を算出し、算出された目標濃度値を得るための第３の露光特性を設定して、設定された第３の露光特性によって撮像を行うことによって、周囲の明るさが変化しても、路面とレーンマーカのような所定の対象物との間のコントラストが一定である画像を撮像することができるものである。

すなわち、本発明に係る車載カメラ用露出制御装置は、車両に搭載され、所定の対象物を含む車両周囲を撮像する、シャッタ速度を変更可能な撮像部と、前記撮像部で撮像される物体の輝度値と前記撮像部で撮像された画像の中の前記物体に対応する画素の濃度値との関係を示す複数の第１の露光特性を、前記関係が線形性を有する複数の第２の露光特性に変換する露光特性変換部と、前記撮像部で撮像された前記物体の輝度値を、前記複数の第２の露光特性の中の１つの第２の露光特性に基づいて濃度値に変換する濃度変換部と、前記濃度変換部で変換された濃度値を有する画像の中に設定された、所定のウインドウ内部の画素が撮像されるべき目標濃度値を設定する目標濃度値設定部と、前記ウインドウ内部の画素の濃度値に対応した輝度値を前記目標濃度値に変換する、前記第２の露光特性における線形性を有する範囲において前記第２の露光特性と同様の露光特性を有する第３の露光特性を設定する露光特性設定部と、前記撮像部のシャッタ速度を、前記第３の露光特性を実現するように変更して撮像を行う撮像素子制御部と、を有することを特徴とする。

このように構成された本発明に係る車載カメラ用露出制御装置によれば、撮像部で撮像された物体の輝度値と画像化された物体の濃度値との関係を示す複数の第１の露光特性が、露光特性変換部によって、線形性を有する複数の第２の露光特性に変換され、変換された複数の第２の露光特性の中の１つの第２の露光特性に基づいて、撮像部で撮像された輝度値が濃度変換部で濃度値に変換され、目標濃度値設定部において、画像の中に設定された所定のウインドウ内部の画素が撮像されるべき目標濃度値が設定されて、露光特性設定部において、前記ウインドウ内部の画素の濃度値に対応する輝度値と複数の第２の露光特性とに基づいて、第２の露光特性の線形性を有する範囲において第２の露光特性と同様の露光特性を有する、所定のウインドウ内部の画素が目標濃度値で撮像されるための第３の露光特性が設定され、こうして設定された第３の露光特性に基づいて、撮像制御部が、撮像部のシャッタ速度を第３の露光特性を実現するように変更して、撮像部が所定の対象物を含む車両周囲の撮像を行うため、周囲の明るさが変化や、その変化の方向にかかわらず、所定の対象物を一定のコントラストで撮像することができる。

本発明に係る車載カメラ用露出制御装置によれば、周囲の明るさの変化にかかわらず、また、その変化の方向にかかわらず、路面とレーンマーカのような所定の対象物とが、一定のコントラストで撮像できるように撮像部の露出制御を行うことができる。

そして、路面とレーンマーカのような所定の対象物とが、一定のコントラストで撮像できることによって、路面とレーンマーカとを識別するための適切なしきい値の設定を容易に行うことができる。

本発明の実施例１に係る車載カメラ用露出制御装置の概略構成を示すブロック図である。 図１の機能ブロック間の繋がりを説明する機能ブロック図である。 撮像部の第１の露光特性を説明する図である。 撮像部の第２の露出特性を説明する図である。 本発明の実施例１の動作の流れを示すフローチャートである。 目標濃度値を求める方法を説明する図である。 目標濃度値を求める第２の方法を説明する図である。 目標濃度値を求める第３の方法を説明する図である。 ウインドウの設定方法を説明する図である。 ウインドウの第２の設定方法を説明する図である。 ウインドウの第３の設定方法を説明する図である。 ウインドウの第４の設定方法を説明する図である。

以下、本発明に係る車載カメラ用露出制御装置の実施形態について、図面を参照して説明する。

本実施例は、本発明に係る車載カメラ用露出制御装置の一例としてのレーンマーカ検出装置に関するものである。

図１は、本発明の実施例１に係るレーンマーカ検出装置１０の構成を示すブロック図である。

また、図２は、図１に示した各機能ブロック間の繋がりを、より明確に示した機能ブロック図である。

本実施例に係るレーンマーカ検出装置１０は、車両（図示しない）に設置され、車両前方の路面を含む領域を撮像する、シャッタ速度を変更可能な撮像部１００と、撮像部１００で撮像された画像を処理して、適正露光特性の設定や、レーンマーカの認識を行う処理部２００と、処理部２００で検出されたレーンマーカの位置や曲率の情報を、車両制御ユニットに送信する通信インタフェース３００とから構成される。

なお、撮像部１００は、車両の中央の天井部もしくはルームミラー近辺に、車両の進行方向前方の路面を含む領域を撮像できるレイアウトで設置される。

そして、撮像部１００は、詳しくは、入射された光を電荷に変換して、さらに、電荷を電気信号に変換するＣＣＤ素子やＣ−ＭＯＳ素子からなる撮像素子１１０と、撮像素子１１０を駆動する撮像素子ドライバ１２０と、撮像素子１１０の表面に直交する方向に設置された光学レンズからなる光学系１３０と、撮像素子１１０に撮像された点の輝度情報を濃度情報に変換するための変換テーブルである、後述する第１の露光特性テーブル、または後述する第２の露光特性テーブルが格納される露光特性テーブル１５０と、撮像素子１１０で撮像された点の輝度情報を露光特性テーブル１５０に基づいて濃度情報に変換する濃度変換部１４０と、から構成される。なお、濃度変換部１４０はＡＤ変換機能を有しており、濃度変換部１４０は、各画素にデジタル化された濃度情報を有する画像を出力する。

処理部２００は、詳しくは、撮像部１００で撮像された画像や処理部２００における処理途中の画像の格納、及び画像処理を行うために必要なデータの格納を行うＲＡＭ２１０と、画像処理を行うために必要なプログラムやデータの格納を行うＲＯＭ２２０と、後述する第２の露光特性テーブルの生成処理や、第３の露光特性の選択処理などを行うＣＰＵ２３０と、濃度変換部１４０で生成された画像のＲＡＭ２１０への転送や、後述するレーンマーカ認識部２３８でレーンマーカを認識するための前処理である、エッジ検出や２値化処理を行う画像処理部２４０と、から構成される。

そして、処理部２００の内部のＲＡＭ２１０と、ＲＯＭ２２０と、ＣＰＵ２３０と、画像処理部２４０とは、内部バスによって接続されている。

なお、ＲＡＭ２１０は、撮像した画像を一時的に保存する他、ＣＰＵ２３０で行われる様々な演算処理の途中経過を格納する。さらに、後述する処理によって生成される第２の露光特性テーブル２１２を格納する。

また、ＲＯＭ２２０の中には、レーンマーカ検出装置１０を動作させるために必要なプログラムが、予め格納されている。

ＣＰＵ２３０は、詳しくは、露光特性テーブル１５０に格納された、撮像素子１１０が本来有している露光特性（第１の露光特性）を、所定の濃度値の範囲において線形性を有する第２の露光特性に変換する露光特性変換部２３１と、変換された第２の露光特性の直線性を判定する直線性判定部２３２と、濃度変換部１４０で変換された画像の所定位置に所定サイズで設定されたウインドウ内の濃度値を算出する濃度値算出部２３３と、前記ウインドウ内の画素が撮像されるべき目標濃度値を算出する目標濃度値設定部２３４と、第２の露光特性テーブル２１２に格納された露光特性に基づいて、第２の露光特性の線形性を有する濃度値の範囲において第２の露光特性と同様の露光特性を有する、前記ウインドウ内の画素が目標濃度値で撮像されるための第３の露光特性を設定する露光特性設定部２３５と、第３の露光特性を実現するように、撮像素子ドライバ１２０に対してシャッタ速度を設定する撮像素子制御部２３６と、撮像された画像の中からレーンマーカの位置を検出するレーンマーカ認識部２３８と、から構成される。

次に、本実施形態に係るレーンマーカ検出装置１０の作用について、図５のフローチャートに基づいて説明する。

まず、露光特性変換部２３１において、第２の露光特性テーブル２１２の中に、既に第２の露光特性が生成されているか否かが判定される（図５のステップＳ１）。

この処理は、予め、第２の露光特性テーブル２１２を作成したときに、第２の露光特性テーブル２１２と一緒に保存されるフラグが存在するか否かを確認することによって行われる。

既に第２の露光特性が生成されているときは、ステップＳ３に移行する。

一方、第２の露光特性が生成されていないときは、露光特性変換部２３１において、第２の露光特性が生成される（図５のステップＳ２）。

この第２の露光特性の生成方法を、以下に説明する。

輝度値Ｌの対象物を、光学系１３０を通して撮像素子１１０で撮像し、撮像素子１１０の後段にある濃度変換部１４０の出力として、画素の濃度値ｐが得られたとする。このとき、輝度値Ｌと濃度値ｐとの関係を、撮像部１００の露光特性、特に、撮像素子１１０が本来有している露光特性を、第１の露光特性と呼ぶことにする。この露光特性は、露光特性テーブル１５０に予め格納されており、撮像素子１１０が撮像を行う都度、露光特性テーブル１５０の内容を参照して、濃度変換部１４０で輝度値Ｌが濃度値ｐに変換される。

撮像部１００の第１の露光特性の一例を図３に示す。図３に示すように、第１の露光特性は、一般に非線形である。そして、第１の露光特性は、撮像部１００のシャッタ速度やゲインに応じて変化するため、複数の異なる曲線で表わされる。

図３は、その１例として、第１の露光特性を、撮像部１００のシャッタ速度毎に示したものである。

このような第１の露光特性を有する撮像部１００で、路面を含む車両の前方の撮像を行うと、第１の露光特性が非線形であるため、路面に対応する画素の濃度値と、路面に引かれたレーンマーカに対応する画素の濃度値とのコントラスト（濃度値の比率）は一定ではなく、周囲の明るさによって変化する。

そのため、周囲の明るさによらずに、路面とレーンマーカのコントラストが一定になるように、露光特性変換部２３１において、露光特性テーブル１５０に格納された第１の露光特性を、輝度値（横軸）と濃度値（縦軸）が線形性を有する第２の露光特性に変換する。

露光特性テーブル１５０には、図３に示す撮像部１００の複数の第１の露光特性が、予め計測されて格納されているものとする。

この第１の露光特性の計測は、撮像素子制御部２３６において、シャッタ速度の設定を変えながら、複数のシャッタ速度で、それぞれ複数の所定の輝度値を有する対象物の画像を撮像することによって行われる。

そして、撮像された対象物に対応する画素の濃度値ｐを計測して、各シャッタ速度に対応する複数の第１の露光特性（Ｃ１、Ｃ２、…、Ｃｎ）が計測される。ここで、Ｃ１、Ｃ２、…、Ｃｎは、形状が互いに等しく、また、互いに、図３の横軸に沿って平行移動した関係でプロットされる。

この第１の露光特性は、一般的にガンマ特性と呼ばれ、（式１）で表現される指数関数の関係を持っている。

ｐ＝Ｌ^γ （式１）
露光特性変換部２３１では、これら複数の第１の露光特性を補正して、所定の濃度値の範囲に亘って線形性を有する複数の第２の露光特性に変換する。

なお、画素の濃度値は０から２５５の値をとるものとし、濃度値ｐの画素の濃度値が、第２の露光特性によって濃度値ｐ’に補正されるとすると、濃度値ｐ’は（式２）で表される。

ｐ’＝２５５×（ｐ／２５５）^{（１／γ）} （式２）
ここで、（式１）の変数γの値がわからないときは、複数の第１の露光特性（Ｃ１、Ｃ２、…、Ｃｉ、…、Ｃｎ）の中の任意の１つである第１の露光特性Ｃｉに対して、（式２）における変数γの値を所定値ずつ変化させながら、その都度、第２の露光特性Ｄｉを算出する。

そして、第２の露光特性Ｄｉが算出される毎に、直線性判定部２３２において、第２の露光特性Ｄｉの直線性（線形性）を判定し、所定の濃度値の範囲に亘って、直線からのずれが所定範囲内であるときに、線形性を有する第２の露光特性Ｄｉが得られたものと判定する。

この線形性の判定は、第２の露光特性Ｄｉと、第２の露光特性Ｄｉに当てはめた直線と、の間の偏差の総和、及び偏差の総和を取る濃度値の範囲を求めて、ある濃度値の範囲における偏差の総和が所定値以下であるとき、その濃度値の範囲において、第２の露光特性Ｄｉは線形性を有していると判定すればよい。

同様の判定を、（式２）の変数γの値を所定値ずつ変えて繰り返し行い、最も広い濃度値の範囲に亘って、線形性が高くなる第２の露光特性Ｄｉを求める。

そして、こうして求めた第２の露光特性Ｄｉを、図３の横軸方向に、シャッタ速度の差に応じた所定量だけ平行移動することによって、複数の第２の露光特性（Ｄ１、Ｄ２、…、Ｄｉ、…、Ｄｎ）が得られる。

そして、得られた第２の露光特性は、ＲＡＭ２１０の中の第２の露光特性テーブル２１２に格納される。このとき、線形性があると判定された濃度値の範囲も一緒に記憶しておく。また、得られた第２の露光特性は、露光特性テーブル１５０に上書きされる。

一方、（式１）の変数γの値が予めわかっているときは、その変数γの値を用いて、複数の第１の露光特性Ｃ１、Ｃ２、…、Ｃｉ、…、Ｃｎの中の任意の第１の露光特性Ｃｉを（式２）によって補正して、第２の露光特性Ｄｉを求める。

そして、ある濃度値の範囲に亘って、直線からのずれが所定範囲内であるときに、線形性を有する第２の露光特性が得られたものと判定する。

こうして求めた第２の露光特性Ｄｉを、図３の横軸方向に、シャッタ速度の差に応じた所定量だけ平行移動することによって、複数の第２の露光特性（Ｄ１、Ｄ２、…、Ｄｎ）が得られる。

得られた第２の露光特性は、ＲＡＭ２１０の中の第２の露光特性テーブル２１２に格納される。なお、このとき、線形性があると判定された濃度値の範囲も一緒に記憶しておく。また、得られた第２の露光特性は、露光特性テーブル１５０に上書きされる。

ここでは、説明のため、図４に示す、複数の第２の露光特性（Ｄ１、Ｄ２、…、Ｄｎ）が得られ、また、第２の露光特性は濃度値ｐ１から濃度値ｐ２の濃度値の範囲Ｚに亘って、線形性があるものと判定されたとする。

次に、撮像素子制御部２３６において、撮像回数を表す定数Ｋに０が格納される（図５のステップＳ３）。

そして、撮像部１００で画像が撮像される（図５のステップＳ４）。このときの撮像は、撮像素子制御部２３６によって、シャッタ速度が所定の初期値に設定された状態で行われる。

次に、撮像素子制御部２３６において、撮像回数を表す定数Ｋがインクリメントされる（図５のステップＳ５）。

さらに、ステップＳ６にて、定数Ｋの値が１であるか否か、すなわち、１回目の撮像であるか否かが判定される。

Ｋ＝１であるとき、すなわち、１回目の撮像であるときは、濃度変換部１４０において、ステップＳ４で撮像された対象物の輝度値が、第２の露光特性テーブル２１２に格納された、シャッタ速度の初期値に対応する第２の露光特性Ｄｉに基づいて濃度値に変換されて、（図５のステップＳ７）、こうして生成された画像は、ＲＡＭ２１０に格納される。そして、その後、ステップＳ９に移行する。

なお、ＲＡＭ２１０に格納された画像は、以降の処理において、適宜ＲＡＭ２１０から読み出されて、所定の画像処理が施される。また、その画像処理の途中経過も、適宜ＲＡＭ２１０に一時保存される。

一方、Ｋ≠１であるとき、すなわち、２回目以降の撮像であるときは、濃度変換部１４０において、ステップＳ４で撮像された対象物の輝度値が、後述する露光特性設定部２３５で設定された第３の露光特性に基づいて濃度値に変換されて（図５のステップＳ８）、こうして生成された画像は、ＲＡＭ２１０に格納される。そして、その後、ステップＳ１０に移行する。なお、ステップＳ８の詳細な処理内容は後述する。

次に、レーンマーカ認識部２３８において、濃度変換部１４０で生成された画像が、ＲＡＭ２１０から読み出されて、レーンマーカの位置が検出される（図５のステップＳ９、Ｓ１０）。

このレーンマーカの検出処理には様々な方法が提案されており、そのいずれの方法を用いてもよいが、１回目の撮像（Ｋ＝１）で得られた画像と、２回目以降の撮像（Ｋ＞１）で得られた画像とでは、処理方法が異なる。

１回目の撮像で得られた画像に対しては、撮像された画像を、所定のしきい値で２値化して、２値化された画像の中から、レーンマーカの形状に近い領域を抽出して、こうして抽出された領域に対して直線適合や曲線適合を行うことによってレーンマーカが検出され（図５のステップＳ９）、その後、ステップＳ１２に移行する。

一方、２回目以降の撮像で得られた画像に対しては、撮像された画像を、後述する路面の目標濃度値よりも所定値だけ高い濃度値をしきい値として２値化して、こうして２値化された画像の中から、レーンマーカの形状に近い領域を抽出して、こうして抽出された領域に対して直線適合や曲線適合を行うことによってレーンマーカが検出され（図５のステップＳ１０）、その後、ステップＳ１１に移行する。

このように、２回目以降の撮像で得られた画像に対しては、後述するように、露光特性設定部２３５で設定された適正露光を実現するためのシャッタ速度が、撮像素子制御部２３６にて設定されるため、撮像された画像では、目標濃度値で撮像された路面に対して、レーンマーカは、路面との間に一定のコントラストをもって撮像される。

したがって、後述する路面の目標濃度値よりも、所定値だけ高い濃度値で２値化することによって、レーンマーカを安定して確実に検出することができる。

そして、ステップＳ１１では、レーンマーカの検出結果に基づいて、車両からレーンマーカまで横方向距離や、前方のレーンマーカの曲率等が算出され、こうして算出された値が、Ｉ^２Ｃ等の通信インタフェース３００を介して車両制御ユニット（図示しない）に送られて、所定の車両制御が行われる。

この車両制御としては、例えば、レーンマーカをはみ出す可能性があるときに、警報を出力して運転者の注意喚起を行う制御や、ステアリングアクチュエータに、レーンマーカをはみ出す方向とは逆方向の反力を発生させ、これによって、運転者の注意喚起を行う制御が行われる。

なお、１回目の撮像であると判定されたとき（Ｋ＝１のとき）は、ステップＳ９でレーンマーカを検出した後、車両制御を行わずにステップＳ１２に移行する。これは、１回目の撮像で得られた画像は、適正な露出制御が実行されていないためである。

次に、濃度値算出部２３３において、ステップＳ４で撮像され、ステップＳ７、またはステップＳ８において生成された画像の中の路面が映っている位置に、所定のサイズ、所定の形状のウインドウＷ１が設定されて、このウインドウ内部の画素の濃度値の平均値が算出される（図５のステップＳ１２）。

このウインドウＷ１は、例えば、図９に示すように、左側レーンマーカＭ１、右側レーンマーカＭ２の検出結果に基づいて決定する消失点Ｖの下方部に設定される。

また、このウインドウＷ１のサイズや形状は、予め実験等によって、適切なサイズや形状を決定し、こうして決められたサイズや形状で設定すればよい。

なお、このウインドウＷ１は、路面領域に当てはめることができれば、画像の水平方向略中央部の下部領域、すなわち、車両の前方直近の位置に設定してもよい。

次に、設定されたウインドウＷ１内部の画素の濃度値の平均値と、その画像を撮像したときに使用した１つの第２の露光特性に基づいて、ウインドウＷ１内部の画素の輝度値の平均値が算出される。

この輝度値の算出の方法について、図６を用いて説明する。

ステップＳ１２において、ウインドウＷ１内部の画素の濃度値の平均値ｐ３が算出されたとする。また、このとき、撮像された画像は、複数の第２の露光特性（Ｄ１、Ｄ２、Ｄ３、…、Ｄｎ）の中の１つとして、第２の露光特性Ｄ３に基づいて、輝度値Ｌが濃度値ｐに変換されたものであったとする。

このとき、図６から、ウインドウＷ１内部の画素の輝度値の平均値はＬ１であることが読み取れる。

そして、目標濃度値設定部２３４において、ウインドウＷ１内部の画素の濃度値ｐの平均値に基づいて、路面とレーンマーカとが所定のコントラストを持って画像化されるような、路面の目標濃度値ｐｔが算出される（図５のステップＳ１３）。

以下、この目標濃度値ｐｔの算出方法について説明する。

レーンマーカの検出を容易に行うためには、路面とレーンマーカとのコントラストが、周囲の明るさによらずに一定になることが望ましい。そのためには、路面とレーンマーカが、ともに、第２の露光特性が線形性を有する濃度値の範囲Ｚの中の濃度値で画像化されればよい。

そのため、図６に示すように、路面の目標濃度値ｐｔが、第２の露光特性が線形性を有する濃度値の範囲Ｚ（濃度値ｐ１からｐ２の範囲）の中間位置、すなわち、ｐｔ＝（ｐ１＋ｐ２）／２に設定される。

このように、路面の目標濃度値ｐｔを、濃度値の範囲Ｚの中間位置に設定するのは、路面の明るさは周囲の明るさの影響を受けて変化し、それに伴って、レーンマーカの明るさも変化するため、路面の明るさが変化しても、路面とレーンマーカが、ともに、濃度値の範囲Ｚ内の濃度値で画像化されるようにするためである。

次に、露光特性設定部２３５において、路面が目標濃度値ｐｔで撮像されるために最適な露光特性が、複数の第２の露光特性（Ｄ１、Ｄ２、…、Ｄｎ）の中から１つ選択されて設定される（図５のステップＳ１４）。

この処理を、図６を用いて説明する。

前記したように、図６から、ウインドウＷ１内部の画素の輝度値の平均値がＬ１であることが読み取れる。

さらに、図６から、輝度値の平均値がＬ１の路面が、目標濃度値ｐｔで画像化されるためには、第２の露光特性Ｄ３を第２の露光特性Ｄ２に変更すればよいことがわかる。

すなわち、第２の露光特性Ｄ３を第２の露光特性Ｄ２に変更することによって、ウインドウＷ１内部の画素の濃度値の平均値は、目標濃度値ｐｔに最も近い、濃度値ｐ４で画像化されることがわかる。

ここで、目標濃度値ｐｔと、実際に画像化される濃度値ｐ４とは一致していないが、これは、説明の便宜上、複数の第２の露光特性（Ｄ１、Ｄ２、…、Ｄｎ）を粗く記載したためである。実際には、複数の第２の露光特性（Ｄ１、Ｄ２、…、Ｄｎ）は、より細かく設定されるため、目標濃度値ｐｔと濃度値ｐ４の差がより小さくなるような露光特性を設定することができる。

目標濃度値ｐｔと濃度値ｐ４の差がより小さくなるようにするためには、第２の露光特性が線形性を有する濃度値の範囲Ｚ内において、特定の輝度値に対して、できるだけ多く、少なくとも２つ以上の、シャッタ速度が異なる第２の露光特性が設定されるのが望ましい。

なお、ステップＳ１４において、１つ選択された第２の露光特性（Ｄ２）を、第３の露光特性と呼ぶことにする。

次に、露光特性設定部２３５から撮像素子制御部２３６に対して、第３の露出特性を実現するためのシャッタ速度設定、及び撮像実施の指示が出力される（図５のステップＳ１５）。

そして撮像素子制御部２３６から撮像素子ドライバ１２０に対して、指示されたシャッタ速度が設定されて、撮像指示が出力される。

次に、レーンマーカ認識部２３８において、車両のエンジンが停止したことや、レーンマーカ認識を行うメインスイッチが切断されたことが検出されると、処理を終了する（図５のステップＳ１６がＹｅｓのとき）。

一方、ステップＳ１６において、レーンマーカ検出処理の終了判断がなされないときは、ステップＳ４に移行して、撮像素子制御部２３６によって設定された、第３の露光特性を実現するシャッタ速度で、撮像部１００において撮像が行われる。

そして、２回目以降の撮像（Ｋ＞１）であるときは、濃度変換部１４０において、ステップＳ１４で設定された第３の露光特性に基づいて、撮像された対象物の輝度値が濃度値に変換される（図５のステップＳ８）。

さらに、路面が目標濃度値ｐｔで観測された画像に対して、ステップＳ９においてレーンマーカの検出が行われる。

このとき、路面は、ステップＳ１４で設定された目標濃度値ｐｔで観測されるため、レーンマーカは、周囲の明るさによらずに、路面との間のコントラストが一定になるように画像化される。

したがって、第３の露光特性によって撮像された画像を、路面の目標濃度値ｐｔよりも所定値だけ高い濃度値をしきい値として２値化することによって、レーンマーカを安定して検出することができる。

そして、ステップＳ１４で設定された第３の露光特性で撮像された画像からレーンマーカの検出が行われるとともに、この画像に対して、再び、ウインドウ内の輝度値の平均値が算出され、その輝度値に基づいて、再度、路面の目標濃度値ｐｔが設定され、第３の露光特性が設定されて、再び設定された第３の露光特性に基づいて次の画像が撮像される。

以後、同じ処理が、図５に従って繰り返される。

このように構成された実施例１に係る車載カメラ用露出制御装置を備えたレーンマーカ検出装置１０によれば、撮像部１００で撮像された対象物の輝度値と画像化された対象物の濃度値との関係を示す複数の第１の露光特性が、露光特性変換部２３１によって、線形性を有する複数の第２の露光特性に変換され、変換された複数の第２の露光特性のうちの１つの第２の露光特性に基づいて、撮像部１００で撮像された対象物の輝度値が濃度変換部１４０で濃度値に変換され、濃度値算出部２３３において生成された画像の中の所定の位置に設定されたウインドウＷ１内部の画素の濃度値が算出され、目標濃度値設定部２３４において、ウインドウＷ１内部の画素の濃度値に対応する輝度値に基づいてウインドウＷ１内部の画素の目標濃度値ｐｔが、第２の露光特性が線形性を有する濃度値の範囲Ｚの内部に設定されて、露光特性設定部２３５において、目標濃度値ｐｔを得るための第３の露光特性が設定され、こうして設定された第３の露光特性に基づいて、撮像素子制御部２３６が、撮像部１００のシャッタ速度を第３の露光特性を実現するように変更して、撮像部１００が撮像を行うため、周囲の明るさの変化や、その変化の方向にかかわらず、路面とレーンマーカのコントラストが一定になるような画像が撮像されるように、撮像部１００の露出制御を行うことができる。

なお、本願発明の実施形態は、前記したものに限定されるものではない。

すなわち、前記実施例では、ステップＳ１２において、所定のウインドウＷ１内の画素の濃度値として、ウインドウＷ１内の全画素の濃度値の平均値を適用したが、その限りではなく、所定のウインドウＷ１内の画素の濃度値として、ウインドウＷ１内の全画素の濃度値の中央値を適用してもよい。

また、前記実施例では、ステップＳ１４において、路面の目標濃度値ｐｔを、第２の露光特性が線形性を有する濃度値の範囲Ｚの中間位置に設定したが、この限りではなく、走行状況に応じて目標濃度値ｐｔの値を変更してもよい。

例えば、トンネルの入口手前においては、図７に示すように、路面の目標濃度値ｐｔを、第２の露光特性が線形性を有する濃度値の範囲Ｚ内で、濃度値の範囲Ｚの中間位置よりも高い濃度値ｐｙとしてもよい。

これは、車両がトンネルに進入したときには、周囲が急に暗くなることによって、路面の濃度値が急激に小さくなるため、予め目標濃度値ｐｔを、濃度値の範囲Ｚの中間位置よりも高くしておくことによって、暗くなる側の濃度値の範囲を広く設定することにより、周囲が急に暗くなったときであっても、路面とレーンマーカが、確実に濃度値の範囲Ｚ内の濃度値で撮像されるようにするためである。

これにより、路面の目標濃度値ｐｔを濃度値の範囲Ｚの中間位置に設定したときに、トンネル進入時において、撮像された画像の中の路面の濃度値が、濃度値の範囲Ｚの下限値を下回る濃度値にまで小さくなってしまうのを防ぐことができるため、路面が速やかに目標濃度値ｐｔで撮像されるという効果が得られる。

また、トンネルの出口手前にあっては、図７に示すように、路面の目標濃度値ｐｔを、第２の露光特性が線形性を有する濃度値の範囲Ｚ内で、濃度値の範囲Ｚの中間位置よりも低い濃度値ｐｘとしてもよい。

これは、車両がトンネルから退出したときには、周囲が急に明るくなることによって、路面の濃度値が急激に大きくなるため、予め目標濃度値ｐｔを低くしておくことによって、明るくなる側の濃度値の範囲を広く設定することにより、周囲が急に明るくなったときであっても、路面とレーンマーカが、確実に濃度値の範囲Ｚ内の濃度値で撮像されるようにするためである。

これにより、路面の目標濃度値ｐｔを濃度値の範囲Ｚの中間位置に設定したときに、トンネル退出時において、撮像された画像の路面の濃度値が、濃度値の範囲Ｚの上限値を上回る濃度値にまで大きくなってしまうのを防ぐことができるため、路面が速やかに目標濃度値ｐｔで撮像されるという効果が得られる。

なお、トンネルの入口手前にいることや、トンネルの出口手前にいることは、濃度値算出部２３３で設定したウインドウＷ１内部の画素の輝度値を、異なる時刻に撮像された複数の画像からそれぞれ算出して、算出された複数の輝度値の時間的な推移を求めて、この値が徐々に暗くなっているときには、トンネルの入口手前にいると判定することができる。

例えば、ウインドウ内部の画素の輝度値が１００ｃｄ／ｍ^２以下の状態が継続したときはトンネル内部を走行中であると判断するものとして、ウインドウ内部の画素の輝度値が１００ｃｄ／ｍ^２以上の状態から、１００ｃｄ／ｍ^２以下の状態へと推移することを検出して、目標濃度値ｐｔを、濃度値の範囲Ｚの中間位置よりも高い濃度値ｐｙに設定することができる。

そして、逆に、ウインドウ内部の画素の輝度値が徐々に明るくなっているときには、トンネルの出口手前にいると判定して、目標濃度値ｐｔを、濃度値の範囲Ｚの中間位置よりも低い濃度値ｐｘに設定することができる。

また、後述するように、車両の直近と遠方とに、レーンマーカを含む複数のウインドウを設定して、これら複数のウインドウ内部の画素の輝度値の時間的な推移を求めて、トンネルと車両との位置関係を認識するようにしてもよい。

或いは、図１に図示しないカーナビゲーションシステムを利用して、進行方向前方にあるトンネルまでの距離を求め、この距離の値に基づいて、トンネルの入口手前にいると判定することもできるし、既にトンネル内部を走行中であるときは、進行方向前方にあるトンネル出口までの距離を求めて、この距離の値に基づいて、ドンネルの出口手前にいると判定することもできる。

なお、路面の目標濃度値ｐｔは、さらに、図８に示すように、輝度値Ｌに応じて単調に増加する関数Ｐに基づいて設定してもよい。

ここで、関数Ｐは、輝度値Ｌに対して、第２の露光特性が線形性を有する濃度値の範囲Ｚ内の濃度値をとる関数である。

このような関数Ｐに基づいて、路面の輝度値に応じた目標濃度値ｐｔを設定することによって、周囲の明るさが時間的に変化する場合であっても、ある撮像タイミングで設定された目標濃度値ｐｔと、次の撮像タイミングで設定される目標濃度値ｐｔとの変化量を小さく抑えることができ、これによって、明暗の変動が小さい露出制御を行うことができる。

さらに、前記実施例では、ステップＳ１２において、ウインドウＷ１は路面領域に設定したが、この限りではなく、ウインドウを、レーンマーカを含む位置に設定してもよい。図１０は、左側レーンマーカＭ１を含む位置にウインドウＷ２を設定した例を示す。

このように、レーンマーカを含む位置にウインドウを設定したときには、濃度値算出部２３３において、レーンマーカを含む領域の濃度値が算出される。

そして、目標濃度値設定部２３４においては、レーンマーカを含む領域の目標濃度値が設定される。このとき、目標濃度値は、路面領域の目標濃度値を設定するときと同様の手続きによって設定することができる。

このように、レーンマーカを含む領域にウインドウを設定することによって、認識対象物となるレーンマーカ部の濃度値を直接制御することができるため、より直接的に露出制御を行うことができるという効果が得られる。

ただし、レーンマーカを含む領域にウインドウを設定したときには、レーンマーカを検出するためのしきい値の設定に注意を要する。

すなわち、レーンマーカを含む領域にウインドウを設定したときには、撮像された画像を、設定された目標濃度値から所定値だけ低い濃度値で２値化することによって、レーンマーカを安定して確実に検出することができる。

また、前記実施例では、輝度値を算出するウインドウは１つ設定したが、この限りではない。

すなわち、図１１に示すように、路面領域にウインドウＷ１を設定し、左側レーンマーカＭ１を含む位置にウインドウＷ２を設定し、右側レーンマーカＭ２を含む位置にウインドウＷ３をそれぞれ設定してもよい。

そして、レーンマーカ認識部２３８において検出されたレーンマーカの検出状態に応じて、目標濃度値を設定するために使用するウインドウを選択するようにしてもよい。

具体的には、レーンマーカの曲率が所定値よりも大きいことが検出されたときには、レーンマーカの検出誤差等によって、レーンマーカを含む位置に設定されるはずのウインドウＷ２、Ｗ３が、レーンマーカから外れた位置に設定される可能性があるため、路面領域に設定したウインドウＷ１を使用して路面領域の目標濃度値を設定して、図５の処理を行うようにしてもよい。

一方、レーンマーカの曲率が所定値よりも小さいことが検出されたときには、ウインドウＷ２、Ｗ３が、確実にレーンマーカを含む位置に設定されていると判断して、ウインドウＷ２、またはウインドウＷ３を使用してレーンマーカを含む領域の目標濃度値を設定して、図５の処理を行うようにしてもよい。

このように、走行場所や走行状態に応じて、より信頼性の高いウインドウを選択して使用することによって、的確な露出制御を行うことができるという効果が得られる。

なお、複数のウインドウを選択して使用する処理を行うときは、選択されたウインドウが設定される位置が変化した際には、選択されたウインドウが置かれた領域の種類に応じて、目標対象物の検出方法を変更する必要がある。

すなわち、前記したように、路面領域にウインドウＷ１を設定したときには、設定した目標濃度値に対して、所定値だけ高い濃度値をしきい値としてレーンマーカを検出し、一方、レーンマーカを含む領域にウインドウＷ２またはＷ３を設定したときには、設定した目標濃度値に対して、所定値だけ低い濃度値をしきい値としてレーンマーカを検出する必要がある。

さらに、図１２に示すように、車両の直近と遠方とに、複数のウインドウを設定して、トンネルの入口や出口に近いことを検出することもできる。

すなわち、図１２に示すように、路面領域にウインドウＷ４、Ｗ５を設定し、左側レーンマーカＭ１を含む領域にウインドウＷ６、ウインドウＷ７を設定し、また、右側レーンマーカＭ２を含む領域にウインドウＷ８、ウインドウＷ９を設定する。

そして、濃度値算出部２３３において、各ウインドウ内部の濃度値の時間的な推移を計測して、遠方側のウインドウＷ５、Ｗ７、Ｗ９の内部の濃度値が、目標濃度値に対して、所定値以上高いときには、トンネル出口が近いと判定することができる。

また、遠方側のウインドウＷ５、Ｗ７、Ｗ９の内部の濃度値が、目標濃度値に対して、所定値以上低いときには、トンネル入口が近いと判定することができる。

このようにして、トンネルの入口や出口に近いことを検出して、前記したように、目標濃度値ｐｘ、ｐｙの設定を行うことができる。

また、このとき、車両の直近に設定した、ウインドウＷ４、Ｗ６、Ｗ８を用いて、図５に示した露出制御の処理が行われる。

なお、図４に示した露光特性は、異なるシャッタ速度毎に設定されると記載したが、この限りではなく、撮像素子１１０のゲインを変更することによって露光特性を変更することも可能である。

特に、シャッタ速度とのゲインをともに変更することによって、露光特性の変更範囲をより一層拡大することができ、これによって、周囲の明るさへの対応可能範囲を拡大することができる。

また、前記実施例では、露光特性設定部２３５において、図６で説明したように、輝度値の平均値Ｌ１に対して、目標濃度値ｐｔに最も近い濃度値ｐ４を与える第２の露光特性を選択して、これを第３の露光特性として設定したが、その限りではない。

すなわち、輝度値の平均値Ｌ１の物体が目標濃度値ｐｔで画像化されるような第３の露光特性を、計算によって求めて設定してもよい。

この計算は、第２の露光特性テーブル２１２に格納された第２の露光特性を、例えば線形補間によって内挿することによって行われ、算出された露光特性が露光特性テーブル１５０に書き込まれる。そして、第３の露光特性を実現するためのシャッタ速度や撮像素子１１０のゲインが撮像素子制御部２３６で算出され、撮像素子制御部２３６からの指示によって撮像部１００でシャッタ速度やゲインが設定されて、設定された条件で車両周囲が撮像される。

また、前記した実施例は、本発明に係る車載カメラ用露出制御装置の一例としてのレーンマーカ検出装置に関するものであるが、本発明の適用範囲は、レーンマーカ検出装置に限るものではない。

すなわち、本発明に係る車載カメラ用露出制御装置は、車両周囲を適正露出で撮像することができるため、先行車両の認識や道路標識の認識等にも適用することができる。

１０ レーンマーカ検出装置
１００ 撮像部
１１０ 撮像素子
１２０ 撮像素子ドライバ
１３０ 光学系
１４０ 濃度変換部
１５０ 露光特性テーブル
２００ 処理部
２１０ ＲＡＭ
２１２ 第２の露光特性テーブル
２２０ ＲＯＭ
２３０ ＣＰＵ
２３１ 露光特性変換部
２３２ 直線性判定部
２３３ 濃度値算出部
２３４ 目標濃度値設定部
２３５ 露光特性設定部
２３６ 撮像素子制御部
２３８ レーンマーカ認識部
２４０ 画像処理部
３００ 通信インタフェース

Claims (12)

1. 車両に搭載され、所定の対象物を含む車両周囲を撮像する、シャッタ速度を変更可能な撮像部と、
   前記撮像部で撮像される物体の輝度値と前記撮像部で撮像された画像の中の前記物体に対応する画素の濃度値との関係を示す複数の第１の露光特性を、前記関係が線形性を有する複数の第２の露光特性に変換する露光特性変換部と、
   前記撮像部で撮像された前記物体の輝度値を、前記複数の第２の露光特性の中の１つの第２の露光特性に基づいて濃度値に変換する濃度変換部と、
   前記濃度変換部で変換された濃度値を有する画像の中に設定された、所定のウインドウ内部の画素が撮像されるべき目標濃度値を設定する目標濃度値設定部と、
   前記ウインドウ内部の画素の濃度値に対応した輝度値を前記目標濃度値に変換する、前記第２の露光特性における線形性を有する範囲において前記第２の露光特性と同様の露光特性を有する第３の露光特性を設定する露光特性設定部と、
   前記撮像部のシャッタ速度を、前記第３の露光特性を実現するように変更して撮像を行う撮像素子制御部と、
   を有することを特徴とする車載カメラ用露出制御装置。
2. 前記複数の第２の露光特性は、前記撮像部の異なるシャッタ速度毎に設定された前記複数の第１の露光特性をそれぞれ変換したものであって、前記撮像部で撮像される物体の輝度値と前記撮像部で撮像された画像の中の前記物体に対応する画素の濃度値との間に、所定の濃度値の範囲に亘って線形性を有するものであることを特徴とする請求項１に記載の車載カメラ用露出制御装置。
3. 前記複数の第２の露光特性は、前記線形性を有する範囲内において、特定の輝度値に対して、少なくとも２つ以上の異なる露光特性が設定されるものであることを特徴とする請求項２に記載の車載カメラ用露出制御装置。
4. 前記目標濃度値は、前記第２の露光特性が線形性を有する濃度値の範囲の中の略中央の濃度値として設定されることを特徴とする請求項１から３のいずれか１項に記載の車載カメラ用露出制御装置。
5. 前記目標濃度値は、前記第２の露光特性が線形性を有する濃度値の範囲の中に、前記輝度値算出部において、異なる時刻に撮像された画像から算出された複数の輝度値に応じた値として設定されることを特徴とする請求項１から３のいずれか１項に記載の車載カメラ用露出制御装置。
6. 前記目標濃度値は、前記第２の露光特性が線形性を有する濃度値の範囲の中で、輝度値に応じて単調増加する値として設定されることを特徴とする請求項１から３のいずれか１項に記載の車載カメラ用露出制御装置。
7. 前記露光特性設定部は、前記第３の露光特性として、前記ウインドウ内部の画素が前記目標濃度値で撮像される露光特性を、前記複数の第２の露光特性に基づいて設定することを特徴とする請求項１から６のいずれか１項に記載の車載カメラ用露出制御装置。
8. 前記適正露光特性設定部は、前記第３の露光特性として、前記ウインドウ内部の画素が前記目標濃度値で撮像される露光特性を、前記複数の第２の露光特性の中から選択することを特徴とする請求項１から７のいずれか１項に記載の車載カメラ用露出制御装置。
9. 前記ウインドウは、前記撮像部で撮像された画像の中の路面領域に設定されることを特徴とする請求項１から８のいずれか１項に記載の車載カメラ用露出制御装置。
10. 前記ウインドウは、前記撮像部で撮像された画像の中の前記所定の対象物の一部を含む領域に設定されることを特徴とする請求項１から８のいずれか１項に記載の車載カメラ用露出制御装置。
11. 前記ウインドウは、前記撮像部で撮像された画像の中に複数設定され、車両の走行場所、または、車両の走行状態に基づいて、前記目標濃度値を算出するために用いるウインドウが選択されることを特徴とする請求項１から１０のいずれか１項に記載の車載カメラ用露出制御装置。
12. 前記所定の対象物は、路面上の走行レーンの境界を表す位置に引かれた白線や黄線であることを特徴とする請求項１から１１のいずれか１項に記載の車載カメラ用露出制御装置。