JP2007096510A - 前方撮影装置 - Google Patents

Abstract

【課題】 対象物の位置が変化したとしても対象物の周囲に最適な撮影条件を設定することができ、撮影するべき対象物の状況に応じた最適な撮影条件を設定することができる前方撮影装置を提供する。
【解決手段】 レーザレーダ１２で自動車前方の障害物を検出する。信号処理部１５は、レーザレーダ１２の１フレーム分の動作時間における障害物の変位ベクトルを求める。カメラ制御部１６は、障害物の変位ベクトルから、次フレームの障害物の存在位置を予測し、撮影条件エリアを設定する。カメラ１１は予備撮影を行い、画像処理部１７は、上記撮影条件エリアの輝度ヒストグラムを求める。カメラ制御部１６は、撮影条件エリアの輝度の平均値がヒストグラムの中心になるようにカメラ１１の明るさを調整し、輝度の分散がヒストグラムに均一に広がるようにカメラ１１のコントラストを調整する。
【選択図】 図１

Description

この発明は、自動車の前方を撮影する前方撮影装置に関し、特に被写体の状態に応じて撮影条件を設定する前方撮影装置に関する。

従来、自動車の安全性を確保するために、先行車との距離をレーザレーダで検出することが行われている。レーザレーダで先行車との距離を検出し、先行車に異常接近したときには警報を発する等して運転者に注意を促す。

また、より安全性を確保するために、先行車だけでなく歩行者等、他の対象物との距離を検知することが望まれている。レーザレーダは短時間で対象物との距離、方向等を検出できるが、その対象物が自動車であるか、歩行者であるかどうかの判定を行うことは困難である。

対象物の種類を特定するために、自動車の前方をＣＣＤカメラ等で撮影し、画像処理により対象物が自動車であるか、歩行者であるかどうかを判定することが行われている。ただしカメラを用いた画像処理では、対象物が自動車であるか、歩行者であるかどうかの判定は正確にできるが、対象物との距離を正確に検出できない、または距離検出の処理時間が長くかかってしまう。そこで、レーザレーダにより対象物の有無とその距離を検出し、対象物の存在を確認したときに、カメラ画像を撮影し、画像処理を行って、対象物の種類を特定するといったことが行われている。

しかしながら上記のように画像処理によって対象物の種類を特定する場合、以下のような問題があった。例えば自車がトンネルの手前を走行しているときに先行車がトンネルに進入したとすると、先行車を含むエリアの画像が暗くなりすぎてしまうために、画像処理を行っても先行車を認識できない（見失う）といった状況が発生していた。また、逆に自車がトンネル内を走行しているときに先行車がトンネルの外に出ると、先行車を含むエリアの画像が明るくなりすぎてしまうために、やはり先行車を見失うといった状況が発生していた。

そこで、特許文献１のように、先行車を含むエリアの画像明度を用いて最適なアイリス値を計算し、次撮影時にカメラのアイリス制御を行う装置が提案されている。特許文献１の装置では、先行車の周囲エリアに対して最適な露出で画像を撮影することができるので、そのエリアにおいて先行車を見失うことがなくなる。
特開平７−８１４５９号公報

しかし、特許文献１の装置においては、以下のような問題点を有していた。

（１）先行車がトンネルに進入する場合の画像を図５に示す。同図（Ａ）は先行車がトンネルに入る直前に車線内の右側を走行している場合であり、同図（Ｂ）は、先行車がトンネルに入った直後に車線内の左側に横移動して走行した場合である。同図（Ａ）においては、車線内の右側に先行車を認識し、その周囲エリアに最適なアイリス値を設定している。ここで同図（Ｂ）のように先行車がトンネルに進入したとすると、画像が暗くなるために、同図（Ｃ）に示すように、同図（Ａ）で設定したエリアにおいてアイリス値の再計算を行う。しかし、先行車がトンネルに入った直後に車線内の左側に横移動して走行したとすると、同図（Ｃ）に示すように、同図（Ａ）で設定したエリアに先行車が存在しないこととなり、特許文献１の装置では、先行車が認識できないときは前回のアイリス制御エリアをそのまま用いるため、先行車を見失ったままになる。

（２）対象物が歩行者である場合の画像について図６に示す。同図（Ａ）は歩行者が建物の陰に入る直前の画像を示し、同図（Ｂ）は歩行者がビルの陰に入った直後の画像を示す。同図（Ａ）においては、路側右側に歩行者を認識し、その周囲エリアに最適なアイリス値を設定している。ここで、同図（Ｂ）のように歩行者が建物の陰に入ったとすると、画像が暗くなるため、同図（Ｃ）に示すように、同図（Ａ）で設定したエリアにおいてアイリス値の再計算をおこなう。しかし、歩行者の移動速度は自車の移動速度に比べて極端に遅いため、自車の速度が速い場合は歩行者が大きく相対移動するので、同図（Ｃ）に示すように、同図（Ａ）で設定したエリアでは明らかに歩行者が存在しないこととなる。このような場合においても最適なアイリス値を設定することができない。特許文献１の装置では、先行車が認識できないときは前回のアイリス制御エリアをそのまま用いるため、先行車を見失ったままになる。

（３）泥等がついて汚れた先行車を撮影した場合、自動車のガラスとボディの境目が不明瞭であったり、テールランプとボディの境目が不明瞭であったりする。このような自動車の撮影画像について、エッジ検出の画像処理をしたとしても境目が不明瞭なためにエッジ判定ができなくなる。特許文献１の装置では、アイリス制御を行うことが提案されているが、アイリス制御は明るさの調整をするだけであってコントラストの調整を行うことはできない。したがって特許文献１の装置では、汚れた自動車等、境目が不明瞭である対象物について効果的にエッジ検出ができなかった。

本発明は、対象物の位置が変化したとしても対象物の周囲に最適な撮影条件を設定することができ、撮影するべき対象物の状況に応じた最適な撮影条件を設定することができる前方撮影装置を提供することを目的とする。

請求項１に記載の発明は、自動車の前方を撮影するカメラと、レーザを照射して自動車の前方をスキャンして１または複数の障害物を検出するレーザスキャン部と、前記レーザスキャン部が検出した障害物毎に撮影エリアを設定し、各撮影エリア毎に前記カメラの撮影条件を設定するカメラ制御部と、を備えたことを特徴とする。

この発明では、レーザレーダによって障害物を検出し、検出した障害物の周囲エリア毎に異なったカメラの撮影条件を設定する。レーザレーダにより障害物の位置が判定できるので、障害物の位置毎に最適な撮影条件を設定できる。

請求項２に記載の発明は、前記レーザスキャン部は、検出した障害物までの距離と方位を測定し、前記カメラ制御部は、前記障害物までの距離と方位に応じて撮影条件を設定するエリアを決定することを特徴とする。

この発明では、障害物までの距離と方位によって撮影条件設定エリアを変更する。例えば、障害物までの距離が遠い場合は設定エリアを狭くし、障害物までの距離が近い場合は設定エリアを広くする。

請求項３に記載の発明は、前記レーザスキャン部は、前回のスキャン結果と今回のスキャン結果に基づいて障害物の相対的位置変化を割り出し、前記カメラ制御部は、前記レーザスキャン部が割り出した障害物の位置変化に基づいて、次の撮影タイミングにおける障害物の位置を推定し、その推定位置に基づいて前記撮影エリアを設定するエリアを決定することを特徴とする。

この発明では、前回のスキャン結果と今回のスキャン結果から、障害物の位置変化を検出し、次回スキャン時（撮影時）の障害物の位置を予測する。予測した位置毎にカメラ撮影条件設定エリアを決定する。これによりレーザスキャンとカメラ撮影を同時タイミングで行うことができる。

請求項４に記載の発明は、前記カメラ制御部は、障害物の移動速度に応じて、その障害物に対応する撮影エリアのシャッタ速度を設定することを特徴とする。

この発明では、移動速度が大きい障害物の場合はシャッタ速度を速くし、移動速度が小さい障害物の場合はシャッタ速度を遅くする。これにより障害物を明瞭に撮影する。

請求項５に記載の発明は、前記カメラ制御部は、前記次の撮影タイミングの前に前記撮影エリアを予備撮影し、この撮影結果に基づいて、この撮影エリアの感度または明るさを設定することを特徴とする。

この発明では、前回の撮影結果に応じてコントラストを変更する。これによりさらに良好な条件で障害物を撮影することができる。

請求項６に記載の発明は、前記カメラは、広ダイナミックレンジのＣＭＯＳカメラであることを特徴とする。

この発明では、カメラに広ダイナミックレンジのＣＭＯＳカメラを用いる。広ダイナミックレンジのＣＭＯＳカメラであれば、明暗の幅が広いコントラストの強い被写体であっても、「白飛び」や「黒つぶれ」の画像になることがない

この発明によれば、対象物の位置が変化したとしても対象物の周囲に最適な撮影条件を設定することができ、撮影するべき対象物の状況（境界の明瞭性等）に応じて最適な撮影条件を設定することができる。

図面を参照して、本発明の実施形態に係る前方撮影装置について説明する。図１は、前方撮影装置１のブロック図である。同図に示すように、この前方撮影装置１は、カメラ１１、レーザレーダ１２、車速センサ１３、操舵角センサ１４、信号処理部１５、カメラ制御部１６、および画像処理部１７、を備えている。カメラ１１は、カメラ制御部１６と画像処理部１７に接続されている。レーザレーダ１２、車速センサ１３、および操舵角センサ１４は、信号処理部１５に接続されている。また、信号処理部１５はカメラ制御部１６に接続され、カメラ制御部１６は画像処理部１７に接続されている。

カメラ１１は、自動車の前方、例えばフロントガラスの内側（バックミラーの裏側）に設けられている。カメラ１１は、自動車前方を撮影し、継続的または間欠的に画像を取り込む。取り込んだ画像は画像処理部１７に出力する。

このカメラ１１は、広ダイナミックレンジのＣＭＯＳカメラであることが望ましい。広ダイナミックレンジのＣＭＯＳカメラは、輝度が上昇するにつれて各画像素子において出力値を対数的に緩やかに上昇させる。広ダイナミックレンジのＣＭＯＳカメラであれば、日光に照らされた極めて明るいエリアの被写体と、日陰に存在する暗いエリアの被写体も同時に撮影することができる。すなわち、自動車の前方は、昼間は日光によって高照度になる一方で、夜間は極めて低い照度になる劣悪な撮影環境となるが、広ダイナミックレンジのＣＭＯＳカメラであれば、人間の眼と同等以上のダイナミックレンジを有するので、明暗の幅が広いコントラストの強い被写体であっても、「白飛び」や「黒つぶれ」の画像になることがない。

また、このカメラ１１は、撮影範囲のうち、所定のエリアを複数設定して、それぞれのエリアについて個別に撮影条件を設定することができるマルチウィンドウニングＣＭＯＳカメラである。ＣＭＯＳカメラであれば画像素子毎に感度等を調整できるので、所定のエリア毎に異なった撮影条件を設定することができる。

レーザレーダ１２は、自動車前方に近赤外線を照射し、反射光をフォトダイオード等で検出して障害物等の検出を行うものである。レーザレーダ１２のスキャン範囲は、カメラ１１の撮影範囲とほぼ同様であり、カメラ１１の撮影範囲と同方向になるように自動車の前方、例えばフロントグリル（フロントバンパー）の内側に組み付けられている。

レーザレーダ１２は、自動車の前方で反射したレーザの反射強度を測定する。レーザレーダ１２は、この反射強度があらかじめ設定した強度以上となった場合、障害物として検出する。また、レーザレーダ１２は、レーザ照射タイミングと、受光タイミングの遅延時間を測定して、その遅延時間から障害物との距離を測定することができる。また、その時のレーザ照射角度から障害物の存在する方向を判定することができる。レーザレーダ１２は、レーザ照射角度を検出する角度センサを内蔵しているものとする。

車速センサ１３は自車の走行速度を検出するセンサである。

操舵角センサ１４は、自車の操舵角、すなわち進行方向の変化を検出する。操舵角センサに代えてヨーレートセンサを用いてもよい。

レーザレーダ１２で検出された障害物の方向情報、距離情報、車速センサ１３で検出された走行速度情報、および操舵角センサ１４で検出された操舵角情報は、信号処理部１５に入力される。

信号処理部１５は、上記の情報に基づいてレーザレーダ１２が検出した各障害物の変位ベクトルを抽出する。変位ベクトルは、レーザレーダ１２の１フレーム分の動作時間（１スキャンの時間）の間に、各障害物がどの程度変位するかを示す情報である。この変位ベクトルはカメラ制御部１６に入力される。

カメラ制御部１６は、カメラ１１の種々の撮影条件を設定する。撮影条件は、シャッタ速度、コントラスト（画像素子感度）、または明るさ（オフセット）である。カメラ制御部１６は、カメラ１１の撮影範囲のうち、任意のエリアを設定して個別に撮影条件を設定することができる。カメラ制御部１６は、信号処理部１５から受信した変位ベクトルに基づいて、撮影範囲のうち障害物が存在すると判断される範囲にエリア設定を行う。この設定したエリア毎に撮影条件を設定する。

図２は、変位ベクトルを説明する図である。同図においては、歩行者が建物の陰に入る前後、および、先行車が道路右側から左側へ移動しながらトンネルに入る前後のレーザレーダ１２のスキャン図とカメラ１１の撮影画像を示す。同図（Ａ）はレーザレーダ１２の（ｎ−１）フレーム目のスキャン図である。同図（Ｂ）はレーザレーダ１２の（ｎ−１）フレーム目のタイミングで撮影したカメラ１１の画像を示す図である。同図（Ａ）においては、スキャン範囲内に２つの障害物を検出した場合を示す。このとき、例えば同図（Ｂ）に示すように、カメラ１１では２つの障害物（先行車、歩行者）が撮影される。

同図（Ｃ）は、レーザレーダ１２のｎフレーム目のスキャン図である。同図（Ｄ）はレーザレーダ１２のｎフレーム目のタイミングで撮影したカメラ１１の画像を示す図である。

レーザレーダ１２の１フレーム分の動作時間の間、つまり同図（Ａ）から同図（Ｃ）の間に、各障害物は自車に対して相対的に移動する。例えば歩行者は、移動速度が自車に比較して小さく、ほぼ自車の移動速度によって大きく相対移動する。先行車は、自車の前方を自車と同じ方向に移動するため、１フレーム分の動作時間の間には大きく相対移動しないが、同図における例では先行車が道路右側から左側へ移動しているので左方向に相対移動することとなる。

信号処理部１５は、同図（Ｃ）に示すように、レーザレーダ１２が検出した各障害物について変位ベクトルを求める。信号処理部１５は、レーザレーダ１２から入力される障害物の方向情報、距離情報、車速センサ１３から入力される自車の走行速度情報、および操舵角センサ１４から入力される操舵角情報から各障害物の相対移動速度、および方向を求める。レーザレーダ１２の１フレーム分の動作時間は常に一定のため、変位ベクトルは相対速度に対応する。また、変位ベクトルの方向は相対速度の方向に対応する。

同図（Ｅ）は、レーザレーダ１２の（ｎ＋１）フレーム目の予測されるスキャン図である。上記のように、１フレーム分の動作時間は常に一定のため、カメラ制御部１６は、（ｎ−１）フレーム〜ｎフレームの変位ベクトルから（ｎ＋１）フレーム目の障害物の位置を予測する。カメラ制御部１６は、（ｎ−１）フレーム〜ｎフレームの変位ベクトルでｎフレーム〜（ｎ＋１）フレームにおいても障害物が相対移動するとして、各障害物の位置変化を決定する。カメラ制御部１６は、同図（Ｆ）に示すように、予測される各障害物の位置に撮影条件設定エリアを決定する。

画像処理部１７は、カメラ１１で撮影した画像の解析を行う。画像の解析は撮影した画像全体で行うこともでき、設定したエリア毎に行うこともできる。まず、カメラ１１で撮影した画像について輝度の分布（ヒストグラム）を求める。このヒストグラムから、撮影した画像の輝度の平均値と分散を求める。画像処理部１７は、この平均値と分散の情報をカメラ制御部１６に送信する。

カメラ制御部１６は、平均値と分散の情報からカメラ１１の撮影条件を再設定する。すなわち、輝度の平均値がヒストグラムの中心となるように明るさを調整し、分散がヒストグラムに均一となるように感度を変更する。

図３に各障害物の輝度ヒストグラムを示す。同図（Ａ）は、上述した（ｎ＋１）フレーム目において、カメラ１１が撮影した画像を示す。同図（Ａ）では、カメラ制御部１６は、予測される各障害物の位置に撮影条件設定エリアを設定している。この画像が画像処理部１７に入力される。画像処理部１７は、同図（Ｃ）、および同図（Ｅ）に示すように、各障害物の周囲エリア毎に輝度ヒストグラムを求める。同図（Ｃ）は、先行車の周囲エリアにおける輝度ヒストグラムを示し、同図（Ｅ）は、歩行者の周囲エリアにおける輝度ヒストグラムを示す。同図（Ｃ）、同図（Ｅ）において破線で示す分布は、カメラ１１が撮影した画像全体における輝度分布を示す。

画像処理部１７は、上記のヒストグラムの輝度の平均値と分散を求める。同図（Ｃ）においては、先行車はトンネル内に入っているために、ヒストグラムの平均値は低く、分散が小さい。また、同図（Ｅ）においても同様に、歩行者は建物の陰に入っているために、ヒストグラムの平均値は低く、分散が小さい。画像処理部１７は、各障害物のエリア毎に、上記ヒストグラムの平均値、および分散をカメラ制御部１６に送信する。

カメラ制御部１６は、各障害物のエリア毎に、画像処理部１７から受信した平均値を基にしてカメラ１１の撮影条件のうち、明るさを変更する。平均値がヒストグラムの中心となるように明るさを変更する。つまり、平均値がヒストグラムの中心よりも低い場合は撮影条件を明るくし、逆に平均値がヒストグラムの中心よりも高い場合は撮影条件を暗くする。明るさの撮影条件は、カメラ１１のレンズ絞りをサーボで調整して変更してもよいし、シャッタ速度を調整して変更するようにしてもよい。

また、カメラ制御部１６は、各障害物のエリア毎に、画像処理部１７から受信した分散を基にしてカメラ１１の撮影条件のうち、コントラストを変更する。分散がヒストグラムに均一に広がるようにコントラストを変更する。コントラストは、各画像素子のゲインを調整して変更する。

上記のようにして、カメラ制御部１６は、カメラ１１の撮影条件を変更する。カメラ１１は、変更された撮影条件で再度、画像撮影する。同図（Ｂ）に、各障害物のエリア毎に撮影条件を変更して撮影した画像を示す。同図（Ｂ）では、カメラ制御部１６は、撮影条件設定エリア毎に明るさ、コントラストを変更している。したがって、同図（Ｂ）に示すように、先行車がトンネル内に入っていても、そのエリアについては明るさ、コントラストが最適に調整されているため、先行車を明瞭に撮影することができる。同様に、歩行者が建物の陰に入っていても、そのエリアについては明るさ、コントラストが最適に調整されているため、歩行者を明瞭に撮影することができる。この画像が再度画像処理部１７に入力される。同図（Ｄ）、および同図（Ｆ）に、各障害物の撮影条件設定エリア毎における輝度ヒストグラムを示す。同図（Ｄ）は、先行車の撮影条件設定エリアにおける輝度ヒストグラムを示し、同図（Ｆ）は、歩行者の撮影条件設定エリアにおける輝度ヒストグラムを示す。

同図（Ｄ）に示すように、先行車付近の撮影条件設定エリアにおいては、シャッタ速度を速め（または絞りを開け）ているので、輝度分布が高輝度側にオフセットする。また、各画像素子のゲインを上昇させているので、輝度分布が高輝度側に広がる。したがって、輝度平均値がヒストグラムの中心に、輝度分散がヒストグラムに均一に分布することとなる。同様に、同図（Ｆ）に示すように、歩行者付近の撮影条件設定エリアにおいてもシャッタ速度を速め（または絞りを開け）ているので、輝度分布が高輝度側にオフセットする。また、各画像素子のゲインを上昇させているので、輝度分布が高輝度側に広がる。したがって、輝度平均値がヒストグラムの中心に、輝度分散がヒストグラムに均一に分布することとなる。

上記の撮影条件の再設定は、レーザレーダ１２の１フレーム分の動作時間内に行われる。すなわち、レーザレーダ１２の（ｎ＋１）フレーム目の動作中は、画像の撮影を２回行う。１回目の撮影は予備撮影とし、画像処理部１７がヒストグラムを求めて、カメラ制御部１６が各撮影条件設定エリアの変更条件を決定するための撮影である。レーザレーダ１２の１フレーム分の動作時間は、カメラ１１の撮影時間、画像処理部１７のヒストグラム計算時間、およびカメラ制御部１６の撮影条件再設定時間等に比較して長く、上記のように１フレームの間に画像の撮影を２回行うことが可能である。

画像処理部１７は、カメラ１１から入力した上記画像を、他の画像処理部などに出力する。他の画像処理部では例えばエッジ検出等の画像処理を行い、検出したエッジから障害物の種類を判定する。例えば障害物の左右対称性が強ければ自動車であると判断する。これらの情報は、レーザレーダ１２で計測された障害物の方向、距離情報等とともに車両制御部（図示せず）に送信され、車両制御部においては、これらの情報から自車の車速等をコントロールする。すなわち、自車の速度を一定にコントロールするクルージングコントロール等を行う。前方の先行車両に追従して減速、加速を行う。無論、クルージングコントロール以外にも障害物との距離情報に応じて様々な制御を行うことも可能である。例えば、障害物が歩行者であると判断した場合に、接触を避けるための緊急停止制御をしてもよい。

この実施形態の前方撮影装置１においては、レーザレーダ１２のスキャンタイミングで自車前方の画像を撮影するので、レーザレーダ１２で検出した障害物とカメラ１１で撮影した障害物の位置は正確に一致し、高精度に障害物の種類とその位置を検出することができる。したがって、上記のようなクルージングコントロールや緊急停止制御をより正確に安全に行うことができる。

以上のように、レーザレーダによって障害物を検出し、さらに検出した障害物の時間変位を予測して障害物周辺に撮影条件エリアを設定することで、撮影済み画像処理による明るさやコントラスト調整ではなく、カメラの撮影条件を最適に調整することができ、撮影するべき対象物の状況（境界の明瞭性等）に応じて最適な画像を取得することができる。

また、泥等がついて汚れた先行車を撮影した場合、自動車のガラスとボディの境目が不明瞭であったり、テールランプとボディの境目が不明瞭であったりするためにエッジ検出ができない場合が多いが、本実施形態の前方撮影装置１は、明るさの調整だけでなくコントラストの調整も行うので、汚れた自動車等、境目が不明瞭である対象物についても高コントラストで撮影でき、効果的にエッジ検出を行うことができる。

次に、図４を参照して前方撮影装置１の動作を説明する。図４のフローチャートは、前方撮影動作を示すフローチャートである。この処理動作は、レーザレーダ１２により前方の障害物を検出するとともに、検出した障害物に最適な撮影条件を設定して、障害物を明瞭に撮影する動作である。

まず、信号処理部１５は、レーザレーダ１２でｎフレーム目におけるスキャン結果を受信して障害物の位置情報を得る（ｓ１０）。検出した各障害物について、レーザレーダ１２の（ｎ−１）フレーム目に検出した各障害物との対応を取る（ｓ１１）。（ｎ−１）フレーム目とｎフレーム目の反射強度が略同一（例えば反射強度の差が所定の閾値内）である場合に同一の障害物であるとする。（ｎ−１）フレーム目とｎフレーム目の各障害物の位置変化から、各障害物の変位ベクトルを計算する（ｓ１２）。その後、各障害物の変位ベクトルをカメラ制御部１６に送信する（ｓ１３）。

カメラ制御部１６は、まず標準の明るさ、コントラストをカメラ１１に設定する（ｓ２０）。これらの設定はカメラ１１の撮影範囲全てに共通とする。なお、レーザレーダ１２の動作フレーム毎に標準の明るさ、コントラストを設定し直してもよいし、前回の設定条件を標準条件としてそのままの明るさ、コントラストを設定してもよい。その後、信号処理部１５から変位ベクトルを受信する（ｓ２１）。カメラ制御部１６は、受信した変位ベクトルに基づいてカメラ１１のシャッタ速度を設定する（ｓ２２）。変位ベクトルが大きい場合、障害物が高速に相対移動していると判断できるため、シャッタ速度を速く設定し、ブレが少ない画像を撮影するようにする。変位ベクトルが小さい場合は光量を得るためにシャッタ速度を遅く設定する。なお、カメラ１１が広ダイナミックレンジのＣＭＯＳカメラである場合は、シャッタ速度の変更をしなくてもよい。広ダイナミックレンジのＣＭＯＳカメラであればシャッタ速度が速くとも、「黒つぶれ」等の画像となることがないためである。

また、受信した変位ベクトルを基に、撮影条件を変更する画像エリアの位置と大きさを設定する（ｓ２３）。変位ベクトルが大きい場合は、障害物の相対速度が大きいため、１フレームの間に移動する障害物の位置予測精度が低下するので、画像エリアを大きく設定する。このとき、障害物との距離に応じて画像エリアの大きさを変更してもよい。障害物までの距離が遠い場合は画像エリアを小さくし、障害物までの距離が近い場合は画像エリアを大きくする。

以上の撮影条件をカメラ１１に設定し、予備撮影を行う（ｓ２４）。カメラ１１は予備撮影した画像を画像処理部１７に出力する（ｓ２５）。

画像処理部１７は、予備撮影画像を受信し（ｓ３０）、障害物が存在する各画像エリア毎に輝度ヒストグラムを求め、輝度の平均値と分散を計算する（ｓ３１）。計算した平均値と分散はカメラ制御部１６に送信する（ｓ３２）。

カメラ制御部１６は、画像処理部１７から輝度平均値と分散を受信し（ｓ２６）、カメラ１１の撮影条件のうち、明るさとコントラストを変更する（ｓ２７）。上述したように、輝度平均値がヒストグラムの中心となるように明るさを変更し、また、輝度分散がヒストグラムに均一に広がるようにコントラストを変更する。明るさは、カメラ１１のシャッタ速度やレンズ絞りを調整して変更する。コントラストは、各画像素子の感度（アンプゲイン）を調整して変更する。

その後、変更した撮影条件で本撮影を行う（ｓ２８）。カメラ１１は本撮影した画像を画像処理部１７に出力する（ｓ２９）。画像処理部１７は、本撮影した画像を受信し（ｓ３３）、他の処理部（エッジ検出などを行う画像処理部）に出力する（ｓ３４）。

以上のように、本発明の前方撮影装置を搭載した自動車においては、レーザレーダ１２で障害物の位置を正確に検出し、次回スキャン時の障害物の位置を予測、予備撮影によって最適な撮影条件となるように補正量を決定し、スキャンと略同時タイミングで画像を取得する。したがって、対象物の位置が変化したとしても対象物の周囲に最適な撮影条件を設定することができ、撮影するべき対象物の状況（境界の明瞭性等）に応じて最適な撮影条件を設定することができる。

なお、この実施形態では、前方撮影装置を自動車に適用した例を示したが、自動車以外に、鉄道車両、船舶等に適用することも可能である。

本発明の実施形態に係る前方撮影装置の構成をを示したブロック図 変位ベクトル説明する図 ヒストグラムを説明する図 前方撮影動作を示すフローチャート 従来の前方撮影装置において先行車がトンネルに進入する場合の画像を示す図 従来の前方撮影装置において対象物が歩行者である場合の画像を示す図

符号の説明

１−前方撮影装置
１１−カメラ
１２−レーザレーダ
１３−車速センサ
１４−操舵角センサ
１５−信号処理部
１６−カメラ制御部
１７−画像処理部

Claims (6)

1. 自動車の前方を撮影するカメラと、
   レーザを照射して自動車の前方をスキャンして１または複数の障害物を検出するレーザスキャン部と、
   前記レーザスキャン部が検出した障害物毎に撮影エリアを設定し、各撮影エリア毎に前記カメラの撮影条件を設定するカメラ制御部と、
   を備えた前方撮影装置。
2. 前記レーザスキャン部は、検出した障害物までの距離と方位を測定し、
   前記カメラ制御部は、前記障害物までの距離と方位に応じて撮影条件を設定するエリアを決定する請求項１に記載の前方撮影装置。
3. 前記レーザスキャン部は、前回のスキャン結果と今回のスキャン結果に基づいて障害物の相対的位置変化を割り出し、
   前記カメラ制御部は、前記レーザスキャン部が割り出した障害物の位置変化に基づいて、次の撮影タイミングにおける障害物の位置を推定し、その推定位置に基づいて前記撮影エリアを設定するエリアを決定する請求項１、または請求項２に記載の前方撮影装置。
4. 前記カメラ制御部は、障害物の移動速度に応じて、その障害物に対応する撮影エリアのシャッタ速度を設定する請求項１、請求項２、または請求項３に記載の前方撮影装置。
5. 前記カメラ制御部は、前記次の撮影タイミングの前に前記撮影エリアを予備撮影し、この撮影結果に基づいて、この撮影エリアの感度または明るさを設定する請求項１乃至請求項４のいずれかに記載の前方撮影装置。
6. 前記カメラは、広ダイナミックレンジのＣＭＯＳカメラである請求項１乃至請求項５のいずれかに記載の前方撮影装置。

Images