(第一の実施の形態)
<カメラの使用場面>
図1は、カメラ3を搭載した車両1の運転支援装置2の概略構成図である。図1において、自動車等の車両1に運転支援装置2が搭載されている。運転支援装置2は、カメラ3と、制御装置4と、第1の走行制御ユニット5と、第2の走行制御ユニット6等により構成される。なお、本実施の形態では内燃機関を駆動源とする例を説明するが、モータを駆動源とするものでもよい。
カメラ3は、複数のレンズを有する撮像光学系、後述する積層型撮像素子を備え、例えば車室内の天井前方に取り付けられている。カメラ3は車両1の前方に向けられ、その取り付け高さ(地面からカメラ3までの距離)は、例えば1.4(m)に調整されている。カメラ3は、車両1の進行方向の画像を取得し、取得した画像に基づいて撮影画面内の複数の位置における各被写体(対象物)までの距離測定(測距)を行う。距離測定は、積層型撮像素子に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する。測距については後述する。カメラ3により取得された画像のデータおよび測距データは、制御装置4へ送出される。なお、カメラ3を車外に設けてもよく、車内・車外のカメラ3を協働してもよく、カメラ3の数も適宜設定すればよい。一例を挙げると、後述する白線検出は車外のカメラ3を用い、対象物や障害物の認識は、車内・車外のカメラ3を協働させるようにしてもよい。
制御装置4は、図2に例示するように、CPU4aおよび記憶部4bを含む。CPU4aは、記憶部4bに記憶されている各種プログラムに基づいて、記憶部4bに記憶されている制御パラメータや後述する各センサによる検出信号などを用いて各種演算を行う。
第1の走行制御ユニット5は、制御装置4からの指示に基づいて、定速走行制御および追従走行制御を行う。定速走行制御は、所定の制御プログラムに基づいて、車両1を一定速度で走行させる制御である。追従走行制御は、定速走行制御を行っている際に、制御装置4にて認識された先行車の速度が車両1に設定されている目標速度以下の場合には、先行車に対して一定の車間距離を保持した状態で走行させる制御である。
第2の走行制御ユニット6は、制御装置4からの指示に基づいて、運転支援制御を行う。運転支援制御は、所定の制御プログラムに基づいて、車両1が道路に沿って走行するように操舵制御装置9にステアリング制御信号を出力したり、車両1が対象物と衝突するのを回避するようにブレーキ制御装置8にブレーキ制御信号を出力したりする制御である。
図1にはさらに、スロットル制御装置7と、ブレーキ制御装置8と、操舵制御装置9と、ステアリングホイール10と、ターンシグナルスイッチ11と、車速センサ12と、ヨーレートセンサ13と、表示装置14と、GPS装置15と、シフトレバー位置検出装置16と、マイク17と、ナビゲーション装置(情報装置)18とが図示されている。
スロットル制御装置7は、アクセルペダル7aの踏み込み量に応じて不図示のスロットルバルブの開度を制御する。また、スロットル制御装置7は、第1の走行制御ユニット5から送出されるスロットル制御信号に応じて上記スロットルバルブに対する開度の制御も行う。スロットル制御装置7はさらに、アクセルペダル7aの踏み込み量を示す信号を制御装置4へ送出する。
ブレーキ制御装置8は、ブレーキペダル8aの踏み込み量に応じて不図示のブレーキバルブの開度を制御する。また、ブレーキ制御装置8は、第2の走行制御ユニット6からのブレーキ制御信号に応じて上記ブレーキバルブに対する開度の制御も行う。ブレーキ制御装置8はさらに、ブレーキペダル8aの踏み込み量を示す信号を制御装置4へ送出する。
操舵制御装置9は、ステアリングホイール10の回転角に応じて不図示のステアリング装置の舵角を制御する。また、操舵制御装置9は、第2の走行制御ユニット6からのステアリング制御信号に応じて上記ステアリング装置の舵角の制御も行う。操舵制御装置9はさらに、ステアリングホイール10の回転角を示す信号を第1の走行制御ユニット5と、制御装置4と、にそれぞれ送出する。
ターンシグナルスイッチ11は、不図示のターンシグナル(ウィンカー)装置を作動させるためのスイッチである。ターンシグナル装置は、車両1の進路変更を示す点滅発光装置である。車両1の乗員によってターンシグナルスイッチ11が操作されると、ターンシグナルスイッチ11からの操作信号がターンシグナル装置、第2の走行制御ユニット6および制御装置4にそれぞれ送出される。車速センサ12は車両1の車速Vを検出し、検出信号を第1の走行制御ユニット5と、第2の走行制御ユニット6と、制御装置4とにそれぞれ送出する。
ヨーレートセンサ13は車両1のヨーレートを検出し、検出信号を第2の走行制御ユニット6と、制御装置4とにそれぞれ送出する。ヨーレートは、車両1の旋回方向への回転角の変化速度である。表示装置14は、第1の走行制御ユニット5、および第2の走行制御ユニット6による制御状態を示す情報などを表示する。表示装置14は、例えばフロントガラスに情報を投映するHUD(Head Up Display)によって構成される。なお、表示装置14として、ナビゲーション装置18の表示部を利用するようにしてもよい。
GPS装置15は、GPS衛星からの電波を受信し、電波にのせられている情報を用いて所定の演算を行うことにより、車両1の位置(緯度、経度など)を算出する。GPS装置15で算出した位置情報は、ナビゲーション装置18や制御装置4へ送出される。シフトレバー位置検出装置16は、車両1の乗員によって操作された不図示のシフトレバーの位置(例えば、パーキング(P)、リバース(R)、ドライブ(D)など)を検出する。シフトレバー位置検出装置16で検出したシフトレバーの位置情報は、制御装置4へ送出される。
マイク17は、例えば前方マイクと、右側方マイクと、左側方マイクとによって構成される。前方マイクは、専ら車両1の前方の音を集音する指向性を有する。右側方マイクは、専ら車両1の右側方の音を集音する指向性を有する。左側方マイクは、専ら車両1の左側方の音を集音する指向性を有する。マイク17で集音された各音情報(前方、右側方、左側方)は、それぞれ制御装置4へ送出される。
ナビゲーション装置(情報装置)18は、GPS装置15から取得した位置情報に対応する地図データを記憶媒体やネットワークから取得して液晶モニターに表示し、入力された目的地まで走行経路(移動に関する情報)を案内するシステムである。ナビゲーション装置18は、運転者による操作を受け付ける操作部と、前述の液晶モニターと、音声ガイダンスを行うスピーカと、地図データを読み取る読み取り部などを有している。
なお、通信部19は、第三の実施の形態において用いるものであり、第一の実施の形態では必須の構成ではない。
<対象物の検出>
制御装置4は、車両1の走行路および対象物を検出するために、カメラ3からの画像に対し、以下のように画像処理を行う。先ず、制御装置4は、撮影画面内の複数の位置における測距データに基づいて距離画像(奥行き分布画像)を生成する。制御装置4は、距離画像のデータに基づいて、周知のグルーピング処理を行い、あらかじめ記憶部4bに記憶しておいた3次元的な道路形状データ、側壁データ、対象物データ等の枠(ウインドウ)と比較し、白線(道路に沿った白線データおよび道路を横断する白線(停止線:交差点情報)を含む)、道路に沿って存在するガードレール、縁石等の側壁を検出するとともに、対象物・障害物を、2輪車、普通車両、大型車両、歩行者、電柱等その他の対象物に分類して検出する。
本実施の形態では、走行路に引かれた白色または黄色のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
<運転支援>
制御装置4は、上記のように検出した各情報、すなわち、白線、ガードレール側壁、および対象物に基づいて走行路や障害となる対象物・障害物を認識し、認識結果をもとに第2の走行制御ユニット6に上記運転支援制御を行わせる。すなわち、車両1を道路に沿って走行させ、車両1が対象物と衝突するのを回避させる。
<走行制御>
制御装置4は、例えば、以下の4 通りにより自車進行路の推定を行う。
(1)白線に基づく自車進行路推定
カメラ3で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから車両1が走行している車線の形状が推定できる場合、制御装置4は、車両1の幅や、車両1の現在の車線内の位置を考慮して、自車進行路が白線と並行であると推定する。
(2)ガードレール、縁石等の側壁データに基づく自車進行路推定
カメラ3で取得された画像から走行路の左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから車両1が走行している車線の形状が推定できる場合、制御装置4は、車両1の幅や、車両1の現在の車線内の位置を考慮して、自車進行路が側壁と並行であると推定する。
(3)先行車軌跡に基づく自車進行路推定
制御装置4は、記憶部4bに記憶しておいた先行車の過去の走行軌跡に基づいて、自車進行路を推定する。先行車は、車両1と同じ方向に走行する対象物のうち、車両1に最も近い車両をいう。
(4)車両1の走行軌跡に基づく自車走行路推定
制御装置4は、車両1の運転状態に基づいて、自車進行路を推定する。例えば、ヨーレートセンサ13による検出信号と、車速センサ12による検出信号と、に基づく旋回曲率を用いて自車進行路を推定する。旋回曲率Cuaは、Cua =dψ/dt/V により算出する。dψ/dtは上記ヨーレート(旋回方向への回転角の変化速度)であり、Vは車両1の車速である。
制御装置4は、記憶部4bに記憶されている所定の走行制御プログラムにしたがって、上記対象物ごとに、対象物が存在する位置における車両1の走行領域を自車進行路に基づき推定し、この走行領域と対象物位置とを比較して、それぞれの対象物が走行領域内にあるか否か判定する。制御装置4はさらに、カメラ3の撮像結果に基づき上記先行車を認識する。すなわち、制御装置4は、走行領域内に存在して順方向(車両1と同じ方向)に走行する対象物の中から、車両1に最も近い車両を先行車とする。
制御装置4は、先行車と車両1との車間距離情報、および先行車の車速情報を、車外情報として第1の走行制御ユニット5へ出力する。ここで、先行車の車速情報は、所定時間ごとに取得した車両1の車速Vと、車速Vの取得タイミングに同期して上記所定時間ごとにカメラ3で取得された画像に基づいて測距した撮影画面内の先行車までの距離(車間距離)の変化と、に基づいて算出する。
第1の走行制御ユニット5は、車速センサ12で検出される車速Vが、あらかじめセットされている所定の車速(目標速度)に収束するようにスロットル制御装置7へスロットル制御信号を送出する。これにより、スロットル制御装置7が不図示のスロットルバルブの開度をフィードバック制御し、車両1を自動で定速走行させる。
また、第1の走行制御ユニット5は、定速状態の走行制御を行っている際に制御装置4から入力された先行車の車速情報が車両1に設定されている目標速度以下の場合には、制御装置4から入力された車間距離情報に基づいてスロットル制御装置7へスロットル制御信号を送出する。具体的には、車両1から先行車までの車間距離および先行車の車速と、車両1の車速Vと、に基づいて適切な車間距離の目標値を設定し、カメラ3で取得された画像に基づいて測距される車間距離が、上記車間距離の目標値に収束するようにスロットル制御装置7へスロットル制御信号を送出する。これにより、スロットル制御装置7が不図示のスロットルバルブの開度をフィードバック制御し、車両1を先行車に追従走行させる。
<積層型撮像素子の説明>
上述したカメラ3に備わる積層型撮像素子100は、本願出願人が先に出願し公開された国際公開WO13/164915号に記載されているものである。撮像素子100には、入射光に対応した画素信号を出力する裏面照射型の撮像チップと、画素信号を処理する信号処理チップと、画素信号を記憶するメモリチップとが積層されている。撮像素子100は、単位領域ごとに撮像条件を設定可能に構成される。
図3は、撮像チップ111の画素配列と単位領域131を説明する図である。撮像素子100への入射光は、Z軸プラス方向へ向かって入射する。座標軸に示すように、Z軸に直交する紙面右方向をX軸プラス方向、Z軸およびX軸に直交する紙面上方向をY軸プラス方向とする。以降のいくつかの図においては、図3の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ111の画素領域には、例えば2000万個以上の画素がマトリックス状に配列されている。図3の例では、隣接する2画素×2画素の4画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数はいくらでもよく、例えば1000画素でも1画素でもよい。また、単位領域間で画素の数が異なっていても構わない。
画素領域の部分拡大図に示すように、単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を内包する。緑色画素Gb、Grは、カラーフィルタとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施の形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義される。すなわち、1ブロックの最小単位は1つの単位領域131となる。上述したように、1つの単位領域131を形成する画素の数として取り得る値のうち、最も小さい画素の数は1画素である。したがって、1ブロックを画素単位で定義する場合、1ブロックを定義し得る画素の数のうち最小の画素の数は1画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域131、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数(語長)等である。撮像素子100は、行方向(撮像チップ111のX軸方向)の間引きのみでなく、列方向(撮像チップ111のY軸方向)の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
<測距の説明>
本実施の形態では、撮像チップ111に離散的に設けられた焦点検出用画素からの測距用の画像信号に基づいて、撮像光学系31(図4)の異なる瞳位置を通過する複数の光束による複数の像のずれ量(位相差)を検出することにより、撮像光学系31のデフォーカス量を求める。デフォーカス量と対象物までの距離とが一対一で対応するため、カメラ3Aから対象物までの距離を求めることができる。
なお、撮像チップ111において焦点検出画素以外の画素位置には通常の撮像用画素が設けられる。撮像用画素は、車外監視用の画像信号を出力する。
<カメラの説明>
図4は、上述した撮像素子100を有するカメラ3の構成を例示するブロック図である。図4において、カメラ3は、撮像光学系31と、撮像部32と、画像処理部33と、ワークメモリ34と、制御部35と、記録部36とを有する。
撮像光学系31は、被写界からの光束を撮像部32へ導く。撮像部32は、上記撮像素子100および駆動部32aを含み、撮像光学系31によって撮像チップ111上に結像された対象物の像を光電変換する。駆動部32aは、撮像素子100(撮像チップ111)に上述したブロック単位で独立した蓄積制御を行わせるために必要な駆動信号を生成する。上記ブロックの位置や形状、その範囲、蓄積時間などの指示は、制御部35から駆動部32aへ送信される。
画像処理部33は、ワークメモリ34と協働して撮像部32で撮像された画像データに対する画像処理を行う。画像処理部33は、例えば輪郭強調処理やガンマ補正などの画像処理に加えて、画像に含まれる対象物の色検出も行う。
ワークメモリ34は、画像処理前後の画像データなどを一時的に記憶する。記録部36は、不揮発性メモリなどで構成される記憶媒体に画像データなどを記録する。制御部35は、例えばCPUによって構成され、制御装置4からの制御信号に応じて、カメラ3による全体の動作を制御する。例えば、撮像部32で撮像された画像信号に基づいて所定の露出演算を行い、適正露出に必要な撮像チップ111の蓄積時間を駆動部32aへ指示する。
制御部35には、測距演算部35aと、不揮発性メモリ35bとが含まれる。測距演算部35aは、上述したように撮影画面の複数の位置で、それぞれ上記対象物までの距離測定(測距)を行う。カメラ3で取得した画像データおよびカメラ3で算出した測距データは、制御装置4へ送出される(図1)。不揮発性メモリ35bは、制御部35が実行するプログラム、および測距に必要な情報を記憶する。
<撮像素子のブロック制御>
制御装置4は、カメラ3の撮像素子100(撮像チップ111)に対し、上述した単位領域131ごとに独立した蓄積制御を行わせる。このため、制御装置4には、車両1の各部から次の信号が入力される(図2)。
(1)ナビゲーション装置18からの情報
車両1の運転に関し、地図情報、目的地・経由地の情報、交差点やカーブ等の道路情報、信号機や標識等の設置物の有無、位置若しくは大きさ等の情報、または渋滞の有無、交通量、工事区間や事故情報等の交通状況についての情報等の、車両1の運転に関する各種の情報が、制御装置4に入力される。
(2)車両1のヨーレート
ヨーレートセンサ13による検出信号が、制御装置4に入力される。
(3)アクセルペダル7aの踏み込み量
スロットル制御装置7から制御装置4に、アクセルペダル7aの踏み込み量を示す信号が入力される。
(4)ブレーキペダル8aの踏み込み量
ブレーキ制御装置8から制御装置4に、ブレーキペダル8aの踏み込み量を示す信号が入力される。
(5)ステアリングホイール10の回転角
操舵制御装置9から制御装置4に、ステアリングホイール10の回転角を示す信号が入力される。ステアリングホイール10の回転角とステアリング装置の舵角との比は、ステアリングのギヤレシオによる。
(6)車両1の車速V
車速センサ12による検出信号が、制御装置4に入力される。
(7)ターンシグナルスイッチ11の操作信号
ターンシグナルスイッチ11の操作信号が、制御装置4に入力される。
(8)シフトレバーの位置
シフトレバー位置検出装置16が検出したシフトレバーの位置を示す信号が、制御装置4に入力される。
(9)車両1の位置情報
GPS装置15で測位された位置情報が、GPS装置15から制御装置4に入力される。
(10)車両1の周囲の音情報
マイク17で集音された車両1の前方、右側方、および左側方からの音情報が、それぞれ制御装置4に入力される。
図5は、車両1の前方を撮像するカメラ3の撮像素子100に結像される被写体(対象物)の像を模式的に示す図である。実際には倒立逆像が結像されるが、分かりやすくするために正立正像として図示している。図5において、撮像チップ111の撮像面と、撮像チップ111において電荷蓄積(撮像)を行わせる領域(準注目領域81および注目領域82)と、行方向および列方向の電荷蓄積(撮像)を行わせない領域(休止領域83)とを例示する。注目領域82は、準注目領域81と異なる条件で電荷蓄積(撮像)を行う領域である。撮像チップ111における準注目領域81、注目領域82のサイズや位置も、撮像条件の一つである。
なお、図5は、車両1が平坦な直線道路の左側レーンを走行中の場合に取得される像を例示する。このような状態で、正面遠方の対象物が画面の略中央に出現するように、すなわち消失点を画面の略中央に合わせるように、カメラ3の向きが調節されている。
制御装置4は、準注目領域81に含まれる単位領域131に対し、それぞれ第1の条件(例えば、注目領域82に比べてフレームレートを低くする)を設定して撮像するように制御するとともに、注目領域82に含まれる単位領域131に対し、それぞれ第2の条件(例えば、準注目領域81に比べてフレームレートを高くする)を設定して撮像するように制御する。また、制御装置4は、休止領域83に含まれる単位領域131については撮像しないように休止させる。なお、注目領域82を複数設けてもよいし、複数の注目領域間で撮像の条件を異ならせてもよい。また、休止領域83を設けなくてもよい。
図6(a)は、車両1が走行する道路を例示する図である。図6(a)において、車両1の進行方向に2か所の交差点が設けられている。車両1の現在位置に近い(車両1からの距離d1)交差点を第1の交差点Pとし、車両1の現在位置から遠い(車両1からの距離d2)交差点を第2の交差点Sとする。第1の交差点Pおよび第2の交差点Sには、それぞれ信号機70−1と、信号機70−2とが設けられている。本例では、車両1が第1の交差点Pおよび第2の交差点Sを直進するものとする。
第1の交差点Pには左方から他の車両72が接近し、第2の交差点Sには右方から他の車両73が接近している。また、車両1が進行する道路の高低差は、曲線75のグラフで示される。X軸は車両1の走行距離を表し、Z軸は標高を表す。図6(a)によれば、車両1が走行する道路は、第1の交差点P付近までは上り坂であり、第1の交差点Pを過ぎると第2の交差点Sへ向けて下り坂である。
図6(b)は、車両1の前方を撮像するカメラ3の撮像素子100に結像される被写体(対象物)の像を模式的に示す図である。図6(b)において、第1の交差点Pにおける対象物(本例では信号機70−1と車両72の前部)を含む領域が注目領域82に設定され、注目領域82を除く領域が準注目領域81に設定される。なお、図6(b)の例では休止領域は設定されていない。
車両1の制御装置4は、距離d1があらかじめ設定された距離D(例えば100m)より短かくなると、画像に基づいて認識した対象物を含む注目領域82を設定する。対象物には、移動体として車両や人物が含まれ、非移動体として信号機や横断歩道、遮断機等が含まれる。制御装置4は、注目領域82に対応する撮像素子100の単位領域131(図4)について、以下のように撮像条件を制御する。なお、距離d1は、撮像素子100による測距結果、またはナビゲーション装置18からの地図情報により得ることができる。
車両1の制御装置4は、注目領域82に対応する単位領域131に対し、準注目領域81の場合と比べてフレームレートを高くしたり、間引き率を低くしたり、ゲインを上げたりする。間引き率を低くするほど、解像度は高まる。解像度、フレームレートおよびゲインの少なくとも1つを高くすることにより、注目領域82において第1の交差点P付近の詳細な情報が得られるとともに、準注目領域81においては消費電力や発熱を抑えて、効率的な撮像を行わせることができる。
ところで、図6(a)によると、第2の交差点Sは第1の交差点Pより標高が低いため、車両1の現在位置からは第2の交差点Sを見通すことができない。このため、たとえ距離d2があらかじめ設定された距離D(例えば100m)より短くなったとしても、第2の交差点S付近の情報を車両1のカメラ3で取得することが困難である。
そこで、車両1の制御装置4は、ナビゲーション装置18からの情報に基づいて、車両1の進行方向の道路に関する情報を解析する。解析には、進行方向の道路の形状についての情報と、第2の交差点Sの三次元位置(緯度、経度、標高)の情報と、対象物(本例では、設置されている信号機70−2)の高さや大きさの情報等を用いる。制御装置4は、解析結果を用いて、第2の交差点Sに設けられている信号機70−2が見え始める車両1の位置を演算する。
図7(a)は、図6(a)に比べて車両1が進行した状態を例示する図である。図7(a)において、距離d2は、上記距離D(例えば100m)より短い。制御装置4は、車両1の位置が上記演算した位置を通過する手前(例えば30m手前)から、第2の交差点Sにおける信号機70−2が写ると見込まれる撮像素子100の領域を、注目領域82Bとして設定する。図7(b)は、カメラ3の撮像素子100に結像される被写体(対象物)の像を模式的に示す図である。
図7(b)において、第1の交差点Pにおける信号機70−1および車両72の前部を含む注目領域82と、第2の交差点Sにおける信号機70−2が写ると見込まれる注目領域82Bとが設定され、注目領域82、注目領域82Bを除く領域が準注目領域81に設定される。
制御装置4は、撮像素子100における注目領域82Bの位置、大きさを、カメラ3の位置から信号機70−2の存在する方向の立体角に対応して決定する。信号機70−2の存在する方向の立体角は、信号機70−2または第2の交差点Sの位置情報、車両1(カメラ3)の位置情報、カメラ3の撮影方向、カメラ3の撮影画角、信号機70−2の高さおよび大きさについての情報から算出する。撮影画角については、撮像光学系31(図4)の設計データに基づく画角情報を用いる。信号機70−2の大きさが不明の場合は、例えば、信号機のサイズとして公知のM型サイズを用いる。また、信号機70−2の高さが不明の場合は、例えば5(m)とする。5(m)は、路面からの所定高さの空間を確保する旨を定めた建築限界に基づく値である。カメラ3の路面からの高さは、本例の場合上述した1.4(m)である。
なお、制御装置4は、車両1が、上記演算した位置(第2の交差点Sの信号機70−2が見え始める位置)の手前30(m)に達する前でも、第2の交差点までの距離d2があらかじめ設定された距離Dより短くなったときから、信号機70−2の存在する方向の立体角に対応して、撮像素子100に注目領域82Bを設定してもよい。
また、制御装置4は、信号機70−2に限らず、第2の交差点Sにおける設置物、建造物、あるいは第2の交差点S全体を含む方向の立体角に基づく注目領域82Bを、撮像素子100に設定してもよい。
図7(b)によれば、信号機70−2が写ると見込まれる方向にあらかじめ注目領域82Bを設定しているため、制御装置4は、車両1が第2の交差点Sを見通せる位置へ到達して信号機70−2の像が撮像素子100に写り始める時から、適切に信号機70−2を認識することができる。
制御装置4は、注目領域82Bおよびこの周囲において実際に取得した画像に基づき、必要に応じて注目領域82Bの位置や大きさ(範囲)および撮像条件を変更してよい。具体的には、画像から信号機70−2以外の横断者や自転車が認識される場合には、これらの横断者、自転車および信号機70−2を含む領域を注目領域82として、従前の注目領域82Bに代えて設定する。
なお、車両1の自動走行制御が解除されている場合(マニュアル運転されている場合)で、かつ車両1が第1の交差点Pに十分に近づいたとき(例えば25m以内)は、車両1の運転者が第1の交差点Pに進入する他の車両72に十分注意するから、制御装置4は、図7(b)の第1の交差点Pについての注目領域82の設定を解除してもよい。
<フローチャートの説明>
以下、図8および図9のフローチャートを参照して注目領域82、82Bおよび準注目領域81の決め方について説明する。図8は、制御装置4が実行するカメラ3の制御処理の流れを説明するフローチャートである。図8のフローチャートによる処理を実行するためのプログラムは、制御装置4の記憶部4b(図2)に格納されている。制御装置4は、例えば車両1から電源供給が開始されたり、エンジンが始動されたりすると、図8による処理を行うプログラムを起動する。
図8のステップS10において、制御装置4は、フラグaが0か否かを判定する。フラグaは、初期設定が終了している場合に1、初期設定が終了していない場合に0がセットされるフラグである。制御装置4は、フラグa=0の場合にステップS10を肯定判定してステップS20へ進み、フラグa≠0の場合にステップS10を否定判定してステップS30へ進む。
ステップS20において、制御装置4は、カメラ3へ初期設定を行ってステップS30へと進む。初期設定とは、カメラ3に所定の動作をさせるためにあらかじめ定められた設定を行うものである。これにより、カメラ3が撮像素子100の撮像面の全域に同じ撮像条件を設定し、例えば毎秒60フレーム(60fps)のフレームレートで撮像を開始する。
ステップS30において、制御装置4は、撮像条件設定処理を行ってステップS40へ進む。撮像条件設定処理では、注目領域82(必要な場合は注目領域82B)および準注目領域81を設定し、それぞれの領域に対応する単位領域131に対して撮像条件を設定する。撮像条件設定処理の詳細については後述する。
ステップS40において、制御装置4はカメラ3へ指示を送り、注目領域82(注目領域82B)および準注目領域81に対応する撮像素子100の単位領域131をそれぞれ所定の条件で駆動させて、画像の取得および測距演算を行わせる。これにより、画像データや測距情報が取得される。また、制御装置4は、カメラ3の画像処理部33または制御部35等に所定の画像処理および画像解析を行わせる。
ステップS50において、制御装置4は、情報を表示する設定が行われているか否かを判定する。制御装置4は、表示設定が行われている場合にステップ50を肯定判定してステップS60へ進む。制御装置4は、表示設定が行われていない場合には、ステップS50を否定判定してステップS70へ進む。
ステップS60において、制御装置4は、表示装置14またはナビゲーション装置18(図1)に対する表示情報を送出してステップS70へ進む。表示情報は、撮像条件設定処理(S30)の中で判断された車両1の状態または進行方向の道路に関する情報で、例えば「1km先に工事区間があります」「車両が接近しています」、「緊急停車します」、「右折します」というメッセージを表示装置14またはナビゲーション装置18に表示させる。
なお、表示情報を送出する代わりに、または表示情報の送出とともに、不図示の音声再生装置へ上記メッセージを再生させるための音声信号を送出してもよい。この場合、音声再生装置として、ナビゲーション装置18の音声再生部を用いてもよい。
ステップS70において、制御装置4は、オフ操作されたか否かを判定する。制御装置4は、例えば車両1からオフ信号(例えば、エンジンのオフ信号)を受けると、ステップS70を肯定判定し、所定のオフ処理を行って図8による処理を終了する。制御装置4は、例えば車両1からオフ信号を受けない場合は、ステップS70を否定判定してステップS30へ戻る。ステップS30へ戻る場合は、上述した処理を繰り返す。
<撮像条件設定処理>
図9のフローチャートを参照して、上記撮像条件設定処理(ステップS30)の詳細について説明する。本実施の形態では、ナビゲーション装置18等から取得した車両1の位置に関する情報に基づき、また、車両1の走行環境(道路状況や撮影環境)の変化に対応させて、注目領域82、注目領域82Bおよび準注目領域81にそれぞれ対応する撮像素子100の単位領域131に対して撮像条件を設定する。
ステップS31において、制御装置4は、ナビゲーション装置18等から情報を取得する。取得する情報には、車両1の進行方向に位置する交差点等(交差点、踏切、バス停留所等)における対象物(車両、信号機、横断歩道、遮断機、警報機、建造物等)の位置、大きさ、高さについての情報と、車両1の位置情報と、道路の形状、高低差、遮蔽物等の情報等とが含まれる。
ステップS33において、制御装置4は、車両1の現在位置から対象物までの距離dが、上記所定の距離Dより短いか否かを判定する。制御装置4は、距離dが距離Dより短い場合に、ステップS33を肯定判定してステップS35に進む。制御装置4は、距離dが距離Dより短くない場合には、ステップS33を否定判定してステップS31へ戻る。ステップS31へ戻る場合は、注目すべき対象物が車両1の近くに存在しない場合である。ステップS31へ戻った制御装置4は、ステップS20の場合と同様に、撮像素子100の撮像面の全域で共通の撮像条件を採用する。
ステップS35において、制御装置4は、対象物を光学的に(例えば視覚情報として)認識できるか否かを判定する。制御装置4は、例えば、撮像素子100により撮像された画像から対象物の外形的特徴や、対象物に付された識別情報(識別コードやマーク等)を検出することにより、対象物の認識を行う。制御装置4は、対象物の外形的特徴を検出、または対象物の識別情報を検出した場合に対象物を光学的に認識できると判断し、ステップS35を肯定判定してステップS37へ進む。制御装置4は、対象物の外形的特徴も識別情報も検出しない場合には、対象物を光学的に認識できないと判断し、ステップS35を否定判定してステップS351へ進む。
ステップS37において、制御装置4は、認識した対象物を含む範囲を注目領域82として設定し、ステップS39へ進む。なお、注目領域82の範囲は、必ずしも対象物を包含する大きさでなくてもよい。
ステップS39において、制御装置4は、注目領域82および準注目領域81に対応する撮像素子100の単位領域131に対して、それぞれ撮像条件を設定する。制御装置4は、例えば、車両1の移動速度が速いほど、道路の曲率が大きいほど、注目領域82に該当する撮像素子100の単位領域131のフレームレートを高く設定し(例えば120fps)、間引き率を0〜20%とする。反対に、車両1の移動速度が遅いほど、道路の曲率が小さいほど、準注目領域81に該当する撮像素子100の単位領域131のフレームレートを低く設定し(例えば30fps)、間引き率を30〜60%とする。
このように、ナビゲーション装置18等から取得した車両1の位置に関する情報に基づき、車両1の走行環境(道路状況)に対応させて、撮像素子100の撮像条件を設定する。撮像条件には、フレームレートや間引き率の他に、ゲインや画素信号加算時の加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等を含めてもよい。蓄積時間は、露光時間に相当する。画素信号加算時の加算行数や加算列数を増やすと、解像度は低下する。
また、制御装置4は、対象物の特性(例えば、対象物の輝度が高いか低いか等)に対応させて、撮像素子100の撮像条件を設定する。例えば、対象物が高輝度の場合は、対象物が低輝度の場合に比べて露光時間を短く設定したり、低ゲインに設定したりする。
さらにまた、制御装置4は、撮影環境に応じて撮像条件の設定を適宜調節してもよい。例えば、夜間走行の場合や、昼間におけるトンネルの出入り口を走行する場合、画面の暗部において画面の明部よりも高ゲインに設定したり、露光時間を長く設定したりする。画面の明部と暗部とで差をつけるのは、画面の暗部において黒つぶれを抑えるとともに、画面の明部において白とびを防ぐためである。
上述したステップS35を否定判定して進むステップS351において、制御装置4は、対象物を光学的に(例えば視覚情報として)認識できる位置へ車両1が到達したか否かを判定する。制御装置4は、進行方向の道路の形状と、交差点等の三次元位置(緯度、経度、標高)と、対象物の高さや大きさとに基づく上記解析結果を用いて演算した位置(すなわち、対象物が見え始める位置)へ車両1が到達した場合、ステップS351を肯定判定してステップS353へ進む。制御装置4は、対象物が見え始める位置へ車両1が到達していない場合には、ステップS351を否定判定して当該判定処理を繰り返す。
ここで、対象物を光学的に認識できる位置までの距離を、直線距離でなく、地図上の道路に沿った経路上の距離にすることが好ましい。車両1から対象物を光学的に認識できる位置までの距離が、あらかじめ設定されている所定の距離Dより短くない場合は、ステップ351を否定判定する。
ステップS353において、制御装置4は、上述したように、対象物(本例では信号機70−2)の方向の立体角に対応して注目領域82Bを設定し、ステップS355へ進む。すなわち、注目領域82Bの位置および大きさを、カメラ3の位置から対象物の存在する方向の立体角に対応して決定する。対象物が存在する方向の立体角は、カメラ3と対象物との位置関係、対象物の情報(対象物が設置されている路面からの高さ、対象物の一般的な大きさ等)に基づいて算出する。
ステップS355において、制御装置4は、注目領域82Bおよび準注目領域81に対応する撮像素子100の単位領域131に対して、それぞれ撮像条件を設定する。撮像条件の決め方は、ステップS39の場合と同様である。
ステップS357において、制御装置4は、ステップS35の場合と同様に、対象物を光学的に(例えば視覚情報として)認識できるか否かを判定する。制御装置4は、対象物の外形的特徴を検出、または対象物の識別情報を検出した場合に対象物を光学的に認識できると判断し、ステップS357を肯定判定してステップS37へ進む。ステップS37へ進むと、制御装置4は、取得された画像から認識した対象物を含む範囲を注目領域82として設定し直す。例えば、図7(a)に示す車両73を認識した場合には、車両73および信号機70−2を含む領域を注目領域82として、従前の注目領域82Bに代えて設定する。
なお、制御装置4は、ステップS357を肯定判定した場合に、従前の注目領域82Bに車両73および信号機70−2を含む領域を加えた領域を注目領域82として設定し直してもよい。
一方、制御装置4は、ステップS357において対象物の外形的特徴も識別情報も検出しない場合には、対象物を光学的に認識できないと判断し、ステップS357を否定判定してステップS351へ戻る。ステップS351へ戻る場合は、上述した処理を繰り返す。
以上説明した第一の実施の形態によれば、次の作用効果が得られる。
(1)撮像装置は、複数の単位領域131の撮像条件を独立して設定可能な撮像素子100を備えた撮像部32と、車両1の位置に関する情報に基づいて、複数の単位領域131の撮像条件を設定する制御装置4とを備えたので、撮像素子100の単位領域131ごとに適切な撮像条件を設定できる。
(2)撮像装置は、車両1の位置に関する情報をナビゲーション装置18から取得する制御装置4を備えたので、例えば、ナビゲーション装置18で探索された走行経路の情報を用いて、撮像素子100の単位領域131ごとに適切な撮像条件を設定できる。
(3)制御装置4は、車両1の進行方向の道路に関する情報を車両1の位置に関する情報として取得するので、例えば、車両1の進行方向に位置する交差点等を撮像する撮像素子100の単位領域131に対して、適切な撮像条件を設定できる。
(4)制御装置4は、撮像部32のフレームレート、露光時間、ゲイン、解像度(画素間引き条件、画素加算条件)、注目領域82Bのサイズ、および注目領域82Bの位置の少なくとも1つを撮像条件として設定するので、例えば注目領域82Bに対応する撮像素子100の単位領域131に適切な撮像条件を設定できる。
(5)制御装置4は、車両1の進行方向の道路に関する情報として交差点に関する情報を取得するとともに、複数の単位領域131のうち交差点が写る注目領域82Bについて、解像度、ゲイン、フレームレートのうち少なくとも1つを準注目領域81と異ならせる。これにより、注目領域82Bにおいて交差点付近の詳細な情報が得られるとともに、準注目領域81においては消費電力や発熱を抑えることができる。
(6)制御装置4は、解像度とゲインとフレームレートのうち少なくとも1つを準注目領域81よりも高くするので、注目領域82Bにおいて準注目領域81より詳細な情報が得られるとともに、準注目領域81においては消費電力や発熱を抑えることができる。
(7)制御装置4は、車両1の運転状況を併用して、注目領域82Bの撮像条件を設定する。例えば車両1の移動速度が速いほど、注目領域82Bのフレームレートを高く設定することで、注目領域82Bにおいて準注目領域81より詳細な情報が得られる。
(8)制御装置4は、車両1の位置に関する情報として、車両1の進行方向に位置する信号機70−2の高さおよび大きさ、および車両1と信号機70−2との位置関係を示す情報(信号機70−2の位置、カメラ3の位置、カメラ3の高さ、カメラ3の撮影方向)をそれぞれ取得し、取得した情報に基づいて、信号機70−2が写ると見込まれる撮像素子100における注目領域82Bを算出し、さらに、算出した注目領域82Bについて、準注目領域81と異なる撮像条件を設定するようにした。これにより、車両1が信号機70−2を見通せる位置へ到達する前から、信号機70−2が写ると見込まれる注目領域82Bに対して事前に適切な撮像条件を設定しておくことができる。
なお、上述した実施の形態では、制御装置4の制御によりカメラ3を制御したが、カメラ3の制御の一部をカメラ3の制御部35により行うようにしてもよい。
次のような変形も本発明の範囲内であり、変形例の一つ、若しくは複数を上述の実施の形態と組み合わせることも可能である。
(変形例1)
撮像条件設定処理(図9)のステップS351において、車両1が、対象物を光学的に認識できる位置まで到達したか否かを判定する例を説明したが、車両1が、対象物を光学的に認識できる位置まで所定の時間内で到達できるか否かを判定するようにしてもよい。制御装置4は、例えば、車両1の現在位置から、上記対象物を光学的に認識できる位置までの距離を、車両1の車速V、あるいは走行中の一定時間内の平均車速等で除算することにより、上記所定の時間を算出する。これにより、車両1の移動速度を考慮し、撮像素子100の単位領域131に対して適切な撮像条件を設定することができる。
(変形例2)
撮像条件設定処理(図9)において、制御装置4は、進行方向の道路に存在する対象物に対して注目領域82を設定し、または対象物の存在する方向に注目領域82Bを設定するようにした。対象物は、車両1の進行方向に存在していればよく、ナビゲーション装置18による案内中の走行経路上に対象物が存在していなくてもよかった。これに対し、変形例2における制御装置4は、ナビゲーション装置18の経路探索機能によって導出されたルート上にある設置物等のみを対象物としてステップS31以降の処理を行う。これにより、制御装置4は、走行経路上にない対象物については、対象物の位置、高さ、大きさについての情報を取得しなくてよいので、通信負荷や情報処理等の負荷を減らしつつ、撮像素子100の単位領域131に対して適切な撮像条件を設定することができる。
(変形例3)
撮像条件設定処理(図9)において、制御装置4は、対象物を、走行する道路のカーブや、道路幅の変化(幅員減少、走行レーン数の減少)地点等の道路の形状としてもよい。図10は、山道等のカーブが多い道路を走行する車両1のカメラ3の撮像素子100に結像される被写体(対象物)の像を模式的に示す図である。
制御装置4は、ナビゲーション装置18から、進行方向の道路の情報としてカーブの有無、カーブの方向、カーブの曲率等のカーブに関する情報を取得する。取得した情報によると、車両1が進む道路の前方には、右へ曲がるカーブが存在する。右カーブの先にはさらに、左へ曲がるカーブが存在する。ところが、道路の右側に設けられた遮蔽物90の存在により、カメラ3で取得される画像には左カーブが写らない。
この場合において、制御装置4は、右カーブが写る領域を注目領域82として設定するとともに、遮蔽物90の陰に入って光学的に認識できない左カーブについては、この左カーブが写ると見込まれる領域を注目領域82Bとして設定する。制御装置4は、上述したように、左カーブが存在する方向の立体角に対応して注目領域82Bを設定する。すなわち、注目領域82Bの位置および大きさを、カメラ3の位置から左カーブの存在する方向の立体角に対応して決定する。立体角は、カメラ3と左カーブとの位置関係、左カーブの情報(標高、道路の規格等)に基づいて算出する。
制御装置4は、注目領域82、注目領域82Bに対応する撮像素子100の単位領域131に対して、それぞれ撮像条件を設定する。変形例3によれば、例えば防音壁や暴風壁などの遮蔽物90が存在する道路でも、左カーブ(対象物)が遮蔽物90の陰から出現する前から、左カーブ(対象物)が写ると見込まれる注目領域82Bに対して事前に適切な撮像条件を設定しておくことができる。また、左カーブ(対象物)に対する注目領域82Bの位置、範囲の決定に関しては、当該カーブの曲率が最大になる地点の位置に決定したり、当該カーブの曲り始めの地点の曲率を基に範囲を決定したりするなど、道路幅等の道路の規格に基づいて得られる左カーブ(対象物)の大きさから、適切な注目領域82Bの位置、範囲を決定することができる。
なお、遮蔽物90は、車両1から対象物の光学的な(例えば視覚情報として)認識を遮るものであり、上述した防音壁や暴風壁だけでなく、広告や看板、建造物や樹木、大型車両、地形の起伏等を含む。
変形例3によれば、制御装置4は、カーブに関する情報を車両1の進行方向の道路に関する情報として取得するとともに、複数の単位領域131のうちカーブが写る注目領域82Bについて、解像度とゲインとフレームレートのうち少なくとも1つを準注目領域81と異ならせる。これにより、注目領域82Bにおいてカーブ付近の詳細な情報が得られるとともに、準注目領域81においては消費電力や発熱を抑えることができる。
また、制御装置4は、道路幅の変化の情報を車両1の進行方向の道路に関する情報として取得するとともに、複数の単位領域131のうち道路幅の変化する区間が写る注目領域82Bについて、解像度とゲインとフレームレートのうち少なくとも1つを準注目領域81と異ならせる。これにより、注目領域82Bにおいて道路幅変化の詳細な情報が得られるとともに、準注目領域81においては消費電力や発熱を抑えることができる。
(変形例4)
撮像条件設定処理(図9)において、制御装置4は、トンネルの入口、出口を対象物としてもよい。トンネルの内部はトンネルの外部より暗いため、トンネルの入口を対象物とするときは、トンネルの内部が写ると見込まれる領域を注目領域82Bとし、注目領域82Bに対応する撮像素子100の単位領域131のゲインを、トンネルの外部である準注目領域81に対応する単位領域131のゲインより高くする。なお、ゲインを変える代わりに注目領域82Bに対応する撮像素子100の単位領域131の露光時間を、トンネルの外部である準注目領域81に対応する単位領域131の露光時間より長くしてもよい。
同様に、トンネルの出口では、トンネルの外部が写ると見込まれる領域を注目領域82Bとし、注目領域82Bに対応する撮像素子100の単位領域131のゲインを、トンネルの内部である準注目領域81に対応する単位領域131のゲインより低くする。これにより、対象物の明暗の程度に応じ、撮像素子100の単位領域131に対して適切な撮像条件を設定することができる。なお、ゲインを変える代わりに注目領域82Bに対応する撮像素子100の単位領域131の露光時間を、トンネルの内部である準注目領域81に対応する単位領域131の露光時間より短くしてもよい。
変形例4によれば、制御装置4は、トンネルに関する情報を車両1の進行方向の道路に関する情報として取得するとともに、複数の単位領域131のうちトンネルが写る注目領域82Bについて、解像度とゲインとフレームレートのうち少なくとも1つを準注目領域81と異ならせる。これにより、注目領域82Bにおいてトンネル付近の詳細な情報が得られるとともに、準注目領域81においては消費電力や発熱を抑えることができる。
(変形例5)
撮像条件設定処理(図9)において、制御装置4は、ナビゲーション装置18から、リアルタイムに道路情報を取得してよい。制御装置4は、工事区間や通行規制区間等の工事の情報、事故による通行規制区間等の事故の情報、または路面状況(降雨、凍結、強風、冠水等)の情報に基づき、進行方向の工事区間若しくは工事区間の始点、事故により道路の一部が通行不可となっている区間若しくはその区間の始点、または積雪、凍結、障害物等で路面状況が変化している区間若しくはその区間の始点等を、対象物としてもよい。制御装置4は、これら対象物が写ると見込まれる領域を注目領域82Bとして設定する。これにより、進行方向の道路の状況に応じ、撮像素子100の単位領域131に対して適切な撮像条件を設定することができる。
変形例5によれば、制御装置4は、工事に関する情報を車両1の進行方向の道路に関する情報として取得するとともに、複数の単位領域131のうち工事による通行規制区間が写る注目領域82Bについて、解像度とゲインとフレームレートのうち少なくとも1つを準注目領域81と異ならせる。これにより、注目領域82Bにおいて工事区間の詳細な情報が得られるとともに、準注目領域81においては消費電力や発熱を抑えることができる。
また、制御装置4は、事故に関する情報を車両1の進行方向の道路に関する情報として取得するとともに、複数の単位領域131のうち事故による通行規制区間が写る注目領域82Bについて、解像度とゲインとフレームレートのうち少なくとも1つを準注目領域81と異ならせる。これにより、注目領域82Bにおいて事故区間の詳細な情報が得られるとともに、準注目領域81においては消費電力や発熱を抑えることができる。
さらにまた、制御装置4は、路面状況に関する情報を車両1の進行方向の道路に関する情報として取得するとともに、複数の単位領域131のうち路面状況が変化している区間が写る注目領域82Bについて、解像度とゲインとフレームレートのうち少なくとも1つを準注目領域81と異ならせる。これにより、注目領域82Bにおいて路面状況の変化の詳細な情報が得られるとともに、準注目領域81においては消費電力や発熱を抑えることができる。
(第二の実施の形態)
第二の実施の形態においても、第一の実施の形態と同様の撮像素子100を用いる。また、図9のステップS39およびステップS355における撮像条件の設定等の具体的な手法が異なる他は、図8および図9のフローチャートを参照して説明した第一の実施の形態で説明した処理と同様である。このため、第一の実施の形態と異なる処理を中心に説明する。
図9のフローチャートのステップS39において、制御装置4は、注目領域82と準注目領域81とを区別することなしに、撮像面全体を共通に、通常時より高フレームレート(例えば120fps)、通常時より高ゲイン、通常時より高解像度の条件で撮像する。一般に、間引き率を下げて、画素信号加算時の加算行数や加算列数を減らすほど、解像度は高くなる。
制御装置4は、撮影画面全体を高フレームレート、高ゲイン、高解像度で取得した画像に画像処理を行う場合に、画像処理の対象とする領域を、ナビゲーション装置18から取得した情報に基づいて決定する。制御装置4は、例えば、図9のステップS35およびステップS357において、対象物を光学的に(例えば視覚情報として)認識できるか否かを判定する際に、取得した画像全体を対象に判定するのでなく、取得画像の一部の領域を対象に判定する。一部の領域は、第一の実施の形態において説明した注目領域82Bに対応する領域である。
第二の実施の形態では、交差点等(交差点、踏切、バス停留所等)の全体(交差点の場合は交差点全体)を含む方向の立体角に基づいて注目領域82Bを設定する。制御装置4は、取得画像のうち注目領域82Bに対応する領域を対象に、他の車両や歩行者等の検出、対象物の外形的特徴の検出や、対象物における識別情報の検出など、対象物を認識する処理を行う。
なお、このように対象物の有無を判定する処理は、カメラ3の画像処理部33若しくは制御部35(図4)で行ってもよい。また、対象物の有無を判定する処理回路を、撮像素子100に積層してもよい。さらにまた、対象物の有無を判定する処理を、制御装置4に備わる画像処理エンジンで行ってもよい。
上述した第二の実施の形態によれば、以下の作用効果が得られる。
(1)撮像装置は、撮像部32と、車両1の位置に関する情報に基づいて、撮像部32で撮像した画像のうち一部の領域の処理を行う画像処理部33と、を備えるので、画像の一部の領域を対象に処理を行わせることができる。
(2)画像処理部33は、一部の領域で対象物の有無を判定するので、画像の全部を対象に対象物の有無を判定する場合に比べて、画像処理の負担の軽減と、消費電力の抑制とが可能になる。
(変形例6)
以上の説明では、カメラ3で行う距離測定として、撮像素子100に備えられている焦点検出用画素からの画像信号を用いた測距演算により算出する手法を用いたが、ステレオカメラによる2枚の画像を用いて距離測定を行う手法を用いてもよい。また、カメラ3と別にレーダを用いて距離測定を行う手法を用いてもよい。
さらに、制御装置4はナビゲーション装置18から情報を取得するよう構成したが、道路に設置された不図示の情報提供システム等を介して情報を取得してもよい。
(第三の実施の形態)
第三の実施の形態では、図1において通信部19が追加される点、および赤外光を受光する画素が撮像素子100(図4)に設けられる点において相違する。
通信部19は、例えば、車両1に設けられた不図示のハイマウントストップランプ部に内蔵される。車両1の通信部19は、制御装置4からの指示に応じて、赤外光源から発する赤外変調光を車外後方へ送出することにより、車両1に後続する他の車両との間で車車間通信を行う。
なお、通信部19は、車両1のテールランプ部に内蔵してもよく、ランプ部から独立させた通信部19を、車両1のルーフ等に設けてもよい。
車両1以外の他の車両も、車両1と同様の運転支援装置2を搭載しているものとする。車両1に後続する他の車両の制御装置4は、カメラ3の撮像素子100により、先行する車両1から送信された赤外変調光を受光する。赤外変調光を受光した他の車両の制御装置4は、受光信号を復調して得た先行する車両1の情報を、自車両に対する制御に用いる。
図11は、第三の実施の形態における撮像素子100の画素領域の部分拡大図であり、単位領域131のカラーフィルタ配列を説明する図である。図11の単位領域131は、赤外画素IR、青色画素B、赤色画素R、および緑色画素Grの4画素から成る配列を、上下左右に4つ内包する。緑色画素Grは、カラーフィルタとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Bは、カラーフィルタとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Rは、カラーフィルタとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。赤外画素IRは、カラーフィルタとして赤外光フィルタを有する画素であり、入射光のうち赤外波長帯の光を受光する。
図12は、走行する自動車の位置関係を説明する図である。図12において、車両1が走行する走行レーンの前方を車両73Aが走行し、車両1の隣の走行レーン(進行方向同じ)の前方を車両72Aが走行するものとする。車両72Aおよび車両73Aは、ともに車両1と同様の運転支援装置2を搭載している。車両72Aおよび車両73Aは、それぞれ、上記通信部19によって、後続する車両1へ運転情報を送信する。
後続する車両1へ送信される運転情報は、例えば、各車両における走行速度、ブレーキ操作が行われたタイミング情報、アクセル操作が行われたタイミング情報、車両の位置情報、および時刻情報を含む。車両72Aおよび車両73Aの通信部19は、それぞれの制御装置4からの指示に応じて、上記運転情報をのせた赤外変調光を送信する。
後続する車両1の制御装置4は、撮像素子100の赤外画素IRから出力される画素信号が所定の判定閾値レベルより高くなる状態と、上記所定の判定閾値レベルより低くなる状態とが得られるように、赤外変調光を受光する単位領域131のフレームレートやゲイン等を設定する。
図13は、後続する車両1に搭載されるカメラ3の撮像素子100に結像される被写体(対象物)の像を模式的に示す図である。白線80aは、進行方向に向かって道路左側の区画線、白線80bは走行レーン(車線)の境界線、白線80cは道路右側の区画線を表す。
後続する車両1の制御装置4は、図13において車両73Aのハイマウントストップランプ部を含む領域を通信用の注目領域73Bとする。そして、通信用の注目領域73Bに該当する撮像素子100の単位領域のフレームレートを、第一実施の形態で説明した注目領域82のフレームレート(例えば120fps)より高く設定し(例えば4800fps)、間引き率を通常領域より低い0〜20%とする。
同様に、後続する車両1の制御装置4は、車両72Aのハイマウントストップランプ部を含む領域を通信用の注目領域72Bとする。そして、通信用の注目領域72Bに該当する撮像素子100の単位領域のフレームレートを、上述した注目領域82のフレームレート(例えば120fps)より高く設定し(例えば4800fps)、間引き率を通常領域より低い0〜20%とする。
後続する車両1の制御装置4はさらに、上記間引き率を車両1の移動速度、または車両1と先行する車両73Aの相対的な移動速度、車両1と先行する車両72Aの相対的な移動速度に応じて設定変更する。例えば、後続する車両1の移動速度、または相対的な移動速度が速くなるに連れて間引き率を低く変更する。
ここで、後続する車両1の制御装置4は、カメラ3で取得される画面における通信用の注目領域73Bを設定するため、カメラ3で取得される画面において図11の単位領域131ごとに順番にスキャンすることにより、画面内で赤外変調光が受光される領域を自動的に検出する。具体的には、スキャン対象の単位領域131に対して順番に、フレームレートを4800fpsに設定するとともにゲインを最大に設定し、赤外光の受信の有無を判定する。
後続する車両1の制御装置4は、スキャン中に赤外画素IRから所定の判定閾値レベルより高い画素信号が出力された場合、その画素位置を含む所定範囲を通信用の注目領域73Bに設定する。そして、通信用の注目領域73Bの赤外画素IRから出力される画素信号が所定の判定閾値レベルより高くなる状態と、上記所定の判定閾値レベルより低くなる状態とが得られるように、通信用の注目領域73Bに含まれる単位領域131のフレームレートやゲイン等を設定する。ここで、フレームレートは赤外変調光の検出に必要な周波数より高く設定すればよく、必ずしもスキャン時の4800fpsを維持しなくてもよい。ゲインは、通信に必要な信号レベルが得られる程度に下げてよく、必ずしも最大ゲインを維持しなくてもよい。
一方、後続する車両1の制御装置4は、スキャン中に赤外画素IRから所定の判定閾値レベルより高い画素信号が出力されない場合、その画素位置を含む所定範囲については、通信用の注目領域73Bには設定せずに、上記注目領域82や準注目領域81とする。
後続する車両1の制御装置4は、車両72Aとの通信に用いる通信用の注目領域72Bについても、車両73Aとの通信に用いる通信用の注目領域73Bの場合と同様にスキャンすることによって設定する。
なお、車両1と先行する車両73Aとの相対的な位置関係の変動、および車両1と先行する車両72Aとの相対的な位置関係の変動によって、車両1のカメラ3で取得される画面における赤外変調光の受光位置が移動する。このため、後続する車両1の制御装置4は、前フレームの画像において赤外変調光を受光した位置を含む所定範囲を、次フレームの画像における通信用の注目領域73B、72Bとおいて赤外変調光を追尾する。これにより、例えば、先行する車両72Aがレーン変更した場合でも、画面内における車両72Aの動き方向を検出して、検出した動き方向へ通信用の注目領域72Bを追従させることができる。
このように、通信用の注目領域73B、72Bの撮像条件を、注目領域82や準注目領域81の撮像条件と異ならせることにより、撮像素子100を効率的に使用することができ、消費電力や発熱を抑えることができる。
制御装置4は、通信用の注目領域73B、72Bの赤外画素IRで受光された信号を復調して得た情報を表示させるため、表示装置14またはナビゲーション装置18(図1)に対する表示情報を送出する。例えば「先行車両が減速します」、「先行車両がレーン変更します」、「先行車両が加速します」というメッセージを表示装置14またはナビゲーション装置18に表示させる。
なお、表示情報を送出する代わりに、または表示情報の送出とともに、不図示の音声再生装置へ上記メッセージを再生させるための音声信号を送出してもよい。この場合、音声再生装置として、ナビゲーション装置18の音声再生部を用いてもよい。
<フローチャートの説明>
以下、図14のフローチャートを参照して通信用の注目領域の決め方について説明する。図14は、制御装置4が実行するカメラ3の制御処理の流れを説明するフローチャートである。図14のフローチャートによる処理を実行するためのプログラムは、制御装置4の記憶部4b(図2)に格納されている。制御装置4は、例えば車両1から電源供給が開始されたり、エンジンが始動されたりすると、図14による処理を行うプログラムを起動する。
なお、図14による処理は、図8による処理を実行しながら所定の間隔で実行してもよい。
図14のステップS210において、制御装置4は、カメラ3の撮像素子100の撮像面の全域に同じ撮像条件を設定し、低フレームレート(例えば60fps)で撮像を開始させてステップS220へ進む。ステップS220において、制御装置4は、上述した通信用の注目領域を設定するため、上記スキャンを開始させてステップS230へ進む。これにより、スキャン対象の単位領域131に対し、順番にフレームレート4800fps、および最大ゲインを設定して赤外光の受信の有無を判定する。
ステップS230において、制御装置4は、赤外変調光を受光したか否かを判定する。制御装置4は、スキャン対象の単位領域131の赤外画素IRから所定の判定閾値レベルより高い画素信号が出力された場合、ステップS230を肯定判定してステップS240へ進む。
制御装置4は、スキャン対象の単位領域131の赤外画素IRから所定の判定閾値レベルより高い画素信号が出力されない場合、ステップS230を否定判定してステップS290へ進む。
ステップS240において、制御装置4は、赤外変調光を受光した単位領域131の位置を示す座標を記憶部4bに記憶してステップS250へ進む。ステップS250において、制御装置4は、画面全体についてスキャンを終了したか否かを判定する。制御装置4は、撮像素子100の撮像面の全域についてスキャンを終了した場合にステップS250を肯定判定してステップS260へ進む。制御装置4は、撮像面の全域をスキャンしていない場合には、ステップS250を否定判定してステップS290へ進む。
ステップS260において、制御装置4は、記憶部4bに記憶した座標の全てに対応して、通信用の注目領域を設定してステップS270へ進む。ここで、制御装置4は、通信用の注目領域を設定した単位領域131ごとに、赤外変調光を受光した赤外画素IRによる信号値を所定の信号レベルにするように、フレームレートやゲイン等を設定する。なお、制御装置4は、記憶部4bに記憶した座標以外の他の座標については、通信用の注目領域を設定せずに、上記注目領域82や準注目領域81とする。
ステップS270において、制御装置4は、通信用の注目領域を設定した単位領域131に含まれる赤外画素IRで受光された信号を復調してステップS280へ進む。ステップS280において、制御装置4は、表示装置14またはナビゲーション装置18(図1)に受信した情報を表示させる。これにより、上述した「先行車両が減速します」、「先行車両がレーン変更します」、「先行車両が加速します」というメッセージが表示装置14またはナビゲーション装置18に表示される。例えば、表示装置14またはナビゲーション装置18(図1)にカメラ3によって取得された上記注目領域82や準注目領域81についての画像を再生表示させている場合には、再生表示中の画像に重ねて、上記メッセージが表示される。
ステップS230またはステップS250を否定判定して進むステップS290において、制御装置4は、単位領域131の位置を次のスキャン対象の位置へ移動するように、スキャン座標を移動させてステップS230へ戻る。ステップS230へ戻った制御装置4は、上述した処理を繰り返す。
以上説明した第三の実施の形態によれば、次の作用効果が得られる。
(1)撮像装置は、複数の単位領域131の撮像条件を独立して設定可能な撮像素子100を備えた撮像部32と、撮像部32に対し、通信用の光を受ける通信用の注目領域72B,73Bと通信用の光を受けない注目領域82とで異なる撮像条件を設定する制御装置4と、を備えたので、撮像素子100の単位領域131ごとに適切な撮像条件を設定できる。
(2)制御装置4は、通信用の光を受ける通信用の注目領域72B,73Bのフレームレートを、通信用の光を受けない注目領域82のフレームレートよりも高く設定する。これにより、通信用の注目領域72B,73Bのフレームレートを、通信用の光の変調周波数より高く設定し得る。
(3)制御装置4は、撮像部32によって時系列に取得された画像に基づき、通信用の光を受ける通信用の注目領域72B,73Bを移動させる。これにより、例えば、先行する車両72Aがレーン変更した場合でも、時系列に取得された画像からカメラ3の画面内における車両72Aの動き方向を検出し、検出した車両72Aの動き方向へ通信用の注目領域72Bを追従させることができる。
(4)制御装置4は、画像に含まれる赤外光源(通信部19)の位置に対応させて、通信用の光を受ける通信用の注目領域72Bを移動させる。これにより、レーン変更した車両72Aから送信された赤外変調光を適切に受光できる。
(変形例7)
上述した第3の実施の形態では、後続する車両1に搭載されているカメラ3の撮像面において、赤外変調光が受光される領域を自動的に検出するためのスキャン動作を行う例を説明した。スキャン動作を行う代わりに、カメラ3の撮像面の全体を通信用の高フレームレート(例えば4800fps)に設定した上で、赤外変調光が受光される領域を特定するようにしてもよい。
変形例7において、制御装置4は、カメラ3の撮像面の全体のフレームレートを一旦4800fpsに設定するとともにゲインを最大に設定し、赤外光の受信の有無を判定する。制御装置4は、単位領域131の赤外画素IRから所定の判定閾値レベルより高い画素信号が出力された場合に、赤外変調光を受光した単位領域131の位置を示す座標を記憶部4bに記憶する。
制御装置4は、記憶部4bに記憶した座標の全てに対応して、通信用の注目領域を設定する。制御装置4は、記憶部4bに記憶した座標以外の他の座標については、通信用の注目領域を設定せずに、上記注目領域82や準注目領域81とする。
変形例7によれば、スキャン動作を行う場合に比べて、短時間で赤外変調光が受光される領域を検出できる。
(変形例8)
また、赤外変調光が受光される領域を車両1の乗員が指定するようにしてもよい。例えば、カメラ3によって取得された画像を車両1の表示装置14またはナビゲーション装置18に表示させている場合において、車両1の乗員が、タッチパネル操作によって、表示画面上で先行する車両のハイマウントストップランプ部を指示する。制御装置4は、タッチパネル操作によって指示された位置に対応する所定の範囲を、通信用の注目領域として設定する。制御装置4は、タッチパネル操作されない位置については、通信用の注目領域を設定せずに、上記注目領域82や準注目領域81とする。
(変形例9)
以上の説明では、カメラ3を車両1に搭載する場合を例示したが、カメラ3を、例えば夜間に屋外撮影する用途に用いてもよい。図15(a)は、不図示のビルの屋上に設置されたカメラ3の撮像素子100に結像される被写体(対象物)の像を模式的に示す図である。図15(a)において、タワー510の上部に航空障害灯511が設けられている。ビル520の上部にも航空障害灯521が設けられている。さらに、ビル530の上部にも航空障害灯531が設けられている。各航空障害灯は、例えば赤色光を点灯または明滅させる。
変形例9では、航空障害灯511、521、531に併設されている赤外光源からそれぞれ赤外変調光を発して、そのビルやタワーにおける催事情報などを送信しているものとする。一般に、夜景撮影を行うと、画面内の航空障害灯511、521、531を除く部分は暗くなる。この場合、フレームレートを下げる(例えば15fps)ことによって、1フレーム当たりの露光時間を長くすることも考えられる。しかしながら、赤外変調光の変調周波数に比べて低いフレームレートへ下げることは、上記赤外変調光によって送信されている催事情報を取得する上で不適切である。
そこで、制御装置4は、カメラ3の撮像面において赤外変調光が受光される領域についてのみ通信用の注目領域として設定する。制御装置4は、赤外変調光が受光されない領域については、夜景撮影用にフレームレートを下げる。図15(b)は、通信用の注目領域と、その他の領域とで撮像条件を異ならせた場合のカメラ3の撮像素子100に結像される被写体(対象物)の像を模式的に示す図である。図15(b)において、画面内の航空障害灯511、521、531を除く部分は、フレームレートを下げる(例えば15fps)ことによって黒つぶれを避けている。また、画面内の航空障害灯511、521、531の部分(通信用の注目領域に相当)は、白飛びを避けるとともに、赤外変調光の変調周波数よりも高いフレームレートを設定している。
カメラ3の撮像面において赤外変調光が受光される領域の特定は、第三の実施の形態のようにスキャン動作を行う方法や、変形例7のように一旦カメラ3の撮像面の全体を通信用の高フレームレート(例えば4800fps)に設定した上で赤外変調光が受光される領域を特定する方法を用いてもよい。あるいは、変形例8のように、タッチパネル操作によって指示された位置に対応する所定の範囲を、赤外変調光が受光される領域として扱うようにしてもよい。
(変形例10)
変形例9では、カメラ3で屋外を撮影する場合を例示したが、カメラ3を屋内撮影する用途に用いてもよい。屋内の照明灯が、それぞれ赤外変調光を発して、エレベータやエスカレータ、避難経路などを示す情報などを送信する。カメラ3の撮像面において赤外変調光が受光される領域の特定は、上記スキャン動作を行う方法や、変形例7のように赤外変調光が受光される領域を特定する方法を用いてもよい。あるいは、変形例8のように、タッチパネル操作によって指示された位置に対応する所定の範囲を赤外変調光が受光される領域として扱うようにしてもよい。
(変形例11)
第一の実施の形態〜第三の実施の形態において、車両1に搭載したカメラ3によって取得した画像を、車両1以外の他の車両との間で共有したり、交通管制センターとの間で共有してもよい。例えば、カメラ3で取得した画像を不図示の無線通信装置によって他の車両または交通管制センターへ送信する。車両1から他の車両への送信は、車車間通信で行ってもよいし、車両1から交通管制センターを介して送るようにしてもよい。
なお、車両1から交通管制センターへ画像を送信した場合は、交通管制センターが車両1から受信した画像に基づいて生成した情報を他の車両へ配信する構成にしてもよい。例えば、車両1から受信した画像に障害物が写っている場合、交通管制センターの制御装置が、画像を解析して「県道○○線△△4丁目付近に落下物があります。」というメッセージを生成し、他の車両へ配信する。
車両1のカメラ3で上述した道路上の障害物を含む画像が取得される場合、制御装置4は、障害物に対して撮像チップ111における注目領域を設定し、他の領域(順注目領域)と異なる撮像条件を設定(例えば解像度やフレームレート等を高くする)する。これにより、注目領域の障害物の詳細な情報を得ることができる。また、注目領域のみ(すなわち画像の一部)を高精細に撮像することで、撮像チップ111における全ての領域(画像の全部)を高精細に撮像する場合に比べて、取得される画像のデータ量を少なく抑えることができる。
データ量を少なくすることで、車両1から他の車両または交通管制センターへ画像を送信する場合の通信量を少なく抑えることができる。また、カメラ3で取得した画像をドラーブレコーダとして保存する場合には、データ量を少なくすることで、記録する記憶媒体の容量を抑えることができる。
なお、車両1から他の車両または交通管制センターへ画像を送信する場合の通信量を少なく抑える場合において、撮像チップ111における全ての領域を高精細に撮像した上で、障害物に対する領域のみを切り出した一部の画像を車両1から他の車両または交通管制センターへ送信するようにしてもよい。
車両1に搭載したカメラ3によって取得した画像を、車両1以外の他の車両や交通管制センターとの間で共有する例としては、上記障害物の有無の他にも、事故の有無、災害発生の有無、工事の有無、渋滞の有無、検問の有無、チェーン装着規制の有無等にも適用することができる。