JP5414714B2 - 車戴カメラ及び車載カメラシステム - Google Patents

Description

本発明は、ステレオカメラで車両の周囲を撮像し、撮像された画像に基づいて障害物との衝突を回避あるいは被害を軽減する車戴カメラ及び車載カメラシステムに関する。

近年ステレオカメラを用いて歩行者や車両、ガードレールなどの障害物を検出し、警報やブレーキアシストを行う装置が実用化されている。

しかしながらステレオカメラによる視差算出は模様のない平面や同じ柄が均等に描かれている壁などでは視差を得ることができない可能性があり、そのような場合には障害物への衝突を防止できない危険がある。

上記の問題を解決するために例えば特許文献１にように、クラッチ機構がリア操作された場合に車両後方にパターン光を照射して模様のない車庫の壁などでも視差を得る方法が開示されている。

特開２００３−２１３８号公報

しかし、前述した従来技術ではクラッチ機構のリア操作に連動して常にパターン光の照射を行うため、周囲を眩惑してしまう恐れがある。パターン光が不可視光である場合でも同様のカメラシステムに影響を与える可能性がある上、消費電力も大きくなる。

また、常に一定のパターン光の照射を行うため対象の模様によっては視差を算出できない可能性がある。さらに撮像対象の輝度が高い場合には前記撮像手段で撮像した画像が飽和し却って視差の算出を困難とする場合がある。

以上から、本発明は、模様のない平面や同じ柄が均等に描かれている壁など、ステレオカメラで視差の算出が困難な状況で撮像された場合でも、正確に障害物を検知し、衝突回避及び被害低減を行う車載カメラ及び車載カメラシステムを提供することを目的とする。

本発明は、上記課題を鑑みて、車両外を撮像する複数の画像撮像装置と、複数の画像撮像装置で撮像した複数の画像から視差情報を算出する視差算出部と、視差算出部で算出された視差情報に基づいて車両外に存在する対象物までの距離情報を算出する距離計算部と、視差算出部で視差情報が予め定めた設定時間以内に算出されるか否かを判定し、判定結果に基づいて車両外への不可視光あるいは可視光のパターン光を照射するか否かを判定する照射タイミング判定部と、距離計算部で算出され距離情報に基づいて衝突可能性を判定する衝突判定部と、を有し、距離算出部は、視差算出部で視差情報が予め定めた設定時間以内に算出されない場合でも、照射タイミング判定部でパターン光を照射する信号を出力した後で、複数の画像撮像装置で照射領域を撮像し、撮像した画像データから視差算出部で視差情報を算出した場合は、視差情報から距離情報を算出する構成とする。

模様のない平面や同じ柄が均等に描かれている壁など、ステレオカメラで視差の算出が困難な状況で撮像された場合でも、正確に障害物を検知し、衝突回避及び被害低減を行う車載カメラ及び車載カメラシステムを提供できる。

本発明に係る車載カメラ及び車載カメラシステムの一実施例の機能ブロックを示す図である。 本発明に係る車載カメラ及び車載カメラシステムを車両へ搭載した場合の実施例を示す図である。 本発明に係る車載カメラ及び車載カメラシステムの動作例を示すフローチャートである。 パターン光の照射がない場合に視差の算出が困難な場合を例示した図である。

以下、図を用いて本発明の実施形態を説明する。図１は、本発明に係る車戴カメラ１０及び車載カメラ１０を備えた車載カメラシステムの一例を示したものである。

本実施例において、車戴カメラ１０はステレオカメラであって、図示のように、第１の画像撮像装置１及び第２の画像撮像装置２により取得された画像データに対し、画像処理を行う画像処理部３と、第１の画像撮像装置１及び第２の画像撮像装置２により取得された２つの画像データから視差の算出を行う視差算出部４と、算出された視差に基づいて対象物までの距離を算出する距離計算部５と、算出された距離に基づいて衝突の可能性を判定する衝突判定部６と、視差算出部４で算出された視差と車両情報取得装置３１から取得した車両情報に基づいて、パターン光を照射するタイミングを判定する照射タイミング判定部７と、視差を計算するために最も有効な種類のパターン光を判定するパターン光種類判定部８とを具備するものである。

車戴カメラ１０はパターン光を照射するための光源であるパターン光照射装置２１と接続されており、車戴カメラ１０はパターン光照射装置２１へ、車載カメラ１０内の照射タイミング判定部７で判定した照射タイミング（照射情報）とパターン光種類判定部８で判定したパターン光種類を出力するものとする。その出力は、照射タイミングとパターン光種類を対応付けて１つのパターン光情報としてパターン光照射装置２１へ出力してもよいし、別々の情報として出力してもよい。

車戴カメラ１０は車両情報取得装置３１と接続されており、車速，ヨーレート，舵角などの車両情報を取得することができる。

また、車戴カメラ１０は、衝突判定部６での判定結果に基づいて車両を制御する制御装置である制御ＥＣＵ４１と、衝突判定部６での判定結果に基づいて警報を発する警報装置４２とも接続されている。例えば衝突判定部６の判定結果として衝突可能性が高い場合、制御ＥＣＵ４１はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置４２は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行うものとする。

本発明では車両の周囲、例えば前方もしくは後方を車戴カメラ１０で撮像する。ここでは車両前方に対して本発明を適用する場合の車載カメラシステムの実施例を図２に示す。

車戴カメラ１０で撮像する範囲である撮像範囲５１と、パターン光照射装置２１により照射される範囲である照射範囲５２は同じ方向を向いている必要がある。

図２に示す例ではパターン光照射装置２１は車両のヘッドライトを流用しているが、フォグランプやその他の光源を用いてもよい。また後方の場合では同様に車両のテールライトやリアフォグランプを流用してもよい。

図３は、本実施例における車戴カメラ１０の動作例を示すフローチャートである。このフローチャートに沿って車戴カメラ１０の動作を以下に説明する。

まず、ステップＳ１では第１の画像撮像装置１及び第２の画像撮像装置２を用いて画像データを取得する。第１の画像撮像装置１及び第２の画像撮像装置２は同期しているか、互いの撮像時間の差異を既知としておく必要がある。

次に、ステップＳ２では車両情報取得装置３１から車両情報の取得を行う。車両情報は車速，ヨーレート，舵角などを含む情報である。

次に、ステップＳ３では取得された画像データに対して画像特徴解析を行う。画像特徴とはエッジの量や方向、濃度値などの特徴量である。画像特徴解析は画像処理部３で処理を行う。ここで画像特徴解析は第１の画像撮像装置１及び第２の画像撮像装置２で撮像された画像データそれぞれに対して行ってもよいし、どちらか片方のみに対して行ってもよい。

ステップＳ４では、第１の画像撮像装置１及び第２の画像撮像装置２で撮像された画像データ間の視差を視差算出部４で算出する。なお、視差の算出方法に関しては、ＳＳＤＡ法や面積相関法などが既に公知の技術として存在するため、本実施例では詳細の説明は省略する。

なお、ステップＳ２，Ｓ３，Ｓ４は、上記の順番に処理を行っても、並列に処理しても良い。

続いてステップＳ５では照射タイミング判定部７でパターン光の照射を行うタイミングの判定、つまり、パターン光を照射すべきか否かの判定を行う。

ステレオカメラでは図４（Ａ）に示すような、濃淡のない壁や、図４（Ｂ）に示すような、連続して同じ模様が描かれている面などでは対応点の検出ができずに視差の算出を行うことができない場合がある。そのような場合にパターン光の照射を行うことにより視差を有効に算出できることが公知となっている。しかしながら常に撮像対象に対してパターン光を照射することは周囲を幻惑する恐れがある他、電力の消費量が大きいなどの問題がある。そのため照射が必要なタイミングの判定を行い、そのタイミングでのみ照射を行うことで上記の問題点を軽減することが可能である。

具体的には、視差算出部４にて視差情報が所定時間以上算出できない場合にパターン光の照射を行う。照射する時間は最短で第１の画像撮像装置１および第２の画像撮像装置２の露光周期１回分となる。一般的な撮像装置では３０分の１秒間以下の照射時間で良いため前述のような問題点を大きく軽減することができる。

またエンジン始動直後など前方もしくは後方の状況が不明な場合にパターン光を照射してもよい。これにより発進時のギアの入れ間違いやブレーキとアクセルの踏み間違いによる事故の防止を行う機能をより高精度に行うことができる。

よって、視差算出部４にて視差情報が所定時間未満で算出できている場合にはパターン光を照射せず、ステップＳ６で撮像された画像に存在する対象物までの距離の算出を距離計算部５にて行う。距離は視差算出部４で算出された視差と、第１の画像撮像装置１及び第２の画像撮像装置２の内部パラメータ及び外部パラメータから計算することができる。

その後、ステップＳ７で算出された距離が予め定めた設定距離内にあるか否か、つまり設定距離内に障害物が存在するか否かを判定し、前方または後方の衝突可能性の判定を行う。設定距離内に障害物が存在する場合、衝突可能性ありと判定し（ステップＳ１３）、設定距離内に障害物が存在しない場合、衝突可能性なしと判定する（ステップＳ１４）。

次に、ステップＳ７での衝突情報の判定結果を制御ＥＣＵ４１や警報装置４２に対して通知する。衝突の可能性があると判断した場合は、制御ＥＣＵ４１はブレーキをかける、つまり各輪に制動力を発生させる制御信号を生成し、出力したり、エンジンの出力を抑制するなどして事故の回避及び低減を行うことができる。また警報装置４２はユーザに対して音や映像、振動などで危険を通知することができる。

ステップＳ５でパターン光の照射が必要と判定された場合には、ステップＳ８でパターン光の選択を行う。前記図４のようにステレオカメラには視差を算出できない場合が存在し、それぞれの場合において、どのようなパターン光が有効かは既知であるため、ステップＳ３で解析した画像特徴に基づいて照射するパターン光の種類を決定することができる。

続いてステップＳ９で、ステップＳ５で判定したタイミングで、ステップＳ８で選択したパターン光にて第１の画像撮像装置１及び第２の画像撮像装置２で撮像する方向（本実施例では車両前方）に対してパターン光の照射を行うための照射情報を出力する。

次にステップＳ１０で、再度第１の画像撮像装置１及び第２の画像撮像装置２により画像を撮像する。ここで撮像するタイミングはパターン光が照射されている間に露光を行うものとする。

ステップＳ１１では、ステップＳ１０で撮像された画像に対して視差の算出を行う。視差の算出は視差算出部４で行う。パターン光を照射した場合の視差算出はステレオ視による対応点を検出しやすくなるため、パターン光を照射していない場合より良好に視差を算出することができる。

ステップＳ１２では、ステップＳ１１にて視差の算出が成功したか否か、視差が算出できたか否かを判定する。判定した結果、視差の算出が成功した場合は、車両前方に障害物が存在するとして、ステップ６にて、ステップ１０で撮像された画像データに基づいて障害物までの距離を算出する。判定した結果、視差の算出が失敗、つまり視差が算出されない場合は、車両前方に障害物が存在しないとして、衝突可能性なしと判定する（ステップＳ１４）。

上記の処理を繰り返すことにより、パターン光の照射による問題点を最小限としながら、効果的に障害物の検知を行うことが可能となる。つまり、ステレオカメラで視差の算出が困難な状況で撮像された場合でも、正確に障害物を検知し、衝突回避及び被害低減が可能となる。

１ 第１の画像撮像装置
２ 第２の画像撮像装置
３ 画像処理部
４ 視差算出部
５ 距離計算部
６ 衝突判定部
７ 照射タイミング判定部
８ パターン光種類判定部
１０ 車載カメラ
２１ パターン光照射装置
３１ 車両情報取得装置
４１ 制御ＥＣＵ
４２ 警報装置
５１ 撮像範囲
５２ 照射範囲

Claims (5)

1. 車両外を撮像する複数の画像撮像装置と、
   前記複数の画像撮像装置で撮像した複数の画像から視差情報を算出する視差算出部と、
   前記視差算出部で算出された前記視差情報に基づいて車両外に存在する対象物までの距離情報を算出する距離計算部と、
   前記視差算出部で視差情報が予め定めた設定時間以内に算出されるか否かを判定し、判定結果に基づいて車両外への不可視光あるいは可視光のパターン光を照射するか否かを判定する照射タイミング判定部と、
   前記距離計算部で算出され距離情報に基づいて衝突可能性を判定する衝突判定部と、を有し、
   前記距離算出部は、前記視差算出部で視差情報が予め定めた設定時間以内に算出されない場合でも、前記照射タイミング判定部でパターン光を照射する信号を出力した後で、前記複数の画像撮像装置で照射領域を撮像し、撮像した画像データから前記視差算出部で視差情報を算出した場合は、前記視差情報から距離情報を算出する車載カメラ。
2. 請求項１記載の車載カメラにおいて、
   前記複数の画像撮像装置で撮像した複数の画像の特徴量を取得する画像処理部と、
   前記パターン光の種類を前記画像処理部で取得した特徴量に基づいて選択するパターン光種類判定部と、を有し、
   前記照射タイミング判定部で視差情報が予め定めた設定時間以内に算出されないと判定された場合、前記パターン光の種類と前記パターン光を照射する照射情報を出力する車載カメラ。
3. 請求項１記載の車載カメラと、
   前記車載カメラからの前記パターン光を照射する信号に基づいて車両外へ前記パターン光を照射するパターン光照射装置と、を有する車載カメラシステム。
4. 請求項１記載の車載カメラと、
   前記車載カメラの前記衝突判定部にて自車両が障害物と衝突可能性有りと判定された場合、各輪に制動力を発生させる制御信号を生成し、出力する制御装置と、を有する車載カメラシステム。
5. 請求項１記載の車載カメラと、
   前記車載カメラの前記衝突判定部にて自車両が障害物と衝突可能性有りと判定された場合、ドライバーへ危険を知らせる警報を発する警報装置と、を有する車載カメラシステム。

Images