JP4794764B2

JP4794764B2 - 車外監視装置

Info

Publication number: JP4794764B2
Application number: JP2001216957A
Authority: JP
Inventors: 弘幸関口
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2001-07-17
Filing date: 2001-07-17
Publication date: 2011-10-19
Anticipated expiration: 2021-07-17
Also published as: JP2003030794A

Description

【０００１】
【発明の属する技術分野】
本発明は、強逆光等の光学的な影響によって、撮像された画像に異常が生じた場合に、フェールセーフを行う車外監視装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を内蔵した車載カメラを用いて撮像された画像に基づいて、走行環境（例えば、白線等に基づく自車走行路や先行車等の立体物）を認識し、必要に応じて、ドライバーに注意を喚起したり、シフトダウン等の車両制御を行う車外監視装置が数多く提案され、実用化されている。
【０００３】
このような車外監視装置を実用化するにあたっては、装置の安全動作を確保するために、フェールセーフ機能を設ける必要がある。この類の装置で検出すべきフェールの一つとして、太陽から車載カメラに強い光が射し込み（強逆光）、自車走行路や立体物の認識が正しく行われない状況が挙げられる。すなわち、強逆光状況が生じると、画像の一部にスミアやフレアが発生する。そして、このような場合、画像中のスミアやフレアを白線や立体物として誤認識してしまう虞がある。
【０００４】
これに対処し、例えば特開平１０ー１４１９２１号公報には、走行路検出用のカメラとは別に、当該カメラと同じ撮像領域を有し、スミアが発生しないように露光制御される低感度のカメラを設け、走行路検出用のカメラで撮像された画像と低感度のカメラで撮像された画像との差分演算を行うことで高輝度領域を検出し、高輝度領域内の高輝度点を走行路の検出候補から除外する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の特開平１０ー１４１９２１号公報に開示された技術のように、スミアの検出を行うためだけに低感度のカメラを新たに追加することは、必要以上に構成を複雑化させることとなる。また、車外監視はリアルタイムで行う必要があるのでフェール判定に要する演算量はできるだけ少ないことが好ましいが、上述の技術のように画像間の差分計算等を行うことは、走行環境の認識以外の演算量を大幅に増大させる結果となる。
【０００６】
本発明は上記事情に鑑みてなされたもので、立体物として誤認識されたスミアやフレアを、簡単な構成で精度良く判定することのできる車外監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、第１の発明は、車外の同一対称を異なる視点で撮像する複数の撮像手段と、上記撮像手段で撮像された複数の画像から立体物を認識する立体物認識手段とを備えた車外監視装置において、上記立体物認識手段で認識された各立体物のフェール判定を行うフェール判定手段を有し、上記フェール判定手段は、自車から上記立体物までの距離が閾値よりも短く、且つ、上記立体物幅が閾値以下であるとき、上記立体物はスミア或いはフレアを立体物として誤認識したものであると判定して当該立体物をフェールと判定することを特徴とする。
【０００８】
また、第２の発明による車外監視装置は、上記第１の発明において、上記フェール判定手段は、上記立体物幅が上記閾値以下であっても、上記立体物が所定の立体物幅の範囲内で所定時間以上連続的に検出された際には、当該立体物をフェールと判定しないことを特徴とする。
【０００９】
また、第３の発明による車外監視装置は、上記第１または第２の発明において、上記フェール判定手段は、上記撮像手段の露光時間が閾値以上であるとき、上記立体物をフェールと判定しないことを特徴とする。
【００１０】
また、第４の発明による車外監視装置は、上記第１乃至第３の何れかの発明において、上記フェール判定手段は、上記画像上における上記立体物の平均輝度が閾値よりも小さいとき、上記立体物をフェールと判定しないことを特徴とする。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、図１は車外監視装置のブロック図、図２はフェール判定ルーチンのフローチャート、図３はスミア並びにフレアを立体物として認識したときの立体物までの距離に関するヒストグラム、図４はスミア並びにフレアを立体物として認識したときの立体物幅に関するヒストグラムである。
【００１２】
図１において、符号１，２は、ＣＣＤ等のイメージセンサを内蔵した撮像手段としてのカメラを示す。これら一対のカメラ１，２は、自動車等の車両の車幅方向において所定の間隔で取り付けられており、車両前方の風景を撮像する。メインカメラ１は、ステレオ処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ２は、この処理における比較画像（左画像）を撮像する。互いの同期している状態において、カメラ１，２から出力された各アナログ信号は、Ａ／Ｄコンバータ３，４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。デジタル化された画像は、画像補正部５において輝度の補正や幾何学的な変換等が行われる。通常、一対のカメラ１，２の取付位置は、程度の差こそあれ誤差があるため、それに起因したずれが左右の画像に存在している。このずれを補正するために、画像補正部５では、アフィン変換等を用いて、画像の回転や並行移動等の幾何学的な変換が行われる。このようにして補正された基準画像および比較画像は、元画像メモリ８に格納される。
【００１３】
一方、ステレオ処理部６は、画像補正部５により補正された基準画像および比較画像から、画像中の同一対象物の三次元位置（自車両から対象物までの距離を含む）を算出する。この距離は、左右画像における同一対象物の位置に関する相対的なずれから、三角測量の原理に基づき算出することができる。このようにして算出された画像の距離情報は、距離データメモリ７に格納される。
【００１４】
マイコン９は、元画像メモリ８および距離データメモリ７に格納された各情報に基づき、道路認識部１０において車両前方の道路状態等の認識を行ったり、立体物認識手段としての立体物認識部１１において車両前方の立体物（走行車等）の認識を行う。そして、処理部１３は、これらの認識部１０，１１からの情報から警報が必要と判定された場合、モニタやスピーカー等の警報装置１９によりドライバーに対して注意を促したり、或いは、必要に応じて、各種制御部１４〜１８を制御する。例えば、ＡＴ（自動変速機）制御部に対して、シフトダウンを実行する旨を指示する。また、エンジン制御部１８に対してエンジン出力を低下する旨指示してもよい。その他にも、アンチロックブレーキシステム（ＡＢＳ）制御部１５、トラクションコントロールシステム（ＴＣＳ）制御部１６、或いは、各車輪のトルク配分や回転数を制御する車両挙動制御部１７に対して、適切な車両制御を指示することも可能である。
【００１５】
さらに、フェール判定手段としてのフェール判定部１２は、立体物認識部１１で認識された各立体物に対し、後述するルーチンに従ってフェール判定を行う。そして、フェール判定部１２は、処理部１３に対し、フェールと判定された立体物（すなわち、後述するフェール判定ルーチンによりフェール判定フラグＮＧが”１”にセットされた立体物）に対する警報制御や車両制御を行わない旨を指示する。換言すれば、フェール判定部１２が立体物のフェール判定フラグＮＧを”１”にセットすると、処理部１３は、フェールと判定された立体物が実空間上に存在しないものとして、警報制御や車両制御を行う。
【００１６】
次に、フェール判定部１２による立体物のフェール判定について、図２に示すフェール判定ルーチンのフローチャートに従って説明する。このルーチンは立体物認識部１１で認識された各立体物に対するフェール判定を順次行うもので、フェール判定部１２は、先ず、ステップＳ１０１において、立体物認識部１１で認識された各立体物の情報を読み込むとともに、読み込まれた各立体物に対応する元画像の情報を基画像メモリ８から読み込む。
【００１７】
次いで、フェール判定部１２は、ステップＳ１０２において、元画像撮像時におけるカメラ１，２の露光時間が３０００μｓｅｃよりも短いか否かを調べる。ここで、露光時間が３０００μｓｅｃよりも短い場合とは、画像上にスミアやフレアが出現する頻度が極めて高い昼間等の撮像条件下の場合であり、この閾値（３０００μｓｅｃ）は予め実験等によって求められている。そこで、フェール判定部１２は、カメラ１，２の露光時間が３０００μｓｅｃ以上である場合には、画像上にスミアやフレアが出現する可能性が極めて低いと判断してステップＳ１１４に進み、全ての立体物に対するフェール判定フラグＮＧを”０”に設定する。すなわち、フェール判定部１２は、カメラ１，２の露光時間が３０００μｓｅｃ以上である場合には、立体物認識部１１で認識された各立体物をフェールと判定しない。
【００１８】
一方、ステップＳ１０２においてカメラ１，２の露光時間が３０００μｓｅｃよりも短いと判定されると、フェール判定部１２は、各立体物のフェール判定を順次行うべく、予め設定された抽出順序に従って、各立体物の中から所定の立体物を抽出する（ステップＳ１０３）。
【００１９】
そして、フェール判定部１２は、ステップＳ１０４において、自車から、今回抽出された立体物までの距離が１０ｍよりも短いか否かを調べる。ここで、図３に示すように、スミアやフレアが立体物として誤認識された場合、これらの立体物は実空間上で自車から１０ｍ以内の距離に分布されることが本出願人らの実験等によって確認されている。そこで、フェール判定部１２は、今回抽出された立体物までの距離が１０ｍ以上である場合には、この立体物はスミアやフレアに起因するものではないと判断してステップＳ１１２に進み、当該立体物に対するフェール判定フラグＮＧを”０”に設定する。
【００２０】
一方、ステップＳ１０４において自車から立体物までの距離が１０ｍよりも短いと判定されると、フェール判定部１２は、以下のステップＳ１０５〜ステップＳ１０９の処理によって立体物の幅に基づく更なる判定を行う。ここで、図４に示すように、スミアやフレアが立体物として誤認識された場合、これらの立体物は実空間上で幅２０ｃｍ以内の立体物として認識されることが本出願人らの実験等によって確認されている。この場合、特に、スミアやフレアが５ｃｍ〜１０ｃｍの幅の立体物として連続的に検出される時間は３０ｓｅｃよりも短く、１０ｃｍ〜２０ｃｍの幅の立体物として連続的に検出される時間は５ｓｅｃよりも短いことが確認されている。そこで、フェール判定部１２は、先ず、ステップＳ１０４において、立体物幅が５ｃｍ以下であるか否かを調べる。
【００２１】
ステップＳ１０４の処理により立体物幅が５ｃｍよりも大きいと判定されると、フェール判定部１２は、立体物幅が１０ｃｍ以下であるか否かを調べる（ステップＳ１０６）。
【００２２】
ステップＳ１０６の処理により立体物幅が１０ｃｍ以下（すなわち、５ｃｍ＜立体物幅≦１０ｃｍ）であると判定されると、フェール判定部１２は、上記立体物幅範囲内の立体物が連続して検出された時間が３０ｓｅｃよりも短いか否かを調べ（ステップＳ１０７）、上記検出時間が３０秒以上であると判定された場合には、今回抽出された立体物に対するフェール判定フラグＮＧを”０”に設定する（ステップＳ１１２）。
【００２３】
一方、ステップＳ１０６の処理により立体物幅が１０ｃｍよりも大きいと判定されると、フェール判定部１２は、立体物幅が２０ｃｍ以下であるか否かを調べる（ステップＳ１０８）。そして、ステップＳ１０８において立体物幅が２０ｃｍよりも大きいと判定されると、フェール判定部１２は、今回抽出された立体物に対するフェール判定フラグＮＧを”０”に設定する（ステップＳ１１２）。
【００２４】
また、ステップＳ１０８の処理により立体物幅が２０ｃｍ以下（すなわち、１０ｃｍ＜立体物幅≦２０ｃｍ）であると判定されると、フェール判定部１２は、上記立体物幅範囲内の立体物が連続して検出された時間が５ｓｅｃよりも短いか否かを調べ（ステップＳ１０９）、上記検出時間が３０秒以上であると判定された場合には、今回抽出された立体物に対するフェール判定フラグＮＧを”０”に設定する（ステップＳ１１２）。
【００２５】
一方、ステップＳ１０５の処理により立体物幅が５ｃｍ以下であると判定された場合、ステップＳ１０７の処理により５ｃｍ〜１０ｃｍの立体物幅範囲内ので連続的な立体物の検出時間が３０ｓｅｃよりも短いと判定された場合、或いは、ステップＳ１０９の処理により１０ｃｍ〜２０ｃｍの立体物範囲内での連続的な立体物の検出時間が５ｓｅｃよりも短いと判定された場合には、フェール判定部１２は、今回抽出された立体物の平均輝度を元画像から算出し（ステップＳ１１０）、この平均輝度が閾値以上であるか否かを調べる（ステップＳ１１１）。ここで、画像上におけるスミアやフレアの平均輝度は実際の立体物の平均輝度よりも高くなることが知られており、各露出時間等においてスミアやフレアと実際の立体物とを区別するための平均輝度の閾値は予め実験等により求められている。そこで、フェール判定部１２は、ステップＳ１１１において、立体物の平均輝度が閾値以上であると判定した場合には、今回抽出された立体物に対するフェール判定フラグＮＧを”１”に設定する（ステップＳ１１３）。一方、ステップＳ１１１において、立体物の平均輝度が閾値よりも小さいと判定した場合には、今回抽出された立体物に対するフェール判定フラグＮＧを”０”に設定する（ステップＳ１１２）。
【００２６】
ステップＳ１１２、ステップＳ１１３、或いは、ステップＳ１１４からステップＳ１１５の処理に進むと、フェール判定部１２は、全ての立体物に対するフェール判定が終了したか否かを調べ、全ての立体物に対するフェール判定が終了したと判定した場合には、そのままルーチンを抜ける。一方、ステップＳ１１５において、全ての立体物に対するフェール判定が未だ終了していないと判定されると、フェール判定部１２は、ステップＳ１０３の処理に戻る。
【００２７】
このような実施の形態によれば、一対のカメラ１，２で撮像した画像に基づいて立体物を三次元的に認識する車外監視装置において、自車から立体物までの距離と立体物幅とに基づいて当該立体物が実空間上に実際に存在するか否かのフェール判定を行うので、立体物として誤認識されたスミアやフレアを、簡単な構成で精度良く判定することができる。すなわち、立体物として誤認識されたスミアやフレアの判定を、当該スミアやフレアが立体物として認識された際に予想される三次元的な特徴に基づいて行うので、低感度カメラ等の新たな構成を追加することなく、しかも簡単な処理で精度良く立体物のフェール判定を行うことができる。
【００２８】
この場合、立体物幅が閾値以下（２０ｃｍ以下）であっても、立体物が所定の立体物幅の範囲内（立体物幅が５ｃｍ〜１０ｃｍの範囲内、或いは、１０ｃｍ〜２０ｃｍの範囲内）で所定時間以上（３０ｓｅｃ以上、或いは、５ｓｅｃ以上）連続的に検出された際には、当該立体物をフェールと判定しないことにより、フェール判定の精度を向上することができる。すなわち、スミアやフレアが５ｃｍ〜１０ｃｍの幅の立体物として連続的に検出される時間は３０ｓｅｃよりも短く、１０ｃｍ〜２０ｃｍの幅の立体物として連続的に検出される時間は５ｓｅｃよりも短いという実験結果等を用いて立体物幅に対するフェール判定を詳細に行うことにより、フェール判定の精度を向上することができる。
【００２９】
また、カメラ１，２の露光時間に基づく判定を上記フェール判定に加えることにより、フェール判定処理を効率的に行うことができる。すなわち、露光時間が閾値（３０００μｓｅｃ）よりも短い場合には、画像上にスミアやフレアが出現する可能性が極めて低いと判断して、自車から立体物までの距離による判定や立体物幅（及び検出時間）による判定を行うことなく、全ての立体物に対するフェール判定フラグＮＧを”０”に設定するのでフェール判定を効率的に行うことができる。
【００３０】
また、上記フェール判定に、立体物の平均輝度に基づく判定を加えることにより、フェール判定の精度をより向上することができる。この場合、自車から立体物までの距離と立体物幅（及び検出時間）とに基づいてスミアやフレアの可能性が高いと判定された立体物に対してのみ、立体物の平均輝度を算出すれば事足りるので、このような判定を加えた場合にも、演算量を大幅に増大させることがない。
【００３１】
なお、上述の実施の形態においては、自車から立体物までの距離に基づく判定及び立体物幅に基づく判定に加え、カメラ１，２の露光時間に基づく判定及び立体物の平均輝度に基づく判定を行うことで、立体物のフェール判定を行う一例について説明したが、本発明はこれに限定されるものではなく、例えば、自車から立体物までの距離に基づく判定及び立体物幅に基づく判定のみによって立体物のフェール判定を行ってもよく、また、これら２種類の判定に加え、カメラ１，２の露光時間に基づく判定或いは立体物の平均輝度に基づく判定を行うことで立体物のフェール判定を行ってもよい。
【００３２】
また、各判定に用いる各閾値（カメラ１，２の露光時間、自車から立体物までの距離、立体物幅、立体物が連続的に検出される時間、立体物の平均輝度等）は、車両に搭載されるカメラ１，２の諸元や取付位置等によって変更可能であることは勿論である。
【００３３】
【発明の効果】
以上説明したように本発明によれば、立体物として誤認識されたスミアやフレアを、簡単な構成で精度良く判定することができる。
【図面の簡単な説明】
【図１】車外監視装置のブロック図
【図２】フェール判定ルーチンのフローチャート
【図３】スミア並びにフレアを立体物として認識したときの立体物までの距離に関するヒストグラム
【図４】スミア並びにフレアを立体物として認識したときの立体物幅に関するヒストグラム
【符号の説明】
１メインカメラ（撮像手段）
２サブカメラ（撮像手段）
１１立体物認識部（立体物認識手段）
１２フェール判定部（フェール判定手段）

Claims

車外の同一対称を異なる視点で撮像する複数の撮像手段と、上記撮像手段で撮像された複数の画像から立体物を認識する立体物認識手段とを備えた車外監視装置において、
上記立体物認識手段で認識された各立体物のフェール判定を行うフェール判定手段を有し、
上記フェール判定手段は、自車から上記立体物までの距離が閾値よりも短く、且つ、上記立体物幅が閾値以下であるとき、上記立体物はスミア或いはフレアを立体物として誤認識したものであると判定して当該立体物をフェールと判定することを特徴とする車外監視装置。
上記フェール判定手段は、上記立体物幅が上記閾値以下であっても、上記立体物が所定の立体物幅の範囲内で所定時間以上連続的に検出された際には、当該立体物をフェールと判定しないことを特徴とする請求項１記載の車外監視装置。
上記フェール判定手段は、上記撮像手段の露光時間が閾値以上であるとき、上記立体物をフェールと判定しないことを特徴とする請求項１または請求項２記載の車外監視装置。
上記フェール判定手段は、上記画像上における上記立体物の平均輝度が閾値よりも小さいとき、上記立体物をフェールと判定しないことを特徴とする請求項１乃至請求項３の何れかに記載の車外監視装置。