JP5338417B2 - 車両の周辺地上高を検出して作動する安全装置及び周辺地上高検出装置 - Google Patents

Description

本発明は、自動車等の車両の走行中に乗員の安全を図るための車両の安全装置に係り、より詳細には、走行中の車両の周辺（特に、車両の側方又は後方）の路面又は地面の高さ（以下、「周辺地上高」と称する）を検出する手段を有し、その検出された周辺地上高に基づいて、脱輪の予防や脱輪時の乗員の保護をするための装置と、そのために有利に用いられる周辺地上高を検出する装置に係る。

近年の自動車等の車両の安全技術の分野に於いて、車両の周辺を撮影する車載カメラの画像を用いて得られる車両の周辺の障害物や路面の凹凸の位置情報に基づいて、車両の走行中の安全を図るための種々の安全装置を作動させることが提案されている。そのような安全装置は、典型的には、カメラの画像から種々の画像処理によって障害物又は路面の凹凸の位置を検出し、障害物又は路面の凹凸の位置が車両に近づくと、警報を発し、或いは、自動操舵・自動制動が実行されるよう構成されている。

例えば、特許文献１では、車両から車両周囲の路面上に格子状パターンにて照射した複数のレーザースポットを車載カメラで撮影し、撮影された画像内での格子状パターンのレーザースポットの像の位置のずれから路面上の物体の有無を検出する装置が開示されている（路面上に物体が在る場合と無い場合とで、画像内での照射されたレーザースポットの位置が変化することを利用している。）。この装置の場合、画像内のスポットの位置から算出された物***置が画像として表示されると共に、車両の予測される進路に車両と衝突する危険性のある物体が発見されたときには、ブザー等による警告が発せられるよう構成されている。また、特許文献２に於いては、車両の後部にその後方の路面を撮影するカメラと路面上にスポットライトを投光する投光器とを備え、スポットライトを路面上にて移動しながらカメラで路面上を撮影し、カメラで撮影された画像内でのスポットライトの像の位置から車両後方に於いて車両の通過に支障のある路面の凹凸を検出する装置が提案されている。この装置の場合も、車両の通過に支障のある路面の凹凸が在る部分がディスプレイに表示されると共に、車両がその路面の凹凸が在る部分に近づくと警報音が発せられるよう構成されている。更に、特許文献３に於いては、車両の側面に設けられたカメラによって車両の側方から斜め前方を撮影し、二つの時刻の画像の変化分の抽出、抽出画像の積算、積算画像の収縮・膨張といった画像処理を行うことにより、車両の進行方向に於ける障害物となる立体物を検出する装置が開示されている。そして、この装置の場合、障害物と車両との距離が閾値以下になると、障害物を回避する方向に操舵装置を自動的に作動し、或いは、自動ブレーキを作動して車両と障害物の接触を回避することが試みられるよう構成されている。

特開平７−３０４３８９号公報

特開２００２−３６９８７

特開２００８−２４９５１７

ところで、自動車等の車両に於いて、車輪が現在走行中の路面と高さが異なる路側又は地面へはみ出ること（脱輪）により車体の大きな揺れが発生したときに乗員を保護するための安全装置としては、客室の側方部分から乗員の頭部〜上半身の側方へ展開されるカーテンエアバッグ等の乗員保護装置が搭載されている。かかるカーテンエアバッグ等の乗員保護装置に於いては、ロールオーバ感知センサ又は加速度センサが準備され、これらのセンサが車体の大きな揺れを感知すると、カーテンエアバッグ等が展開されるよう構成されている。従って、これらの乗員保護装置の場合、その作動は、車体の大きな揺れがセンサによって感知された後、即ち、車両の車輪が脱輪し車体の大きな揺れが始まった後となり、かかる車体の大きな揺れの発生の可能性を事前に察知し、或いは、そのような車体の大きな揺れの発生を回避するといった運転支援を行うことは困難である（エアバッグの展開をより早く行うように展開を開始するセンサの検出値（車体の揺れの大きさ）を下げると、無駄にエアバッグの展開が実行されてしまう可能性がある。）。

かくして、本発明に於いては、車体の大きな揺れを惹起し得る車両の車輪の脱輪の可能性を、事前に、即ち、車体の揺れが始まる前に検知し、これにより、脱輪の予防或いは脱輪時の乗員の早期保護を可能にする装置を提供することを課題とする。既に触れた如く、近年の車両には、車両の周辺を撮影する車載カメラの画像から車両の周辺状況を把握することが可能となっている。そこで、本発明では、車両の走行中に於いて、車両の周辺を撮影する車載カメラの画像を用いて車両の周辺の地面の高さ（周辺地上高）を検出し、車両の周辺地上高が現在走行中の路面の高さと大きく異なるときには、そのような地面に車輪がはみ出ないように、或いは、脱輪しないようにする種々の運転支援又は乗員の保護の早期の実行を可能にする装置が提供される。

また、本発明のもう一つの課題は、上記の脱輪の防止或いは脱輪時の乗員の早期の保護を可能にする装置のために有利に用いられる車両の周辺地上高を検出するための新規な装置を提供することである。

本発明の車両の安全装置は、走行中の車両の周囲の地面の画像を逐次取得する画像取得手段と、取得された地面の画像の少なくとも二つに於いて写っている同一の像の、少なくとも二つの画像間に於ける移動量から車両の周辺地上高を算出する周辺地上高算出手段と、算出された周辺地上高に基づいて車両の車輪が脱輪する可能性の有無を判定する脱輪判定手段とを含み、脱輪判定手段が、周辺地上高と現在走行中の路面の高さとの差が所定の高さを越える領域と車両との距離が所定の距離より短くなったときに車両の車輪が脱輪する可能性が有ると判定することを特徴とする。かかる構成に於いて、「画像取得手段」とは、一般的には、車両の側部又は後部の直下の地面から外方に亙る任意の領域を逐次的に撮影するように車両のドアミラー若しくはサイドミラー又は車両の後部に取り付けられた通常の形式のカメラであってよい。これらのカメラによって車両の走行中に逐次撮影される画像に於いては、その中に写り込む対象物（平面的な地面のしみや小石等であってよい。）とカメラとの距離が短いほど、対象物の像の画像内の移動量が大きくなる。そこで、上記の「周辺地上高算出手段」は、画像内の任意の対象物の像の移動量がその対象物とカメラとの距離に依存するという関係を利用して、地面の対象物の像の画像内での移動量よりカメラから地面の対象物までの鉛直方向距離を、「周辺地上高」として、算出する（「現在走行中の路面の高さ」は、カメラから現在走行中の路面までの鉛直方向の距離に相当する。）。そして、上記の構成に於いて、「周辺地上高と現在走行中の路面の高さとの差が所定の高さを越える領域と車両との距離が所定の距離より短くなったとき」とは、要すれば、車両の車輪が現在走行中の路面から側方又は後方に移行すると、車体に大きな揺れが発生する可能性が高くなるときに相当する（「車輪が脱輪する」とは、現在走行中の路面から高さの大きく異なる地面又は路側へ車輪が移行することを意味する。）。なお、上記の表現に於いて、「所定の高さ」とは、車輪がその高さを越えて移行すると車体に大きな揺れを発生し得る高さであり、「所定の距離」とは、その距離よりも車両と「所定の高さ」を越える領域との距離が短くなると、車輪が「所定の高さ」を越える領域へ移行する可能性が高くなる距離であり、「所定の高さ」と「所定の距離」とは、車両の寸法、車速等に応じて、設計者により任意に設定されてよい値である。

上記の本発明の装置によれば、車両の走行中に、車両の周囲の地面の高さを検出し、その検出結果に基づいて地面の高さが現在走行中の路面と大きく異なる領域が車両にどれだけ近づいているかを監視することにより、車輪が脱輪する可能性の有無を判定することが可能となる。従って、車輪が脱輪する可能性があることが、車輪が実際に脱輪し始める前に、即ち、車体の揺れが始まる前に検知できるようになり、脱輪を防止するための種々の運転支援、或いは、脱輪時の乗員の保護の早期の実行が可能となる。

上記の本発明の安全装置の構成に於ける車輪が脱輪する可能性の有ることが検出されたときに実行される運転支援は、種々のものであってよい。最も簡単な態様としては、例えば、車輪が脱輪する可能性の有ることが検出されたときに、車両の運転者に対して警報が発せられるようになっていてよい。これにより、車両の運転者は、自ら直視することのできない車輪近傍の地面の高さが大きく異なっていることを認識することができるようになり、車輪が脱輪しないよう運転を慎重に行うようになることが期待される。また、上記の如き運転支援のもう一つの態様として、例えば、比較的狭い道路を走行している場合や、一方の側の高さが急変している道路を走行している場合などに、車両の左右方向の一方又は双方に車両の車輪が脱輪する可能性が有ることが判定されたときには、車輪を車両の左右方向の一方又は双方に転舵するのに要する操舵トルクを増大するようになっていてもよい。この場合、運転者が車輪が脱輪し易い方向へ操舵するときハンドルが重くなるので、その方向に車輪が移行する可能性が低減され、脱輪が回避されることが期待される。更に、上記の如き運転支援の別の態様として、車両の後退時に車両の車輪が車両の後方にて脱輪する可能性が有ることが判定されたときには、車両の制動が実行され、これにより、車輪が車両の後方にて脱輪する前に車両を停止するようになっていてもよい。

また、本発明の上記の構成によれば、既に触れた如く、車輪が脱輪する可能性の有ることを車輪が実際に脱輪する前に検知できることから、車輪が脱輪する可能性が有る時には脱輪時のための種々の乗員保護装置が迅速に作動できるようにすることもできる。例えば、車両のロールの大きさが所定閾値に達したときに展開されるカーテンエアバッグに於いて、車両の車輪が脱輪する可能性が有ることが判定されたときには、カーテンエアバッグの展開のための所定閾値が低減されるようになっていてよい。この場合、脱輪による車体の揺れが始まる早い段階でカーテンエアバッグが展開され、乗員の保護を早期に実行できることとなる。

上記の本発明の装置に於いて、周辺地上高を検出するための周辺地上高算出手段は、一つの態様として、車両の車速と画像内の任意の対象物の像の移動量とに基づいて周辺地上高を算出するようになっていてよい。既に触れた如く、画像内の任意の対象物の像の移動量は、その対象物とカメラとの距離に依存する。また、カメラの移動距離は、車速から算定することができる。従って、周辺地上高は、車両の走行中にカメラにより撮影される画像内の任意の像の移動量と車速とから、比較的簡単に算出することが可能である（実施の形態の欄参照）。また、画像内の任意の像の移動量は、少なくとも二つの地面の画像に於ける輝度分布の相関関数を車両の進行方向に沿って算出し、車両の進行方向に沿って算出された相関関数に基づいて算出することが可能である。この点に関し、画像内の任意の像（輝度分布）の相関関数は、車両の進行方向に沿ってのみ算出されれば良いことは理解されるべきである。通常の二次元画像の相関関数から画像内の任意の像の移動量を算出する方法では、画像の二次元方向について相関関数を算出する必要がある。しかしながら、本発明の場合、カメラの視野の移動方向は、車両の進行方向に一致しているので、画像内の像の移動方向は、車両の進行方向（の逆向き）となることが分かっている。従って、上記の如く、相関関数が車両の進行方向に沿って算出されれば良く、相関関数のための演算量は大幅に低減される。なお、車両の進行方向と垂直な方向に沿って複数の輝度分布が選択され、その輝度分布の画像内での移動量を算出することにより、車両の進行方向と垂直な方向に沿って周辺地上高の分布を検出するようになっていてもよく、そのような場合も本発明の範囲に属する。

また、周辺地上高を算出するための別の態様として、画像取得手段の視野内の車両の周囲の地面の所定の領域に光を照射する投光手段が設けられ、周辺地上高算出手段が少なくとも二つの画像内に於ける投光手段により照射された光の像の位置に基づいて周辺地上高を算出するようになっていてもよい。かかる構成に於いて、投光手段は、地上にスポットライトを照射することのできるレーザー等の任意の光源であってよい。この構成の場合、投光手段からの光が照射される所定の領域の像の画像内の位置がカメラと所定の領域との距離によって変化することを利用して、周辺地上高が算出される（実施の形態の欄参照）。この構成に於いては、投光手段を別途準備する必要があるが、周辺地上高の算出に於いては、車両の走行している路面と同じ高さの地面に光を照射したときの光の像の画像内の位置と車両の走行中に逐次撮影される画像内の光の像の位置との関係から、車速によらず、周辺地上高を算出することができる点で有利である。

ところで、上記の本発明の装置において、画像から周辺地上高を算出するまでの構成は、安全装置とは独立した周辺地上高検出装置として構成されていてもよい。従って、本発明によれば、もう一つの態様として、車両の周辺地上高検出装置であって、走行中の車両の周囲の地面の画像を逐次取得する画像取得手段と、少なくとも二つの地面の画像に於いて写っている同一の像の少なくとも二つの画像間に於ける移動量から車両の周辺地上高を算出する周辺地上高算出手段とを含むことを特徴とする装置が提供される。かかる構成に於いても、一つの詳細な態様として、周辺地上高算出手段は、車両の車速と同一の像の少なくとも二つの画像間に於ける移動量とに基づいて周辺地上高を算出するようになっていてよく、かかる移動量は、少なくとも二つの地面の画像に於ける輝度分布の相関関数を車両の進行方向に沿って算出し、車両の進行方向に沿って算出された相関関数に基づいて算出するようになっていてよい。また、別の態様として、画像取得手段の視野内の車両の周囲の地面の所定の領域に光を照射する投光手段が設けられ、周辺地上高算出手段が少なくとも二つの画像内に於ける投光手段により照射された光の像の位置に基づいて周辺地上高を算出するようになっていてもよい。安全装置とは独立して構成される周辺高検出装置の検出結果は、任意の目的で周辺地上高を用いる装置又は制御のために利用されてよいことは理解されるべきである。

既に触れた如く、従前では、車両の脱輪に対する安全装置は、車体の揺れが始まった後にそのことを検知し、それに対処すべく、乗員の保護を実行するものであった。しかしながら、本発明の装置は、走行中の車両に於いて、車両の周囲の地面の高さを検出して脱輪を発生させ得る地面の領域の位置を検知し、その情報に基づいて、車輪が高さの異なる地面に移行する可能性、即ち、脱輪の可能性を察知し、これにより、車体の揺れが始まる前に、種々の態様の脱輪の予防のための運転支援或いは脱輪時の乗員の早期の保護を可能にするものである。また、本発明では、車両の走行と伴に逐次変化する地面の画像内に写りこんだ任意の対象物とカメラとの距離が短いほど、その対象物の像の移動量が大きくなる（距離が長いほど小さくなる）という点に着目し、車両の走行中に逐次変化する地面の画像内の像の移動量から周辺地上高を算出するという構成により、脱輪の予防或いは脱輪時の乗員の早期の保護に必要な車両の走行している地面の状態の情報を取得するという新規な手法が用いられていることは理解されるべきである。更に、本発明に於いて、周辺地上高を算出するための画像を取得する画像取得手段は、近年、多くの車両に装備されるようになった通常の形式の車両の周囲を撮影するカメラであってよいので、本発明の装置は、周辺地上高を得るためだけに特別なセンサを設ける必要なく構成することができる。

本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。

図１（Ａ）は、本発明による車両に搭載され車輪の脱輪の防止又は脱輪時の乗員の早期の保護を実行する安全装置の一つの好ましい実施形態をブロック図の形式で表したものである。図１（Ｂ）は、本発明による安全装置が搭載される車両の模式図であり、特に、安全装置のカメラが取り付けられる位置とその視野（斜線領域）を示している。 図２は、本発明による安全装置に於いて採用される、車両の走行中にカメラ画像内の像の移動量（画角の変化量）に基づいて周辺地上高を算出する手法の原理を説明する図である。 図３は、走行中の車両の周囲の任意の地点の周辺地上高及びその水平距離とその任意の地点の像の画角との関係（Ａ）と、カメラ画像内のその地点の像の移動量及び位置と画角との関係（Ｂ）を示したものである。 図４は、車両の走行中にカメラ画像内の像の移動量を算出する手法を説明する図である。（Ａ）は、車両の側方（右）のカメラ画像の模式図であり（時間ｔｏと時間ｔｏ＋ｄｔの画像に於いて注目すべき領域が重ねて表示されている。）、（Ｂ）は、領域ａ及び領域ｂの或るχｉに於ける輝度分布をグラフの形式で表したものであり、（Ｃ）は、車両の後方のカメラ画像の模式図である（時間ｔｏと時間ｔｏ＋ｄｔの画像に於いて注目すべき領域が重ねて表示されている。）。 図５は、本発明の安全装置の周辺地上高算出部の処理の流れをフローチャートの形式で表したものである。 図６は、車両の後退時に脱輪する可能性があるときに実行される自動制動制御について説明する図である。 図７は、投光器にて地面の特定領域を照射し、車両の走行中にカメラ画像内の特定領域の像の移動量（画角の変化量）に基づいて周辺地上高を算出する手法の原理を説明する図である。（Ａ）は、車両の側方の模式図であり、（Ｂ）、（Ｃ）は、カメラ画像の模式図である。

以下に添付の図を参照しつつ、本発明を幾つかの好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。

装置の構成
本発明の車両の安全装置は、自動車等の車両に搭載され、走行中の車両の側方及び／又は後方の地面又は路面の高さ（周辺地上高）を検出し、周辺地上高と現在走行中の路面の高さとの差が所定の高さを越える領域と車両との距離が所定の距離より短くなったとき、即ち、車両の車輪が現在走行中の路面から側方又は後方に移行すると車体に大きな揺れが発生する可能性が高くなったときに、運転者に対して脱輪の発生する可能性が有ることの警報を発し、或いは、その脱輪を回避するための運転支援若しくは脱輪時に早期の乗員保護作動の実行をするよう構成される。図１（Ａ）は、本発明の車両の安全装置の一つの実施形態をブロック図の形式で表したものであり、図１（Ｂ）は、かかる安全装置が搭載される車両を模式的に表したものである。なお、本実施形態の装置は、自動車等の車両に搭載された電子制御装置又はコンピュータ（双方向コモン・バスにより相互に連結されたＣＰＵ、ＲＯＭ、ＲＡＭ及び入出力ポート装置を有する通常の形式のものであってよい。）の、プログラムに従った作動により実現されてよい。

図１を参照して、本発明の車両の安全装置は、概して述べれば、車両１０の左右のドアミラー１２に取り付けられたＣＣＤカメラ２０ｌ、ｒ及び／又は車両１０の後方に取り付けられたＣＣＤカメラ２０ｂと、画像メモリを有しそれぞれのＣＣＤカメラからの信号から車両１０の側方及び／又は後方の路面又は地面の画像を、例えば、毎秒３０コマ、生成して記憶する画像生成部５０ａと、車両の側方及び／又は後方の地面の高さ（周辺地上高）を算出する周辺地上高算出部５０ｂと、車輪の脱輪する可能性の有無を判定する脱輪判定部５０ｃとを含む。かかる構成に於いて、ＣＣＤカメラ２０ｌ、ｒ、ｂは、通常の形式の車載カメラとして利用されるものであってよく、それぞれ、車両１０の側方及び／又は後方の図１（Ｂ）にて斜線にて示されている領域の路面又は地面が視野となるよう設置される。また、画像生成部５０ａは、通常の形式の処理（Ａ／Ｄ変換処理等）を通じて、各ＣＣＤカメラから送られてくる信号を逐次的に画像データ（カメラの受光面の各画素の座標値と輝度値）に変換し、それらの画像データを画像メモリに記憶するようになっていてよい。周辺地上高算出部５０ｂは、後述の態様にて、画像メモリに記憶された画像データから画像内に写り込んでいる路面又は地面上の小石、しみ、その他の模様などの対象物の像の移動量を算出し、その移動量と車速（車輪速から任意の手法で決定される）とに基づいて、車両の側方及び／又は後方の任意の地点の周辺地上高とその車両からの水平方向距離を決定する。そして、脱輪判定部５０ｃは、算出された車両の側方及び／又は後方の任意の地点の周辺地上高とその車両からの水平方向距離の値に基づいて周辺地上高と現在走行中の路面の高さとの差が所定の高さを越える領域と車両との距離が所定の距離より短くなっているか否かを検査し、現在走行中の路面との高さの差が所定の高さを越える領域が所定の距離より車両に近づいているときには、車輪が脱輪する可能性が有ると判定し、その場合には、警報装置による警報の発生、操舵トルクの変更、自動制動、又は、カーテンエアバッグ展開制御に於ける展開閾値の変更を、各制御装置に指示するよう構成される。以下、上記の構成の作動について詳細に説明する。

装置の作動
（ｉ）周辺地上高検出の原理
既に触れた如く、本発明の装置では、周辺地上高算出部に於いて、車両の側方又は後方の地面の任意の地点の高さ、即ち、周辺地上高と、その地点の水平方向距離とが、ＣＣＤカメラ２０ｌ、ｒ又はｂにより撮影された車両周辺の路面又は地面の画像に写りこんだ任意の対象物の像の移動量に基づいて検出される。図２は、かかる周辺地上高の検出の原理を説明する図である。

図２を参照して、今、任意の時間ｔｏに於いて、レンズとそのレンズから距離Ｌだけ離れた受光面とを有する車載のカメラが、図２の左の位置に在り、地面に存在する任意の対象物ａ、ｂ（丸印、星印）の像が、レンズの光軸に対して画角θａ、θｂにてレンズを通過して、受光面に投影され、これにより、カメラに同図上段の如き画像が写っているものとする。しかる後、時間ｄｔ後に車両の進行と伴にカメラの位置が図２の右図の位置に移動したものとすると、図から明らかな如く、カメラのレンズへの対象物ａ、ｂの像の画角の変化量Δθａ、Δθｂは、カメラから近い対象物ｂの方がカメラから遠い対象物ａよりも大きく変化し、カメラ画像に於ける対象物ｂの像の移動量λｂは、対象物ａの像の移動量λａよりも大きくなる。一方、時間ｄｔ間の車両の移動距離、即ち、カメラの移動距離は、車速Ｖ×ｄｔで与えられるので、結局、カメラから対象物の距離ｒａ、ｒｂは、車速Ｖ及び画像内での対象物の像の移動量λａ、λｂから決定することができることとなる。また、受光面内での位置とレンズを通る光（像）の絶対的な角度（画角）とは一対一に対応しているので（画像の中心から画角θの像の水平方向距離は、Ｌ・ｔａｎθにより与えられる。）、対象物の方向は、画像内の対象物の像の位置から決定できることとなる。従って、カメラから、即ち、車両から任意の対象物の存在する地面の高さと水平距離とは、カメラ画像内にて移動するその任意の対象物の像の位置とその移動量と車速を用いて決定できることとなる。

図３は、走行中の車両１０の周辺（側方）の任意の地点の高さｈ及びその水平距離ｒと、車両１０のドアミラー１２に取り付けられたカメラにより撮影された画像に於けるその任意の地点の像との関係を説明するものである。なお、説明を簡略にする目的で、カメラのレンズの光軸が車両の鉛直方向に一致し、受光面が車両の水平方向面内にあるものとしている。まず、図３（Ａ）を参照して、時間ｔｏに於いて、画角（φ，θ１）である位置に在る車両の斜め前方の地点Ｘ（画角φは、カメラのレンズの光軸から車両の進行方向と垂直な方向に計った角度であり、画角θ１は、カメラのレンズの光軸から車両の進行方向に沿って計った角度である。）が、時間ｔｏ＋ｄｔに於いて、車両の進行によって、車両から見てＶ・ｄｔの距離だけ移動してＹの位置（φ、θ２）に移ったとする。その場合、図から理解される如く、かかる地点のカメラからの鉛直方向の距離ｈは、
ｈ＝Ｖ・ｄｔ／（ｔａｎθ１＋ｔａｎθ２） …（１）
により与えられ、その地点Ｘの水平方向距離ｒは、
ｒ＝ｈ・ｔａｎφ …（２）
により与えられる。一方、図３（Ｂ）を参照して、上記の過程に於いて、画像内の地点Ｘの像の水平方向（車両の進行方向）の移動量Δλは、
Δλ＝Λ（ｔａｎθ１＋ｔａｎθ２） …（２）
により与えられる（Λは係数）。結局、地点Ｘのカメラからの鉛直方向の距離（高さ）ｈは、
ｈ＝Ｖ・ｄｔ・Λ／Δλ …（３）
となる。また、画像内に於けるレンズの光軸方向（φ＝０の方向）の像点からの地点Ｘの像の車両の進行方向に対して垂直且つ水平の方向（φ＝π／２の方向）の距離をχとすると、地点Ｘの水平方向距離ｒは、
ｒ＝Ｖ・ｄｔ・χ／Δλ …（４）
となる。かくして、画像内に写り込んだ任意の像の移動距離と（移動方向と垂直な方向の）位置とが特定できれば、それらの値と車速とから車両の周囲の任意の像の位置する地点の周辺地上高とその水平距離が検出できることとなる。［レンズの光軸が車両の鉛直方向から外れ、カメラの受光面が車両の水平面からずれているときには、レンズの光軸と受光面の傾き角に依存して、式（３）、（４）は、修正されるが、受光面内の位置とレンズを通る画角の位置は、一対一に対応しているので、任意の地点の周辺地上高ｈとその水平距離ｒは、画像内に写り込んだその任意の地点の像の移動距離と、移動方向と垂直な方向の位置と、車速とから一意に決定されることは理解されるべきであり、そのような場合も範囲に属する。］

カメラ画像内の車両周辺の任意の地点の移動距離及びその移動方向と垂直な方向の位置は、その任意の地点の表面に存在する任意の対象物、例えば、地面のしみ、小石、その他の模様の像の位置と移動距離とを、例えば、画像の相関関数を用いた手法にて、検出することにより決定されてよい。

かかる画像の相関関数を用いた手法では、或る時間ｔｏの画像の車両の進行方向の前方の任意の領域内の対象物（しみ、小石、模様等）の像の輝度分布が、車両が距離Ｖ・ｄｔだけ移動した時間ｔｏ＋ｄｔの画像のどこに存在しているかが、輝度分布の相互相関関数を用いて検出される。具体的には、まず、図４（Ａ）の左方に描かれている如き時間ｔｏの画像の車両の進行方向の前方の任意の領域ａと、図４（Ａ）の右方に描かれている如き時間ｔｏ＋ｄｔの画像の領域ａに存在していた同一の像が存在していると思われる領域ｂとが抽出される。かかる抽出されるべき領域ａ、ｂに関して、領域ａ内に在る対象物の像の各々は、車両の進行方向に沿って同じ方向に移動するので、領域ａ内の像の車両の進行方向とは垂直な方向（χ方向−画像の縦方向）の位置は、領域ｂ内に於いて実質的に変化しないとすることができる。一方、各々の像の車両の進行方向と平行な方向の（λ方向−画像の横方向）の移動量は、地面の高さが低いほど（カメラから遠いほど）、移動距離が短くなる（図４（Ａ）では、例として、車両１０から離れるほど、地面が低くなっている状態を示している。）。従って、領域ｂは、領域ａよりも画像のλ方向について長い幅にて抽出される。また、車両が距離Ｖ・ｄｔだけ移動することを考慮して、領域ｂは、概ね、画像内に於いて、現在走行中の路面の高さ（ｈｏ）にある対象物の像がＶ・ｄｔに相当する距離（〜Ｖ・ｄｔ・Λ／ｈｏ）だけ車両の後方に移動した位置（領域ａから離れた位置）に於いて抽出されるようになっていてよい（勿論、領域ａ内の像に於いて、時間ｄｔ後に殆ど移動しない像も有り得るので、領域ｂとして、時間ｔｏ＋ｄｔの画像全域が抽出されてよい）。

かくして抽出された領域ａと領域ｂに於いて、χ方向の位置χｉ（ｉ＝１〜ｎ）毎に、領域ｂ内に於ける領域ａの輝度分布に対する領域ｂの輝度分布の相互相関関数がλ方向に沿って算出される。具体的には、領域ｂの座標［χｉ，λｂｊ］（ｊ＝１〜ｐ）に於ける相関関数Ｇ_{χｉ，λｂｊ}は、
G_χi,λbj=ΣIa_χi,λak・Ib_χi,λb(j+k)/(ΣIa_χi,λak・ΣIb_χi,λb(j+k))…(5)
により与えられる。ここに於いて、Ia_χi,λakは、領域ａ内の座標(χi，λak)(ｋ＝１〜ｍ)に於ける輝度値であり、Ib_χi,λbjは、領域ｂ内の座標(χi，λbｊ)に於ける輝度値であり、Σは、ｋ＝１からｋ＝ｍまでの総和である。上記の相関関数Ｇ_{χｉ，λｂｊ}は、要すれば、図４（Ｂ）の左方に例示されている如き領域ａの輝度分布Ｉａ_χ，λを、図４（Ｂ）の右方に例示されている如き領域ｂに於いてその始点（左端）からλ方向に画素ｊ個分だけずらして領域ｂの輝度分布Ｉｂ_χ，λに重ね合わせたときの輝度分布の相同性の程度を表す指標であり、輝度分布の相同性が高いほど、Ｇ_{χｉ，λｂｊ}の値が大きくなる。従って、領域ｂに於いてλ方向に沿って算出された相関関数に於いて、最大値を与える位置が、領域ａの像の時間ｄｔ後の位置として検出されることとなる。そして、カメラ画像内に於ける領域ａの輝度分布の始点（左端）の位置と領域ｂの相関関数値が最大値を与える位置との距離が対象物の像、即ち、地点の像の移動距離となる。かくして、上記の如く、相互相関関数の算出及びその最大値を与える領域ｂ内のλ方向の位置の決定を行うことにより、画像内での時間ｄｔの間のχ方向の位置χｉに於ける像のλ方向の移動量が決定され、車両周辺の任意の（像に対応する）地点の周辺地上高及びその地点の水平距離が、式（３）、（４）により決定できることとなる。

車両の後退時の車両の後方の周辺地上高と水平距離も、上記の手法と略同様に、車両の後方のカメラ画像に於ける地面の任意の対象物の像の車両の進行に伴う画像内での移動距離に基づいて決定できることは理解されるべきである。後退時の車両の後方の場合、図４（Ｃ）に例示されている如く、車両の進行方向は、画像の上方向になるので、上記の領域ａに相当する領域は、画像の上方領域（車両の後方端の直下から離れた領域）が選択され、上記の領域ｂに相当する領域は、領域ａよりも下方の領域（車両に近い領域）が選択される。また、相互相関関数は、車両が距離Ｖ・ｄｔ移動したときに領域ａ内の任意の像が存在していると想定される領域にて算出されるようになっていてよい。車両側方の場合には、車両の進行方向と垂直方向の位置毎に周辺地上高が決定されたが、車両後方の場合には、任意の対象物が存在する地点毎の高さと車両の後端からの水平距離とが決定される。

(ii)周辺地上高算出部５０ｂの作動
図１（Ａ）の周辺地上高算出部５０ｂは、画像メモリからＣＣＤカメラ２０ｌ、ｒ、ｂにてそれぞれ撮影された画像のうち指定された座標の輝度値を読み出して、上記の周辺地上高の検出の原理に従って、周辺地上高とその水平距離とを算出する。図５は、周辺地上高算出部５０ｂの処理作動をフローチャートの形式にて表したものである。なお、図示の処理作動は、車両の走行中に実時間にて且つ反復して、車両の右側方、左側方、後方（車両の後退時のみ）のそれぞれについて別々に実行されてよい。具体的には、かかる周辺地上高算出部５０ｂに於いては、まず、既に画像メモリに記憶された画像のうち、現在の時間よりも所定の時間だけ前の時間ｔｏの画像の車両の進行方向前方の所定の領域（領域ａ）の画像データ（輝度値、座標）と、時間ｔｏからｄｔ後の前の時間ｔｏ＋ｄｔの画像の所定の領域（領域ｂ）の画像データ（輝度値、座標）とが抽出される（ステップ１０、２０）。しかる後、これらの画像データを用いて、車両の進行方向に対して垂直な方向（χ方向）の位置毎に、車両の進行方向に対して平行な方向（λ方向）に沿って、式（５）により、領域ａの輝度分布に対する領域ｂの輝度分布の相互相関関数が算出され（ステップ３０）、しかる後に、χ方向の位置毎に相関関数が最大値となるλ方向の位置λｍａｘが決定され（ステップ４０）、λｍａｘと領域ａの始点との画像内での距離、即ち、対象物の像のλ方向の移動距離を用いて、χ方向の位置毎に（車両の側方の場合）又は対象物の像が存在する地点毎に（車両の後方の場合）、式（３）により周辺地上高ｈが算出され、式（４）により、算出された周辺地上高ｈの地点の車両からの水平距離ｒが算出される（ステップ５０）。なお、上記の相関関数の計算は、χ方向の位置毎に又は対象物の像が存在する地点毎に実行されるところ、一つの相関関数値の演算に使用される画素数が少ないと、ノイズ等の影響を受けやすく、又、より長い演算時間を要することとなる。従って、χ方向について数画素分を積算して上記の相関関数値の演算が実行されてもよい（図４（Ａ）、（Ｃ）の場合、点線にて区画された帯状部分の画素の輝度をχ方向について合算した輝度分布を用いて上記の演算が実行される。）。そして、かくして算出された周辺地上高ｈと水平距離ｒは、脱輪判定部５０ｃに於いて、車輪の脱輪の可能性の有無の判定に用いられる。

（iii）脱輪判定部５０ｃの作動
上記の如く、車両の左右側方及び後方の周囲の地面の周辺地上高ｈと車両からの水平距離ｒが決定されると、脱輪判定部５０ｃに於いて、現在走行中の路面の高さｈｏ（現在走行中の路面、即ち、タイヤの底面とカメラとの鉛直方向距離）との差が所定の高さｈｔｈよりも大きく異なる周辺地上高ｈを有する地点、即ち、
｜ｈ−ｈｏ｜＞ｈｔｈ …（６）
を満たす地点が存在するか否かが検査される。かかる検査は、車両の右側方、左側方及び後方のそれぞれについて別々に実行される。そして、上記の式（６）の条件を満たす地点が発見されたときには、その地点に対応する車両からの水平距離ｒが、所定の距離ｒｔｈよりも短いか否か、即ち、
ｒ＜ｒｔｈ …（７）
が成立しているか否かが検査される。そして、もし式（７）の条件を満たす地点が発見された場合には、「脱輪の可能性有り」と判定され、以下のいずれか又は全ての運転支援又は脱輪時の乗員保護装置（カーテンエアバック展開制御装置）の設定の変更が指示される。なお、所定の高さｈｔｈは、車輪がその高さを越えると車体が大きく揺れる高さであり、所定の距離ｒｔｈは、その距離よりも「所定の高さ」を越える領域と車両との距離が短くなると、車輪が「所定の高さ」を越える領域へ移行する可能性が高くなる距離であり、ｈｔｈ及びｒｔｈとも車両又はタイヤの寸法若しくは車速に依存して、適宜設定されてよい。

（iii）「脱輪の可能性有り」と判定された時の装置の作動
（ａ）警報装置の作動
車両の左右側方又は後方のいずれかに於いて、「脱輪の可能性有り」と判定されたときには、警報装置を作動して、脱輪の可能性が有ることを運転者に対して知らせる音声及び／又は視覚的な表示が為されるようになっていてよい。かかる警報は、好ましくは、車両の左右側方又は後方のいずれにて脱輪の可能性が有るかが認識される任意の態様にて発生されるようになっていてよい。特に、視覚的な警報は、運転席のフロントパネルに装備されたディスプレイやテレビモニター上に表示されるようになっていてよい。

（ｂ）操舵制御装置に対する介入
車両の左右側方のいずれかに於いて、「脱輪の可能性有り」と判定されたときには、上記の警報の発生と合わせて、運転者がハンドルの回転するために要するトルク（操舵トルク）が大きくなるよう操舵制御装置の操舵制御に介入するようになっていてよい。この場合、より詳細には、例えば、パワーステアリング装置が装備された車両に於いては、車両の左側方にて「脱輪の可能性有り」と判定されたときには、左に回転する方向に、車両の右側方にて「脱輪の可能性有り」と判定されたときには、右に回転する方向に、操舵トルクが増大され、これにより、「脱輪の可能性有り」と判定された方向にハンドルが切りにくくなるよう操舵制御装置の設定が変更される（車両の両側に於いて「脱輪の可能性有り」と判定されたときには、左右両方向の操舵トルクが増大されるようになっていてよい。）。かかる作動により、運転者は、「脱輪の可能性有り」と判定された方向にハンドルを操舵する可能性が低くなり、車輪が脱輪する可能性が低減されることとなる（車両側方に於ける脱輪の防止）。

（ｃ）自動制動制御
車両の後方に於いて、「脱輪の可能性有り」と判定されたときには、上記の警報の発生と合わせて、制動制御装置を作動して、自動的に車両を制動するようになっていてよい（自動制動制御）。かかる制御に於いては、好ましくは、図６に例示されている如く、車両の後方に於いて上記の式（７）が成立したときから、車両の後端が上記の式（７）の成立する地点に到達するまでの距離Ｄだけ車両が移動する間に車両が停止するよう制動力が発生されるようになっていてよい。

（ｄ）カーテンエアバッグ展開制御に対する介入
車両に車体のロールの大きさが或る閾値に達したときに展開されるカーテンエアバッグが装備されている場合、車両左右側方のいずれかに於いて、「脱輪の可能性有り」と判定されたときには、上記の警報の発生と合わせて、車両の車輪カーテンエアバッグの展開のための閾値が低減されるように、カーテンエアバッグ展開制御装置の設定が変更されるようになっていてよい。かかる構成によれば、車両の左右側方のいずれかに於いて車輪が実際に脱輪したときに、従前よりも早期にカーテンエアバッグが展開されることとなり、従って、早期に乗員の保護作動を実行できることとなる。

周辺地上高検出の別の形態
本発明の車両の安全装置の別の形態として、図７（Ａ）に例示されている如く、レーザー等の投光器２２をドアミラー１２に備えて車両周囲の地面の所定の領域（例えば、投光器２２から鉛直な方向の領域）に対してスポットライトを照射し、カメラ２０にて撮影される投光器からのスポットライトにて照射された領域αｏ、αの像の画像内に於ける位置から周辺地上高が、検出されるようになっていてもよい。

図７（Ａ）の構成に於いては、もしスポットライトにて照射された領域が現在走行中の路面と同じ高さにある場合には、このときの地面の高さは、スポットライトにて照射された領域の像αｏの画角φｏと、投光器とカメラとの距離ｒとを用いて、
ｈｏ＝ｒ／ｔａｎφｏ …（８）
により与えられる。一方、もしスポットライトにて照射された領域が、現在走行中の路面と異なる高さにある場合には、このときの地面の高さは、スポットライトにて照射された領域の像αの画角φと距離ｒとを用いて、
ｈ＝ｒ／ｔａｎφ …（９）
により与えられる。画角φと、カメラ画像内のφ＝０に対応する点からの任意の距離（座標）ｘとは、
ｘ＝Λｔａｎφ：（Λは、係数）
の関係にあるので、結局、周辺地上高ｈは、スポットライトにて照射された領域が現在走行中の路面と同じ高さにある場合の画像に於けるスポットライトにて照射された領域の像の位置ｘｏと、車両の走行中のカメラ画像内のスポットライトにて照射された領域の像の位置ｘと、ｈｏとを用いて、
ｈ＝ｈｏ・ｘｏ／ｘ …（９）
により与えられることとなる。ここで、ｈｏは、設計値により与えられるので、図７（Ｂ）及び図７（Ｃ）に示されている如く、カメラ画像内に於けるスポットライトが照射された領域の位置を検出することによって、その領域の高さ、即ち、周辺地上高が決定できることとなる。

スポットライトの照射された領域の像の位置の検出は、任意の手法で為されてよい。例えば、カメラの受光面の前に、スポットライトのみの波長を選択的に透過させるフィルターを配置して、受光面に於いて、スポットライトの像のみが形成された画像を撮影し、像の重心を求めることにより、像の位置が決定されるようになっていてよい。また、スポットライトを間歇的に照射し、スポットライトが照射されているときの画像からスポットライトが照射されていないときの画像を減算して、スポットライトの像のみが形成された画像を生成し、像の重心を求めることにより、像の位置が決定されるようになっていてもよい。

なお、図７の構成の場合、車両からのスポットライトの照射される領域の水平距離は、一定であるので、脱輪判定部に於いては、検出された周辺地上高が式（６）の条件を満たしたときに、「脱輪の可能性有り」と判定される。そして、「脱輪の可能性有り」と判定されたときには、前記と同様の運転支援、カーテンエアバッグの展開制御の修正等が行われてよい。

かくして、上記の本発明の装置によれば、地面の画像に於いて写っている像の移動量から車両の周辺地上高が算出され、かかる周辺地上高に基づいて車輪が脱輪する可能性の有無を判定することが可能となり、これにより、車体の大きな揺れを惹起し得る車両の車輪の脱輪の可能性を事前に検知し、脱輪の予防或いは脱輪時の乗員の早期保護が為されることとなる。

以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。

例えば、地面の画像から周辺地上高を検出する手法は、ここに具体的に紹介されているもの以外の手法であってもよいことは理解されるべきであり、そのような場合も本発明の範囲に属する。上記の実施形態では、二つの時間の画像に於ける像の移動量から周辺地上高を算出しているが、連続する画像に於いて逐次的に像の移動量を検出して周辺地上高を逐次的に（実時間にて）算出するようになっていてよい（例えば、式（３）又は式（９）の移動平均を最終的な周辺地上高の値としてもよい。）

また、上記の実施形態に於いては、周辺地上高を検出する手段が安全装置の一部として記載されているが、周辺地上高を検出する手段は、独立の装置として構成されてもよく、かかる装置により検出された周辺地上高の値は、安全装置の作動以外の目的のために利用されてもよい。

１０…車両
１２…ドアミラー
２０ｌ、ｒ、ｂ…ＣＣＤカメラ
２２…投光器

Claims (10)

1. 車両の安全装置であって、走行中の前記車両の周囲の地面の画像を逐次取得する画像取得手段と、少なくとも二つの前記地面の画像に於いて写っている同一の像の前記少なくとも二つの画像間に於ける移動量と前記車両の車速とに基づいて前記同一の像の前記少なくとも二つの画像間に於ける移動量と画角との関係及び前記車両の周辺地上高と前記車両の車速と前記画角との関係を用いて前記車両の周辺地上高を算出する周辺地上高算出手段と、前記周辺地上高に基づいて前記車両の車輪が脱輪する可能性の有無を判定する脱輪判定手段とを含み、前記脱輪判定手段が、前記周辺地上高と現在走行中の路面の高さとの差が所定の高さを越える領域と前記車両との距離が所定の距離より短くなったときに前記車両の車輪が脱輪する可能性が有ると判定することを特徴とする装置。
2. 請求項１の装置であって、前記周辺地上高算出手段が、前記少なくとも二つの前記地面の画像に於ける輝度分布の相関関数を前記車両の進行方向に沿って算出し、前記車両の進行方向に沿って算出された相関関数に基づいて前記同一の像の前記少なくとも二つの画像間に於ける移動量を算出することを特徴とする装置。
3. 請求項１又は２の装置であって、前記車両に該車両のロールの大きさが所定閾値に達したときに展開されるカーテンエアバッグが設けられ、前記車両の車輪が脱輪する可能性が有ることが判定されたときに前記カーテンエアバッグの展開のための前記所定閾値を低減することを特徴とする装置。
4. 請求項１乃至３のいずれかの装置であって、前記車両の左右方向の一方又は双方に前記車両の車輪が脱輪する可能性が有ることが判定されたときに前記車輪を前記車両の左右方向の一方又は双方に転舵するのに要する操舵トルクを増大することを特徴とする装置。
5. 請求項１乃至４のいずれかの装置であって、前記車両の後退時に前記車両の車輪が前記車両の後方にて脱輪する可能性が有ることが判定されたときには、前記車両の制動を実行することを特徴とする装置。
6. 請求項１乃至５のいずれかの装置であって、前記車両の車輪が脱輪する可能性が有ることが判定されたときに、前記車両の運転者に対して警報を発することを特徴とする装置。
7. 請求項１の装置であって、更に、前記画像取得手段の視野内の車両の周囲の地面の所定の領域に光を照射する投光手段を含み、前記周辺地上高算出手段が前記少なくとも二つの画像内に於ける前記投光手段により照射された光の像の位置に基づいて前記周辺地上高を算出することを特徴とする装置。
8. 車両の周辺地上高検出装置であって、走行中の前記車両の周囲の地面の画像を逐次取得する画像取得手段と、少なくとも二つの前記地面の画像に於いて写っている同一の像の前記少なくとも二つの画像間に於ける移動量と前記車両の車速とに基づいて前記同一の像の前記少なくとも二つの画像間に於ける移動量と画角との関係及び前記車両の周辺地上高と前記車両の車速と前記画角との関係を用いて前記車両の周辺地上高を算出する周辺地上高算出手段とを含むことを特徴とする装置。
9. 請求項８の装置であって、前記周辺地上高算出手段が、前記少なくとも二つの前記地面の画像に於ける輝度分布の相関関数を前記車両の進行方向に沿って算出し、前記車両の進行方向に沿って算出された相関関数に基づいて前記同一の像の前記少なくとも二つの画像間に於ける移動量を算出し、前記車両の車速と前記移動量とに基づいて前記周辺地上高を算出することを特徴とする装置。
10. 請求項８の装置であって、更に、前記画像取得手段の視野内の車両の周囲の地面の所定の領域に光を照射する投光手段を含み、前記周辺地上高算出手段が前記少なくとも二つの画像内に於ける前記投光手段により照射された光の像の位置に基づいて前記周辺地上高を算出することを特徴とする装置。

Images