JP2014528063A - 車両があるオブジェクトを通過可能であるかを判断するための３ｄカメラを用いた方法 - Google Patents

Abstract

【課題】車両における空気タイヤの走行トレッドの剥離開始の検出方法を提供することである。【解決手段】少なくとも各車軸、特に各車輪に発生する、最初の持続的かつ周期的で車輪回転数に比例する振動が回転数出力信号として信号処理装置に供給され、一つまたは複数の別に定められる、走行トレッドの剥離開始に特有の車輪回転数に比例する周期的な振動が最初の振動または回転数出力信号に重畳しており、信号処理装置がこの最初の周期的な振動と別に定められる走行トレッドの剥離開始に特有の周期的な振動との重畳を検出し、警報信号を発する。【選択図】 図１

Description

本発明は、（空間的解像度を有する）３Ｄカメラを用いた車両があるオブジェクトを通過可能であるかを判断するための方法並びに装置に関する。

例えば、橋、トンネル、交通標識用架橋（ガントリー）など、車線上方を横切るオブジェクトは、特に、レーダー・センサー類からは、障害物として認識されるが、該レーダー・データからは、その障害物を通過可能であるか否かは、信頼性高く推定できない。また、モノ・カメラを装備していても、その推定は、困難である。

特許文献１は、それを用いれば、橋の頭上スペース（アキ高）を、トンネル入り口の水平な下側エッジの位置と、トンネル前方と車線レベルの間の水平なエッジの位置から十分正確に推定できる車両用の鉛直ステレオ・カメラ・システムを開示している。更には、水平な、及び、垂直なステレオ配置の組み合わせにより道路交通における水平及び垂直な全てのインフラストラクチャー・コンポーネントの捕捉と計測が可能であるとも開示している。

特許文献２も、車両が通過可能であるかを検知するための装置を開示している。障害物がある場合、通過幅、及び／或いは、通過高が、センサーユニットによって計測される。付加的には、センサーユニットのセンサーを用いて、必要に応じて、登っている車線と車線上空のキャリア（梁、桁など）の位置を検知できるように、前方の車線の成り行きも監視することが提案されている。

特許文献３は、最大通過可能高、及び／或いは、最低地上高を割出すために、そして、通過する車線領域においてこれが可能である場合には、シャーシ・アクチュエーター・ユニットを、車両の全高が、最大通過可能高を超えず、且つ、最低地上高が維持されるように制御するために、例えば、ステレオ・カメラを備えたセンサーユニットを採用することが提案されている。

ステレオ画像データ処理におけるオブジェクト認識のアプローチは、非特許文献１において示した。ここでは、多数の画像点の位置と速度が、三次元において同時に推測される。

しかし、従来の技術の方法と装置には、欠点があり、場合によっては、例えば、障害物を通過出来ることを保証するには、幅と高さが十分ではない場合などに、誤った推測値が得られることが有り得ることも知られている。

ドイツ特許第１０２３４６４５号明細書 ドイツ特許公開第１０２００４０１５７４９号明細書 ドイツ特許公開第１０２００９０４０１７０号明細書

Ｕ．Ｆｒａｎｋｅ ｅｔ ａｌ．Ｉｎ ６Ｄ−Ｖｉｓｉｏｎ：Ｆｕｓｉｏｎ ｏｆ Ｓｔｅｒｅｏ ａｎｄ Ｍｏｔｉｏｎ ｆｏｒ Ｒｏｂｕｓｔ Ｅｎｖｉｒｏｎｍｅｎｔ Ｐｅｒｃｅｐｔｉｏｎ ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＤＡＧＭ−Ｓｙｍｐｏｓｉｕｍ ２００５，Ｐ．２１６−２２３

よって、本件特許の課題は、該欠点を無くし、オブジェクトを通過可能であるか否か、可能な場合、如何に通過可能であるかの信頼性高い推測を提供することにある。

この課題は、車両周辺の、好ましくは、（可能性のある）走行方向への、少なくとも一枚の画像を３Ｄカメラによって撮影することにより解決される。ここでは、少なくとも一本の、その上を車両が走る確率が高い軌道が割出される。該軌道は、３Ｄカメラの画像データから割出すことができるが、これは、他の方法でも可能であり、いずれにせよ該方法には、３Ｄカメラの画像データとの比較を可能にする割り出された軌道の位置特徴が与えられる。

３Ｄカメラの画像データからは、該軌道上（空）にオブジェクトが認識されるか否か、これが地面と一か所、或いは、複数個所において、接続を有しているか否かが、割り出される。

車両軌道内、或いは、その近傍にあるオブジェクトも障害物候補として割出され、これらのオブジェクトが、軌道上空で接合されているか否かも割出されることが可能である。

更には、軌道範囲内では地面との接続を有することができない車線上空に「ぶら下がっている」オブジェクトに関しても、検知可能である。

該当するオブジェクトの場合は、軌道に従って通過する、オブジェクトと車線の間の面（以下、進入面とも称する）の寸法と形状が、画像データから割り出される。形状の割出は、３Ｄカメラのオブジェクト・データ、空間データ、画像データ、及び／或いは、不一致性データに加えて実施でき、面の正確な寸法の割出しの出発点として用いることができる。

但しこの方法は、画像領域の閉じられた進入面を有するオブジェクトに限定されるものではない。路面上空にぶら下がっている、橋げたが３Ｄカメラの視野外にあると言う理由から、画像範囲内では地面との接続を有していないオブジェクトが認識された場合、オブジェクトと路面の間の画像内に写っている（部分）面のみが測定され、その形状が検知される。同様のやり方は、例えば、非常に高い橋など、側方の橋脚のみが写っている場合にも実施可能である。

進入面の寸法と形状の検知の精度向上は、３Ｄカメラのデータと、例えば、超音波、ライダー、レーダーと言った他のセンサー類のデータを融合することによるセンサー・フュージョンによって好ましく実施できる。

進入面の寸法と形状を車両のそれと比較することにより、該オブジェクトを通過可能であるかが判断される。即ち、それに沿って走れば車両がオブジェクトとは衝突しない、正確な通過軌道、或いは、通過回廊を割出すこともできる。

この情報は、好ましくはドライバーに、伝えることもできる。該ドライバーは、入口でサポートを受けたり、或いは、車両は、通過が可能な場合には、自動的に該オブジェクト内に操縦されることも可能であろう。

逆に通過が不可能である場合、ドライバーに警告を発したり、或いは、車両操作に介入することも可能である。

なお、本発明では、通過面の寸法、並びに、特に好ましくは、その形状を正確に割出すことにより、車両の全高が、オブジェクトの最大通過高以下であっても、車両が、通過形状に合わないことを検知することも可能になっている。これには、例えば、断面が四角いドラックが、円形のトンネルに、要するに、側方の高さが低すぎるトンネルに進入しようとしているケースが該当する。

好ましい実施形態では、進入面に加え、通過予定のオブジェクトと道路表面の間の空間の寸法と形状も、画像データから割り出される、或いは、推定される。これは、３Ｄカメラの画像データを用いることで可能である。通過可能な空間の一部が、画像データ上で隠れている場合は、存在しているデータから実際の空間の形状および寸法を推定できる。

通過予定の面、或いは、空間の割出しは、３Ｄカメラの画像データから得られる深度マップ、特に好ましくは、不一致性マップによって実施されることが好ましい。

該深度マップ、或いは、不一致性マップからは、進入面、及び／或いは、通過可能な空間のエッジが好ましく検知できる。

代案的に、進入面の該エッジは、画像データからエッジ認識するためのアルゴリズム、例えば、ＣａｎｎｙオペレーションやＳｏｂｅｌオペレーションなどによっても検知可能である。

本発明の好ましい発展的実施形態によれば、深度マップからの進入面、或いは、通過可能空間の寸法と形状の割出しは、画像点の輝度評価、或いは、色評価によるエッジ認識からのそれと、組み合わせることができる。

通過予定の面、或いは、空間の寸法と形状は、３Ｄカメラの複数の画像のシーケンスから好ましく割出すことができる。これにより、例えば、当初隠れていたトンネルの空間的形状は、トンネルへの進入に伴い更新され、寸法に関しては、完全なものへと充実させることができる。

通過予定の面、或いは、空間の寸法と形状は、特に好ましくは、３Ｄカメラの動きを考慮しつつ、自車両の動きから割り出すことが可能である。

そのためには、例えば、光学的フロー手法などによる３Ｄカメラの画像データからの３Ｄシーン・レコンストラクション（再現）が、好ましく実施可能である。

好ましくは、オブジェクトの、車両、或いは、３Ｄカメラから最も近い空間点の割出しは、異なる高さセグメントにおいて、進入面の、例えば、長方形の部分では、空間点は、鉛直に重なっていると言う仮定に基づいて、実施されることが好ましい。

この際、測定された、車両の、或いは、軌道の縦方向、並びに、横方向の間隔には、異なる加重を施すことができる。

該３Ｄカメラとしては、ステレオ・カメラやＰＭＤ（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ）カメラやＰＭＤセンサーが好ましく採用される。

本発明は、更に、車両があるオブジェクトを通過可能であるかを判断するための装置も包含する。該装置は、車両前方にある周辺部の少なくとも一枚の画像を撮影するための３Ｄカメラを包含している。更に、該装置は、車両が高い確率で動くであろう少なくとも一本の軌道を割出すための手段も包含している。該軌道上（空）にオブジェクトが存在するか否か、また、これが、一本或いは、複数の地面との接続を有しているか否かを、３Ｄカメラの画像データから割出す手段も設けられている。

最後に、オブジェクトと車線の間の面、或いは、空間の寸法、並びに、形状を画像データから割出し、オブジェクトの通過が可能であるかを判断する手段も設けられている。

以下、本発明を、図面と実施例に基づいて詳しく説明する。

その進入面が弓状で、その内部における道路の成り行きがカーブであるトンネルの図 その上を車が数台通過している車線上空の橋の図

図１には、弓状の進入面を有するトンネルが示されている。ここで明らかなように、車両の最大通過高は、複数の観点に依存している：即ち、車両の全高（最大値）だけでなく、車両の形状（高さのプロファイル）にも、車両の幅にも、車両のトンネル内における左右方向の位置にも依存している。

トンネルの弓状の進入面は、略鉛直なトンネル入り口の左端（ａ）と右端（ｂ）と、湾曲したトンネル入口の上端（ｃ）によって定義される。

トンネルの内部空間、即ち、通過可能な空間は、トンネル壁とも称されるトンネル内部の左端（ｂ）と右端（ｆ）、並びに、トンネル天井（ｅ）（言い換えれば、トンネル内部の上端）によって定義される。車線（ｇ）は、トンネル内でカーブを描いている。よって、トンネル内部空間は、これに相当して、縦方向に湾曲している。通過予定の（トンネルの）空間の形状は、トンネルの内部空間によって定まり、下方へは、道路表面（ｇ）によって制限されている。

進入面のエッジは、トンネル入り口の縁（ａ，ｂ，ｃ）とトンネル内部の縁（ｄ，ｆ，ｅ）の間にある。尚、進入面の下のエッジは、トンネル入り口の上記エッジによって定義された面が、道路表面（ｇ）と交わる場所として定義される。

３Ｄカメラの画像データから、（進入）面のみならず、通過予定の空間の形状と寸法を割出すことができる。

これらを割出すことにより、例えば、以下のような機能を実現できる：
− 車線上（空）の橋、或いは、トンネルの認識
− 車両が、その時点において、（進路が、全ての方向から制限されている）トンネル内を走行していることの認識
− ナビゲーションの、操車（駐車など）の、並びに、狭い道への、パーキングへの、ゲートへの、ガレージへの進入のサポート
− 例えば、ガレージ、入り口、狭い道、ゲート通過、橋の通過など狭い場所への自動的な進入
− 一つの、或いは、複数のオブジェクトと車線の間の面、或いは、空間の形状を測定することにより、事故や損傷を回避することが可能になる。この際、ドライバーへの警告、車両操作への介入、例えば、自動ブレーキが実施できる。

図２には、その上を車が数台通過している車線上空の橋が示されている。車線近くでは、橋は、地面との接続を有していない。しかし、双方の橋脚は、車線上（空）でつながっている。通過幅、及び、通過高は、例えば、ステレオ・カメラなど３Ｄカメラによって割出すことができる。ステレオ・カメラの視野が狭い場合、画像上には、橋脚が含まれないため、橋は、視野範囲内には、地面との接続を有していない。このようなケースでは、画像データから、橋の下の通過高を問題なく割出すことができる。

従来の技術でも原理的には、割出しは可能であり、通常、十分であるが、シチュエーションによっては、問題が起こり得る：例えば、橋の下の地面が、例えば、路面にもの（図２には、図示せず）があることにより、部分的に競り上がっているいる場合などである。これにより、最大通過高が、短縮され、事故につながる危険性がある。ステレオ・カメラを用い、本件方法によれば、橋の下面と路面の間の空間を正確に測定でき、車線上の局所的な競り上がり（或いは、橋下面の低下）も考慮することができる。

Claims (13)

1. ３Ｄカメラにより、車両前方に横たわる周辺部の少なくとも一枚の画像を撮影する；
   少なくとも一本の、その上を車両が走る確率が高い軌道を割出す；
   ３Ｄカメラの画像データから以下：
   − 軌道上（空）にあるオブジェクトが存在するか否か、並びに、
   − これが、地面と一本、或いは、複数本の接続を有しているか否かを割出す；
   更にこれから、オブジェクトを通過することが可能であるか否かを割出す、但し、該画像から該オブジェクトと車線の間の進入面の寸法と形状が割出されることを特徴とする車両があるオブジェクトを通過可能であるかを判断するための３Ｄカメラを用いた方法。
2. 該面に加え、通過予定のオブジェクトと道路表面の間の空間の寸法と形状も、画像データから割り出される、或いは、推定されることを特徴とする請求項１に記載の方法。
3. ３Ｄカメラの画像データから得られた深度マップに基づいて該割出しが実施されることを特徴とする請求項１あるいは２に記載の方法
4. 該深度マップが、不一致性マップであることを特徴とする請求項３に記載の方法。
5. 深度マップから進入面のエッジが割出されることを特徴とする請求項３或いは４に記載の方法。
6. 進入面のエッジを、画像データからエッジ認識のためのアルゴリズムを用いて割出すことを特徴とする先行請求項のうち何れか一項に記載の方法。
7. 深度マップからの進入面の寸法と形状の割出しを、エッジ認識からのそれと組み合わせることを特徴とする先行請求項のうち何れか一項に記載の方法。
8. 通過予定の面、或いは、空間の寸法と形状を、３Ｄカメラの複数の画像のシーケンスから割出すことを特徴とする先行請求項のうち何れか一項に記載の方法。
9. 通過予定の面、或いは、空間の寸法と形状を、３Ｄカメラの動きを考慮した上で割出すことを特徴とする請求項８に記載の方法。
10. ３Ｄカメラの画像データから３Ｄシーン・レコンストラクション（再現）が実施されることを特徴とする請求項９に記載の方法。
11. ３Ｄカメラがステレオ・カメラであることを特徴とする先行請求項のうち何れか一項に記載の方法。
12. 該３Ｄカメラが、ＰＭＤ（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ）カメラであることを特徴とする請求項１から１０のうち何れか一項に記載の方法。
13. 車両前方にある周辺部の少なくとも一枚の画像を撮影するための３Ｄカメラ；
    車両が高い確率で動くであろう少なくとも一本の軌道を割出すための手段；
    ３Ｄカメラの画像データから以下を割出す手段：
    − 軌道上（空）にあるオブジェクトが存在するか否か、並びに、
    − これが、地面と一本、或いは、複数本の接続を有しているか否か；
    並びに、オブジェクトと車線の間の進入面の寸法、並びに、形状を画像データから割出し、オブジェクトの通過が可能であるかを判断する手段
    を包含していることを特徴とする車両があるオブジェクトを通過可能であるかを判断するための３Ｄカメラを用いた装置。

Images