JP4327726B2 - 車両の側方周囲の、ビデオベースの監視及び測定のための方法及び装置 - Google Patents

Description

本発明は、路上走行車の側方周囲の、ビデオベースの観測及び測定のための方法及び装置に関する。

初期の市販の運転者支援システムにおいては、適用形態により、走査の解像度と感知される区域の大きさのどちらを重要視するかを考える必要がある。たとえば、レーダセンサシステムについては、ＡＣＣを適用した場合は、水平方向の感知区域を数度に制限しなければならず、駐車支援機能の場合は、超音波を用いて車両近くの周囲を感知する時に、ほんの短い範囲及び解像度しか実装できない。従来のビデオベースのシステムは、解像度と感知範囲の両方を十分に兼ね備えてはいるが、一般に、どのような直接の距離情報も供給しない。

車両自身の移動を用いて、２次元深さのプロファイルデータから３次元の周囲データを得るシステムが、一方で、鉄道路線の鉄道トンネル及び操作に障害がないことを監視することについて、特許文献１及び特許文献２の文献に、他方で、殺虫剤の選択的散布及び大規模農園にある木々を感知することに関連して、特許文献３に提示されている。これらのすべてのシステムにおいては、１組の連続する距離プロファイルを連続して配置することにより、周囲の３次元画像がデータ処理ユニット内で生成される。個々の、順次に記録されたプロファイル間の距離を判断できるようにするために、それぞれ、このシステムが装着されている車両の車輪に、距離センサが配置される。

走査センサが装着されている農業用車両の位置を感知するための装置が、特許文献４に記述されている。ここでは、車両の走路が、全地球航法システム（ＧＰＳ）によって追跡される。しかし、植被の画像を記録するために使用される走査光学センサは、どのような距離情報も供給しないので、路面の２次元地図を得るには、センサ情報項目を連続的に配置しなければならない。

運転者支援システムに、立体カメラシステムがますます用いられるようになってきており、これにより、使用される１対のカメラの、既知の幾何学的な配置に基づいて、対象物の幅を計算的に判断することができる。立体画像処理においては、１対のカメラを用いて、対象物が異なる方向から走査される。次いで、立体カメラシステムと対象物との間の距離が、カメラの位置及び配向と、三角法の原理に基づくカメラのパラメータとを考慮して判断される。

特許文献５では、路上走行車の周囲にある対象物を検出する方法及び装置について開示している。提示されている方法においては、移動車両からの距離は、立体画像の対を評価することによって計算され、検出された対象物の特性が判断される。特に、画像の、距離に基づく区分化が、立体画像処理によって行われる。次いで、対象物の検出プロセスが、区分画像区域内で行われる。

同様のシステムが、特許文献６に記載されており、ここでは、車両内に立体カメラシステムを取り付けるための設備について記述されているが、このシステムは、対象物についての３次元の距離分散を計算するために使用される。しかし、路上走行車内で使用される場合には、先行技術より知られている、このような立体画像処理システムは、カメラの位置及び配向が非常に正確でなければならず、また調整に多大な労力を必要とするので、使用範囲が限られる。さらに、このような設備は、しばしば、毎日使用したり、様々な道路条件下で使用するのに、余り頑強なものであるとは言えない。
特許文献７では、駐車用運転者支援システムについて記述しており、ここでは、車両の周囲にある３Ｄ対象物が、単眼カメラによって検出され、車両からの対象物の各距離が計算される。対象物の距離の計算は、本明細書においては、三角法の原理に基づいており、正確に２つの画像記録によって行われ、判断されるべき対象物は、両方の画像記録内に含まれ、異なる記録位置から記録される。画像情報は、制御された画像記録手段によって記録され、第２の画像記録のための時間が、第１の画像記録の位置に対する車両の線形の位置の差（ΔＤ）について一定の予め定義された閾値により、第１の画像記録後に判断される。車両が前方に移動する時の、線形の位置の差（ΔＤ）及び車両の角度（Ｒ）は、本明細書においては、ステアリング角及び車輪回転情報に応じて取得される。第２の画像記録プロセスは、線形の位置の差（ΔＤ）が、一定の予め定義された閾値に到達するか又はこれを超えた場合に起動される。次いで、線形の位置の差（ΔＤ）及び車両の角度（Ｒ）は、車両の位置に対する対象物の距離を計算する際に使用される。対象物の距離を正確に計算するために、本明細書においては、２つの画像記録の時間が計算内に含まれるので、これらの時間の、正確なカメラ位置を正しく認識することも必要である。

米国特許第４１７９２１６Ａ１号明細書 米国特許第４４９００３８Ａ１号明細書 米国特許第５２７８４２３Ａ１号明細書 米国特許第５８０９４４０Ａ１号明細書 独国特許出願公開第１９９２６５５９Ａ１号明細書 欧州特許出願公開第１０８７２５７Ａ２号明細書 欧州特許出願公開第１０９４３３７Ａ２号明細書

本発明は、車両の側方周囲の、ビデオベースの観測及び測定のための新規な方法を提供する目的に関するものであり、車両は、請求項１及び１５の前文に記載の方法を行うためのセンサシステムを備え、本方法は、高度な機械的耐性を有しており、それ程複雑な調整を必要としない。

本目的は、本発明に従って、請求項１及び１５の特徴を有する方法及び装置によって達成される。本発明の好ましい改良形態及び発展形態が、従属請求項に開示されている。

本発明によれば、車両の側方周囲の観測及び測定は、一方、ディジタル画像を記録するカメラにより、他方、ディジタル画像にタイムスタンプを提供し、かつこれらをバッファ処理するために使用されるデータ処理ユニットにより、主に駐車スペースを検出するために行われる。

特に好ましい方式においては、本装置はまた、このデータに基づいてバッファ処理された画像から画像の複数の対を選択するために、車両自身の移動を感知するためのユニットを具備する。２つの記録時間におけるカメラの位置及び配向を判断するための、さらなる手段が設けられる。したがって、立体画像処理用のアルゴリズムを用いて、画像を対にすることによって、局所３Ｄ深さ画像を生成することができ、記録時間におけるカメラの位置及び配向は、合成立体幾何学に従って考慮される。

本発明の主題の新規な形態により、路上走行車内に設置された場合に、たとえば、車道の縁に対する側方の３Ｄ幾何学的形状などのダイナミックな状況を、活動的でダイナミックに動作している車両の視点から感知できるシステムを初めて設けることができ、これの利点として、駐車中に評価することができる。従来の立体カメラシステムで使用されるものなどの、対のカメラ設備とは異なり、本発明による単眼のカメラシステムは、本発明による方法と合わせて、極めて小さい空間しか必要としないという利点を有する。このようなシステムは、設計態様に関して、車両内に統合するための好ましい解決方法を有し、さらに、第２のカメラを必要としないので、比較的低いコストしかかからないという利点を有する。機械的耐性については、立体カメラより単眼のカメラシステムの方が比較的大きい。１つのカメラシステムによって提供されるさらなる利点は、取付け及び調整の際の複雑さが著しく減少することである。

本発明の１つの有利な実施形態においては、画像を選択して、立体画像処理のための画像の複数の対を形成するために、車両自身の移動、したがって、感知された車輪回転数に基づく距離を判断することが考えられる。路上走行車の移動を感知するためのさらに可能な方法が、主にＧＰＳ（全世界測位システム）と共に動作し、したがって正確な位置についての情報を提供する、移動車両ナビゲーションのためのシステムによって提供される。エンジンデータ、及びステアリングシステム及びブレーキに関係する情報を考慮しつつ、車両自身の移動に関する多量のデータを提供する車両走行力学システムも、路上走行車において、ますます使用されるようになってきている。

特に有利な方式においては、特に低い速度の場合に、画像の複数の対を形成するために選択されるべき画像が、必ずしも、２つの直接連続する画像記録である必要はないということが考えられる。１つの画像の対を形成するための２つの画像記録について、タイムスタンプは、理想的には、車両自身の速度を考慮するための、変換後の時間差が、一定の予め定義された距離（立体ベース）に対応するよう選択されるべきである。しかし、距離（立体ベース）は、２つの画像が記録される時間の現行速度により、０．２ｍ〜１ｍの間の範囲内にあるよう選択されることが好ましい。路上走行車が駐車する時の平均車両速度は、ほぼ１２Ｋｍ／時であるので、２つの画像記録の間の０．１３ｍの範囲に含まれる距離（立体ベース）が理想的である。

本発明のさらに好ましい改良形態においては、記録中にカメラ配向が著しく変化しなかった、バッファ処理された画像の複数の対のみが、さらなる処理のために使用できると考えられる。カメラの配向の変化は、たとえば道路条件が大きく変化している時の、車両の位置の変化によって生じ得る。２つの記録時間の間にカメラの配向が変化すると、立体画像の処理中の立体カメラシステムの調整不良による場合と同様に、さらなる処理中の結果が大きく変わることとなる。

本発明の主題は、画像の複数の対によって取得された、１連の集積された局所３Ｄ深さ表示図から、全域３Ｄ深さ表示図を得るという目的で、特に好ましい方法で使用され得る。この場合、車両の周囲にある同じ地点に割り当てることができる、個々の局所３Ｄ深さ表示図の画像データは、互いに追加され、幾何学的なデータ構造内に格納される。幾何学的なデータ構造は、ここでは、車両の移動方向に従って、新しく追加された画像区域と同じ方向に絶えず拡大される。

本発明のさらに好ましい改良形態においては、全域３Ｄ深さ表示図のために、追加すべき各局所地点の画像データは、集積プロセスの前に重み付けされる。この重み付けにより、集積プロセス中に発生した雑音は、その後、個々の画素にフィルタをかけることによって減少することができる。

１つの特に有利な方法においては、個々の画素にフィルタをかけるための、集積された３Ｄ深さ表示図による重み付け中に表された体積は、個々の体素に分割され、追加すべき画素は、体素間に分散される。すべての体素は、予め定義された均一な体積を、たとえば立方体の形態で含むことが好ましい。

階層データ構造内に、特にツリー構造内に、個々の体素を格納することが好ましい。ツリー構造は、八分ツリーであることが有利である。この場合、八分ツリーを用いて、それぞれのノードが、３Ｄキーにより、８つの部分ツリー（体素）間に、１組の格納された体積を分散する。それぞれの部分ツリーは、さらに細区分される。

個々の体素内の画素数は、各重み付けとして、体素に割り当てられ得ることが有利である。このため、画素のデータに加えて、体素の重み付けもツリー構造内に格納される。

すべての体素の平均重み付けを取得し、したがって全重み付けを判断することが、特に好ましい。さらなる処理において、個々の体素内に含まれる画素を考慮するかどうかを決定するための閾値が、形成される。この場合、割り当てられた体素が、閾値以上の重み付けを有する画素のみが、考慮される。画素を含む体素のみが、全重み付けを判断するために使用されることが好ましい。

本発明の主題は、特に、全重み付けに同調因子を掛けることによって閾値を形成するという目的で、使用され得ることが好ましい。８×３×５ｍ^３の体積及び８セルへの細区分で、駐車シーケンスを検査する場合に、このセルのための７．７の平均重み付けが得られる。したがって、１．５の同調因子で、１画像当たりの画素数を、４６０１３から２９７９２に減少できる。

本発明の範囲内で使用されるカメラは、車両内に既存の、他の画像記録システムの構成要素であるカメラであり得る。

以下、例示的実施形態及び図を参照しながら、本発明について詳細に説明する。

図は、たとえば、路上走行車（１０）の周りの側方周囲の、ビデオベースの観測及び測定のための、本発明による装置を用いた、交通状況を示している。車道の縁に対する、走行中の車両の側方の３Ｄ幾何学的形状の測定は、本明細書においては、駐車スペースを測定するために使用される。駐車車両（４０）、ガードレール（５０）、又は車道の表面から著しく***しているために、その上を走ることができない他の対象物（６０）が、車道の縁に置かれていることがある。

このため、コンピュータユニットと合わせて、単眼のカメラ（３０）が、路上走行車（１０）内に設置される。カメラ（３０）は、光軸と移動方向（２０）との間の角度が、好ましくは９０°となるよう構成される。しかし、カメラ（３０）の可能な配向は、移動方向（２０）に垂直な配向に限定されるものではなく、感知されるべき区域について、移動方向（２０）に対して、４５°〜１３５°の角度の配向を有することがある。全体として車両内に統合する場合の、特に様々な形態を可能にするために、多様なカメラの配向が有利に使用され得る。カメラ（３０）を用いて記録している場合に車両（１０）の移動から得られた画像シーケンスには、コンピュータユニットによりタイムスタンプが提供され、バッファ処理される。立体画像処理用のアルゴリズムが、車両（１０）自身の移動を考慮して、バッファ処理された画像から、駐車スペースの３Ｄ画像を生成するために使用される。この３Ｄ情報に基づいて、定義された駐車指針を考慮しながら、感知された３Ｄ空間が、車両を駐車するのに適しているかどうか、特に、駐車するための十分な空間があるかどうかを決定することができる。

本発明の主題が、道路交通上の他の使用にも適していることは、当業者には自明である。たとえば、本発明はまた、上記に明記した例示的実施形態に類似した方法で、車両と車道の縁との間の横方向の距離を測定し、最小距離を越えた場合に運転者に警告を発する警告システムとして使用する場合に利点を有する。

路上走行車（１０）の側方周囲の、ビデオベースの観測及び測定のための、本発明による装置を用いた交通状況。

Claims (20)

1. 車両の側方周囲を観測及び測定する方法であって、
   一連のディジタル画像が一つのカメラによって記録され、それぞれタイムスタンプが付され、バッファ処理され、
   前記車両自身の移動が感知され、そのデータに基づいて、前記バッファ処理された複数の画像から時系列に重なるようにして立体画像の複数の対が選択され、各対を形成するために選択される画像は、一連のディジタル画像のうちの直接連続する２つの画像ではなく、
   前記立体画像の各対の２つの記録時間における前記カメラの位置及び配向が、判断され、
   局所３Ｄ深さ画像が、立体画像処理用のアルゴリズムを用いて、前記画像を対にすることによって生成され、記録時間における前記カメラの位置及び配向が、合成立体のための幾何学的な配置に従って考慮されることを特徴とする方法。
2. 前記車両自身の移動が、速度、車輪の回転数、ナビゲーション情報、又は車両走行力学システムからのデータに基づいて感知されることを特徴とする請求項１に記載の方法。
3. バッファ処理された画像が、前記画像の記録時間の時間差に対応する距離が予め定義された値に対応するように、画像の対を形成するよう選択されることを特徴とする請求項１あるいは２に記載の方法。
4. 前記予め定義された値が、０．２ｍ〜１ｍの範囲内であることを特徴とする請求項３に記載の方法。
5. 記録中に前記カメラの配向が著しく変化しなかった、バッファ処理された画像のみが、画像の対を形成するよう選択されることを特徴とする請求項３あるいは４に記載の方法。
6. 一連の局所３Ｄ深さ表示図が集積され、前記車両の周囲にある同じ地点に割り当てられ得る、前記個々の局所３Ｄ深さ表示図の画像データが、互いに加算されることを特徴とする請求項１〜５のいずれか一項に記載の方法。
7. 前記画像データが、加算される前に重み付けされることを特徴とする請求項６に記載の方法。
8. 前記集積された３Ｄ深さ表示図によって表された体積が、前記重み付け中に、個々の体素に分割されることを特徴とする請求項７に記載の方法。
9. すべての前記体素が、予め定義された均一な体積に対応することを特徴とする請求項８に記載の方法。
10. 前記体素が、ツリー構造内に格納されることを特徴とする請求項８あるいは９に記載の方法。
11. 前記個々の体素内の各画素数が、重み付けとして、該体素のそれぞれに割り当てられることを特徴とする請求項８〜１０のいずれか一項に記載の方法。
12. すべての前記体素の平均重み付けに対応する重み付けが判断され、該全重み付けが閾値を形成し、これに基づいて、前記個々の体素内に含まれる画素をさらなる処理において考慮するかどうかが決定され、前記画素に割り当てられた前記体素が前記閾値以上の重み付けを有する画素のみが、考慮されることを特徴とする請求項１１に記載の方法。
13. 画素を含む体素のみが、前記全重み付けを形成するために使用されることを特徴とする請求項１２に記載の方法。
14. 前記閾値が、前記全重み付けに同調因子を掛けることによって形成されることを特徴とする請求項１２あるいは１３に記載の方法。
15. 車両の側方周囲の３Ｄ観測及び測定のための装置であって、
    データ処理ユニットに接続された、一連のディジタル画像を記録するためのカメラを具備し、データ処理ユニットにより、前記画像に、タイムスタンプが付され、バッファ処理され、
    前記車両自身の移動を感知するためのユニットが設けられ、
    前記車両自身の移動に基づいて前記バッファ処理された複数の画像から時系列に重なる立体画像の複数の対を形成するために、一連のディジタル画像のうちの直接連続する２つの画像ではない画像を選択する手段が設けられ、
    立体画像処理のためのユニットに接続されることを特徴とする装置。
16. 前記車両自身の移動を感知するための前記ユニットが、速度計、車輪速度計、ナビゲーションシステム、又は車両走行力学システムであることを特徴とする請求項１５に記載の装置。
17. 前記カメラが、移動方向に対して９０°の配向を有することを特徴とする請求項１５あるいは１６に記載の装置。
18. 前記カメラが、移動方向に対して４５°〜１３５°の配向を有することを特徴とする請求項１５あるいは１６に記載の装置。
19. 前記カメラが、前記車両内に既に置かれている画像記録システムの構成要素であることを特徴とする請求項１５〜１８のいずれか一項に記載の装置。
20. 車両と道路の縁との間の距離を測定するための警告システムとして、請求項１〜１９のいずれか一項に記載の装置又は方法を使用する方法。

Images