JP2006508437A - 周囲感知システムによって路上車両の前方周囲を検出するための方法 - Google Patents

Abstract

路上車両の運転者を補助するために、周囲感知システムが使用される。このため、周囲データを記録するために光学センサが車両に適用される。計算ユニットによって画像を生成するために、記録された周囲データが処理され、次に、運転者に例えばディスプレイで表示される。さらに、例えば、画像データ内の対象物を識別するために、画像データにさらなる評価を施すことができる。このため、非常に大量のデータを処理しなければならないが、システムでリアルタイム処理を実現するためには、ハードウェアの効率要件が非常に高くなる。したがって、本発明は、簡単なデータ処理によりシステムでリアルタイム処理を実現する方法に関する。個々の認知部分領域で多段評価を実施することによって、また認知領域を走行車線の領域に制限することによって、評価すべきデータ量を著しく低減でき、かつ周囲検出プロセス中にデータを迅速に処理することができる。

Description

本発明は、周囲感知システムによって路上車両の前方周囲を検出するための方法に関する。

運転者補助システム（ドライバーアシスタントシステム）は、車両の運転者を補助するために使用される。特に、本願明細書では周囲感知システムが使用される。このようなシステムは、障害物及び他の危険源について運転者に警告し、交通事故を回避するために使用される。この場合、障害物は主に光学センサによって検出される。このため、昼間及び夜間走行の両方で周囲データを記録するために、ＣＣＤセンサ及び赤外線センサが車両に装着される。記録される周囲データは、センサシステムに接続されたコンピュータユニットによって画像を生成するために処理され、次に、前記データは、例えば運転者にディスプレイで表示される。しかし、例えば、画像データ内の対象物を認知するために、画像データに評価を施すことも考えられる。

特許文献１は、限定された監視領域内の対象物を検出するためのオプトエレクトロニックシステムについて記載している。このため、システムは、車両に対で装着される複数のＬＥＤ送信器及び光受信器を具備する。ＬＥＤ送信器は、パルス式に操作され、プロセス中に監視領域を照らす。次に、監視領域に位置する対象物は、その反射光の結果光素子によって検出される。ＬＥＤ送信器及び受信器は制御ユニットにより操作され、検出された信号は、対象物によって反射される光と周囲光との区別が可能であるように評価される。制御ユニットによって実施される評価は、監視領域の境界を周囲の状態に適合させることができるために選択可能である。例えば、多くのカーブを含む狭い道路を通過するならば、監視領域は縮小する。監視領域の大きさはまた、車両（貨物自動車、乗用車等）の種類に左右されるが、この理由は、死角、したがって監視すべき領域が車両の種類により変化するからである。監視領域の大きさは、システムが、車両の死角に位置し、かつ隣接車線で移動する他の車両を認知できるように規定される。監視領域はまた、隣接車線を検出できるが、例えば、道路標識、フェンス、壁等のような対象物を検出できないように限定される。

特許文献２は、三次元空間を監視するために使用され、少なくとも２つのカメラを具備する監視システムについて記載している。監視すべき１つ以上の部分空間は三次元空間内で規定され、前記部分空間は、例えば、危険な空間又は遮断領域である。２つ以上のカメラが使用されるので、システムは、対象物が監視すべき部分空間に進入するかどうかを検出することができる。監視すべき部分空間はユーザによって図面により規定される。この場合、図面は、少なくとも２つの視界の対象物に関する輪郭を含む。視界は、それらがカメラ配置に対応し、またカメラ配置により、両方のカメラによって同時に１つの対象物を感知できるように選択される。視野内で移動する２つの対象物のために、カメラが同一平面に配列された場合、境界付けられた４つの監視領域の全体がカメラの交差光ビームで表される。この場合、監視領域の大きさは、対象物が移動するにつれて変化する。

運転者の夜間の視覚を補助するためのシステムが、トヨタ自動車会社のインターネットページ（ｗｗｗ．ｔｏｙｏｔａ．ｃｏ．ｊｐ／Ｓｈｏｗｒｏｏｍ／Ａｌｌ ｔｏｙｏｔａｌｉｎｅｕｐ／ＬａｎｄＣｒｕｉｓｅｒＣｙｇｎｕｓ／ｓａｆｅｔｙ／ｉｎｄｅｘ．ｈｔｍｌ）に提案されている。この場合、周囲は、近赤外線範囲で高感度のカメラによって感知され、また周囲は運転者にヘッドアップディスプレイで表示される。ヘッドライトが下げられると、システムは、車両の光ビームの前に位置する識別が困難な道路の経過を示し、ならびに周囲に位置する人間、車両及び障害物を示す。このため、暗視システムで認知できる領域は、下げられたヘッドライトの光ビームに隣接する。認知できる領域は、理想的に約１００ｍにあり、最大約１５０ｍまで延在する。

システムはまた、特に、ハイビームで移動することが不可能である状態において、遠方の視界のための補助として使用される。車両がハイビームで走行しているとき、システムは、直接の視力で認知困難な対象物を結像することによって、前進情報を運転者に提供する。近赤外線ビームを使用することによって、システムは、道路の状態、道路に落ちた対象物及び道路に関する他の情報を示すことができる。このため、暗視システムで結像できる領域は、約１８０ｍの範囲を有すると規定されるハイビームの光ビームに隣接する。結像できる領域は、理想的に２００ｍであり、最大約２５０ｍにあると規定される。

このようなシステムが動作しているとき、評価すべきデータのこのような大きな量は実際の状態下では非常に不利である。したがって、リアルタイム処理を達成するために、ハードウェアの効率に対する要件は、非常に高い。この理由のため、周囲を検出するためのシステムに、今まで非常に複雑かつ同様に非常に高価な特別のハードウェアが使用されてきた。

米国特許第６２０１２３６Ｂ１号明細書 英国特許出願公開第２３５２８５９Ａ号明細書

したがって、本発明は、システムのリアルタイム処理を単純なデータ処理によって実現する、周囲感知システムを使用して路上車両の前の周囲を感知し、かつ車両の前に位置する対象物を検出する方法を提供する目的に基づく。

この目的は、本発明により請求項１の特徴を有する方法によって達成される。本発明の有利な改良及び発展形態は、従属請求項に開示されている。

本発明によれば、方法は、周囲感知システムを用いて路上車両の前方周囲を検出するために使用される。この例では、周囲感知システムは、特に、赤外線暗視システムであり得る。周囲データを検出するために、システムは少なくとも１つの周囲センサを具備する。前記センサは、例えば、立体カメラシステム、カメラと関連したレーダセンサ、赤外線レーザとカメラとの組み合わせ、あるいはカメラと組み合わせた超音波センサでもよい。周囲センサによって感知された周囲データ内の対象物は、センサデータを処理することによって検出される。この場合、対象物が認知される領域は、当該領域が、カメラによって感知される領域の構成領域に対応するように構成される。認知領域は、本発明に従って複数の構成領域に分割される。このような認知構成領域への分割のため、次に、周囲データに特定の評価を施すことが可能である。例えば、近領域の評価は、より遠い領域におけるよりも高い優先性で実施される。異なる認知領域のために、異なる計算能力、例えば複雑な多段アルゴリズムを利用可能とすることも考えられる。

認知領域が、認知領域の複数の構成領域に分割される前に、本発明に従って車線検出も実施される。車線の経過を決定するために、画像処理方法を使用することが有益であることが分かっている。しかし、ナビゲーションシステムの情報に基づき車線を決定することも考えられる。車線は、周囲の感知画像に直接含め、運転者に表示することができる。

本発明は、標準ハードウェアを使用して、リアルタイムで可能な前方を見通す周囲検出の実行を可能にする。一方で、個々の認知構成領域内の特定の評価によって、他方で、認知領域を車線の領域に制限することによって、評価すべきデータ量が著しく低減され、したがって、周囲を検出するためのデータの急速処理が可能になる。

本発明の１つの有益な構成において、車線を境界付けるために、予め規定された別の許容領域も加えられるように、認知領域が制限される。認知を車線に制限することのみならず、個々の認知構成領域について、車線の隣の許容領域の評価を実施することも可能である。この結果、道路標識、人間等のような道路の縁部に位置する対象物を認知構成領域内で感知し、このように、個々の構成領域に関し具体的に評価することができる。許容領域は、周囲の感知画像に含めることができる。

対象物の認知は、例えば、人による評価のために、画像処理システムによって周囲データがディスプレイに表示されるように、前記画像処理システムによって実施することができる。代わりに、自動評価のために、コンピュータによって補助された認知を実施することが適切である。センサデータ処理方法に基づく方法は、特に自動的な対象物認知に適切である。周囲センサが、例えば、カメラを感知するならば、周囲データを処理するための画像処理方法が適切であることが有利である。このために、従来技術から多数の方法、例えばテンプレートマッチング、エッジベース又は輪郭ベースの方法が知られている。本発明による方法は、画像処理方法と関連して特に有利であるが、この理由は、異なる認知構成領域に現れる対象物の大きさを前もって十分に推定できるからである。このように、画像処理アルゴリズムを個々の各認知構成領域に最適に適合させることができる。例えば、テンプレートマッチング方法が使用する場合、小数のテンプレートで、認知構成領域内で動作することが可能であり、ほぼ同一の対象物の大きさ及び対象物の種類が提示される。小数のテンプレートを使用することにより、対応する速度で方法を処理することが可能である。

認知領域で評価を実施するために、対象物分類を実施することも考えられる。この場合、主に誤警報を最小にするために、対象物分類を単独で又はさらに他の方法と組み合わせて使用できる。特に、実例からの学習に基づく分類方法の場合、異なる認知構成領域用に異なる分類器を適合させることが可能である。分類器の適合のために、異なる認知構成領域用に異なる学習サンプルが生成される。本願明細書では、認知構成領域用の学習サンプルは、パターンの対象物の種類が認知構成領域内でも実際に現れることができるこのようなパターンのみを含む。例えば、道路標識は車線内でなく、むしろ車線の縁部に現れる。認知構成領域内の学習サンプルのパターン用のスケーリングは、パターンの数が小さくあり得るように十分に予測することができる。

例えば、分類に基づき、画像処理によってそこに検出された対象物を点検して、対象物が実際に障害物であるか、あるいは交通場所内に通常現れることがあり、かつ危険、例えば接近する交通を構成しない他の対象物であるかどうかを決定することが可能である。

本発明の別の有利な改良形態において、画像処理方法又は分類方法によって認知される対象物からの距離が決定される。このように、運転者は、例えば危険又は障害物について適時に警告を受けることができる。この場合、対象物からの距離は、距離測定センサを用いて、例えばレーザセンサ又はレーダセンサで測定することができる。しかし、対象物からの距離は、周囲感知の画像データを参照して決定することもできる。認知された対象物と認知構成領域との間の関係を参照して、距離を決定することも考えられる。

対象物を検出するために、距離測定方法及び速度測定方法ならびに分類方法の組み合わせを使用することが可能である。追跡方法を使用することによって、対象物の移動方向及び移動速度の両方を検出できるように、認知領域の評価を実施することが可能である。特に、横方向の移動の差を十分に認知できる方法が使用される。例えば、突然現れる障害物又は移動して出る車両が運転者に示される。

本発明による方法は、他の車両内部システムに対して作用するために、車両の安全システムと関連して使用できることが特に有利である。例えば、衝突を回避するために、制御信号をＡＣＣ用途の制御ユニットに伝送することができる。信号はまた、例えば予めエアバッグを作動するために、安全装置に伝送することができる。

本発明の模範的な実施形態について、図面を参照して以下に詳細に説明する。

図は、周囲感知システムによって路上車両（１）の前方周囲を検出するために、一例として、本発明による方法を使用する交通場所を示している。この場合、車両は、複数の車線（２）を有する道路に位置する。周囲感知カメラによって結像される領域の境界（６）は、車線境界（３）を越えて延在する。この場合、システムの認知領域は、カメラによって結像できる領域の構成領域のみを含むように意図される。認知領域はまた、周囲データに多段評価を施すために、複数の構成領域（Ａ〜Ｄ）に分割されるように意図される。本例では、認知領域は、車線境界（３）内に位置する領域に制限される。同様に、例えば、この領域の道路標識を認知するために、認知領域に加えて別の許容領域（５）が加えられる。中央マーキング（４）も含まれるならば、例えば、図に示したような２つの車線（２）がある場合、最高４つの認知構成領域（Ｃ１〜Ｃ４）が互いに並んで生成される。したがって、互いに並んで位置する認知構成領域の数を車線（２）の数と共に増加することが考えられる。

周囲感知システムによって路上車両の前方周囲を検出するために、一例として、本発明による方法を使用する交通場所を示した図である。

符号の説明

１ 周囲センサシステムを有する路上車両
２ 車線
３ 車線境界
４ 中央マーキング
５ 許容領域
６ カメラの結像領域の境界
Ａ１〜Ｄ４ 認知構成領域

Claims (8)

1. 周囲感知システム、特に赤外線暗視システムによって路上車両の前方周囲を検出する方法であって、周囲データが周囲センサによって感知され、前記周囲センサによって感知された前記周囲データ内の対象物が、該データを処理することによって検出され、前記対象物が検出される認知領域が、前記周囲センサによって感知された領域の構成領域に対応する方法において、
   前記認知領域が複数の構成領域に分割され、該構成領域の各々に特定の評価が施されることを特徴とする方法。
2. 前記認知領域が、前記認知領域の複数の構成領域に分割される前に、続いて前記認知領域を車線に制限するために、車線検出が画像処理方法によって実施されるかあるいは車線がナビゲーションシステムのデータによって規定されることを特徴とする請求項１に記載の方法。
3. 前記車線を境界付けるために、予め規定された別の許容領域も加えられるように、前記認知領域が制限されることを特徴とする請求項２に記載の方法。
4. 前記認知領域で評価を実施するために、画像処理方法によって対象物の認知が実施されることを特徴とする請求項１〜３のいずれか１項に記載の方法。
5. 前記認知領域で評価を実施するために、誤警報を排除するため分類方法によって対象物の分類が実施されることを特徴とする請求項１〜４のいずれか１項に記載の方法。
6. 前記認知領域の評価のために、障害物に関する情報を適時に提供できるように、検出された対象物からの距離が決定されることを特徴とする請求項４又は５に記載の方法。
7. 追跡方法によって前記認知領域で評価を実施するために、対象物の移動方向が車両自体の移動に対応するかどうかを認知するため、前記対象物の移動が感知されることを特徴とする請求項１〜６のいずれか１項に記載の方法。
8. 他の車両内部システムに対して作用するために、路上車両の安全システムとしての請求項１〜７のいずれか１項に記載の方法の使用。

Images