JP2018501543A - 現在存在する走行状況を特定するための方法及び装置 - Google Patents

Abstract

本発明は、車両が現在置かれている、現在存在する走行状況を特定するための方法に関し、当該方法は、検出された車両周辺環境に基づく周辺環境データを受信するステップと、パターン認識を用いて周辺環境データから特徴を抽出するステップと、パターン認識を用いて抽出された特徴に排他的に基づいて、現在存在する走行状況の分類を実施するステップと、分類の結果を提供するステップとを含む。さらに本発明は、対応する装置、対応するシステム、及び、コンピュータプログラムに関する。

Description

本発明は、車両が現在置かれている、現在存在する走行状況を特定するための方法及び装置に関する。本発明はさらに、対応するシステム、及び、対応するコンピュータプログラムに関する。

背景技術
運転者支援システム及び今後の自動化された走行機能は、それらが確実に機能しなければならない特定の使用領域のためにだけ設計されている。実際の走行状況又は現在の走行状況において、１つの機能がそのシステムの限界内で機能し得るのかどうかとと共に確実に起動可能であるかどうかの判断は、平均的な運転者にとって、機能の数の増加に伴って益々困難になっている。それ故、この判断を運転者から取り去り、手に負える状況が存在する場合にのみ、機能を起動することが合理的である（例えば、実際に渋滞が存在する場合にのみ渋滞支援システムを起動すること、工事現場内でのみ工事現場支援システムを起動すること、駐車場／パーキングビル内でのみ操作支援システムを起動することなど）。

高度に自動化された走行用システムにおいては、安全上の理由から（但し常習レベルの運転者は除く）システム限界外での起動は絶対に回避しなければならない。従って、実際の走行状況の信頼性の高い特定のための方法は、自動化された走行を実施するためのキーテクノロジーである。

発明の開示
従って、本発明が基礎とする課題は、車両が現在置かれている、現在存在する走行状況を特定するための方法を提供することに見出すことができる。

また本発明が基礎とする課題は、対応する装置を提供することに見出すことができる。

さらに本発明が基礎とする課題は、対応するシステムを提供することに見出すことができる。

さらに本発明が基礎とする課題は、対応するコンピュータプログラムを提供することに見出すことができる。

これらの課題は、独立請求項の各態様を用いて解決される。本発明の好ましい実施形態は、それぞれの従属請求項の態様である。

一態様によれば、車両が現在置かれている、現在存在する走行状況を特定するための方法が提供され、この方法は、
検出された車両周辺環境に基づく周辺環境データを受信するステップと、
パターン認識を用いて周辺環境データから特徴を抽出するステップと、
パターン認識を用いて抽出された特徴に排他的に基づいて、現在存在する走行状況の分類を実施するステップと、
分類の結果を提供するステップと、
を含む。

さらなる態様によれば、車両が現在置かれている、現在存在する走行状況を特定するための装置が提供され、この装置は、
検出された車両周辺環境に基づく周辺環境データを受信する通信インタフェースと、
パターン認識を用いて周辺環境データから特徴を抽出し、かつ、パターン認識を用いて抽出された特徴に排他的に基づいて、現在存在する走行状況の分類を実施する処理装置と、を備え、通信インタフェースは分類の結果を提供するように構成されている。

この装置は、それに伴い、現在存在する走行状況の分類を実施するので、この装置は、例えば分類器とも称され得る。

さらに１つの態様によれば、車両が現在置かれている、現在存在する走行状況を特定するためのシステムが提供され、このシステムは、
本発明による装置と、
車両周辺環境を検出する周辺環境センサシステムであって、検出された車両周辺環境に基づいて周辺環境データを特定し、装置に送信するように構成されている周辺環境センサシステムと、
提供された結果に基づく、車両の少なくとも一部自動化された誘導のための制御装置と、
を備えている。

さらに１つの態様によれば、コンピュータプログラムが、コンピュータ上で実行されるときに、本発明による方法を実施するためのプログラムコードを含むコンピュータプログラムが提供される。

従って、本発明は、特に、現在存在する走行状況の分類を、パターン認識を用いて抽出された特徴に排他的に基づいて実施する考察を含む。これは、次のような状況、即ち、そこから実際の運転状況、例えば「交通信号の待機」、「渋滞中の走行」なども導出するために、自己車両とも称され得る自車両に対する他の交通参加者との関係、例えば「距離ｘを伴う先行走行」、「隣接車線の走行」、「駐車中」などの記述を試みる状況、の分類のための既存のアプローチとは対照的である。これらの情報、即ち、自己車両に対する他の交通参加者とのこれらの関係は、検出された車両周辺環境のパターン分析に基づいてしか特定することはできない。しかしながら、それとは対照的に本発明によれば、複数の特徴の抽出のためのパターン認識だけを実施することが想定される。検出された車両周辺環境からさらに別の情報を抽出するためにそれを越えたパターン分析は、本発明によれば不要である。つまりパターン認識を用いて抽出された特徴で十分である。パターン認識は、通常は、パターン分析よりも迅速にかつ簡単に実施可能である。その点において、本発明によるステップは、ほとんどリアルタイムで実行できる。つまり車両の走行中又は運転中に実施できる。従って、（パターン分析に基づく）シーン解釈のための公知の方法に比べて大幅に低減された計算機コストが必要となるだけであり、このことは車両におけるオンライン使用のために非常に重要である。同時に、周辺環境データ上での直接の分類は、分類品質を好ましい方法で格段に向上させ得る。

従って、本発明は、シーン内の個々の対象を記述するステップ、つまり検出された車両周辺環境内の個々の対象を記述するステップをスキップして、既存の周辺環境モデルに対して直接、状況分類を実施している。この手順は、本発明による次のような考察を基礎としている。即ち、全体状況の分類のために、つまり車両が現在置かれている目下の走行状況の分類のために、例えば「渋滞中の走行」、車両周辺環境内での個々の車両の正確な特性、位置又は意図などが必要なのではなく、これらの情報が既にシーン内の実質的に一般的な特徴、例えば車両の数、車両の絶対速度などを関係付けることができるという考察である。これらの一般的な特徴は、検出された車両周辺環境からのパターン認識を用いて有利に抽出することができる。

一実施形態によれば、周辺環境センサシステムが形成されることが想定される。この周辺環境センサシステムは、例えば車両周辺環境を検出する１つ以上の周辺環境センサを含む。複数の周辺環境センサは、特に同一に形成されているか、又は好ましくは異なって形成されている。１つの周辺環境センサは、以下の周辺環境センサ、例えばレーダセンサ、レーザセンサ、ライダセンサ、超音波センサ及びビデオセンサである。

一実施形態によれば、車両が、複数の周辺環境センサを有する周辺環境センサシステムを備え、周辺環境センサは、それぞれ車両周辺環境を検出し、各検出された車両周辺環境に対応する個々の周辺環境センサデータを提供し、個々の周辺環境センサデータは相互に融合され、それによって融合された周辺環境センサデータが特定され、融合された周辺環境センサデータに基づいて周辺環境データが特定されることが想定される。

即ち、複数の周辺環境センサの既存のもとでは、個別センサのデータではなく、特に全ての周辺環境センサの融合結果が、分類のための入力量として使用又は利用される。これにより、好ましい方法で分類の精度が向上され得る。というのもそれによって、例えばこれらの周辺環境センサは、車両周辺環境の検出に関するそれらの場合によっては既存の個々の弱点を、相互に補償することができるからである。

別の実施形態によれば、検出された車両周辺環境に基づいて、複数のセルを含む占有グリッドが特定され、複数のセルは、それぞれ占有確率を示しており、周辺環境データは、各占有確率に基づいて特定されることが想定される。

複数のセルのグリッド状の配置構成によって、周辺環境データは、画像データと同じ形状を示し、それにより、特に有利な方法で、複数の画像からのシーン分類法の入力量として直接使用又は利用することができる。これは、有利な方法で計算機コストも削減する。特に計算時間が短縮される。

一実施形態によれば、占有確率は、融合された周辺環境センサデータに基づいて特定され、周辺環境データは、各占有確率に基づいて特定されることが想定される。周辺環境データは各占有確率に基づき、占有確率は融合された周辺環境センサデータに基づいているので、その点において少なくとも間接的に周辺環境データは、融合された周辺環境センサデータにも基づいている。

別の実施形態では、複数のセルに付加的に、検出された車両周辺環境に基づいて特定されるさらなる特性が対応付けられることが想定される。それによって特に、占有グリッドがさらに良好に車両周辺環境をマッピングするという技術的利点が生じる。このことは最終的に、より正確な分類につながる。

さらなる実施形態によれば、車両は、少なくとも一部自動化された、好ましくは完全に自動化された走行機能を提供するための運転者支援システムを備え、この運転者支援システムは、分類された現在存在する走行状況に対して前記走行機能が使用可能である場合にのみ、車両誘導のために起動されることが想定される。それにより、特に自動化された走行機能が、特定の走行状況においてのみ（例えば駐車場でのみ、高速道路上でのみなど）使用可能であるべき場合に、自動化された走行機能のための起動条件が満たされることが保証されるという技術的利点が生じる。

別の実施形態では、分類は、複数の画像からのシーン分類法に基づいて実施されることが想定される。

一実施形態によれば、このシーン分類法は、いわゆる「ディープラーニング法」である。図６に示されているように、この場合、周辺環境の画像（占有画像）は、全てのセンサに基づいて特定される。特定された画像は、一実施形態によれば、有利な方法で分類のための計算時間を短縮するために縮小される。

さらなる実施形態によれば、分類器が、記録されたデータ（占有画像）（これらは好ましくは状況に応じてラベル化又は分類されている）の一部によってトレーニングされ、その際、さらなる実施形態によってデータの他の部分によって分類器がテストされる。

分類器では、有利な方法で、トレーニング中に分類器によって自主的に特定される固有の特徴が抽出される必要はない。

この種の分類がうまく機能する状況は、例えば、渋滞走行に対する、街道に対する、交差点状況に対する、駐車場状況に対する、又は、市街地走行に対する、高速道路走行である。

この場合、但し必須ではないが、車両の固有の動きを分類のための付加的パラメータとして使用することが可能である。

好ましくは、この方法は、対象と自己車両との間の関係を構築しない。この手順は、本発明による次のような考察を基礎としている。即ち、全体状況の分類のために、例えば「渋滞中の走行」、個々の車両の正確な特性、位置又は意図などが必要なのではなく、これらの情報、つまり分類が、既にシーン内の実質的に一般的な特徴、例えば車両の数（例えば占有グリッド内の占有密度）、絶対速度などを関係付ける又は結び付けることができるという考察である。

通信は、好ましくは通信ネットワーク、例えばＣＡＮバスを介して実施される。特に通信インタフェースは、対応するデータ（例えば周辺環境データ）を、通信ネットワークを介して受信する。特にこの通信インタフェースは、結果を通信ネットワークを介して提供する。この提供とは、特に送信を意味する。

車両の誘導は、一実施形態では、特に車両の長手方向誘導及び／又は横方向誘導を含む。特に一部自動化された誘導、好ましくは完全に自動化された誘導が想定される。

方法に関する実施形態は、装置及び／又はシステムの実施形態から同様に明らかとなり、また、任意の組合せにおいて、それぞれその逆も明らかとなる。即ち、実施形態、特徴及び／又は技術的効果及び／又は技術的利点は、方法、装置又はシステムに関連して説明したように、装置、方法又はシステムに対して同様に当て嵌まる。

以下では本発明を好ましい実施形態に基づいて詳細に説明する。

車両が現在置かれている、現在存在する走行状況を特定するための方法のフローチャートを示した図。 車両が現在置かれている、現在存在する走行状況を特定するための装置を示した図。 車両が現在置かれている、現在存在する走行状況を特定するためのシステムを示した図。 状況分類のブロック図。 さらなる状況分類のブロック図。 ２つの異なる状況に対する占有グリッド内の周辺環境表示のための２つの例を示した図。

図１は、車両が現在置かれている、現在存在する走行状況を特定するための方法のフローチャートを示す。

ステップ１０１では、周辺環境データが受信され、この周辺環境データは、検出された車両周辺環境に基づいている。例えばこの車両周辺環境は、周辺環境センサシステムを用いて検出されることが想定される。ステップ１０３では、周辺環境データから特徴が抽出される。これはパターン認識を用いて行われる。その後、ステップ１０５では、現在存在する走行状況の分類が行われる。これは、パターン認識を用いて抽出された特徴に排他的に基づいている。即ち、分類に対して、周辺環境データのパターン分析は実施されない。ステップ１０７では、分類の結果が提供される。

図２は、車両が現在置かれている、現在存在する走行状況を特定するための装置２０１を示す。

この装置２０１は、検出された車両周辺環境に基づく周辺環境データを受信する通信インタフェース２０３を含む。この装置２０１はさらに、パターン認識を用いて周辺環境データから特徴を抽出し、かつ、パターン認識を用いて抽出された特徴に排他的に基づいて、現在存在する走行状況の分類を実施する処理装置２０５を含む。通信インタフェース２０３は、分類の結果を提供するか又は送信するように構成されている。

図３は、車両が現在置かれている、現在存在する走行状況を特定するためのシステム３０１を示す。

このシステム３０１は、図２による装置２０１を含む。さらにこのシステム３０１は、車両周辺環境を検出する周辺環境センサシステム３０３を含む。この周辺環境センサシステム３０３は、検出された車両周辺環境に基づいて周辺環境データを特定し、装置２０１に送信するように構成されている。そのため、そのようにして装置２０１の通信インタフェース２０３は、この周辺環境データを受信して、後続処理することができる。このシステム３０１はさらに、提供された結果に基づく、車両の少なくとも一部自動化された誘導、好ましくは完全に自動化された誘導のための制御装置３０５を含む。

車両の誘導は、特に車両の長手方向誘導及び／又は横方向誘導を含む。

図４は、画像ベースの状況分類のブロック図を示す。

センサ４０１は、周辺環境センサシステム３０３である。このセンサ４０１は、例えばビデオセンサである。センサ４０１は、車両周辺環境を検出する。ビデオセンサの場合には、これはビデオ画像である。この検出された周辺環境は、符号４０３によって象徴的に表されている。この検出された周辺環境４０３は、その後、複数の画像内でのシーン分類法を用いた画像ベースの状況分類を実施するために用いられる。この目的のために、検出された周辺環境４０３は、より正確にはそれに基づく周辺環境データは、装置２０１に供給される。この装置は、検出された車両周辺環境から、即ち、例えばビデオ画像から、パターン認識を用いて特徴を抽出する。現在存在する走行状況の分類は、装置２０１により、パターン認識を用いて抽出された特徴に排他的に基づいて実施される。その後、分類の結果が提供される。この分類の結果は、例えば、高速道路走行４０５、渋滞走行４０７、交差点での走行４０９、及び、パーキングビル内の走行４１１であってもよい。

図４の実施形態によれば、個別の周辺環境センサを用いた車両周辺環境の検出は、複数の特徴の抽出のために用いられる。即ち、換言すれば、個別の周辺環境センサからは、複数の特徴が抽出され、これらの抽出された特徴に基づいて、推定すべき様々な走行状況への分類が実施される。

従って、装置２０１は、最終的に、現在存在する走行状況の分類を実施するので、この装置２０１は、例えば分類器と称することも可能である。

図５は、複数の画像内でのシーン分類法を用いた占有グリッドに基づくさらなる状況分類のブロック図を示す。

ここでは、周辺環境センサシステム３０３は、複数のセンサ４０１，５０１，５０３を含む。センサ４０１は、例えばビデオセンサである。センサ５０１は、例えばレーダセンサである。センサ５０３は、例えば超音波センサ又はライダセンサである。これらの複数の周辺環境センサ４０１，５０１，５０３の既存のもとでは、好ましくは個別センサのセンサデータが使用されるのではなく、それどころか全てのセンサ４０１，５０１，５０３の融合結果が、分類の結果として、つまり装置２０１に対する入力量として使用される。即ち、周辺環境センサ４０１，５０１，５０３は、それぞれ車両周辺環境を検出し、検出された各車両周辺環境に対応して個々の周辺環境センサデータを提供する。個々の周辺環境センサデータは相互に融合され、それによって融合された周辺環境センサデータが特定される。周辺環境データは、融合された周辺環境センサデータに基づいて特定される。この周辺環境データは、その後、装置２０１に提供される。融合は、ブロック５０５において実施される。融合された周辺環境センサデータは、占有グリッド５０７の算出のために用いることができ、この占有グリッド５０７は、それぞれが占有確率を有する複数のセルを含む。つまりここでは、周辺環境表示は、占有グリッドの形態で想定され、そこでは車両周辺環境全体が、占有確率と、例えば任意のさらなる特性、例えばセルの速度とを有する複数のセルの形態で示されている。占有グリッドの複数のセルの格子状の配列によって、これらのセルに対応付けられたデータは、画像データと同じ形状を示し、それによって、複数の画像からのシーン分類法に対する入力量として直接使用することができる。つまりここでは本発明によれば、分類が、そのような複数の画像からのシーン分類法を用いて実施されることが想定されている。分類の結果は、例えば図３と同様に、次のもの、即ち、高速道路走行４０５、渋滞走行４０７、交差点での走行４０９、及び、パーキングビル内の走行４１１である。

図６は、２つの異なる状況に対する占有グリッド内の周辺環境表示のための２つの例を示す。

符号６０１及び６０３は、それぞれ周辺環境を示す占有グリッドを示している。さらに周辺環境内の対象を示す矢印が書き込まれている。符号６０５の付された矢印は、家屋の壁を示している。符号６０７の付された矢印は、駐車車両を示している。符号６０９の付された矢印は、車両を示している。符号６１１の付された矢印は、周辺開発地域（例えば住宅街）を示している。符号６１３の付された矢印は、堤防を示している。符号６１５の付された矢印は、障害物を示している。占有グリッド６０１及び６０３内の白いエリア又はセルは、占有されているエリア又はセルを特徴付ける。占有グリッド６０１及び６０３内の黒いエリア又はセルは、空きエリア又はセルを特徴付ける。これらの占有グリッド６０１，６０３は、例えば図５の占有グリッド５０７に対する一例である。

要約すると、本発明は、現在存在する走行状況の分類を、周辺環境センサシステムを用いて検出された車両周辺環境に基づいて実施するために、複数の画像からの１つ以上のシーン分類法を用いる考察を含む。そのような方法は、通常は、複数の画像データからの適切な特徴の抽出とそれに続く分類に基づいている。この方法は、有利でかつ簡単な方法において、運転者支援システム及び／又は自動化された走行機能における使用のために直接転用することが可能であり、その際には、例えば個々の周辺環境センサから複数の特徴が抽出され、これらの特徴に基づいて、様々な推定すべき走行状況への分類が実施される（図４のブロック図参照）。特に好ましくは、複数の周辺環境センサの既存のもとでは、個別センサのデータではなく、全ての周辺環境センサの融合結果が、分類の入力量として使用される（図５のブロック図及び対応する実施形態参照）。

従って、これにより、有利な方法で、特に車両が実際に置かれている走行状況の特定、例えば「高速道路上の走行」、「渋滞中の走行」、「交差点での待機」、「駐車場での操作」の特定を実施することが可能となる。この特定は、それによって、有利な方法で車両においてオンラインで行うことが可能であり、つまりほぼリアルタイムで行うことが可能である。前述した方法の使用に基づいて、迅速であると同時に信頼性の高い分類が可能である。そのような方法は、例えば自動化された車両において、車両特性を、実際の走行状況に適合化させるために使用することができ、あるいは自動化された走行機能のための起動条件が特定の走行状況においてしか使用すべきでない場合の（例えば駐車場でのみ、高速道路上でのみなど参照）、当該の起動条件が満たされていることを保証するために使用することができる。上述した使用は、１つの実施形態によっても想定される。

Claims (10)

1. 車両が現在置かれている、現在存在する走行状況を特定するための方法であって、
   検出された車両周辺環境（４０３）に基づく周辺環境データを受信するステップ（１０１）と、
   パターン認識を用いて前記周辺環境データから特徴を抽出するステップ（１０３）と、
   前記パターン認識を用いて抽出された特徴に排他的に基づいて、現在存在する走行状況の分類を実施するステップ（１０５）と、
   前記分類の結果（４０５，４０７，４０９，４１１）を提供するステップ（１０７）と、
   を含むことを特徴とする方法。
2. 前記車両は、複数の周辺環境センサ（４０１，５０１，５０３）を有する周辺環境センサシステムを備え、前記周辺環境センサ（４０１，５０１，５０３）は、それぞれ前記車両周辺環境（４０３）を検出し、各検出された前記車両周辺環境（４０３）に対応する個々の周辺環境センサデータを提供し、前記個々の周辺環境センサデータは相互に融合され、それによって融合された周辺環境センサデータが特定され、前記融合された周辺環境センサデータに基づいて周辺環境データが特定される、請求項１に記載の方法。
3. 検出された前記車両周辺環境（４０３）に基づいて、複数のセルを含む占有グリッド（５０７）が特定され、前記複数のセルは、それぞれ占有確率を示しており、前記周辺環境データは、各占有確率に基づいて特定される、請求項１又は２に記載の方法。
4. 前記占有確率は、前記融合された周辺環境センサデータに基づいて特定され、前記周辺環境データは、前記各占有確率に基づいて特定される、請求項２及び３に記載の方法。
5. 前記複数のセルに付加的に、検出された前記車両周辺環境（４０３）に基づいて特定されるさらなる特性が対応付けられる、請求項３又は４に記載の方法。
6. 前記車両は、少なくとも一部自動化された走行機能を提供するための運転者支援システムを備え、前記運転者支援システムは、分類された現在存在する走行状況に対して前記走行機能が使用可能である場合にのみ、車両誘導のために起動される、請求項１乃至５のいずれか１項に記載の方法。
7. 前記分類は、複数の画像からのシーン分類法に基づいて実施される、請求項１乃至６のいずれか１項に記載の方法。
8. 車両が現在置かれている、現在存在する走行状況を特定するための装置（２０１）であって、
   検出された車両周辺環境（４０３）に基づく周辺環境データを受信する通信インタフェース（２０３）と、
   パターン認識を用いて前記周辺環境データから特徴を抽出し、かつ、前記パターン認識を用いて抽出された特徴に排他的に基づいて、現在存在する走行状況の分類を実施する処理装置（２０５）と、を備え、
   前記通信インタフェース（２０３）は、前記分類の結果（４０５，４０７，４０９，４１１）を提供するように構成されていることを特徴とする装置。
9. 車両が現在置かれている、現在存在する走行状況を特定するためのシステム（３０１）であって、
   請求項８に記載の装置（２０１）と、
   車両周辺環境（４０３）を検出する周辺環境センサシステム（３０３）であって、検出された前記車両周辺環境（４０３）に基づいて周辺環境データを特定して、前記装置（２０１）に送信するように構成されている周辺環境センサシステム（３０３）と、
   提供された結果（４０５，４０７，４０９，４１１）に基づく、車両の少なくとも一部自動化された誘導のための制御装置（３０５）と、
   を備えていることを特徴とするシステム。
10. コンピュータプログラムであって、
    前記コンピュータプログラムが、コンピュータ上で実行されるときに、請求項１乃至７のいずれか１項に記載の方法を実施するためのプログラムコードを含むことを特徴とする、コンピュータプログラム。

Images