JP2021508634A - 環境センサの挙動モデル - Google Patents

Abstract

本発明は、運転者支援システムの環境センサの挙動をシミュレーションするために人工神経回路網をトレーニングするためのコンピュータ支援式方法であって、好ましくは以下の作用ステップ、すなわちテスト走行の交通シナリオを読み込むステップと、交通シナリオからテスト走行データと、前記環境センサにより出力すべきセンサデータとを導き出すステップと、前記環境センサの視点から前記交通シナリオを写像するデータストリーム、特に画像ストリームを生成するステップと、前記環境センサが前記データストリームに基づいてセンサデータを生成することができ、１つのデータインターフェースに供給することができるように、前記データストリームを出力するステップであって、前記データインターフェースに前記テスト走行データおよび前記出力すべきセンサデータも供給される、ステップと、前記供給されたデータを前記人工神経回路網に読み込むステップと、を有する方法に関する。

Description

本発明は運転者支援システムの環境センサをシミュレーションするために人工神経回路網をトレーニングするための方法に関する。本発明はまた、このような環境センサを分析するための方法と、このような環境センサをシミュレーションするための方法とに関する。

今日の自動車の複雑性に基づき、開発の際にできるだけ早期の開発段階において、自動車の構成要素を共にテスト可能とすることが求められている。様々な構成要素の相互作用のこのようなテストは試作品を提出する前に、テストスタンドにおいて構成要素のシミュレートされた動作によって行われるか、単に少なくとも部分的にモデルベース型のシミュレーション、または完全にモデルベース型のシミュレーションによって行われるかのいずれかである。このようなモデルベース型のシミュレーションにおいて少なくとも一つの構成要素の動作はモデルを用いてシミュレートされる。

モデルに基づいてシミュレートされる構成要素は一般に、物理モデルを用いてモデル化される。これについては特に構成要素が、モデルにおいて仮想センサとして写像されるべきセンサである場合、極めて高度な抽象化レベルが必要とされる。

さらにいくつかの構成要素においては、正確な仕様書を得るのが困難である。特にセンサの場合、そしてまた運転者支援システムに属するか、運転者支援システム内に組み込まれているセンサの場合、製造業者は、パラメータ化のため、あるいは物理モデルを形成すること自体のために必要であると想定される必要なデータを使用に供しないことが多い。好ましくはこのようなセンサ、特に環境センサはセンサハードウェアと、データ処理装置を有し、当該データ処理装置内で測定信号は、データ処理アルゴリズムを用いて、好ましくは運転者支援システムのためのさらなる処理を行うために準備される。

特許文献１は機械の制御システムのための方法に関する。当該方法は仮想的なセンサモデルを作成することを含み、当該仮想的なセンサモデルはセンサを用いて検知された少なくとも一つのパラメータと、機械に関して測定された多数のパラメータとの関係を特徴づける。

米国特許出願公開第２００９／０１１２３３４号明細書

本発明は、運転者支援システムの環境センサのシミュレーションを改善することができる方法を提供することを課題とする。特に本発明は、シミュレーションモデルによって出力されるデータが、仮想的または現実的な運転者支援システムを試すための仮想的なテスト走行に適するように、センサの動作を正確にシミュレーション可能とすることを課題とする。

上記の課題は請求項１に記載の人工神経回路網をトレーニングするための方法、請求項２に記載の環境センサを分析するための方法、請求項４に記載の環境センサをシミュレーションするための方法、および請求項１０に記載の人工神経回路網をトレーニングするための装置、請求項１１に記載の運転者支援システムの環境センサを分析するための装置、請求項１２に記載の運転者支援システムの環境センサをシミュレーションするための装置によって解決される。有利な構成は従属請求項に記載される。請求項に記載の理論は、明示的に詳細な説明の構成要素とされる。

本発明の第一の態様は、運転者支援システムの環境センサをシミュレーションするために人工神経回路網をトレーニングするための方法に関し、
当該方法は好ましくは以下の作用ステップ、すなわち
テスト走行の交通シナリオを読み込むステップと、
交通シナリオからテスト走行データと、環境センサにより出力すべきセンサデータとを導き出すステップと、
環境センサの視点から交通シナリオを写像するデータストリーム、特に画像ストリームを生成するステップと、
環境センサがデータストリームに基づいてセンサデータを生成することができ、１つのデータインターフェースに供給することができるように、データストリームを出力するステップであって、データインターフェースにテスト走行データおよび出力すべきセンサデータも供給される、ステップと、
供給されたデータを人工神経回路網に読み込むステップと、を有する。

本発明の第二の態様は、運転者支援システムの環境センサをシミュレーションするために人工神経回路網をトレーニングするための相応のシステムに関し、
当該システムは好ましくは、
テスト走行の交通シナリオを読み込むためのインターフェースと、
交通シナリオからテスト走行データと、環境センサにより出力すべきセンサデータとを導き出すための手段と、
環境センサの視点から交通シナリオを写像するデータストリーム、特に画像ストリームを生成するための手段、特にグラフィックカードと、
環境センサがデータストリームに基づいてセンサデータを生成することができるように、データストリームを出力するためのインターフェース、特にディスプレイと、
生成されたセンサデータ、テスト走行データおよび出力すべきセンサデータが人工神経回路網に供給され得るデータインターフェースと、を有する。

本発明の第三の態様は、運転者支援システムの環境センサを分析するための方法に関し、
当該方法は好ましくは以下の作用ステップ、すなわち
多数のテスト走行の交通シナリオを読み込むステップと、
交通シナリオからテスト走行データと、環境センサにより出力すべきセンサデータとを導き出すステップと、
環境センサの視点から交通シナリオを写像するデータストリーム、特に画像ストリームを生成するステップと、
データストリームに基づいてセンサデータを生成する環境センサにデータストリームを出力するステップと、
テスト走行データおよび出力すべきセンサデータおよび環境センサにより生成されるセンサデータに基づき、人工神経回路網を用いて最適化計算を実施するステップと、
最適化計算に基づくシミュレーションモデルを応用するステップであって、当該シミュレーションモデルはテスト走行のデータストリームに基づいてセンサデータをシミュレートし、出力するために構成されているステップと、を有する。

本発明の第四の態様は、運転者支援システムの環境センサを分析するための対応するシステムに関し、当該システムは好ましくは、
多数のテスト走行の交通シナリオを読み込むためのインターフェースと、
交通シナリオからテスト走行データと、環境センサにより出力すべきセンサデータとを導き出すための手段と、
環境センサの視点から交通シナリオを写像するデータストリーム、特に画像ストリームを生成するための手段、特にグラフィックカードと、
データストリームに基づいてセンサデータを生成する環境センサにデータストリームを出力するためのインターフェース、特にディスプレイと、
テスト走行シミュレーションデータ、出力すべきセンサデータ、および環境センサにより生成されるセンサデータに基づき、人工神経回路網を用いて最適化計算を実施するための手段と、
最適化計算に基づくシミュレーションモデルを用いてセンサデータを決定するための手段であって、当該シミュレーションモデルは任意のテスト走行のデータストリーム、特に画像ストリームに基づいてセンサデータをシミュレートするために構成されている手段と、
シミュレーションモデルを用いて決定されたセンサデータを出力するためのデータインターフェースと、を有する。

本発明の第五の態様は、運転者支援システムの環境センサをシミュレーションするための方法に関し、当該方法は好ましくは以下の作用ステップ、すなわち
環境センサの視点からテスト走行を写像するデータストリームを検知するステップと、
テスト走行のデータストリームに基づいてセンサデータをシミュレートするために構成されているシミュレーションモデルを用いてセンサデータを決定するステップであって、当該シミュレーションモデルは、テスト走行データおよび多数の異なるテスト走行のデータストリームおよび当該テスト走行の際に環境センサにより生成されるセンサデータに基づき、人工神経回路網を用いて行われる最適化計算に基づいているステップと、
シミュレーションモデルを用いて決定されたセンサデータを出力するステップと、を有する。

本発明の第六の態様は、運転者支援システムの環境センサをシミュレーションするための対応するシステムに関し、当該システムは好ましくは、
環境センサの視点からテスト走行を写像するデータストリームを検知するためのインターフェース、特にカメラと、
任意のテスト走行のデータストリームに基づいてセンサデータをシミュレートするために構成されているシミュレーションモデルを用いて、センサデータを決定するための手段であって、当該シミュレーションモデルはテスト走行データおよび多数の異なるテスト走行のデータストリームおよび当該テスト走行（Ｒ）の際に環境センサにより生成されるセンサデータに基づき、人工神経回路網を用いて行われる最適化計算に基づいている手段と、
シミュレーションモデルを用いて決定されたセンサデータを出力するためのデータインターフェースと、を有する。

本発明による環境センサは好ましくは、運転者支援システムを有する車両の環境に関する情報を検知するために構成されている。当該情報は好ましくは、以下に挙げる特性のグループ、すなわち温度、画像、特に光学画像、赤外線画像またはレーダ画像、距離、湿度、空気圧、動圧、電磁ビーム、放射性ビーム、明度、ビューからの少なくとも一つの特性に関する。

このとき環境センサは好ましくは、ハードウェアおよび／またはソフトウェアとして形成されている。環境センサは好ましくはデータ処理アルゴリズムを有する。代替的または付加的に環境センサは情報を検知するための装置を有する。

本発明によるテスト走行データは好ましくは、運転者支援システムを搭載している車両に関する環境データである。このとき環境データは、好ましくはシミュレートすべき環境センサによって検知されない環境の特性である。テスト走行データは代替的または付加的に車両の寸法および特性、特にまた道路の寸法を有する静的データを含む。テスト走行データは付加的または代替的にいわゆる自己データを有し、当該自己データは運転者支援システムを搭載している車両の動的特性、例えば点滅信号、速度、加速および／または傾動、偏揺れ運動、転動などを含む。

本発明によるデータストリームは好ましくは、情報を含む。データストリームはさらに好ましくは、光学信号、電磁信号、湿度値、空気圧値、動圧値、照度値、温度値、または明度値である。データストリームは好ましくは、時間および／または進んだ距離に依存する情報の値の連続である。

本発明によるデータインターフェースは好ましくは、本発明に係る方法がそれぞれ実施する人工神経回路網または装置および／またはコンピュータプログラムの部分である。このときデータインターフェースは好ましくは、それぞれハードウェアおよび／またはソフトウェアから形成されている複数の部分インターフェースからなってよい。

本発明による１つの手段は好ましくは、ハードウェアおよび／またはソフトウェア技術的に形成され、特に好ましくはストレージシステムおよび／またはバスシステムにデータもしくは信号により結合された、特にデジタル式の処理ユニット、特にマイクロプロセッサユニット（ＣＰＵ）および／または一つまたは複数のプログラム、あるいはプログラムモジュールを有してよい。ＣＰＵは、ストレージシステム内に格納されたプログラムとして実施されているコマンドを実行し、データバスから入力信号を検知し、および／またはデータバスに出力信号を出力するために形成されていてよい。ストレージシステムは一つまたは複数の、特に異なる記憶媒体、特に光学媒体、磁気媒体、固体および／または他の不揮発性媒体を有してよい。プログラムは、当該プログラムが本願で説明される方法を具体化するか、もしくは実施することができ、ＣＰＵがこのような方法のステップを実施することができ、それにより特に、１つの車両型式の少なくとも１つの車両の堅牢性に関する目標量の値を決定することができるように調整されていてよい。

本発明による交通シナリオは好ましくは、走行路、特に道路の領域および周囲における交通参加者と対象物とのコンステレーションである。交通シナリオはさらに好ましくは、１つの交通シーン、または時間的に連続して起こる複数の交通シーンからなる。

本発明は特に、運転者支援システムのセンサをいわゆる挙動モデル（英語：ｂｅｈａｖｉｏｒａｌ ｍｏｄｅｌ）を介してエミュレートするというアプローチに基づく。このような挙動モデルは一般に深層学習（英語：ｄｅｅｐ ｌｅａｒｎｉｎｇ）の方法に基づく。

挙動モデルに基づくシミュレーションモデルを用いて特に、センサの正確な仕様書を知ることなく、センサをモデル化することが可能である。これは、センサの何らかのハードウェア構成要素に関する仕様書にも、場合により存在するデータ処理アルゴリズムにも当てはまり、当該データ処理アルゴリズムは好ましくは環境センサ、特に環境センサのデータ処理装置の部分である。センサに対する特に正確なシミュレーションの結果を得るために、シミュレーションモデルはデータストリームを用いてトレーニングされ、シミュレーションモデルはそれぞれのテスト走行をそれぞれの環境センサの視野もしくは視点から再現している。モデルにはさらに、テストデータと、実際にセンサにより出力すべきセンサデータが供給される。

シミュレートすべき環境センサにより出力すべきセンサデータも、それぞれのテスト走行の交通シナリオから得られる。シミュレートされた、もしくは仮想のテスト走行において、これらのデータはすでにシミュレーション環境から供給することができ、現実のテスト走行に基づく交通シナリオでは、評価アルゴリズムまたは人間による手動の評価を用いることができる。

人工神経回路網は、入力値（テスト走行データ、出力されたセンサデータ）と、出力すべき出力データ（出力すべきセンサデータ）を読み込むことにより、少しずつ構成することができる。

本発明に係るやり方は特に、環境センサのそれぞれの取り付け場所に関する現実的データを用いてセンサモデルが訓練され得ることを特徴とする。

人工神経回路網に基づくシミュレーションモデルはさらに、当該シミュレーションモデルが本物のセンサの実際の挙動をリアルタイムでエミュレートできるという有利点を有する。テスト走行はこれにより、運転者支援システムに関して、シミュレートされた環境センサのデータに基づいてリアルタイムで実施することができる。

人工神経回路網に基づくシミュレーションモデルはさらに、当該シミュレーションモデルが、シミュレートすべき環境センサの挙動もしくは出力の変化を、同じ交通シナリオにおいて、異なる環境条件、特に天候条件および／または環境センサ（ＵＳ）のハードウェアの欠陥、例えば光学系の収差あるいはまた光学系の水濡れ、または光学系の汚染などにおいて、現実に忠実にシミュレートすることができるという有利点を有する。センサが例えば対象物リストを作成すると、このような欠陥が生じた場合の対象物リストは、このような欠陥が生じない場合に作成されると想定される対象物リストとは実質的に異なってよい。シミュレートすべき環境センサによる交通シナリオの認識のためには重要であるが、シミュレートすべき環境センサ自体によって検知されないパラメータの変化についても同様である。

上記の点は本発明により、シミュレーションモデルが１つの時点で出力すべきセンサデータ、すなわち環境センサによる走行シナリオの理想的な認識と、当該時点で出力されたセンサデータ、すなわち環境センサにより実際に行われる走行シナリオの認識と、テスト走行データとを用いて訓練されることによって実現される。

本発明の第七の態様は、運転者支援システムを分析するための方法に関し、当該運転者支援システムには、現実のテスト走行またはシミュレートされたテスト走行の間に、本発明の第一の態様、第三の態様、第五の態様による方法を用いて出力されるセンサデータと、他の仮想または現実のセンサであって、好ましくは車両のデータネットワーク、特に認識ネットワーク内部で利用可能であるセンサのデータとが供給される。当該方法を用いて、運転者支援システムおよびシミュレートされた環境センサと、および場合によりさらなるセンサとからなるシステム全体の出力をテストすることができる。シミュレートされたセンサ、およびさらなるシミュレートされた、または現実のセンサの統合は、特にセンサフュージョンを用いて行うことができる。

本発明の第一の態様、第三の態様による方法の１つの有利な形成において、作用ステップは異なるテスト走行を用いて、人工神経回路網がセンサの機能をできる限り正確に写像するまで、特に最適化計算では考慮されないテスト走行に関して、出力すべきデータが、出力されたデータと９５％、好ましくは９８％一致するまで繰り返される。

本発明の第五の態様による方法の１つの有利な構成において、当該方法はさらに以下の作用ステップを有する。

特に交通シナリオに基づいて、環境センサの視野からテスト走行を写像するデータストリーム、特に画像ストリームを生成するステップ。

これに応じて本発明の第六の態様による環境センサをシミュレーションするための装置は１つの有利な構成において、特にテスト走行の交通シナリオに基づいて、環境センサの視野からテスト走行を写像するデータストリーム、特に画像ストリームを生成するための手段を有する。

１つの有利な構成において本発明の態様の一つによる方法はさらに、以下の作用ステップを有する。

データストリーム、特に画像ストリームを損なう、特に歪めるステップであって、好ましくは天候条件および／または環境センサのハードウェアの欠陥が考慮されるステップ。当該有利な構成を用いて、欠陥を有するセンサデータを扱う、もしくは欠陥を有するセンサデータを動作中に補償するためのセンサのデータ処理アルゴリズムまたは運転者支援システム自体の能力をテストすることができる。

本発明の態様の一つによる方法の１つのさらなる有利な構成において一つまたは複数のテスト走行は、好ましくは上記の可能性からなる組み合わせを用いて、テストスタンドで、あるいはモデルベース型にシミュレートされて、あるいは現実に実施される。このようなやり方で環境センサもしくは運転者支援システムは開発サイクルのあらゆる段階でテストすることができる。

さらなる有利点および特徴は以下において図に関連して説明される好適な実施の形態に記載されている。

図において少なくとも部分的に概略的に示されるのは以下のとおりである。

本発明の第二の態様による装置の１つの実施の形態を示す図である。 本発明の第一の態様による方法の１つの実施の形態を示す図である。 本発明の第三の態様による装置の１つの実施の形態を示す図である。 本発明の第三の態様による方法の１つの実施の形態および本発明の第五の態様による方法の１つの実施の形態を示す図である。 本発明の第六の態様による装置の１つの実施の形態を示す図である。

図１は運転者支援システムの環境センサＵＳをシミュレーションするために人工神経回路網ＫＮＮをトレーニングするための本発明に係る装置の第一の実施の形態を示す。

以下において本発明は、全ての実施の形態に関して、環境センサＵＳとしての光学カメラに基づいて説明される。しかしながら基本的に他の構成要素、特に他の（環境）センサを、説明される方法およびシステムを用いてエミュレートおよび分析することもできる。これに関して例として最終的ではないが、ライダーセンサ、レーダセンサ、超音波センサ、温度センサ、湿度センサ、ビームセンサなどが挙げられる。

システム１０によって実施され得る対応する方法１００は図２に表示されている。

テスト走行Ｒもしくは当該テスト走行Ｒに該当する交通シナリオはシステム１０に供給されるか、もしくはシステム１０により読み込まれる１０１。

テスト走行はシミュレートされたテスト走行Ｒもしくはシミュレートされた交通シナリオであってよく、例えばＩＰＧ Ａｕｔｏｍｏｔｉｖｅ（登録商標）社のソフトウェアであるＣａｒＭａｋｅｒ（登録商標）を用いて作成されている。しかしながら代替的にテスト走行Ｒもしくは当該テスト走行の交通シナリオは、車両の現実の作動中に受信されていてもよい。

テスト走行Ｒの交通シナリオから手段１１を用いて、テスト走行データおよび実際に環境センサＵＳにより認識および出力すべき「真の」センサデータが抽出もしくは導出される１０２。交通シナリオがＣａｒＭａｋｅｒ（登録商標）のようなシミュレーションソフトウェアにより供給されると、抽出は実質的に、システム１０もしくは方法１００にとって必然的なテスト走行データと、シミュレートすべき環境センサに関連するデータとを同定することから成る。

光学カメラに関して上記の同定は例えば、作成すべき対象物リストであると想定される。「真の」対象物リストは、ＣａｒＭａｋｅｒ（登録商標）のようなシミュレーションソフトウェアから直接的に導き出すことができる１０２。現実のテスト走行の受信された交通シナリオにおいて、対象物の数は一般にいわゆるラベリング装置を用いて決定されなければならない。これは自動化されて行われるが、一般的にデータが正しいかどうか人間によって検査されなければならない。

やはり交通シナリオから導き出されるテスト走行データ１０２は例えば、環境データ、すなわち特に検査すべき環境センサＵＳのような他のセンサのデータと、静的データ、特に車両および道路の寸法と、自己データ、特に車両の動的データと、例えば点滅またはフェードインのような車両の他の状態データである。このとき導出は導き出すための手段１２を用いて実施することができる。

同じくテスト走行Ｒの交通シナリオに基づいて、手段１３を用いてデータストリーム、特に画像ストリームが生成され１０３、当該データストリームは環境センサＵＳの視野から交通シナリオを写像する。

このとき画像ストリームの場合、好ましくは市販のグラフィックカード１３もしくはこのようなグラフィックカードのための特殊なグラフィックソフトウェアを手段１３として用いることができる。

このように生成された画像ストリームは、インターフェースとしてのディスプレイ１４上でカメラＵＳに出力される１０５。

任意選択的に上記の出力の前に、画像ストリームを損なう、特に天候条件を模造する可能性１０４−１がある。これにより環境センサＵＳの反応もしくはこれらの状況下で環境センサＵＳにより決定されるセンサデータの品質を達成もしくは検査することができる。

１つの代替的な実施の形態において、環境センサＵＳの視野から交通シナリオを写像するデータストリームはセンサの物理的部分のモデル、すなわちセンサハードウェアのモデルに直接的に出力される。光学カメラの場合、センサハードウェア、すなわちカメラハードウェアのモデルは、実質的に光学系および画像センサを写像する。

代替的または付加的に、カメラハードウェアまたはカメラハードウェアのモデルからのデータストリームを、環境センサＵＳのデータ処理アルゴリズム、本実施の形態ではカメラの対象物認識アルゴリズムによる処理の前に、損なうこと１０４−２，２０４−２、その後初めて対象物認識アルゴリズムに出力すること１０５’，２０５’も可能である。カメラハードウェアまたはカメラハードウェアのモデルにより生じさせられ得る、もしくはシミュレートされ得る画像ストリームまたはデータストリームの可能な損傷は、例えば光学系の収差、あるいは画像センサにおける欠陥または汚れである。

センサハードウェアまたはセンサハードウェアのモデルから出力された画像ストリームもしくは損なわれた画像ストリームまたはデータストリームに基づいて、対象物認識アルゴリズムはセンサデータを生じさせ、当該センサデータはさらなるインターフェース１４‘を経て再びシステム１０に読み込まれ、さらなるデータインターフェース１５を経て、導き出されたテスト走行データおよび実際に出力すべきセンサデータと共に供給される。

これらのデータ、すなわちセンサデータ、導き出されたテスト走行データおよび実際に出力すべきセンサデータはその後、人工神経回路網ＫＮＮに当該人工神経回路網をトレーニングするために読み込むことができる１０６。

これらの作用ステップは好ましくは異なるテスト走行で、したがってそれぞれ別の交通シナリオで人工神経回路網ＫＮＮをトレーニングするために、人工神経回路網ＫＮＮが環境センサＵＳの機能をできるだけ正確に写像するまで繰り返される。

正確性は例えば、トレーニングされた人工神経回路網ＫＮＮを、トレーニングのために用いられていない未知のテスト走行Ｒ‘のデータに直面させ、これらのデータに基づいて実際に出力すべきセンサデータが人工神経回路網ＫＮＮを用いて生じさせられたセンサデータに比較されることにより、決定することができる。出力すべきセンサデータと、人工神経回路網ＫＮＮを用いて生じさせられたセンサデータとは好ましくは、方法１００が終了される前に、少なくとも９５％、好ましくは９８％より大きい正確性で一致すべきである。

人工神経回路網ＫＮＮを用いて最適化計算が行われ、当該最適化計算の結果が環境センサＵＳのシミュレーションモデルである。センサハードウェア、すなわち本実施の形態ではカメラハードウェアがこのとき人工神経回路網ＫＮＮをトレーニングするために用いられたか、あるいはセンサハードウェアのモデルによってシミュレートされたかに応じて、人工神経回路網ＫＮＮは環境センサＵＳ全体あるいは環境センサＵＳのデータ処理アルゴリズムのみ、特にカメラの対象物認識アルゴリズムを、センサハードウェアなしで写像する。

図３および図４に基づいて、システム２０および当該システム２０を用いて実施可能な方法２００が説明され、これらは本発明に係る運転者支援システムの環境センサＵＳの分析に役立つ。

図３および図４は特に、本発明の第三の態様の方法と、本発明の第四の態様による対応するシステムに関する。

作用の仕方は実質的に、本発明の第一および第二の態様について図１および図２に関して表示された作用の仕方に対応する。

運転者支援システムの環境センサＵＳを分析するためのシステムにおいて、インターフェース２１を経て多数のテスト走行の交通シナリオが読み込まれる２０１。テスト走行データおよび環境センサＵＳにより出力すべきセンサデータは、交通シナリオから導き出すための手段２２を用いて導き出される２０２。

グラフィックカード２３は、交通シナリオに基づいて環境センサＵＳの視野からテスト走行を写像する画像ストリームを生じさせる。インターフェース２４，２４’、特にディスプレイを用いて画像ストリームは環境センサＵＳに出力され、当該環境センサはデータストリームに基づいてセンサデータを生じさせる２０５，２０５’。

方法２００の１つの代替的な実施の形態においても、環境センサＵＳの視野から交通シナリオを写像するデータストリームをセンサの物理的部分のモデル、すなわちセンサハードウェアのモデルに直接的に出力することが可能である。光学カメラＵＳの場合、センサハードウェア、すなわちカメラハードウェアのモデルは、実質的に光学系および画像センサを写像する。

方法２００においても、画像ストリームまたはデータストリームがカメラハードウェア、もしくはカメラハードウェアのモデルにより検知される前に、シミュレートされた環境条件２０４−１によって、あるいはまた画像ストリームもしくはデータストリームが対象物認識アルゴリズムに供給される前に、カメラハードウェアまたはカメラハードウェアのモデル自体のシミュレートされた欠陥によって、画像ストリームまたはデータストリームを損なうことが可能である。

最終的に全てのデータ、すなわちセンサデータ、導き出されたテスト走行データおよび実際に出力すべきセンサデータは、特に人工神経回路網ＫＮＮに基づく最適化計算に供給され、当該最適化計算は好ましくは、データ処理のための対応する手段２５により実施される２０６。このようなやり方で好ましくは人工神経回路網ＫＮＮをトレーニングすることができる。

システム１０と異なり、システム２０はさらにシミュレーションモデルを用いてセンサデータを決定するための手段２６を有する。好ましくはトレーニングされた人工神経回路網ＫＮＮを含む当該シミュレーションモデルが応用される２０７と、環境センサのセンサデータはデータストリームに基づいて任意のテスト走行Ｒ‘によりシミュレートすることができる。これらのシミュレートされたセンサデータは最終的にデータインターフェース２７を経て出力することができる。本実施の形態でもセンサハードウェア、すなわち本実施の形態ではカメラハードウェアが、センサデータを生じさせるために用いられたか、あるいはそのときセンサハードウェアのモデルによってシミュレーションが行われたかに応じて、シミュレーションモデルはセンサ全体あるいはデータ処理アルゴリズムのみ、特に対象物認識アルゴリズムを、センサハードウェアなしで写像する。

同じく図４および図５に基づいて最終的に、本発明の第五の態様による運転者支援システムの環境センサをシミュレーションするための方法と、本発明の第六の態様による対応するシステム３０が説明される。

図５に示すように、システム３０は環境センサＵＳの視野からテスト走行を写像する画像ストリームまたはデータストリームを生成するための手段３１を含む３０１。

当該画像ストリームまたはデータストリームは好ましくはカメラまたはデータインターフェース３２を用いて検知される３０２。検知された画像ストリームまたはデータストリームの情報はシミュレーションモデルに供給される。

検知された画像ストリームまたはデータストリームに基づき、データ処理のための手段３３を用いてセンサデータはシミュレーションモデルによりシミュレートされ、シミュレーションモデルは好ましくは、テスト走行データおよび多数の異なるテスト走行のデータストリームと、これらのテスト走行の際に環境センサＵＳにより、または単に環境センサＵＳのデータ処理アルゴリズムにより生成されたセンサデータとに基づき、人工神経回路網ＫＮＮを用いて行われる最適化計算に基づいている３０３。

シミュレーションモデルは好ましくはそれぞれ、本発明の第一および第三の態様の方法を用いて生じさせられる異なるシミュレーションモデルの一つに対応する。

シミュレーションモデルを用いて決定されるセンサデータは最終的に、データインターフェース３４を経て出力される３０４。

本発明に係るシミュレーションモデルを用いてシミュレートされたセンサデータは特に、運転者支援システムおよびまた車両をテストするためのいわゆるセンサフュージョンに適している。

このとき環境センサＵＳのシミュレートされたセンサデータは、異なる開発段階において運転者支援システムもしくは車両をできる限り現実的な条件下でテストできるように、さらなるシミュレートされた環境センサのセンサデータおよびまた現実のセンサの出力のセンサデータと統合される。

実施の形態は、保護範囲、応用、および構成を何ら制限すべきでない例のみを扱っていることが指摘される。むしろ上記の説明を介して、当業者には少なくとも一つの実施の形態を実施するためのガイドラインが与えられ、特に説明された構成部材の作用および構成に関して、請求項および請求項と同等の特徴の組み合わせから生じるような保護範囲を逸脱することなく、様々な変更を行うことができる。

１０ システム
１１ テスト走行
１２ データを導き出すための手段
１３ データストリームを生成するための手段
１４ インターフェース
１４’ インターフェース
１５ データインターフェース
２０ システム
２１ インターフェース
２２ データを導き出すための手段
２３ データストリームを生成するための手段
２４ インターフェース
２４’ インターフェース
２５ 最適化計算を実施するための手段
２６ シミュレーションモデルを用いてセンサデータを決定するための手段
２７ データインターフェース
３０ システム
３１ データストリームを生成する手段
３２ データストリームを検知するためのインターフェース
３３ シミュレーションモデルを用いてセンサデータを決定するための手段
３４ シミュレーションモデルを用いて決定されたセンサデータを出力するためのデータインターフェース
Ｒ テスト走行
Ｒ‘ テスト走行
ＵＳ 環境センサ
ＫＮＮ 人工神経回路網

Claims (12)

1. 交通シナリオにおける運転者支援システムの環境センサ（ＵＳ）の挙動をシミュレーションするために人工神経回路網（ＫＮＮ）をトレーニングするためのコンピュータ支援式方法（１００）であって、以下の作用ステップ、すなわち
   テスト走行（Ｒ）の交通シナリオを読み込むステップ（１０１）と、
   前記交通シナリオからテスト走行データと、前記環境センサ（ＵＳ）、特にカメラにより出力すべきセンサデータ、特に対象物リストとを導き出すステップ（１０２）と、
   前記環境センサ（ＵＳ）の視点から前記交通シナリオを写像するデータストリーム、特に画像ストリームを生成するステップ（１０３）と、
   前記環境センサ（ＵＳ）が前記データストリームに基づいてセンサデータを生成することができ、１つのデータインターフェース（１５）に供給することができるように、前記データストリームを出力するステップ（１０５，１０５‘）であって、前記データインターフェースに前記テスト走行データおよび前記出力すべきセンサデータも供給される、ステップと、
   前記供給されたデータを前記人工神経回路網（ＫＮＮ）に読み込むステップ（１０６）と、を有する方法。
2. 運転者支援システムの環境センサ（ＵＳ）を分析するためのコンピュータ支援式方法（２００）であって、以下の作用ステップ、すなわち
   多数のテスト走行（Ｒ）の交通シナリオを読み込むステップ（２０１）と、
   前記交通シナリオからテスト走行データと、前記環境センサ（ＵＳ）により出力すべきセンサデータとを導き出すステップ（２０２）と、
   前記環境センサ（ＵＳ）の視点から前記交通シナリオを写像するデータストリーム、特に画像ストリームを生成するステップ（２０３）と、
   前記データストリームに基づいてセンサデータを生成する前記環境センサ（ＵＳ）に前記データストリームを出力するステップ（２０５，２０５‘）と、
   前記テスト走行データおよび前記出力すべきセンサデータおよび前記環境センサ（ＵＳ）により生成される前記センサデータに基づき、人工神経回路網（ＫＮＮ）を用いて最適化計算を実施するステップ（２０６）と、
   前記最適化計算に基づくシミュレーションモデルを応用するステップであって、前記シミュレーションモデルは任意のテスト走行（Ｒ‘）のデータストリームに基づいてセンサデータをシミュレートし、出力するために構成されているステップ（２０７）と、を有する方法。
3. 前記作用ステップは異なるテスト走行を用いて、前記人工神経回路網（ＫＮＮ）が前記環境センサ（ＵＳ）の機能をできる限り正確に写像するまで、特に最適化計算では考慮されないテスト走行（Ｒ‘）に関して、出力すべきセンサデータが、出力されたセンサデータと９５％、好ましくは９８％一致するまで繰り返される、請求項１または２に記載の方法（１００，２００）。
4. 交通シナリオにおける運転者支援システムの環境センサ（ＵＳ）、特にカメラの挙動をシミュレーションするためのコンピュータ支援式方法（３００）であって、以下の作用ステップ、すなわち
   前記環境センサ（ＵＳ）の視点からテスト走行（Ｒ’）を写像するデータストリーム、特に画像ストリームを検知するステップ（３０２）と、
   検知された前記データストリームに基づき、前記環境センサ（ＵＳ）のシミュレーションモデルを用いてセンサデータを決定するステップであって、当該シミュレーションモデルは、センサデータ、特に対象物リストを任意のテスト走行（Ｒ‘）のデータストリームに基づいてシミュレートするために構成されており、前記シミュレーションモデルは、テスト走行データおよび多数の異なるテスト走行（Ｒ）のデータストリームおよび前記テスト走行（Ｒ）の際に前記環境センサ（ＵＳ）により生成されるセンサデータに基づき、人工神経回路網（ＫＮＮ）を用いて行われる最適化計算に基づいているステップ（３０３）と、
   前記シミュレーションモデルを用いて決定された前記センサデータを出力するステップ（３０４）と、を有する方法。
5. 前記センサデータはさらにシミュレーションのために用いられたテスト走行（Ｒ‘）のテスト走行データに基づいてシミュレートされる、請求項２から４のいずれか一項に記載の方法。
6. さらに以下の作用ステップ、すなわち、
   前記環境センサ（ＵＳ）の視点からテスト走行（Ｒ‘）、特に当該テスト走行の交通シナリオを写像するデータストリーム、特に画像ストリームを生成するステップ（３０１）
   を有する、請求項４または５に記載の方法（３００）。
7. 運転者支援システムを分析するためのコンピュータ支援式方法であって、当該運転者支援システムには、現実のテスト走行またはシミュレートされたテスト走行の間に、請求項２から６のいずれか一項に記載の方法（２００，３００）を用いて出力されるセンサデータと、他の仮想または現実のセンサであって、好ましくは車両のデータネットワーク、特にＣＡＮネットワーク内部で利用可能であるセンサのデータとが供給される方法。
8. さらに以下の作用ステップ、すなわち、データストリーム、特に画像ストリームを損なう、特に歪めるステップであって、好ましくは天候条件および／または前記環境センサ（ＵＳ）のハードウェアの欠陥が考慮されるステップ（１０４−１，１０４−２；２０４−１，２０４−２）
   を有する、請求項１から７のいずれか一項に記載の方法（１００，２００，３００）。
9. 一つまたは複数の前記テスト走行は、好ましくは上記の可能性からなる組み合わせを用いて、テストスタンドで、あるいはモデルベース型のシミュレーションにより、あるいは現実に実施される、請求項１から８のいずれか一項に記載の方法（１００，２００，３００）。
10. 運転者支援システムの環境センサ（ＵＳ）をシミュレーションするために人工神経回路網（ＫＮＮ）をトレーニングするためのシステム（１０）であって、
    テスト走行（Ｒ）の交通シナリオを読み込むためのインターフェース（１１）と、
    前記交通シナリオからテスト走行データと、前記環境センサ（ＵＳ）により出力すべきセンサデータとを導き出すための手段（１２）と、
    前記環境センサ（ＵＳ）の視点から前記交通シナリオを写像するデータストリーム、特に画像ストリームを生成するための手段（１３）、特にグラフィックカードと、
    前記環境センサ（ＵＳ）が前記データストリームに基づいてセンサデータを生成することができるように、前記データストリームを出力するためのインターフェース（１４）、特にディスプレイと、
    前記生成されたセンサデータ、前記テスト走行データおよび前記出力すべきセンサデータが前記人工神経回路網（ＫＮＮ）に供給され得るデータインターフェース（１５）と、を有するシステム。
11. 運転者支援システムの環境センサ（ＵＳ）を分析するためのシステム（２０）であって、
    多数のテスト走行（Ｒ）の交通シナリオを読み込むためのインターフェース（２１）と、
    前記交通シナリオからテスト走行データと、前記環境センサ（ＵＳ）により出力すべきセンサデータとを導き出すための手段（２２）と、
    前記環境センサ（ＵＳ）の視点から前記交通シナリオを写像するデータストリーム、特に画像ストリームを生成するための手段（２３）、特にグラフィックカードと、
    前記データストリームに基づいてセンサデータを生成する前記環境センサ（ＵＳ）に前記データストリームを出力するためのインターフェース（２４，２４‘）、特にディスプレイと、
    前記テスト走行のシミュレーションデータ、前記出力すべきセンサデータ、および前記環境センサ（ＵＳ）により生成される前記センサデータに基づき、人工神経回路網（ＫＮＮ）を用いて最適化計算を実施するための手段（２５）と、
    最適化計算に基づくシミュレーションモデルを用いてセンサデータを決定するための手段であって、当該シミュレーションモデルは任意のテスト走行（Ｒ‘）のデータストリーム、特に画像ストリームに基づいてセンサデータをシミュレートするために構成されている手段（２６）と、
    前記シミュレーションモデルを用いて決定された前記センサデータを出力するためのデータインターフェース（２７）と、を有するシステム。
12. 運転者支援システムの環境センサ（ＵＳ）をシミュレーションするためのシステム（３０）であって、
    前記環境センサの視点からテスト走行（Ｒ‘）を写像するデータストリームを検知するためのインターフェース（３２）、特にカメラＵＳまたはデータインターフェースと、
    任意のテスト走行（Ｒ‘）のデータストリームに基づいてセンサデータをシミュレートするために構成されているシミュレーションモデルを用いて、センサデータを決定するための手段であって、当該シミュレーションモデルはテスト走行データおよび多数の異なるテスト走行（Ｒ）のデータストリームおよび当該テスト走行（Ｒ）の際に前記環境センサ（ＵＳ）により生成されるセンサデータに基づき、人工神経回路網（ＫＮＮ）を用いて行われる最適化計算に基づいている手段（３３）と、
    前記シミュレーションモデルを用いて決定された前記センサデータを出力するためのデータインターフェース（３４）と、を有するシステム。

Images