JP2023168244A - 運転者支援システム（ａｄａｓ）及び／又は自動運転システム（ａｄｓ）を較正及び検証するための方法、システム、及びコンピュータプログラム製品 - Google Patents

Abstract

【課題】特定の運転タスクのための較正及び検証目的のために好適であり、運転支援システム及び／又は自動運転システムの安全性及び機能性を推定するための高度な関連性を提供する。【解決手段】少なくとも１つのシナリオにおいて設定された運転タスクについて運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）を較正及び検証する。シナリオは、時系列における交通事象を表し、パラメータ及び関連するパラメータ値の選択によって定義され、運転タスクのためのテスト方略を使用して、シナリオ及びシナリオパラメータ並びに較正パラメータを選択することによって、テストエージェントによって第１のテストケースを作成すること、シミュレーションを実施して、シミュレーション結果を決定することと、シミュレーション結果の評価を実施して、評価結果を決定することと、テスト方略をシミュレーション結果及び評価結果に適合させることを含む。【選択図】図１

Description

本発明は、運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）並びに／若しくは運転機能を較正及び検証するための方法、システム、及びコンピュータプログラム製品に関する。

現代の車両には、運転者が運転することを支援するため、及びその安全性を高めるために、様々な運転支援システム又は自動運転支援機能が装備されている。例えば、運転支援システムは、速度及び距離制御、並びに車線保持及び車線変更機能をサポートする。これによって、速度制限機能が有効化されている限り超過されない特定の最大速度を設定することができる。特に、前方の車両からの特定の距離が設定される、距離制御については、レーダーセンサだけでなくカメラシステムも使用される。それによって、前方を走行する車両からだけでなく側方領域内の車両までの距離も監視することができる。これは、特に幹線道路で運転するとき、及び追い越し操作中に、運転の利便性及び安全性の向上につながる。

国際公開第２０２１／２４５２００号 米国特許出願公開第２０１９／２３５５２１号明細書 国際公開第２０２１／２４５２０１号 米国特許出願公開第２００７／２３６５０２号明細書

しかしながら、自動車用だけでなく航空機及び海上船舶用の運転者支援システム（高度運転者支援システム（ＡＤＡＳ））、自動運転システム（ＡＤＳ）は、車両管理の責任がもはや完全に運転者にあるものではなく、むしろ能動機能が車両内のコンピューターユニットによって引き継がれるため、広範な安全防護方略を必要とする。したがって、自律的に移動している物体が、その運転挙動において非常に低い誤差率を有することを確実にしなければならない。車両の近傍にある物体の検出及び分類並びに交通シナリオの解釈は、ＡＤＡＳ／ＡＤＳの安全な機能のための重要な必須条件である。この目的のために、極限及び例外的状況（コーナーケース）の両方を用いた、また、日常的状況を用いた運転者支援システム及び自動運転システムの標的テスト及び訓練が必要とされる。そのような極限状況は、異なる要因の特定の組み合わせから生じる。これの例としては、例えば、道路のタイプ、道路上の縁構造、及びマーキングの品質などのインフラストラクチャの特殊性だけでなく、気象条件、時刻、及び時季などの周囲条件が挙げられる。更に、他の道路ユーザの挙動、地理的地形、及び気象条件が、主要な役割を果たす。

ＡＤＡＳ／ＡＤＳ性能が高まるにつれて、システムが交通において対処しなければならない運転シナリオの数も増加する。したがって、ＡＤＡＳ／ＡＤＳの安全で利便的かつ効率的な挙動を確実にするために、個々の機能及び全体的なシステムは、車両開発中に較正及び検証プロセスを受ける。

しかしながら、そのような較正及び検証は、運転支援システムにおける機能仕様欠陥により、車両への現代のＡＤＡＳ／ＡＤＳの統合において大きな課題も提示する。テストケースがテスト仕様に基づいて実装される、要件ベースのテストプロセスが従来のシステムのために自動車業界で確立されているが、これは、従来のシステムとは対照的に、著しく多数の影響を及ぼす変数、特に、センサを用いて検出される運転環境が考慮されるものであるため、ＡＤＡＳ／ＡＤＳについては現在欠けている。車両の運転環境で起こり得、ＡＤＡＳ／ＡＤＳによって正しく検出及び処理される必要のあるシナリオの量は、運用設計ドメイン（ＯＤＤ）によって表される。これは、日常的な運転シナリオ、また、ごく稀にしか生じないコーナーケースの両方を含む。従来の方法を使用してＡＤＡＳ／ＡＤＳをテスト、較正、及び検証するために、ＡＤＡＳ／ＡＤＳのためのＯＤＤ全体が、捕捉され、要件のカタログに文書化される必要があろう。これは、運転環境の複雑性及び結果として生じる多数の運転シナリオにより不可能である。この問題は、機能仕様欠陥と称される。これは、ＡＤＡＳ／ＡＤＳの較正及び検証プロセスの両方を複雑にし、既存の方法に対する代替的アプローチを必要とする。

したがって、ＡＤＡＳ／ＡＤＳの較正及び検証における課題により、正当な努力及び費用で車両開発プロセスを実行するために、既知の方法に加えて、新しいアプローチが必要とされる。したがって、ＡＤＡＳ／ＡＤＳの較正及び検証をシミュレーションするために仮想方法をますます使用すること、並びに性能及び安全性に関して異なる機能性を有する様々なＡＤＡＳ／ＡＤＳシステムの客観的比較可能性を有効化する様式で、これらの仮想シミュレーション方法を設計することが望ましい。課題は、特に、様々なシナリオ、使用されるシミュレーション方法、及びシミュレーション結果を評価するための適切な測定基準の選択により生じる。

国際公開第２０２１／２４５２００号は、シミュレーションが、部分的にモジュール式のサブシステムを有する分離可能な感知、予測、計画、及び制御システムを備える、モジュール式アーキテクチャに基づく、ＡＤＡＳ／ＡＤＳのシナリオベースのシミュレーションを開示する。

米国特許出願公開第２０１９／２３５５２１号明細書は、システムが、各々がデータベースにアクセスする検出及び知覚モジュール並びに計画及び挙動モジュールを備える、開発又は検証目的のために自律走行車の制御特性を評価するための方法を開示する。

国際公開第２０２１／２４５２０１号は、シミュレーションが、獲得、投影、計画及び制御システムを有するアーキテクチャに基づく、ＡＤＡＳ／ＡＤＳのシナリオベースのシミュレーションの性能を評価するための方法を開示する。

米国特許出願公開第２００７／２３６５０２号明細書は、システムが、モジュール式フレームワークを有するリアルタイム可視化ソフトウェアを備える、シミュレーションのリアルタイム可視化のためのシステムを開示する。

ここで、本発明の目的は、ＡＤＡＳ／ＡＤＳの安全性を高め、資源及び費用を節約することが可能であるために、較正及び検証プロセスが、より少ない時間を必要とし、向上した効率で実施され得るように、運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）の仮想較正及び検証のための能力を提供することである。

この目的は、請求項１に記載の特徴による方法に関して、請求項１０に記載の特徴によるシステムに関して、及び請求項１５に記載の特徴によるコンピュータプログラム製品に関して達成される。更なる請求項は、本発明の好ましい構成に関する。

本発明は、特定の運転タスクのための較正及び検証目的のために好適であり、運転支援システム及び／又は自動運転システムの安全性及び機能性を推定するための高度な関連性を提供する、具体的な交通シナリオの選択を可能にする。

第１の態様によれば、本発明は、少なくとも１つのシナリオにおいて設定された運転タスクについて運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）並びに／若しくは運転機能を較正及び検証するための方法を提供する。シナリオは、時系列における交通事象を表し、パラメータ及び関連するパラメータ値の選択によって定義され、パラメータ化されたシナリオでは、パラメータ及び関連するパラメータ値は、自由に選択可能であり、具体的なシナリオでは、シナリオパラメータ及び関連するシナリオパラメータ値は、設定される。本方法は、以下のステップ：
－運転タスクのためのテスト方略を使用して、パラメータ化されたシナリオ及びシナリオパラメータ並びに較正パラメータを選択することによって、テストエージェントによって第１のテストケースを作成するステップと、
－選択された第１のテストケースをシミュレーションモジュールに伝えるステップと、
－シミュレーションモジュールによってシミュレーションを実施して、シミュレーション結果を決定するステップと、
－シミュレーション結果を評価モジュールに伝えるステップと、
－評価モジュールによってシミュレーション結果の評価を実施して、評価結果を決定するステップと、
－テスト方略をシミュレーション結果及び評価結果に適合させるステップと、
－適合されたテスト方略を使用して、テストエージェントによって第２のテストケースを作成するステップと、
－第２のテストケースのために新しいシミュレーションサイクルを開始するステップと、
－特定の評価基準が満たされない場合、更なるシミュレーションサイクルを実施するためにテスト方略の適合を繰り返すステップ、又は
－特定の評価基準が満たされているときに、最後のシミュレーションサイクルのテストケースを出力モジュールに伝えるステップと、
－出力モジュールから較正及び検証目的のために、特に、設定された運転タスクを実施するための運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）並びに／若しくは運転機能の較正パラメータの形態で、テストケースからの出力結果を生成及び出力するステップと、を含む。

シミュレーションモジュールが交換可能なサブモジュールを備え、第１のサブモジュールが環境モデルモジュールとして構成され、第２のサブモジュールが運転者モデルモジュールとして構成され、第３のサブモジュールが車両モデルモジュールとして構成されることが、更なる開発において規定される。

１つの有利な実施形態では、シミュレーションモジュール及び／又はサブモジュールが、センサ及び／又はデータベースに接続されて、シミュレーションモデルの作成のための更なる情報を取得し、シミュレーションモデルが、運転機能モジュールに伝えられ、ＡＤＡＳ／ＡＤＳの運転支援機能のシミュレーションを実施することが規定される。

更なる実施形態では、評価モジュールが、性能指標（ＫＰＩ）を使用して運転機能の性能及び安全性を決定するための運転機能評価モジュールと、シミュレーション品質基準（ＳＱＣ）を使用してシミュレーションの品質を決定するためのシミュレーション評価モジュールとを備え、評価結果が、性能指標（ＫＰＩ）と、シミュレーション品質基準（ＳＱＣ）とを含むことが規定される。

特に、テストケースがテストデータベースに記憶され、較正パラメータが較正パラメータデータベースに記憶され、パラメータ化されたシナリオ及びシナリオパラメータがパラメータデータベースに記憶され、評価結果が評価データベースに記憶されることが規定される。

有利なことに、テスト方略及び／又はテストエージェントは、人工知能の計算方法及び／又はアルゴリズムを有する少なくとも１つのソフトウェアアプリケーションを利用する。

特に、アルゴリズム及び計算方法は、平均値、最小値及び最大値、ルックアップテーブル、期待値モデル、線形回帰法、ガウスプロセス、高速フーリエ変換、積分及び微分計算、マルコフ法、モンテカルロ法などの確率法、時間差学習、拡張カルマンフィルタ、放射基底関数、データフィールド、収束ニューラルネットワーク、ディープニューラルネットワーク、並びに／又は再帰型ニューラルネットワークとして構成される。

有利なことに、パラメータは、物理的変数、化学的変数、トルク、回転速度、電圧、電流強度、加速度、速度、制動値、方向、角度、半径、位置、数字、自動車、人、若しくは自転車に乗った人などの可動物体、建物若しくは木などの静止物体、幹線道路などの道路構成、道路標識、交通信号灯、トンネル、ラウンドアバウト、分岐車線、交通量、傾斜などの地形構造、時間、温度、降水値、気象条件、及び／又は時季を提供する。

別の実施形態では、センサは、レーダーシステム、ＬＩＤＡＲ光学距離及び速度測定システム、可視、ＩＲ及び／若しくはＵＶ範囲内の２Ｄ／３Ｄ画像記録カメラ、ＧＰＳシステム、加速度計、速度センサ、静電容量センサ、誘導センサ、電圧センサ、トルクセンサ、降水センサ、並びに／又は温度センサとして構成される。

第２の態様によれば、本発明は、少なくとも１つのシナリオにおいて設定された運転タスクについて運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）並びに／若しくは運転機能を較正及び検証するためのシステムを提供する。シナリオは、時系列における交通事象を表し、パラメータ及び関連するパラメータ値の選択によって定義され、パラメータ化されたシナリオでは、パラメータ及び関連するパラメータ値は、自由に選択可能であり、具体的なシナリオでは、シナリオパラメータ及び関連するシナリオパラメータ値は、設定される。本システムは、テストエージェント及びテスト方略を有するテストモジュールと、シミュレーションモジュールと、評価モジュールと、出力モジュールとを備える。テストエージェントは、運転タスクのためのテスト方略を使用して、パラメータ化されたシナリオ及びシナリオパラメータ並びに較正パラメータを選択することによって、第１のテストケースを作成するように、かつ選択された第１のテストケースをシミュレーションモジュールに伝えるように構成される。シミュレーションモジュールは、シミュレーションを実施して、シミュレーション結果を決定し、シミュレーション結果を評価モジュールに伝えるように構成される。評価モジュールは、シミュレーション結果の評価を実施して、評価結果を決定するように構成される。テストモジュールは、テスト方略をシミュレーション結果及び評価結果に適合させ、適合されたテスト方略を使用して、テストエージェントから第２のテストケースを作成し、第２のテストケースのために新しいシミュレーションサイクルを開始し、特定の評価基準が満たされない場合、更なるシミュレーションサイクルを実施するためにテスト方略の適合を繰り返すか、又は特定の評価基準が満たされているときに、少なくとも最後のシミュレーションサイクルのテストケースを出力モジュールに伝えるように構成される。出力モジュールは、較正及び検証目的のために、少なくとも最後のシミュレーションサイクルのテストケースから、特に、設定された運転タスクを実施するための運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）並びに／若しくは運転機能の較正パラメータの形態で、出力結果を生成及び出力するように構成される。

更なる開発では、シミュレーションモジュールが交換可能なサブモジュールを有し、第１のサブモジュールが環境モデルモジュールとして構成され、第２のサブモジュールが運転者モデルモジュールとして構成され、第３のサブモジュールが車両モデルモジュールとして構成されることが規定される。

有利な実施形態では、シミュレーションモジュール及び／又はサブモジュールが、センサ及び／又はデータベースに接続されて、シミュレーションモデルの作成のための更なる情報を取得し、シミュレーションモデルが、運転支援機能のシミュレーションを実施するために運転機能モジュールに伝えられることが規定される。

更なる実施形態では、評価モジュールが、性能指標（ＫＰＩ）を使用して運転機能の性能及び安全性を決定するための運転機能評価モジュールと、シミュレーション品質基準（ＳＱＣ）を使用してシミュレーションの品質を決定するためのシミュレーション評価モジュールとを備え、評価結果が、性能指標（ＫＰＩ）と、シミュレーション品質基準（ＳＱＣ）とを含むことが規定される。

有利なことに、テストケースがテストデータベースに記憶され、較正パラメータが較正パラメータデータベースに記憶され、パラメータ化されたシナリオ及びシナリオパラメータがパラメータデータベースに記憶され、評価結果が評価データベースに記憶されることが規定される。

有利なことに、テキスト方略及び／又はテストエージェントは、人工知能の計算方法及び／又はアルゴリズムを有する少なくとも１つのソフトウェアアプリケーションを使用することが規定される。

第３の態様によれば、本発明は、実行されたときに第１の態様による方法を実行するように構成された実行可能プログラムコードを備える、コンピュータプログラム製品に関する。

本発明は、図面に示される実施形態の例に基づいて、以下に更に詳細に説明される。

本発明によるシステムの実施形態の例を説明するブロック図を示す。 グラフィックの概略的表現を示す。 本発明による方法の個々の方法ステップを説明するフロー図を示す。 本発明の第３の態様の実施形態によるコンピュータプログラム製品のブロック図を示す。

本発明又はその実施形態の例の付加的特徴、態様、及び利点は、特許請求の範囲と併せて以下の詳細な説明で説明されるであろう。

プログラミングによって作成される、ますますシミュレーションされている交通シナリオは、運転者支援システム（ＡＤＡＳ）及び自動運転システム（ＡＤＳ）をテスト、訓練、及び保証するために使用される。本発明の文脈におけるシナリオは、時系列における交通事象として定義される。シナリオの例は、幹線道路橋上で運転すること、分岐車線上で脇道へ入ること、トンネルを通過すること、ラウンドアバウトに入ること、又は横断する歩行者の前で停止することである。更に、例えば、薄明又は明るい日光に起因する具体的な可視性条件、並びに気象及び時季などの環境条件、交通レベル、及び特定の地理的地形条件が、シナリオに影響を及ぼし得る。例えば、追い越し操作は、第１の車両が、最初に別の車両の背後にあり、次いで、他方の車道に車線変更を行い、速度を上げ、他方の車両を追い越す、シナリオとして説明され得る。そのようなシナリオは、カットインシナリオとも称される。加えて、大雨及び氷があると、道路条件が晴れた夏の日とは異なって見えるため、時季及び気象が役割を果たす。

自動車で運転者支援システム（ＡＤＡＳ）及び自動運転システム（ＡＤＳ）を使用することが可能であるために、それらは、信頼性のある使用のために較正及び検証されなければならない。較正は、ソフトウェアコードを変更することなく、機能をそれぞれの車両タイプ並びに運転機能の所望の挙動に適合させることに役立つ。この目的のために、較正パラメータは、修正され、データセットにおいてＡＤＡＳ／ＡＤＳに利用可能となる。可能な限り多くの運用設計ドメイン（ＯＤＤ）シナリオにおける最適な挙動のために較正パラメータの好適なデータセットを見出すことが必要である。

検証の目標は、較正中に取得されたデータセットを包括的にテストし、ＯＤＤの全体を通して運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）の信頼性及びロバスト性を実証し、次いで、それを公開することである。

本発明によれば、モジュール式シミュレーションアプローチが、ＡＤＡＳ／ＡＤＳの様々な構成のために適合され得るＡＤＡＳ／ＡＤＳの仮想較正及び検証に使用される。

図１は、運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）のシミュレーションされた較正及び検証のための本発明によるシステム１００を示す。本発明によるシステム１００は、テストエージェント２２０及びテスト方略２３０を有する、テストエージェントモジュール２００と、較正パラメータデータベース３２０と、シナリオデータベース３３０と、評価データベース３４０と、テストデータベース３００と、シミュレーションモジュール４００と、評価モジュール５００と、出力モジュール７００とを備え、これらは各々、プロセッサ及び／又はメモリユニットを提供され得る。

「モジュール」は、例えば、本発明に関連して、プロセッサ及び／又はプロセッサユニット、並びに／若しくはプログラム命令を記憶するためのメモリユニットを意味すると理解され得る。プロセッサは、本発明による方法又は本発明による方法のステップを実装又は実現するために、プログラム命令を実行するように具体的に構成される。特に、モジュールを、クラウドコンピューティングインフラストラクチャに統合することができる。

「プロセッサ」は、本発明に関連して、例えば、マシン又は電子回路を意味すると理解され得る。特に、プロセッサは、メインプロセッサ（中央処理装置（ＣＰＵ））、マイクロプロセッサ、又はマイクロコントローラ、例えば、可能性としてプログラム命令を記憶するためのメモリユニットと組み合わせた特定用途向け集積回路又はデジタル信号プロセッサなどであり得る。プロセッサはまた、仮想化されたプロセッサ、仮想マシン、又はソフトＣＰＵを意味すると理解され得る。例えば、これはまた、本発明による上記の方法を実行するための構成ステップを装備したプログラム可能なプロセッサ、又はプログラム可能なプロセッサが、本発明の方法、システム、モジュール、若しくは他の態様、及び／又は部分的態様の本発明による特徴を実現するような方法で構成ステップを伴って構成されたプログラム可能なプロセッサであり得る。特に、プロセッサは、高度に並列化されたコンピューティングユニットと、高性能グラフィックスモジュールとを含むことができる。

本発明に関連して、作業メモリ（ランダムアクセスメモリ、ＲＡＭ）の形態の揮発性メモリ、又はハードドライブ若しくはデータキャリアなどの永久メモリ、又は例えば、交換可能なメモリモジュールが理解され得る。しかしながら、ストレージモジュールは、クラウドベースのストレージソリューションでもあり得る。

テストエージェントモジュール２００のテストエージェント２２０は、ソフトウェアアプリケーションを使用して、１つ以上の運転タスクのための複数のテストケースＴ_ｉを作成する。特定の運転タスクは、例えば、エンジニアなどの専門家によって、シミュレーションを開始する前に策定される。しかしながら、運転タスクのリストがソフトウェアアプリケーションによって生成されることも規定され得る。次いで、このリストは、本発明によるシステム１００によって連続的に編集され得る。例示的な運転タスクは、幹線道路上の車線変更である。

テストケースのＴ_ｉ選択及び設計のために、テストエージェント２２０がテストケースＴ_ｉを作成する方法を特定する、テスト方略２３０が提供される。テスト方略２３０を確立するために、様々な計算方法及びアルゴリズム、特に、人工知能のアルゴリズムを提供することができる。したがって、平均値、最小値及び最大値、ルックアップテーブル、期待値モデル、線形回帰法、ガウスプロセス、高速フーリエ変換、積分及び微分計算、マルコフ法、モンテカルロ法などの確率法、時間差学習だけでなく、拡張カルマンフィルタ、放射基底関数、データフィールド、収束ニューラルネットワーク、ディープニューラルネットワーク、並びに／又は再帰型ニューラルネットワークなどのアルゴリズム及び計算方法であり、これらは、方略が反復手順を通して適合されることを可能にする。

テストケースＴ_ｉの作成のための必要な情報は、較正パラメータデータベース３２０、シナリオデータベース３３０、及び評価データベース３４０からテストエージェント２２０によって取り出される。本発明の文脈では、更なるデータベースも使用されることが規定され得る。作成されたテストケースＴ_ｉは、テストデータベース３００に記憶される。

「データベース」とは、ストレージアルゴリズム、また、ストレージユニットの形態のハードウェアの両方を意味する。特に、データベース３００、３２０、３３０、３４０は、クラウドコンピューティングインフラストラクチャの一部として構成され得る。

本発明に関連するデータは、未加工データ、並びにセンサ及び他のデータソースからの測定結果から作成されたデータとして理解されるべきである。

テストケースＴ_ｉの作成は、論理シナリオとも称される、パラメータ化されたシナリオに基づく。パラメータ化されたシナリオは、本発明の文脈では、特に機械可読コードで書かれているシナリオと称される。パラメータ化されたシナリオＳＺｐ_ｉは、ある数量の可能性のあるパラメータＰ_ｉからの様々なパラメータＰ_１，Ｐ_２，…，Ｐ_ｎ及びある数量の可能性のあるパラメータ値ＰＶ_ｉからの関連するパラメータ値ＰＶ_１，ＰＶ_２，…，ＰＶ_ｎによって定義され、パラメータ値ＰＶ_ｉは、パラメータＰ_ｉの値の範囲を定義する。例えば、パラメータＰ_ｉは、物理的変数、化学的変数、トルク、回転速度、電圧、電流強度、加速度、速度、制動値、方向、角度、半径、位置、数字、自動車、人、若しくは自転車に乗った人などの可動物体、建物若しくは木などの静止物体、幹線道路などの道路構成、道路標識、交通信号灯、トンネル、ラウンドアバウト、分岐車線、交通量、傾斜などの地形構造、時間、温度、降水値、気象条件、及び／又は時季を設定する。したがって、パラメータＰ_ｉは、本発明の文脈におけるシナリオの特性及び特徴を示す。パラメータＰ_ｉの例は、自車の速度であり、関連するパラメータ値ＰＶ_ｉの範囲は、シナリオＳＺｐ_ｉについて１００ｋｍ／時～１８０ｋｍ／時の範囲を含むことができる。別のシナリオＳＺｐ_ｋについては、パラメータ値ＰＶ_ｉの値の範囲は、４０ｋｍ／時～７０ｋｍ／時の範囲であり得る。

パラメータ化されたシナリオＳＺｐは、時間間隔Δｔ_１，Δｔ_２．，…，Δｔ_ｎの時系列を含み、各々において、それぞれ、異なる場面及び事象が起こる。パラメータ化されたシナリオＳＺｐは、開始場面から始まり、次いで、生じる事象を通して進化し、経時的に新しい後続の場面をもたらす。したがって、開始場面は、１つ以上の事象によって改正される。事象は、加速などの道路ユーザによって能動的にトリガされる応答、並びに例えば、交通信号灯の切替動作などの周期的に再発する事象であり得る。したがって、開始場面及び個々の後続の場面が各々、わずかな時間間隔Δｔ及び／又はスナップショットのみを含む一方で、パラメータ化されたシナリオＳＺｐは、より長い期間を含む。シナリオＳＺｐのグラフ表現では、図２に図示されるように、事象は、エッジとして表され得、個々の場面は、グラフのノードとして表され得る。

本発明の文脈では、パラメータ化されたシナリオＳＺｐと具体的なシナリオＳＺｃとの間の区別が行われる。本発明の文脈では、パラメータＰ_ｉ及び関連するパラメータ値ＰＶ_ｉの両方が全て定義されるわけではない、シナリオＳＺｐが定義される。具体的なシナリオＳＺｃは、シナリオパラメータＰｃ_ｉ並びに関連するシナリオパラメータ値ＰＶｃ_ｉ及び／又はシナリオパラメータ値ＰＶｃ_ｉの値範囲が設定される、シナリオＳＺとして定義される。両方のシナリオでは、パラメータ化されたシナリオＳＺｐ及び具体的なシナリオＳＺｃの両方は、特に機械可読コードで書かれているシナリオである。

パラメータ化されたシナリオＳＺｐ_ｉを作成するために、要件仕様、専門知識、及び／又はセンサを使用した公共の交通若しくはテスト場での測定などの様々なソースを使用することができる。使用されるセンサは、特に、レーダーシステム、光学距離及び速度測定用のＬＩＤＡＲシステム、可視、ＩＲ及び／若しくはＵＶ範囲内の２Ｄ／３Ｄ画像記録カメラ、並びに／又はＧＰＳシステムとして構成され得る。更に、加速度計、速度センサ、静電容量センサ、誘導センサ、電圧センサ、トルクセンサ、降水センサ、及び／又は温度センサなどを使用することができる。したがって、ソフトウェアアプリケーションを用いて、対応するパラメータ化されたシナリオＳＺｐ_ｉを、特定の地理的位置における記録されたデータから導出することができる。特に、ソフトウェアアプリケーションは、人工知能アルゴリズムを使用して、パラメータ化されたシナリオＳＺｐ_ｉを識別する。人工知能アルゴリズムは、特に、ニューラルネットワークを有するエンコーダ及びデコーダであり得る。

ニューラルネットワークは、複数の層に配設され、互いに異なって相互接続されたニューロンからなる。ニューロンは、その入力において、外側から、又は別のニューロンから情報を受信し、特定の様式で情報を評価し、ニューロン出力において改変された形式でそれを別のニューロンに伝えるか、又は最終結果としてそれを出力することができる。隠されたニューロンが、入力ニューロンと出力ニューロンの間に位置する。ネットワークのタイプに応じて、隠されたニューロンの複数の層が存在し得る。それらは、情報の転送及び処理を提供する。出力ニューロンは、最終的に結果を送達し、それを外界に発行する。ニューラルネットワークは、教師なし又は教師付き学習を通して訓練され得る。

ニューロンの異なる配設及び連結は、異なるタイプのニューラルネットワーク、特に、フィードフォワードニューラルネットワーク（ＦＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、又は畳み込みニューラルネットワーク（ＣＮＮ）をもたらす。畳み込みニューラルネットワークは、複数の折り畳み層を有し、機械学習並びにパターン認識及び画像認識用途の分野での使用に非常によく適している。センサによって捕捉されたデータの大部分が画像として存在するため、特に、畳み込みニューラルネットワーク（ＣＮＮ）が使用される。

本発明の文脈では、テストエージェント２２０は、パラメータ化されたシナリオＳＺｐ_ｉのセットから、ＡＤＡＳ／ＡＤＳの較正及び検証のために関心となるテストケースＴ_ｉを作成する。この目的のために、テストエージェント２２０は、シナリオデータベース３３０から好適なパラメータ化されたシナリオＳＺｐ_ｉ及びシナリオパラメータＰｃ_ｉを、並びに較正パラメータデータベース３２０から較正パラメータＰｃａｌ_ｉを選択する。テストエージェント２２０によって作成されたこれらの関連性のあるテストケースＴ_ｉは、運転支援システム及び自動運転機能によって管理されなければならない、運用設計ドメイン（ＯＤＤ）に明記された関連性のある交通状況を網羅する。したがって、テストケースＴ_ｉは、シナリオパラメータＰｃ_ｉ及び更なる較正パラメータＰｃａｌ_ｉの仕様を通して定義された関連性のある具体的なシナリオＳＺｃである。

したがって、テストエージェント２２０のテスト方略２３０は、好適なパラメータ化されたシナリオＳｚｐ_ｉ及びシナリオパラメータＰｃ_ｉ並びに更なる較正パラメータＰｃａｌ_ｉ．を選択することによって、テストケースＴ_ｉの構成を決定する。使用されるテスト方略２３０は、シミュレーションの目的、すなわち、特定の運転タスクが実施されるときに、シミュレーションによって、ＡＤＡＳ／ＡＤＳ及び／又は具体的な運転機能の挙動についてのどの知識が取得されるかによって特定される。例えば、較正パラメータＰｃａｌ_ｉの一定のデータセットを用いたＡＤＡＳ／ＡＤＳの仮想検証については、組み合わせの方法を使用して、異なるパラメータ化されたシナリオＳｚｐ_ｉ及びシナリオパラメータの組み合わせを作成することができる。更に、異なるパラメータ化されたシナリオＳｚｐ_ｉのより小さなセットのために較正パラメータＰｃａｌ_ｉを適合させるために、数理オプティマイザに基づいて、反復方略を実装することができる。

テストエージェント２２０は、このようにして決定されたテストケースＴ_ｉをテストデータベース３００に記憶する。テストケースＴ_ｉのデータは、テスト識別番号（テストＩＤ）、ユーザ名、作成時間、及び選択されたパラメータ化されたシナリオＳｚｐ_ｉの指定を含むことができる。更に、パラメータ化されたシナリオＳｚｐ_ｉを具体的なシナリオＳｚｃ_ｉに変換するシナリオパラメータＰｃ_ｉが保存される。更に、較正パラメータＰｃａｌ_ｉ及び性能指標（ＫＰＩ）などの他のデータを、シミュレーションにおけるそれぞれの運転支援機能の性能の評価並びに実施されるシミュレーションの評価のための評価指標に関して記憶することができる。更に、「実施済み又は未実施」などのシミュレーションの状態に関する情報を、テストケースＴ_ｉと関連付けることができる。加えて、更なるテキストメッセージ、ビデオシーケンス及び／又は音声シーケンスなどを、更なる情報とともに記憶することができる。したがって、全体的に、テストケースＴ_ｉに関する全ての関連性のある情報を、テストデータベース３００に記憶することができる。

作成されたテストケースＴ_ｉのシミュレーションを実施するために、テストエージェント２２０は、テストケースＴ_ｉ又は複数のテストケースＴ_ｉをシミュレーションモジュール４００に伝える。加えて、シミュレーションモジュール４００は、較正パラメータデータベース３２０から較正パラメータＰｃａｌ_ｉに関する情報、並びにシナリオデータベース３３０から機械可読スクリプトなどのパラメータ化されたシナリオＳＺｐ_ｉ及びシナリオパラメータＰｃ_ｉについての情報を読み出して、シミュレーションを実施することができる。シミュレーションモジュール４００は、テストされている運転タスクのためのテストケースＴ_ｉの具体的な特性をシミュレーションするように構成され、互いに相互作用することができる、様々なサブモジュール４１０、４２０、４３０を備える。それらは、交換可能なサブモジュールとして構成され、それぞれのテストケースＴ_ｉ又は複数のテストケースＴ_ｉの個々の態様をシミュレーションするタスクを有する。第１のサブモジュール４１０は、環境に関し、自動車１０の様々な環境をマップする、周囲モデルモジュールとして構成され得る。第２のサブモジュール４２０は、動的又は防御的など、運転者の運転モード及び／又は運転スタイルに関する運転者モデルモジュールとして構成され得る。第３のサブモジュール４３０は、例えば、パワートレイン、運転動力学、及び他のサブ機能の異なる構成に関して、自動車の様々なモデルを含む車両モデルモジュールとして構成され得る。サブモジュール４１０、４２０、４３０は、具体的な状況及び／又は構成のためのそれぞれのテストケースＴ_ｉの説明を実装し、運転機能モジュール４４０において運転支援機能をシミュレーションするために必要な入力データを提供する。

シミュレーションモジュール４００及び／又は様々なサブモジュール４１０、４２０、４３０は、センサ４７０からのセンサ信号及び他のデータが記憶される、１つ以上のデータベース４８０に接続される。センサ信号は、特に、定義された時間窓Δｔ_ｉ及び／又は定義された走行経路部分Δｘ_ｉの間に走行経路に沿った運転中に記録された、それぞれ、自動車１０の特性及び特徴並びに自動車１０の近傍にある物体及び事象の測定データである。自動車１０の交通環境内の物体は、特に、自動車、歩行者、自転車に乗った人などの他の道路ユーザであり、事象は、例えば、加速動作、車線変更、又は交通信号灯の切替を含む。センサ４７０は、特に、レーダーシステム、光学距離及び速度測定用のＬＩＤＡＲシステム、可視、ＩＲ及び／若しくはＵＶ範囲内の２Ｄ／３Ｄ画像記録カメラ、並びに／又はＧＰＳシステムとして構成され得る。更に、加速度計、速度センサ、静電容量センサ、誘導センサ、電圧センサ、トルクセンサ、降水センサ、及び／又は温度センサなどを提供することができる。

更なる履歴データもまた、画像、グラフィック、時系列、特性値などの形態でデータベース４８０に記憶することができる。例えば、シミュレーションのための安全規格を定義する標的変数及び標的値を、データベース４８０に記憶することができる。データベース４８０はまた、クラウドコンピューティングインフラストラクチャに統合され得る。

更に、付加的データソース又はデータベースを使用することができる。これは、特に、車線及び橋などの道路仕様、道路表面、縁構造、道路経路などの道路インフラストラクチャなどとともに、道路ネットワークに関するデータを含み、当局によって提供されるデータベースを含む、データベースを含む。

加えて、特定の交通位置における実際の毎時交通量などの交通の数字についてのデータは、交通渋滞などの特定のシナリオタイプについて関心となる。航空写真は、例えば、Ｇｏｏｇｌｅ Ｍａｐｓからの別のデータのソースである。Ｍａｐｉｌｌａｒｙも、道路画像に使用することができる。Ｍａｐｉｌｌａｒｙは、ドライブレコーダ及びスマートフォンによって記録された地理タグを有するユーザが生成した道路画像を収集する。これらの画像は、オープンソースライセンスの下で利用可能である。

気象条件もまた、シナリオタイプを定義することができるため、気象データは、別のデータソースである。したがって、気象データは、履歴的気象測定及び将来の気象予報を含む。

検出された物体の地理座標の計算及び記憶は、好ましくは、ＥＰＳＧ２５８３２座標系（ユニバーサル横メルカトル（ＵＴＭ）ゾーン３２Ｎ）で実行される。このシステムは、ドイツでは当局によっても使用されている。横及び縦の位置は、メートルで表される。更に、ＧＰＳ受信機（全地球測位システム）でも使用される「世界測地システム１９８４（ＷＧＳ８４）」などの全地球基準システムを使用することができる。したがって、例えば、地図コンテンツ全体をドイツから輸入することができる。

テストエージェントによって選択されるテストケースＴ_ｉは、様々なサブモジュール４１０、４２０、４３０に統合され、サブモジュール４１０、４２０、４３０からのセンサデータ、車両健全性情報、及び運転者入力などの入力信号が、選択されたテストケースＴ_ｉのシミュレーションを実施するために提供される。この目的のために、サブモジュール４１０、４２０、４３０は、Ｘ－ｉｎ－ｔｈｅ－ｌｏｏｐ（ＸｉＬ）などのシミュレーションアルゴリズムを使用する。特に、使用されるセンサ４７０からのセンサ信号の不正確性及び測定誤差が、仮想較正及び検証において考慮されなければならないため、センサ４７０のモデリングは、特に重要である。選択されたテストケースＴ_ｉ及び／又は複数のテストケースＴ_ｉが、定義された運転タスクを網羅することができない場合、更なるデータが、運転事象全体をマッピングし、それによって、それをシミュレーションするために、サブモジュール４１０、４２０、４３０を介して提供される。

したがって、シミュレーションモジュール４００は、設定された運転タスクのためのテストケースＴ_ｉのシミュレーションを実施し、シミュレーション結果４５０を評価モジュール５００に伝える。

評価モジュール５００は、特に、性能指標（ＫＰＩ）の形態で、１つ以上の機能の性能及び機能性、又は運転者支援システム（ＡＤＡＳ）若しくは自動運転システム（ＡＤＳ）の全体的性能に関してシミュレーション結果４５０を評価する。加えて、実行されるシミュレーション手順の品質が、特に、シミュレーション品質基準（ＳＱＣ）の形態で評価される。これらの評価から、評価モジュール５００は、評価結果５５０を生成する。

ＫＰＩは、テストされるＡＤＡＳ／ＡＤＳの性能を説明するために使用され、異なるＫＰＩが、快適性、安全性、走行の自然性、及び効率などの異なる評価カテゴリについて確立される。加えて、テストされているＡＤＡＳ／ＡＤＳの正しい機能性を立証するために、更なるＫＰＩを実装することができる。ＫＰＩの例は、別の車両からの最小距離又は減速シナリオにおける平均加速度の評価である。

ＫＰＩに加えて、ＳＱＣが、シミュレーションの品質を評価するために使用される。例えば、他の道路ユーザを、テストされているＡＤＡＳ／ＡＤＳの反応に応じて異なる決定を行うモデル化されたシミュレーション代表によって表すことができる。この理由により、シミュレーションされたシナリオがテストケースＴ_ｉのシナリオ説明に合致するかどうかを立証するために、評価が行われなければならない。この目的のために、シナリオシミュレーションの正しい実行についてフィードバックを提供する測定基準が、ＳＱＣについて定義される。したがって、追い越し操作を実施する様式は、例えば、衝突が回避され得るかどうか関して、ＳＱＣを用いて評価され得る。ＫＰＩ及びＳＱＣは、数値だけでなくブール値によっても表され得る。

その中で、直接及び間接評価測定基準の両方を、ＫＰＩ及びＳＱＣに使用することができる。直接評価測定基準は、シミュレーションされた測定データに直接由来するデータを含む。間接評価測定基準は、特に、シナリオパラメータをデータソースとして使用する。間接評価測定基準の適用の例は、ＡＤＡＳ／ＡＤＳの運転支援機能の実施中の運転者の主観的知覚を定量化及び評価するシミュレーションモデルの実装である。したがって、ＫＰＩ及びＳＱＣに基づいて、シミュレーションされたテストケースＴ_ｉの結果は、数値又はブール値によって表され得る。

性能指標（ＫＰＩ）及びシミュレーション品質基準（ＳＱＣ）の形態の評価結果５５０は、テストエージェントモジュール２００に伝えられる。テストエージェント２２０は、較正パラメータデータベース３２０内の較正パラメータＰｃａｌ_ｉ、シナリオデータベース３３０内のパラメータ化されたシナリオＳｚｐ_ｉ及びシナリオパラメータＰｃ_ｉ、並びに評価データベース３４０内の評価結果５５０に、重みなどの指標、又は特定の特性を識別し、設定された運転タスクのための新しいテストケースＴ_ｋを作成するための標識を提供することができる。特に、テスト方略２３０は、較正パラメータデータベース３２０、シナリオデータベース３３０、及び評価データベース３４０内の評価結果５５０によって標識されたデータを使用して適合され得る。テストケースＴ_ｋは、順に、テストデータベース３００に堆積され、シミュレーションモジュール４００における新しいシミュレーションサイクル及び評価モジュール５００における後続の評価に使用され得る。

特に、新しいシミュレーション実行のためにテストケースＴ_ｋを適合させるために、較正パラメータＰｃａｌ_ｉが、特に、変更される一方で、シナリオパラメータＰｃ_ｉは、同じままである。較正パラメータＰｃａｌ_ｉは、特に、機能評価モジュール５１０によって作成された性能指標（ＫＰＩ）に基づいて変更される。新しいテストケースＴ_ｋについて較正パラメータＰｃａｌ_ｉを反復することによって、較正パラメータＰｃａｌ_ｉの最適なセットを決定することができる。

更に、一定の較正パラメータＰｃａｌ_ｉを考慮すると、テストエージェント２２０は、シナリオパラメータＰｃ_ｉを変更し、重要な具体的なシナリオＳｚｃ_ｉを反復して決定することができる。

したがって、シミュレーションモジュール４００及び評価モジュール５００の組み合わせは、仮想較正及び検証の文脈においてテストケースＴ_ｉを処理するための基礎を形成する。テストエージェント２２０によって作成されたテストケースＴ_ｉは、シミュレーションモジュール４００においてシミュレーションされ、シミュレーションモジュールは、較正パラメータデータベース３２０及びシナリオデータベース３３０にアクセスして、必要な情報を取得する。成功したシミュレーションの後、シミュレーション結果４５０は、評価モジュール５００に転送される。評価モジュール５００は、評価データベース３４０及びシナリオデータベース３３０にアクセスして、シミュレーション結果４５０の評価結果５５０をその中に堆積させる。シミュレーションモジュール４００及び評価モジュール５００の両方は、異なる機能及び適用事例への適合、並びにサブモジュールの別個の開発が可能にされるように、交換可能なサブモジュールを含む。

第１のテストケースＴ_ｉを用いた第１のシミュレーションサイクルの完了後、第２のテストケースＴ_ｋが、第１のシミュレーション実行のシミュレーション結果４５０及び計算結果に適合されたテスト方略２３０を使用して、テストエージェント２２０によって作成される。新しいシミュレーション実行が、これらの第２のテストケースＴ_ｋを用いて開始される。評価結果５５０は、第２のテストケースＴ_ｋが特定の評価基準を満たすかどうか、又はテスト方略２３０の更なる適合が更なるシミュレーションサイクルを実施するために必要とされるかどうかを決定するために使用される。評価結果５５０が、シミュレーション結果４５０が収束することを明らかにする場合、最後のシミュレーションサイクルのテストケースＴ_ｋは、出力モジュール７００に伝えられる。

評価モジュール５００によってＫＰＩ及びＳＱＣの形態で生成される評価結果５５０に基づいて、次いで、設定された運転タスクを実施するための運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）並びに／若しくは運転機能の較正パラメータＰｃａｌ_ｉの最適なデータセットを、最後のシミュレーションサイクルのテストケースＴ_ｋについて決定することができる。較正パラメータＰｃａｌ_ｉのこのデータセットは、設定された運転タスクについて運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）並びに／若しくは運転機能の挙動を定義し、次いで、出力結果７５０として出力モジュール７００から出力され得る。加えて、出力結果７５０は、実施されるシミュレーションについての情報を含む。それによって、出力結果７５０の品質は、シナリオ説明の品質及びシミュレーションのタイプ、並びに評価測定基準の定義に依存する。

シミュレーションモジュール４００が、異なるサブモジュール４１０、４２０、４３０を備えるため、サブモジュールを置換することによって、異なるＡＤＡＳ及びＡＤＳへの単純な適合を行うことができる。更に、サブモジュール４１０、４２０、４３０は、独立して開発及び検証され、全体的なプロセスのより高い品質をもたらし得る。したがって、シミュレーションモジュール４００は、交換可能なサブモジュール４１０、４２０、４３０を用いて、異なる適用事例に適合され得る。単純にテストエージェント２２０のテスト方略２３０を変更することによって、異なる運転タスクを実装することができる。

図３では、設定された運転タスクについて運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）を較正及び検証するための方法ステップが、少なくとも１つのシナリオＳＺ_ｉで示されている。

ステップＳ１０では、第１のテストケースＴ_ｉが、運転タスクのためのテスト方略２３０を使用して、パラメータ化されたシナリオＳＺｐ_ｉ及びシナリオパラメータＰｃ_ｉ並びに較正パラメータＰｃａｌ_ｉを選択することによって、テストエージェント２２０によって作成される。

ステップＳ２０では、選択された第１のテストケースＴ_ｉが、シミュレーションモジュール４００に伝えられる。

ステップＳ３０では、シミュレーションが、シミュレーションモジュール４００から実施されて、シミュレーション結果４５０を決定する。

ステップＳ４０では、シミュレーション結果４５０が、評価モジュール５００に伝えられる。

ステップＳ５０では、シミュレーション結果４５０の評価が、評価結果５５０を決定するために評価モジュール５００によって実施される。

ステップＳ６０では、テスト方略２３０が、シミュレーション結果４５０及び評価結果５５０に適合される。

ステップＳ７０では、第２のテストケースＴ_ｋが、適合されたテスト方略２３０を使用してテストエージェント２２０によって作成される。

ステップＳ８０では、第２のテストケースＴ_ｋのための新しいシミュレーションサイクルが、開始される。

ステップＳ９０では、特定の評価基準が満たされない場合、更なるシミュレーションサイクルを実施するためのテスト方略２３０の適合が繰り返される。

ステップＳ１００では、特定の評価基準が満たされた場合、最後のシミュレーションサイクルのテストケースＴ_ｋが、出力モジュール７００に伝えられる。

ステップＳ１１０では、テストケースＴ_ｋからの出力結果７５０が、特に、設定された運転タスクを実施するための運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）並びに／若しくは運転機能の較正パラメータＰｃａｌ_ｉの形態で、較正及び検証目的のために出力モジュール７００によって生成及び出力される。

図４は、本発明の第１の態様による方法を実施するように構成されている実行可能プログラムコード９５０を備える、コンピュータプログラム製品９００を概略的に示す。

本発明を用いて、ＡＤＡＳ／ＡＤＳの仮想較正及び検証のための較正パラメータの最適なセットを、モジュール式構造化モジュールの使用によって生成することができる。モジュールは、互いに独立して開発及びテストされ、それによって、全体的なプロセスの品質を高めることができる。必要なモジュールを統合及び連結することによって、本発明によるシステム１００は、ＡＤＡＳ／ＡＤＳの仮想較正及び検証を意図的かつ効率的に実施することができる。このようにして、標準的な交通状況及び具体的なコーナーケースの両方を用いたテスト経路からの実際の逸脱を低減することができるため、資源を節約することができる。

１０ 自動車
１００ システム
２００ テストエージェントモジュール
２２０ テストエージェント
２３０ テスト方略
３００ テストデータベース
３２０ 較正パラメータデータベース
３３０ シナリオデータベース
３４０ 評価データベース
４００ シミュレーションモジュール
４１０ 環境モデルモジュール
４２０ 運転者モデルモジュール
４３０ 車両モデルモジュール
４４０ 運転機能モジュール
４５０ シミュレーション結果
４７０ センサ
４８０ データベース
５００ 評価モジュール
５１０ 機能評価モジュール
５２０ シミュレーション評価モジュール
５５０ 評価結果
７００ 出力モジュール
７５０ 出力データ
９００ コンピュータプログラム製品
９５０ プログラムコード

Claims (15)

1. 少なくとも１つのシナリオ（ＳＺ_ｉ）において設定された運転タスクについて運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）並びに／若しくは運転機能を較正及び検証するための方法であって、シナリオ（ＳＺ_ｉ）が、時系列における交通事象を表し、パラメータ（Ｐ_１，Ｐ_２，…，Ｐ_ｎ）及び関連するパラメータ値（ＰＶ_１，ＰＶ_２，…，ＰＶ_ｎ）の選択によって定義され、パラメータ化されたシナリオ（ＳＺｐ_ｉ）では、前記パラメータ（Ｐ_１，Ｐ_２，…，Ｐ_ｎ）及び関連するパラメータ値（ＰＶ_１，ＰＶ_２，…，ＰＶ_ｎ）が自由に選択可能であり、具体的なシナリオ（ＳＺｃ_ｉ）について、前記シナリオパラメータ（Ｐｃ_１，Ｐｃ_２，…，Ｐ_ｃｎ）及び関連するシナリオパラメータ値（ＰＶｃ_１，ＰＶ_ｃ２，…，ＰＶｃ_ｎ）が設定され、
   －前記運転タスクのためのテスト方略（２３０）を使用して、パラメータ化されたシナリオ（ＳＺｐ_ｉ）及びシナリオパラメータ（Ｐｃ_ｉ）並びに較正パラメータ（Ｐｃａｌ_ｉ）を選択することによって、テストエージェント（２２０）によって第１のテストケース（Ｔ_ｉ）を作成すること（Ｓ１０）と、
   －選択された前記第１のテストケース（Ｔ_ｉ）をシミュレーションモジュール（４００）に伝えること（Ｓ２０）と、
   －前記シミュレーションモジュール（４００）によってシミュレーションを実施して、シミュレーション結果（４５０）を決定すること（Ｓ３０）と、
   －前記シミュレーション結果（４５０）を評価モジュール（５００）に伝えること（Ｓ４０）と、
   －評価結果（５５０）を決定するために、前記評価モジュール（５００）によって前記シミュレーション結果（４５０）の評価を実施すること（Ｓ５０）と、
   －前記テスト戦略（２３０）を前記シミュレーション結果（４５０）及び前記評価結果（５５０）に適合させること（Ｓ６０）と、
   －適合された前記テスト方略（２３０）を使用して、前記テストエージェント（２２０）によって第２のテストケース（Ｔ_ｋ）を作成すること（Ｓ７０）と、
   －前記第２のテストケース（Ｔ_ｋ）のために新しいシミュレーションサイクルを開始すること（Ｓ８０）と、
   －特定の評価基準が満たされない場合、更なるシミュレーションサイクルの実施のために前記テスト方略（２３０）の適合を繰り返す（Ｓ９０）こと、又は
   －特定の評価基準が満たされた場合、最後のシミュレーションサイクルの前記テストケース（Ｔ_ｋ）を出力モジュール（７００）に伝えること（Ｓ１００）と、
   －前記出力モジュール（２００）によって、較正及び検証目的のために、前記テストケース（Ｔ_ｋ）から、特に、前記設定された運転タスクを実施するための前記運転者支援システム（ＡＤＡＳ）及び／又は前記自動運転システム（ＡＤＳ）並びに／若しくは前記運転機能の較正パラメータ（Ｐｃａｌ_ｉ）の形態で、出力結果（７５０）を生成及び出力すること（Ｓ１１０）と、を含む、方法。
2. 前記シミュレーションモジュール（４００）が、交換可能なサブモジュール（４１０、４２０、４３０）を備え、第１のサブモジュール（４１０）が、環境モデルモジュールとして構成され、第２のサブモジュール（４２０）が、運転者モデルモジュールとして構成され、第３のサブモジュール（４３０）が、車両モデルモジュールとして構成されている、請求項１に記載の方法。
3. 前記シミュレーションモジュール（４００）及び／又は前記サブモジュール（４１０、４２０、４３０）が、センサ（４７０）及び／又はデータベース（４５０）に接続されて、シミュレーションモデルを作成するための更なる情報を取得し、前記シミュレーションモデルが、運転機能モジュール（４４０）に伝えられ、運転支援機能のシミュレーションを実施する、請求項１又は２に記載の方法。
4. 前記評価モジュール（５００）が、性能指標（ＫＰＩ）を使用して運転機能の性能及び安全性を決定するための運転機能評価モジュール（５２０）と、シミュレーション品質基準（ＳＱＣ）を使用して前記シミュレーションの品質を決定するためのシミュレーション評価モジュール（５２０）とを備え、前記評価結果（５５０）が、前記性能指標（ＫＰＩ）と、前記シミュレーション品質基準（ＳＣ）とを含む、請求項１～３のいずれか一項に記載の方法。
5. 前記テストケース（Ｔ_ｉ）が、テストデータベース（３００）に記憶され、前記較正パラメータ（Ｐｃａｌ_ｉ）が、較正パラメーターデータベース（３２０）に記憶され、前記パラメータ化されたシナリオ（ＳＺｐ_ｉ）及び前記シナリオパラメータ（Ｐｃ_ｉ）が、シナリオデータベース（３３０）に記憶され、前記評価結果（５５０）が、評価データベース（３４０）に記憶されている、請求項１～４のいずれか一項に記載の方法。
6. 前記テキスト方略（２３０）及び／又は前記テストエージェント（２２０）が、人工知能の計算方法及び／又はアルゴリズムを有する少なくとも１つのソフトウェアアプリケーションを使用する、請求項１～５のいずれか一項に記載の方法。
7. 前記アルゴリズム及び計算方法が、平均値、最小値及び最大値、ルックアップテーブル、期待値モデル、線形回帰法、ガウスプロセス、高速フーリエ変換、積分及び微分計算、マルコフ法、モンテカルロ法などの確率法、時間差学習、拡張カルマンフィルタ、放射基底関数、データフィールド、収束ニューラルネットワーク、ディープニューラルネットワーク、並びに／又は再帰型ニューラルネットワークとして構成されている、請求項６に記載の方法。
8. パラメータ（Ｐ_ｉ）が、物理的変数、化学的変数、トルク、速度、電圧、電流強度、加速度、速度、制動値、方向、角度、半径、位置、数字、自動車、人、若しくは自転車に乗った人などの可動物体、建物若しくは木などの静止物体、幹線道路などの道路構成、道路標識、交通信号灯、トンネル、ラウンドアバウト、分岐車線、交通量、傾斜などの地形構造、時間、温度、降水値、気象条件、及び／又は時季を含む、請求項１～７のいずれか一項に記載の方法。
9. 前記センサ（４７０）が、レーダーシステム、ＬＩＤＡＲ光学距離及び速度測定システム、可視、ＩＲ及び／若しくはＵＶ範囲内の画像記録２Ｄ／３Ｄカメラ、ＧＰＳシステム、加速度計、速度センサ、静電容量センサ、誘導センサ、電圧センサ、トルクセンサ、降水センサ、並びに／又は温度センサとして構成されている、請求項１～８のいずれか一項に記載の方法。
10. 少なくとも１つのシナリオ（ＳＺ_ｉ）において設定された運転タスクについて運転者支援システム（ＡＤＡＳ）及び／又は自動運転システム（ＡＤＳ）並びに／若しくは運転機能を較正及び検証するためのシステム（１００）であって、シナリオ（ＳＺ_ｉ）が、時系列における交通事象を表し、パラメータ（Ｐ_１，Ｐ_２，…，Ｐ_ｎ）及び関連するパラメータ値（ＰＶ_１，ＰＶ_２，…，ＰＶ_ｎ）の選択によって定義され、パラメータ化されたシナリオ（ＳＺｐ_ｉ）では、前記パラメータ（Ｐ_１，Ｐ_２，…，Ｐ_ｎ）及び関連するパラメータ値（ＰＶ_１，ＰＶ_２，…，ＰＶ_ｎ）が自由に選択可能であり、具体的なシナリオ（ＳＺｃ_ｉ）について、前記パラメータ（Ｐｃ_１，Ｐｃ_２，…，Ｐ_ｃｎ）及び関連するシナリオパラメータ値（ＰＶｃ_１，ＰＶ_ｃ２，…，ＰＶｃ_ｎ）が定義され、テストエージェント（２２０）及びテスト方略（２３０）を有するテストモジュール（２００）と、シミュレーションモジュール（４００）と、評価モジュール（５００）と、出力モジュール（７００）とを備え、前記テストエージェント（２２０）が、前記運転タスクのための前記テスト方略（２３０）を使用して、パラメータ化されたシナリオ（ＳＺｐ_ｉ）及びシナリオパラメータ（Ｐｃ_ｉ）並びに較正パラメータ（Ｐｃａｌ_ｉ）を選択することによって、第１のテストケース（Ｔ_ｉ）を生成し、選択された前記第１のテストケース（Ｔ_ｉ）を前記シミュレーションモジュール（４００）に伝えるように構成され、前記シミュレーションモジュール（４００）が、シミュレーション結果（４５０）を決定して、前記シミュレーション結果（４５０）を前記評価モジュール（５００）に伝えるように構成され、前記評価モジュール（５０）が、前記シミュレーション結果（４５０）の評価を実施して、評価結果（５５０）を決定するように構成され、前記テストモジュール（２００）が、前記テスト方略（２３０）を前記シミュレーション結果（４５０）及び前記評価結果（５５０）に適合させ、適合された前記テスト方略（２３０）を使用して、前記テストエージェント（２２０）から第２のテストケース（Ｔ_ｋ）を作成し、前記第２のテストケース（Ｔ_ｋ）のために新しいシミュレーションサイクルを開始し、特定の評価基準が満たされない場合、更なるシミュレーションサイクルを実施するために前記テスト方略（２３０）の適合を繰り返すか、又は特定の評価基準が満たされた場合、少なくとも最後のシミュレーションサイクルの前記テストケース（Ｔ_ｋ）を前記出力モジュール（７００）に伝えるように構成され、前記出力モジュール（７００）が、較正及び検証目的のために、前記少なくとも最後のシミュレーションサイクルの前記テストケース（Ｔ_ｋ）から、特に、決定された前記運転タスクを実施するための前記運転者支援システム（ＡＤＡＳ）及び／又は前記自動運転システム（ＡＤＳ）並びに／若しくは前記運転機能の較正パラメータ（Ｐｃａｌ_ｉ）の形態で、出力結果（７５０）を生成及び出力するように構成されている、システム（１００）。
11. 前記シミュレーションモジュール（４００）が、交換可能なサブモジュール（４１０、４２０、４３０）を備え、第１のサブモジュール（４１０）が、環境モデルモジュールとして構成され、第２のサブモジュール（４２０）が、運転者モデルモジュールとして構成され、第３のサブモジュール（４３０）が、車両モデルモジュールとして構成されている、請求項１０に記載のシステム（１００）。
12. 前記シミュレーションモジュール（４００）及び／又は前記サブモジュール（４１０、４２０、４３０）が、センサ（４７０）及び／又はデータベース（４５０）に接続されて、シミュレーションモデルを作成するための更なる情報を取得し、前記シミュレーションモデルが、運転機能モジュール（４４０）に伝えられ、運転支援機能のシミュレーションを実施する、請求項１０又は１１に記載のシステム（１００）。
13. 前記評価モジュール（５００）が、性能指標（ＫＰＩ）を使用して運転機能の性能及び安全性を決定するための運転機能評価モジュール（５２０）と、シミュレーション品質基準（ＳＱＣ）を使用して前記シミュレーションの品質を決定するためのシミュレーション評価モジュール（５２０）とを備え、前記評価結果（５５０）が、前記性能指標（ＫＰＩ）と、前記シミュレーション品質基準（ＳＱＣ）とを含む、請求項１０～１２のいずれか一項に記載のシステム（１００）。
14. 前記テストケース（Ｔ_ｉ）が、テストデータベース（３００）に記憶され、前記較正パラメータ（Ｐｃａｌ_ｉ）が、較正パラメータデータベース（３２０）に記憶され、前記パラメータ化されたシナリオ（ＳＺｐ_ｉ）及び前記シナリオパラメータ（Ｐｃ_ｉ）が、シナリオデータベース（３３０）に記憶され、前記評価結果（５５０）が、評価データベース（３４０）に記憶され、前記テキスト方略（２３０）及び／又は前記テストエージェント（２２０）が、人工知能の計算方法及び／又はアルゴリズムを有する少なくとも１つのソフトウェアアプリケーションを使用する、請求項１０～１３のいずれか一項に記載のシステム（１００）。
15. 請求項１～９のいずれか一項に記載の方法を実行するように構成されている実行可能プログラムコード（９５０）を含む、コンピュータプログラム製品（９００）。

Images