JP2024506108A - 未知の安全でないシナリオの生成、自動運転車の改善、コンピュータシステム - Google Patents

未知の安全でないシナリオの生成、自動運転車の改善、コンピュータシステム Download PDF

Info

Publication number
JP2024506108A
JP2024506108A JP2023550684A JP2023550684A JP2024506108A JP 2024506108 A JP2024506108 A JP 2024506108A JP 2023550684 A JP2023550684 A JP 2023550684A JP 2023550684 A JP2023550684 A JP 2023550684A JP 2024506108 A JP2024506108 A JP 2024506108A
Authority
JP
Japan
Prior art keywords
scenarios
scenario
sco
unknown
unsafe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023550684A
Other languages
English (en)
Inventor
アリレザイ,モホセン
シュト,マーティン
レイクス,フランク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Industry Software NV
Original Assignee
Siemens Industry Software NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Industry Software NV filed Critical Siemens Industry Software NV
Publication of JP2024506108A publication Critical patent/JP2024506108A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3664Environments for testing or debugging software
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

未知の安全でないシナリオの生成、自動運転車の改善、コンピュータシステム。自動運転車(VHC)の安全性を評価および改善するための未知の安全でないシナリオ(SUU)を生成するためのコンピュータ実施方法であって、複数の異なるシナリオ(SCO)を提供することの第1の工程(PC1)を含む。自動運転車(VHC)の安全性と、これらの設計効率を改善するために、本発明は、複数の異なるシナリオ(SCO)を、未知の安全でないシナリオ(SUU)であるシナリオ(SCO)に低減する第2の工程(PC2)を提供することを提案する。さらに、本発明は、コンピュータ実施方法を適用することによってシステムをシミュレートするためのコンピュータシステム(CPS)に関する。

Description

本発明は、未知の安全でないシナリオを生成するための、特に自動運転車の安全性を評価するためのコンピュータ実施方法であって、複数の異なるシナリオを提供する第1のプロセスを含む方法に関する。さらに、本発明は、少なくとも1つのプロセッサを含むコンピュータシステムを対象とし、プロセッサは、本発明による方法を実行するように準備されている。
近年、自動運転機能および技術(センサ技術、高性能コンピューティング、機械学習、コンピュータビジョンなど)の開発は著しい進歩を遂げてきた。しかしながら、自動運転機能の大幅な発展にもかかわらず、監視なしで非構造化環境を走行できる完全自動運転車の導入は長期的な目標にとどまっている。
本発明の分野において、関連する先行技術の開示は以下のように考えられている。
匿名:「協調運転と自動運転機能の検証と妥当性確認のためのクリティカルシナリオ作成 今日と明日の出会い」2020年12月24日(2020-12-24)、1~25頁、XP055914080
Fabrice Trollet:「自律走行車の検証:ISO21448 SOTIFが要求する、既知のユースケースの変動性を発生させ、未知の安全でないユースケースを新たに発見する方法」2020年1月31日 (2020-01-31)、1~8頁、XP055914137、https://www.embedded-france.org/wp-content/uploads/2020/03/ERTS2020_Proceedings_Final.pdf
Forrai Alexandru他:「安全な自動運転システムの提供―オートメーションレベル4をターゲットとした自律走行車の試験と認証の傾向を明らかにする」Siemens White paper、2020年1月1日、1~17頁、XP055849481
現在市販されている主な運転支援システムは、SAEレベル1または2に分類され(自動化レベル1:アシストモード:アダプティブクルーズコントロール(ACC)など、特定の支援システムが車両操作を支援する。自動化レベル2:アシストモード。部分自動化:自動駐車、車線維持、一般的な縦方向誘導、加速、ブレーキなどの機能は、渋滞アシストなどの支援システムが行う。
それに比べ、より高いレベルの自律性(SAEレベル3、4、5)を持つシステムは、徹底的にテストされ、複雑な交通状況、悪天候や照明条件、進化するシナリオ(エッジ/コーナーケースや稀だが安全に関連する事象を含む)において堅牢でなければならない。そのためには、安全に市場に投入できるようになるまで、膨大な数のテスト走行が必要となる。つまり、従来の検証アプローチ、プロセス、ツールでは、こうした新しいシステムを検証するという困難な問題に効率的に対処できない。
自動運転車(AV)の安全性を評価するためには、さまざまな側面を考慮しなければならない。まず、ISO26262(道路運送車両-機能安全)に記載されているように、機能安全によって安全な運転を確保しなければならない。この規格は、ハードウェアとソフトウェアの両方におけるシステマティックな欠陥とランダムな欠陥による技術的な不具合によって引き起こされる危険性を扱っている。
さらに、いわゆる意図された機能の安全性(SOTIF)も確保されなければならない。SOTIFは、技術的なシステム故障がない場合に、機能的な欠陥に起因するリスクや危険性を軽減することに重点を置いている。SOTIF分析には、システムの弱点や危険な事象につながるシナリオの特定が含まれる。
SOTIFによれば、シナリオは2つの性質に基づいて分類される。第一に、シナリオは既知か未知かであり、設計者によってすでに予見されていたか否かによる。
次に、安全か安全でないかである。この結果、シナリオは4つのタイプに分類される。
・既知で安全
・既知で不安全
・未知で不安全
・未知で安全
SOTIF分析は、主に未知の安全でないシナリオを特定することに集中する。安全でないシナリオが見つかった場合、そのリスクを軽減することができる。
SOTIF評価のための未知の安全でないシナリオを特定することは、未解決の課題である。
このようなシナリオを得るためには、テスト走行や事故データベースなどのデータから抽出することが知られている。しかし、テストドライブからの抽出にはまだ多くのテスト走行が必要である。
事故データベースからの抽出には、現在のところ人間のドライバが関与しているという欠点がある。人間のドライバにとって危険なシナリオが、自動運転システムにとっては危険ではないかもしれないからである。一方、自動運転機能は新たな危険をもたらす可能性がある。
SOTIFは、潜在的なシステムハザードと特定の操作状況の組み合わせによって引き起こされる危険な事象を考慮する。したがって、このようなハザードを検出するには、ハザードの引き金となる、以前は知られていなかった安全でないシナリオを特定する必要がある。クリティカリティと新規性という用語は、それぞれシナリオが安全でない可能性と未知である可能性を示すために使用される。安全評価のための最新のシナリオ識別技術を分類する。
既知の手法のひとつに、知識ベースのシナリオ作成がある。知識に基づいてシナリオを生成する際には、多くの要素を考慮する必要がある。ここで、自律走行車の操作設計領域、物体やイベントの検出と応答、車両操縦、故障管理などのいくつかの側面が検証されなければならない。例えば、オペレーショナル・デザイン・ドメイン・タクソノミーやオントロジーベースのシナリオ生成は、さまざまな要素をどのように組み合わせてシナリオにするかを導くアプローチである。
別の既知の方法は、パラメータ変化によるシナリオ識別である。この手法では、シナリオの作成は論理的なシナリオから開始される。パラメータの範囲は、クリティカルなシナリオを見つける目的でサンプリングされる。クリティカリティ指標や適合度関数は、関連するシナリオと無関係なシナリオを区別するために使用される。関連/論理シナリオは、機能シナリオから始まり、パラメータ範囲を定義することで得られる。各論理シナリオには、KPI(Key Performance Indicator)が割り当てられ、クリティカリティ指標として使用される。そして、パラメータのバリエーションを用いて具体的なシナリオを選択することができる。
別の既知の方法は、自動最適化または改ざんを伴うシナリオ識別である。この手法では、シナリオの作成は(一組の)具体的なシナリオから始まり、その複雑性や重要性を高めていく。クリティカリティ指標や目的関数は、探索をサポートするために使用される。ほとんどの場合、最適化はシミュレーションを用いて反復的に行われる。このアプローチは到達可能性解析に基づいており、モーションプランナをテストすることを目的としている。
予想到達可能集合が最初に決定される。この集合は、必然的に事故を引き起こすものを除いたすべての到達可能な状態を含む。到達可能集合を計算するには、車両モデルが必要である。次に、予想到達可能集合に対応するすべての位置の面積を計算することにより、走行可能領域を求める。走行可能領域は、クリティカリティの尺度として使用される。次に、運転可能領域を縮小するために、最適化ルーチンが使用される。
別の既知の方法は、データベースのシナリオ識別である。前のセクションで説明した方法は、知識に基づいてシナリオを生成するものであった。これに対して、本節で紹介する方法は、データからシナリオを抽出する。最初の2つの貢献は、テスト対象の自動運転システムによって回避できたかもしれない衝突の検出を扱ったものである。衝突頻度を統計的に推定するためのデータに基づくシナリオ選択は、以下のグループに細分化される。
[確率論的シミュレーションにおける衝突回避]
この方法では、事故データベースからシナリオを選択する。次に、自動運転システムの安全効果を評価するために、確率論的シミュレーションを行う。様々なパラメータが掃引され、例えば、それぞれのモデルに対応する他の交通参加者の挙動が設定される。
このようにすることで、自動運転システムが事故を回避できたかどうかを判断することができる。この方法では、事故に関する非常に詳細な説明が必要となり、自動運転機能自体によってもたらされた可能性のある新たな潜在的危険については、限られた情報しか得られない。
[検索ベースの回避可能な衝突]
シミュレーションで回避可能な衝突を発見するために、主に2つの探索ベースのアプローチが使用されている。回避可能な衝突とは、テスト対象の自動運転システムの特定の構成で特定のシナリオで発生する衝突であるが、システムの構成が異なれば回避される衝突と定義される。第一は逐次的アプローチであり、衝突を発見するためにシナリオの危険度をまず最大化する。
次に、同じシナリオで衝突しない異なる重みを見つけるために、多目的探索が実行される。目的は、危険を最小化することと、初期重みと再調整された重みの間の距離を最小化することである。
第2のアプローチは、衝突の探索と衝突を回避する代替コンフィギュレーションを組み合わせた多目的アプローチである。元の重みと再構成された重みの間の距離を最小化するという目的は変わらない。
[極値理論のシナリオ選択]
この方法では、衝突の頻度を統計的に推定する。この目的のために、センサデータを含む事故データが使用され、衝突に近い頻度を計算することができる。極値理論により、衝突に近い事象の頻度を外挿することで、実際の衝突の頻度を推定することができる。
本発明の目的は、独立請求項によって達成される。従属請求項には、本発明の有利な発展および変更が記載されている。
本発明は、複数の異なるシナリオを、未知の安全でないシナリオに縮小する第2の工程を含む、冒頭に述べたタイプの方法によって、従来の方法の上記で説明した問題点および不利な点を解決する。
本発明では、「シナリオ」が行われる環境を「シーン」と呼ぶ。例えば、好ましくは、場所、気象条件、照明条件が1つのシーンを定義することができる。
本発明の文言において、「基本シナリオ要素」は、道路利用者の横方向および縦方向の挙動または動きを記述する抽象化されたモデルとして定義される。この挙動は、好ましくは、それぞれの参加者の水平方向の動きとして理解される。
本発明によれば、「シナリオ」とは、あるシーンにおけるすべての道路利用者とそれぞれの基本シナリオ要素(すなわち、彼らの行動)の組み合わせである。
本発明の表現において、「3D環境」は、造形的な外観を有する3Dインタラクティブ環境として理解され得る。前記3D環境は、車両のタイヤの接触パッチと前記3D環境の対応する接触面との間の相互作用、特に機械的相互作用、および前記車両のセンサと3D環境との間のセンサ相互作用、特に電磁的相互作用、例えば光学的相互作用を可能にする。
本願を通じて、不定冠詞「a」または「an」を使用することは、複数を排除するものではなく、「comprising」は他のステップまたは要素を排除するものではないことに留意すべきである。また、異なる実施形態に関連付けて記載された要素を組み合わせることもできる。特許請求の範囲における参照符号は、特許請求の範囲を限定するものとして解釈されるべきではないことにも留意すべきである。
知識ベースからのシナリオ構築と、記録データからのシナリオ探索を比較すると、以下のような共通点と相違点がある。
これらの手法の共通点は、例えば、シナリオのシミュレーションが重要であることである。さらに、ほとんどの手法では、クリティカルなシナリオとそうでないシナリオを区別するために、クリティカリティ指標や目的関数が必要となる。
相違点として、論理的シナリオから出発し、パラメータ空間をサンプリングするアプローチもある。これは、通常のサンプリング、パラメータの確率的変動、あるいは組み合わせテストアプローチを用いて行われる。
他のアプローチは、1つまたは1組の具体的なシナリオから開始し、最適化手順を適用する。最適化は、遷移ベースのRRT、進化的アルゴリズム、単一目的および多目的最適化などを用いて行われる。
議論されているように、現在のシナリオ識別方法は、クリティカリティや潜在的に安全でない状況にのみ焦点を当てることが多いが、必ずしも未知の状況には焦点を当てていない。一方、クリティカリティについては、様々な定義や指標が使用されている。
本発明の目的の一つは、未知で安全でないシナリオを特定することを目的とした汎用的な方法を開発することである。
本発明に従えば、上記の問題に対する解決策として、さらに以下の工程を含む初期に定義された方法による解決策が提供される。
・複数の異なるシナリオを、未知の安全でないシナリオに縮小する第2の工程。ここで、前記第2の工程はさらに以下の工程を含む。
・各シナリオについて、時間経過を伴うクリティカリティの変化としてクリティカリティ指標を決定し、クリティカリティ指標が予め定義された閾値を超えないシナリオを破棄することにより、前記複数のシナリオを、安全でない未知のシナリオの割合が高くなるように低減させる。
本発明による方法の好ましい一実施形態は、以下のステップからなる。
・データ収集、3D環境生成によるシミュレーション環境へのデータインポートを行う。
・シーンの選択と基本シナリオ要素の抽出を行う。
・道路利用者の数と種類の選択と大規模なシナリオ生成を行う。
・未知の安全でないシナリオに対する最適化を行う。
好ましい実施形態として、複数の異なるシナリオを提供する前記第1の工程は、以下を含むことができる。
・ステップ1:データを収集し、3D環境を生成してシミュレーション環境にデータをインポートする。
・ステップ2:シーンを選択し、そのシーンから基本的なシナリオ要素を抽出する。
・ステップ3:多数の道路利用者を選択し、各道路利用者のタイプを選択して、複数の異なるシナリオを生成する。
好ましくは、実世界のデータを収集するには、少なくとも1つのセンサのセンサ記録を使用する。
・ドローン
・ロードサイドセンサ
・センサセットを搭載した車両
・通常の車両
特に、これらの可能性を組み合わせたり、すべて利用したりすることで、より現実的なシミュレーションが可能になり、その結果、効率的なテストが可能になり、自律走行システムの安全性を最も価値あるものに改善することができる。
本発明に従い、3D環境を生成することで、実世界の記録データをインタラクティブなシミュレーション施設(それぞれ3D環境)に変換し、車両とその周囲の相互作用(例えば、地面/舗装とタイヤの間の機械的相互作用)を可能にする。
このインタラクティブな3D環境は、さらにシーンとシナリオの修正を可能にする。これらの修正は、自律運転システムを改善する大きな可能性を与える、特に関心のあるシナリオからなる複数のシナリオを生成するために不可欠な要素の1つである。
本発明によれば、前記第2のプロセスは、複数の異なるシナリオを、未知の安全でないシナリオの割合が高い、好ましくは未知の安全でないシナリオのみからなる、より選択された複数のシナリオに減らすことを特徴とするステップ4を含む。前のステップの1つにより、シナリオの修正と複数の異なるシナリオの生成が可能になるが、生成されたこれらすべてのシナリオが自律運転システムの安全性を向上させるために十分に有用であるとは限らない。そこでステップ4では、興味深いシナリオの選択を行う。
別の好ましい実施形態では、ステップ1がさらに、以下のようなサブステップを含んでいる。
(1a) センサによる実シナリオデータの計測と計測値の記録によりデータを収集すること。
(1b) 複数のシナリオの実シナリオデータのセンサ測定値の記録をデータコレクションに提供すること。
(1c) 前記データ収集のデータをシミュレーション環境にインポートすること。
(1d) 前記シミュレーション環境によって、前記データコレクションから少なくとも1つの3D環境を生成すること。
別の好ましい実施形態では、ステップ2が以下の工程からなる。
(2a) シナリオを設定するために、前記3D環境からシーンを選択する。
(2b) 前記シーンから基本シナリオ要素を抽出する。
特に、基本的なシナリオ要素の抽出は、実データの再録のリアリティを失うことなく、シナリオのインタラクティブ性、モジュール性、可変性をもたらす。
好ましい一実施形態は、サブステップによるシナリオの修正を提供する。
(3a) シナリオを生成するための道路利用者の数およびタイプを選択する。
(3b) 選択された道路利用者の数とタイプに基づいて複数のシナリオを生成する。このように実世界のデータを変化させる工程は効率的であり、シナリオの質も高くなる。
本発明の別の好ましい実施形態によれば、ステップ4はサブステップを備える。
(4a) 各シナリオについて、時間経過を伴うクリティカリティの変化としての重大度インジケータを決定することによって、前記複数のシナリオを、より高い部分の未知の安全でないシナリオに向かって減少させる。
この実施形態によれば、シナリオがより少ない未知の安全でないシナリオであることを示す重大度指標を有するシナリオは、破棄されてもよい。
したがって、予め定義されたクリティカリティ閾値を超えない重大度インジケータ量を有するシナリオは、本発明のこの好ましい実施形態によれば、以前に既知であった可能性が高く、したがって未知であると認定されず、好ましくは破棄される。
好ましくは、前記重大度指標は次のように定義される。
・クリティカリティ指標の時間微分、または
・クリティカリティ指標の組み合わせの時間微分、または
・最も好ましくは、クリティカリティ指標の時間微分またはクリティカリティ指標の組み合わせの時間微分値である。
このような組み合わせは、複数のクリティカリティ指標の加重和であってもよい。
この定義は、シナリオが道路利用者にとって未知であり、車両および自律走行システムにとってそれぞれ驚きであることを、有益に反映している。
最も好ましくは、1つのクリティカリティ指標、または本発明の変形例として唯一のクリティカリティ指標は、予測される衝突までの時間であってもよく、ここで、重大度指標は、好ましくは、前記予測される衝突までの時間の時間微分の量として、または代替的に前記予測される衝突までの時間の負の時間微分としてモデル化される。他のアルゴリズムオプションも可能であり、例えば、予測された衝突までの時間の時間微分の逆数または負の逆数である。
例えば、「衝突予測時間の負の時間微分」というオプションは、1つのパラメータを評価するだけで、未知の属性(または意外性)と安全性(または危険性)の両方の属性を評価することを可能にする。意外性と危険性は、重大度指標が増加するにつれて増加する。他のクリティカリティ指標は道路状態に関係することがある。湿度、湿気、雨の量、気温によって、路面は濡れていたり、滑りやすかったり、凍っていたりする。これらの要因は、タイヤのトラクションに影響を与える可能性がある。突然のブラックアイス、霧、雷雨など、このような状況の変化の意外性(未知数)は、これらのクリティカリティ指標の時間微分値として定量化することができる。
衝突までの予測時間、または、瞬間的な衝突までの短時間の値は、衝突経路と速度差が維持された場合、2人の道路利用者または車両間で衝突が発生するまでの残り時間として定義される。
本発明の1つの有用な変形例は、シーンまたはシナリオを修正することが、以下の追加ステップの少なくとも1つを含むこと、を提供する。
(1e) 前記3D環境(3DE)内の少なくとも1人の道路利用者(RUS)の少なくとも1つの軌跡(TRJ)の少なくとも1つのオクルードされた部分を特定し、オクルードされた前記部分を埋める。
(1f) 滑らかな軌跡(TRJ)を得るために、前記3D環境(3DE)内の少なくとも1人の道路利用者(RUS)の少なくとも1つの軌跡(TRJ)から少なくとも1つの動的オブジェクトを除去する。
(1g) 少なくとも1人の道路利用者(RUS)に仮想センサを追加する。
特に、本発明は、自動車両の安全性を向上させるための装置および/または方法を扱い、前記装置は、前記方法を実行するために準備されており、前記方法は、以下のステップを含む。
・少なくとも1つのプロセッサを含む運転支援システム(好ましくは先進運転支援システム[ADAS])を提供し、プロセッサは、車両の運転において半自動的にまたは自律的に介入を制御するために準備される。
・車両の運転は、車両を運転すること(例えば、加速、ブレーキ)、または特定の操作を制御すること(例えば、駐車操舵補助)、または信号装置を読み取ること、または重大な状況の直前または最中に適切なヒューマンマシンインタフェースを介して運転者に警告することとみなすことができる。
・介入制御動作を設定するために、少なくとも2つ(2つの異なる設定のみを比較する場合)、好ましくは2つ以上のパラメータ(ADAS-parameter)設定を提供する。
・前記運転支援システム(好ましくは先進運転支援システム)の少なくとも一部を、ループ内(ループXiL内の何かの意味内、例えば、ループHiL内のハードウェア https://de.wikipedia.org/wiki/Hardware_in_the_Loop)で、いくつかの異なるパラメータ設定で、請求項1~12の少なくとも1つに記載の方法によって生成された少なくとも1つの未知の安全でないシナリオのシミュレーションで、テストする。
・前記複数の異なるパラメータ設定の中から、予め定義された基準に関して他のパラメータ設定よりも優れた性能を発揮する少なくとも1つのパラメータ設定を選択する。
選択されたパラメータ設定のうちの1つによって、自動車両の運転支援システム(ADAS)を設定する。
・設定された運転支援システム(ADAS)で自動運転車を運転する。
ここで好ましくは、介入制御動作を構成するためのパラメータ(ADASパラメータ)設定を提供することは、最初の推測において、各パラメータについて、好ましくは任意の合理的なそれぞれ実現可能な値を任意に選択することによって、または、各パラメータについて、合理的なそれぞれ実現可能な間隔を選択し、好ましくは全範囲をカバーするようにこれらの間隔から好ましくは等距離の値を選択し、異なるパラメータのこれらの値をランダムにまたはシステム的に組み合わせ、それぞれの運転支援システムパラメータ性能を比較する最適化戦略に従うことによって行うことができる。
それぞれの運転支援システムのパラメータ性能の比較は、次のように比較することで行うことができる。
・各シナリオ中の最大(または最小クリティカリティ値またはクリティカリティの量(クリティカリティ指標による))クリティカリティ値、または、
・クリティカリティ積分、または、
・クリティカリティ/重大度の比率、または、
・結果として生じる安全性をそれぞれ評価するための他の既知の基準
さらに、本発明は、前記装置、例えば、少なくとも1つのプロセッサを含むコンピュータシステムに関し、該プロセッサは、本発明による方法またはその変形形態もしくは好ましい実施形態の1つを実行するように準備されている。
本発明による方法またはその好ましい実施形態の1つを実施するための装置は、コンピュータ、パーソナルコンピュータ、またはコンピュータネットワーク内のワークステーションであってよく、中央処理装置、システムメモリ、およびシステムメモリを含む様々なシステム構成要素を中央処理装置に結合するシステムバスを含む。システムバスは、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含む、いくつかのタイプのバス構造のいずれであってもよい。システムメモリは、読み出し専用メモリ(ROM)および/またはランダムアクセスメモリ(RAM)を含むことができる。
基本入出力システム(BIOS)は、起動時など、パーソナルコンピュータ内の要素間で情報を転送するのに役立つ基本的なルーチンを含み、ROMに格納されている場合がある。コンピュータはまた、ハードディスクからの読み出しおよびハードディスクへの書き込みのためのハードディスクドライブを含むことができる。ハードディスクドライブは、ハードディスクドライブインタフェースによってシステムバスと結合されることがある。
ドライブおよびそれに関連する記憶媒体は、機械可読命令、データ構造、プログラムモジュール、およびコンピュータの他のデータの不揮発性記憶装置を提供する。本明細書で説明する例示的な環境はハードディスクを採用しているが、当業者であれば、フラッシュメモリカード、デジタルビデオディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)などの他のタイプの記憶媒体を、上記で紹介した記憶装置の代わりに、またはこれに加えて使用できることを理解されよう。
ハードディスク、ROMまたはRAMには、例えばオペレーティングシステム、推定方法のような1つまたは複数のアプリケーションプログラム、および/または他のプログラムモジュール、および/またはプログラムデータなど、多数のプログラムモジュールを格納することができる。
本発明のさらに可能な実施態様または代替的な解決態様には、実施態様に関して上述または後述される特徴の組み合わせ-本明細書では明示的に言及されない-も包含される。また、当業者は、本発明の最も基本的な形態に、個別または孤立した態様および特徴を追加することもできる。
これまで、本発明は、特許請求された方法および装置に関して説明されてきた。本明細書における特徴、利点または代替的な実施形態は、請求された他の対象(例えば、コンピュータプログラムまたは装置、すなわち、装置またはコンピュータプログラム製品)に割り当てることができ、その逆も同様である。
換言すれば、装置に関して特許請求されまたは非特許請求される対象は、方法の文脈で説明されまたは特許請求される特徴で改良され得、逆もまた同様である。この場合、方法の機能的特徴は、それぞれシステムの構造単位によって具現化され、その逆もまた同様である。
一般に、コンピュータサイエンスでは、ソフトウェアの実装と対応するハードウェアの実装は等価である。したがって、例えば、データを「記憶」するための方法ステップは、記憶装置と、記憶装置にデータを書き込むためのそれぞれの命令とを用いて実行することができる。冗長性を避けるため、本装置は、本方法を参照して説明した代替実施形態でも使用することができるが、これらの実施形態は、本装置について再度明示的に説明しない。
方法のすべてのステップが必ずしも同じコンポーネントまたはコンピュータインスタンス上で実行される必要はなく、異なるコンピュータインスタンス上で実行することも可能であることは、本発明の一部である。
さらに、上述した方法の個々のステップを1つのユニットで実施し、残りの構成要素を別のユニットで実施する、分散システムとして実施することも可能である。
上述した本発明の特性、特徴および利点、ならびにそれらが達成される態様は、以下の説明および実施形態に照らしてより明確になり、より理解しやすくなる。以下の説明は、含まれる実施形態について本発明を限定するものではない。同じ構成要素または部品を、異なる図において同じ参照符号で表示することができる。一般に、図は縮尺用ではない。本発明の好ましい実施形態は、従属請求項または上記の実施形態とそれぞれの独立請求項との任意の組み合わせにもなり得ることを理解されたい。
次に、本発明の実施形態について、添付図面を参照して例示的に説明する。
図1は、本発明による方法のステップを示している。 図2は、さまざまな可能性のあるデータ源とデータ収集方法を示している。 図3は、ソースゲート1の生成グラフと仮想的なパラメータ分布である。 図4は、あるシーンにおけるソースゲートとシンクゲートを示している。 図5は、安全でないことが分かっているシナリオ(左上)、安全でないことが分かっているシナリオ(右上)、先行車の激しいブレーキによる衝突までの時間のスムーズな減少(左下)、先行車の激しい車線変更による衝突までの時間の急激な減少(右下)を示している。 図6は、3つの動的な道路利用者がいるシーンの多目的最適化を示している。
図面は概略的なものである。
異なる図において、類似または同一の要素に同一の参照符号が付されている場合があることに留意されたい。
[図面の説明]
図1は、本発明による方法のステップを示す簡略化されたフロー図である。
本発明による方法の、より一般的なクラスタリングは、以下からなる。
・複数の異なるシナリオSCOを提供する第1の工程PC1
・複数の異なるシナリオSCOを、未知の安全でないシナリオSUUであるシナリオSCOに削減する第2の工程PC2
より詳細に分解すると、前記第1工程PC1は、以下の特徴を有する。
・ステップ1:
センサSNRによる実シナリオSCOデータの測定値の測定および記録によってデータCDTを収集すること、例えば実車両VHCの運転からデータCDTを収集することと前記データ収集DCLのデータCDTをシミュレーション環境SMEにインポートするステップ
前記シミュレーション環境SMEにより、前記データ収集DCLから少なくとも1つの3D環境3DEを生成するステップ
・ステップ2:
シナリオSCOを設定するために、前記3D環境3DEからシーンSCNを選択するステップ
前記シーンSCNから基本シナリオSCO要素SELを抽出するステップ
・ステップ3:
道路利用者RUSの数#RUSを選択し、各道路利用者RUSのタイプを選択するステップ
選択された道路利用者RUSの数とタイプに基づいて複数のシナリオSCOを生成するステップ
さらに詳細に説明すると、前記第1の工程PC1は、各シナリオSCOについて、クリティカリティCTCの時間経過を伴う変化としての重大度指標SIDを決定し、その量が予め定義された閾値TRSを超えない重大度指標SIDを有するシナリオSCOを破棄することによって、前記複数のシナリオSCOを、未知の安全でないシナリオSUUのより高い部分に向けてRDCを減少させるステップ4によってさらに特徴付けられる。
まず、シーンの場所、天候、照明条件を選択し、選択したシーンSCNでデータを収集する。特定のシーン・ロケーションに焦点を当てることで、異なる道路利用者にとってより多くのシナリオのバリエーションを見つけることによって、データ収集の効率が向上し、また、1つのロケーションで稀なシナリオを見つける可能性が高まる。データ収集のアプローチは様々である。一般的には、実データを収集することもできるし、合成データを生成することもできる。
図2は、例えば特定のシーンSCNの場所における未知の安全でないシナリオSUUを生成する第1の工程PC1に属するステップ1のデータ収集DCLを示す簡略化されたフロー図である。
実データRDT 4について、図2は、データ収集の4つの例示的な方法を示している(図1も参照)。
少なくとも1つのセンサのSNRの記録を使用する、
・ドローンDRN
・路上センサSNR
・センサSNRセットを装備した車両
・通常の車両群
次に、収集されたデータを処理し(ポスト処理PPC、好ましくはセンサの記録タイプごとに異なる)、3D環境を生成してシミュレーション環境SMEにインポートする。
シミュレーション環境SMEおよび/またはポスト処理PPCは、収集された前記データのトラジェクトリTRJのオクルージョン部分を特定し、埋めることを可能にする。オクルージョンは、合成データSDTによって埋めることができる。さらに、好ましくは、データは、軌跡が滑らかになるように動的オブジェクトに対してフィルタリングされる。データセットのオクルージョン部分を埋めることにより、以下にさらに説明する基本的なシナリオ要素を抽出する可能性が高まる。さらに、シミュレーション環境SMEにデータをインポートすることで、道路利用者RUSに仮想センサ(追加の合成データSDT)を追加することによってデータをリッチ化する可能性が提供される。
ステップ(2)の基本シナリオ要素BSEの前記シーン選択および抽出は、次のステップ群に属する。
前記シミュレーション環境SMEにインポートされたデータから基本シナリオ要素BSEを抽出するために、グラフベースのアプローチ(図3、4参照)を使用することができる。まず、ソースゲートSOG(#1、2、3、4)とシンクゲートSIG(#5、6、7、8)がシーンの位置に定義される(図4参照)。そして、各ソースゲートSOGからいずれかのシンクゲートSIGへの移動の可能性に基づいてグラフのエッジを構築する。これらの基本シナリオ要素BSEのパラメータ分布は、収集データCDTから生成することができる。
例えば、道路利用者RUSの縦方向の動きMVMは、一定加速度で抽象化できる、道路利用者RUSの横方向の移動は、一定曲率[(ρ]_1=C_1)、過渡曲率[(ρ]_2=C_2 (X,Y))、一定曲率[(ρ]_3=C_3)の3つの移動MVMで抽象化できる。ここで、C_1とC_3は定数であり、C_2はグローバル座標における道路利用者のX,Y位置の関数である。車線変更(左/右)、Uターン、ターン(左/右)は、過渡曲率関数の例である。
未知の安全でないシナリオSUUに向けた前記最適化は、ステップ(c)の次のグループに属する。本発明の表現では、前記最適化とは、複数の異なるシナリオSCOを、より高い部分の未知の安全でないシナリオSUUからなるシナリオSCO、好ましくは未知の安全でないシナリオSUUのみからなるシナリオSCOに削減することである。
膨大なシナリオSCOのうち、前のステップで生成された複数の異なるシナリオSCOおよび/またはテストケースのうち、限られたケースだけが重要であり、したがって設計者にとって興味深い。未知の安全でないシナリオSUUを見つけるための最適化アルゴリズムが必要である。この最適化の重要な部分の1つは、可能性のある膨大なシナリオSCOを未知の安全でないシナリオSCOに向かって効率的に絞り込む適切な目的関数の定義であり、これは重大度指標と呼ばれる。
重大度指標は、好ましくは、時間経過を伴うクリティカリティの変化、と定義される。
これは、重大度がクリティカリティ指標の時間微分として定義されるように、それぞれモデル化して表現することができる。最も広く使用されているクリティカリティ指標の1つである「衝突までの時間」(TTC)の場合、重大度指標は、例えば(d(TTC))/dtとしてモデル化することができる。重大性の値が高いということは、シナリオSCOの高いクリティカリティがホスト車両にとって予期されていなかったことを示し、したがって未知のシナリオとして分類され得る。
図5は、前方センサSNRを搭載したホスト車両VHCが、ホスト車両VHCの前方にある1台の車両VHCしか検出できない2つの異なるシナリオを示している。この場合、TTCが小さくなるためクリティカリティが高くなる。しかし、先行車VHCは見通しがよく、先行車VHCがBRKをタイミングよく制動していることを検知できるため、微分項は大きくない。右側では、先行車両VHCが停止車両VHCのために急な車線変更LCHを行う。この場合、TTCはより急激に減少し、このシナリオSCOは予期されていなかったため、先行車VHCにとっては未知のシナリオSUUであることを意味する。
導入されたシビアリティ指標は、自動運転車の安全性を改善する(最適化する)ために、好ましくは非線形な方法を使用することができ、シビアリティ指標は、改善または最適化装置または工程(例えば、最適化用シーメンスソフトウェアHEEDS)に実装することができる。物理的に不可能なシナリオSCOの生成を回避するために、シミュレーション環境SME(例えば、Simcenter Prescan:車両、センサ、および環境のモデリングのためのシーメンスのソフトウェア、環境およびセンサのシミュレーションに使用されるシミュレーションツール)において、ホスト車両VHC、他の道路利用者RUS、および環境3DEのモデルにコンストレイントを適用することができる。
あるシーンSCNにおいて可能な限り多くの未知の安全でないシナリオSUUを見つけるために、重大度の値が最も高いシナリオSCOだけが考慮されるべきでない(大域的な最大値)。重大度指標の局所的な最大値を示す他のシナリオも抽出することができる。そのために、局所最適から脱出し、すべての可能な局所最適と大域最適を見つけるために、多重目的最適化アプローチを使用することができる。
このコンテキストにおいて、図6は、道路利用者RUS(ここでは歩行者PDS)が突然道路に出てきて、他の車両が停車しているバスのためにホスト車両の車線に車線変更する場面を示している。これは、図6に示されているように、少なくとも2つの異なるクリティカルシナリオSCOを生み出す可能性がある。図6に示すように、他車両VHCが車線変更を行った時点で、ホスト車両が他の道路利用者RUS、車両VHCに非常に接近している場合、最初に解を見つけることができる(厳しさの大域的最大値として示される)。第2の解(局所最大)は、ホスト車両VHCが歩行者PDSに非常に接近し、その後歩行者PDSが道路に進入する場合に発見される。歩行者PDSは駐車車両VHCによって視界から遮られているため、ホスト車両VHCにとってはそれぞれ安全でない未知のシナリオSUUが発生する。上記のシナリオSCOは、道路利用者RUSの異なる状態を明確に示している。この例は、多重目的最適化アプローチが、状態の違いに基づいてグローバルGLMとローカルLOMの最大値を見つけるのに役立つことを示している。
前記クリティカリティ関数のみを使用すると、安全でない既知のシナリオを見つけることになり、効率が著しく低下する可能性がある。本発明によれば、前記時間微分によって新規性関数が実装されるため、本発明はSOTIF規格に準拠した未知の安全でないシナリオを見つけることができる。その結果、ADASまたはAD機能の検証および妥当性確認に必要なシミュレーション環境SMEにおける試験量を大幅に削減することができる。
本発明の利点を以下に要約する。
・初期具体的シナリオから始めることなく、未知の安全でないシナリオを作成する。
・SOTIF標準に従って、未知の安全でないシナリオを見つけることができる新規性機能。
・スマートなデータ収集が望まれる可能性がある。スマートなデータ収集は、特定のシーンSCNの場所でのデータ収集と相乗的に効率的であり、一方ではデータ収集の効率を高め、他方では1つの場所で稀な症例を発見する可能性を高める。
・シミュレーション環境SMEにデータをインポートすることで、より完全なパラメータ分布を探索できる可能性が高まるだけでなく、シミュレーション環境SMEでセンサのSNRを仮想的に追加することで、データを充実させることができる。
本発明を好ましい実施形態を参照して詳細に説明したが、本発明は開示された実施例によって限定されるものではなく、本発明の範囲を逸脱することなく、当業者によって多数の追加的修正および変形がなされ得ることを理解されたい。



Claims (6)

  1. 未知の安全でないシナリオ(SUU)を生成するためのコンピュータ実施方法であって、特に自動運転車(VHC)の安全性を評価するための方法であって、
    複数の異なるシナリオ(SCO)を提供する第1の工程(PC1)と、
    前記複数の異なるシナリオ(SCO)を、未知の安全でないシナリオ(SUU)の割合が高い部分、好ましくは未知の安全でないシナリオ(SUU)のみを含むシナリオ(SCO)に減少させる第2の工程(PC2)を含み、
    前記第2の工程(PC2)は、
    前記複数のシナリオ(SCO)を、各シナリオ(SCO)について、時間経過を伴うクリティカリティ(CTC)の変化として重大度指標(SID)を決定し、重大度指標(SID)が所定の閾値(TRS)を超えないシナリオ(SCO)を破棄することによって、未知の安全でないシナリオ(SUU)の割合が高い部分に向けて前記複数のシナリオを減少させる工程を含み、
    前記重大度指標(SID)は、クリティカリティ(CTC)指標の前記時間微分値として定義され、
    クリティカリティ(CTC)指標は、予測される衝突までの時間(TTC)であり、重大度指標(SID)は、前記予測される衝突までの時間(TTC)の時間微分としてモデル化される、
    ことを特徴とするコンピュータ実施方法。
  2. 前記第1の工程(PC1)は、
    データを収集し(CDT)、3D環境(3DE)を生成してシミュレーション環境(SME)にデータをインポートするステップ1、
    シーン(SCN)を選択(SEC)し、前記シーンから基本シナリオ要素(BSE)を抽出(EXR)するステップ2、
    道路利用者(RUS)の数を選択し、各道路利用者(RUS)の前記タイプを選択し、複数の異なるシナリオ(SCO)を生成するステップ3、
    を特徴とする、請求項1に記載のコンピュータ実施方法。
  3. ステップ1が、ドローン(DRN)、路上センサ(SNR)、センサ(SNR)セットを搭載した車両、通常の車両群のうちの少なくとも1つのセンサ(SNR)の記録RCDを使用することを含む、請求項2に記載の方法。
  4. ステップ1は、追加のステップである、
    (1e)前記3D環境(3DE)内の少なくとも1人の道路利用者(RUS)の少なくとも1つの軌跡(TRJ)の少なくとも1つのオクルードされた部分を特定し、オクルードされた前記部分を埋め、
    (1f)滑らかな軌跡(TRJ)を得るために、前記3D環境(3DE)内の少なくとも1人の道路利用者(RUS)の少なくとも1つの軌跡(TRJ)から少なくとも1つの動的オブジェクトを除去し、
    (1g)少なくとも1人の道路利用者(RUS)に仮想センサを追加する、
    ことを含む、請求項1に記載の方法。
  5. 自動運転車(VHC)の前記安全性を向上させる方法であって、
    少なくとも1つのプロセッサ(CPU)を含む運転支援システム(ADAS)を提供し、前記プロセッサ(CPU)は車両(VHC)の運転において半自動的にまたは自動的に介入を制御するために準備されており、
    前記プロセッサ(CPU)の準備は、介入制御動作を設定するためのADASパラメータ設定(PRS)を提供し、
    前記プロセッサ(CPU)のADASパラメータ設定(PRS)を提供し、
    複数の異なるパラメータ設定(PRS)を用いて前記請求項1~4の少なくとも1つに記載の方法によって生成された少なくとも1つの未知の安全でないシナリオ(SUU)のシミュレーションを用いて、ループ内で前記先進運転支援システム(ADAS)の少なくとも一部をテストし、
    前記複数の異なるパラメータ設定(PRS)のうち、所定の基準(PDC)に関して他のパラメータ設定(PRS)よりも優れた性能を発揮する少なくとも1つのパラメータ設定(PRS)を選択し、
    前記選択されたパラメータ設定(PRS)のうちの1つによって前記自動運転車(VHC)の運転支援システム(ADAS)を設定し、
    前記設定された運転支援システム(ADAS)で前記自動運転車(VHC)を運転する、
    ことを含む方法。
  6. 少なくとも1つのプロセッサ(CPU)を備える装置(CPS)であって、前記プロセッサ(CPU)は、前記請求項1~4の少なくとも1項に記載の前記方法を実行するように準備されている、ことを特徴とする装置。


JP2023550684A 2021-02-23 2022-01-07 未知の安全でないシナリオの生成、自動運転車の改善、コンピュータシステム Pending JP2024506108A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21158742.3 2021-02-23
EP21158742 2021-02-23
PCT/EP2022/050269 WO2022179759A1 (en) 2021-02-23 2022-01-07 Generating unknown-unsafe scenarios, improving automated vehicles, computer system

Publications (1)

Publication Number Publication Date
JP2024506108A true JP2024506108A (ja) 2024-02-08

Family

ID=74859687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023550684A Pending JP2024506108A (ja) 2021-02-23 2022-01-07 未知の安全でないシナリオの生成、自動運転車の改善、コンピュータシステム

Country Status (6)

Country Link
US (1) US20240092394A1 (ja)
EP (1) EP4264436A1 (ja)
JP (1) JP2024506108A (ja)
KR (1) KR20230144646A (ja)
CN (1) CN116997890A (ja)
WO (1) WO2022179759A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022212760A1 (de) * 2022-11-29 2024-05-29 Stellantis Auto Sas Filmbasierte Szenariengenerierung für Fahrfunktionstests

Also Published As

Publication number Publication date
KR20230144646A (ko) 2023-10-16
EP4264436A1 (en) 2023-10-25
CN116997890A (zh) 2023-11-03
US20240092394A1 (en) 2024-03-21
WO2022179759A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
WO2022082476A1 (zh) 一种仿真交通场景文件生成方法及装置
CN109598066B (zh) 预测模块的效果评估方法、装置、设备和存储介质
CN109936582B (zh) 构建基于pu学习的恶意流量检测模型的方法及装置
JP2023027777A (ja) 障害物移動軌跡の予測方法、装置及び自動運転車両
US20200033880A1 (en) System and method for 3d scene reconstruction of agent operation sequences using low-level/high-level reasoning and parametric models
US10677686B2 (en) Method and apparatus for autonomous system performance and grading
Klück et al. Performance comparison of two search-based testing strategies for ADAS system validation
Tageldin et al. Examining pedestrian evasive actions as a potential indicator for traffic conflicts
WO2022041717A1 (zh) 一种仿真交通流的构建方法及仿真设备
CN114881339A (zh) 车辆轨迹预测方法、***、计算机设备及存储介质
JP2024506108A (ja) 未知の安全でないシナリオの生成、自動運転車の改善、コンピュータシステム
Feth et al. Dynamic risk assessment for vehicles of higher automation levels by deep learning
WO2022247303A1 (zh) 预测控制的方法、装置、设备及计算机可读存储介质
El Mostadi et al. Virtual test scenarios for ADAS: Distance to real scenarios matters!
JP5673373B2 (ja) 交通シミュレーション装置および交通シミュレーションプログラム
US20170371985A1 (en) Method and apparatus of obtaining feature informtoin of simulated agents
Rosyid et al. Comparison of deep learning models in pothole avoidance for self-driving car
CN116361175A (zh) 一种自动驾驶车辆在不同安全域的测试场景创建方法
CN113268057A (zh) 无人驾驶车辆的避障处理方法及装置
Ravishankaran Impact on how AI in automobile industry has affected the type approval process at RDW
Neelofar et al. Identifying and Explaining Safety-critical Scenarios for Autonomous Vehicles via Key Features
US20230234603A1 (en) Information processing system, information processing method, and program
CN115273456B (zh) 一种两轮电动车违规行驶的判定方法、***和存储介质
CN118035939B (zh) 感知目标的置信度获取方法及自动驾驶规划控制方法
Lin et al. TM-fuzzer: fuzzing autonomous driving systems through traffic management

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231110

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240614