JP2024013226A

JP2024013226A - Driving related augmented virtual field

Info

Publication number: JP2024013226A
Application number: JP2023117132A
Authority: JP
Inventors: ビエッスアーミン; Biess Armin; ミスリアイザック; Misri Isaac; エンゲルソイユリウス; Engelsoy Julius; レイチェルガウツイガール; Raichelgauz Igal
Original assignee: Autobrains Technologies Ltd
Current assignee: Autobrains Technologies Ltd
Priority date: 2022-07-19
Filing date: 2023-07-18
Publication date: 2024-01-31
Also published as: KR20240024737A

Abstract

PROBLEM TO BE SOLVED: To provide a method for enhancing driving related augmenting virtual fields.

SOLUTION: A method includes: obtaining object information regarding one or more objects located within an environment of a vehicle; and determining, by a processing circuit, and based on the object information, a desired virtual acceleration of the vehicle, in which the determining of the desired virtual acceleration of the vehicle is based on a virtual physical model that represents an impact of the one or more objects on a behavior of the vehicle, in which the virtual physical model is built based on one or more physical laws and at least one additional driving related parameter.

SELECTED DRAWING: Figure 17

Description

本出願は、参照により本明細書に組み込まれる米国仮特許出願６３／２６０，８３９号からの優先権を主張する、出願日２０２２年８月２９日の米国特許出願１７／８２３，０６９号の一部継続出願である。本出願は、その全体が本明細書に組み込まれる、出願日２０２２年７月１９日の米国仮特許第６３／３６８，８７４号からの優先権を主張する。本出願は、その全体が本明細書に組み込まれる、出願日２０２２年８月２４日の米国仮特許第第６３／３７３，４５４号からの優先権を主張する。 This application is part of U.S. Patent Application No. 17/823,069, filed Aug. 29, 2022, which claims priority from U.S. Provisional Patent Application No. 63/260,839, which is incorporated herein by reference. This is a continuation application. This application claims priority from U.S. Provisional Patent No. 63/368,874, filed July 19, 2022, which is incorporated herein in its entirety. This application claims priority from U.S. Provisional Patent No. 63/373,454, filed August 24, 2022, which is incorporated herein in its entirety.

自律走行車両（ＡＶ：ａｕｔｏｎｏｍｏｕｓｖｅｈｉｃｌｅｓ）は、交通事故数及びＣＯ_２排出量を大幅に低減させるとともにより効率的な輸送システムに寄与するのに役立ち得る。しかしながら、今日の候補であるＡＶ技術は、以下の３つの点において拡張性がない。 Autonomous vehicles (AV) can help significantly reduce the number of traffic accidents and _CO2 emissions and contribute to a more efficient transportation system. However, today's candidate AV technologies are not scalable in three respects:

限られた視野、照明及び天候の課題、及び遮蔽はすべて、検出エラーとノイズを伴うローカライゼーション／運動学とにつながる。そのような不十分な現実世界の知覚出力に対処するために、ＡＶ技術に対する１つのアプローチは、高価なセンサに投資すること、及び／又は特殊なインフラストラクチャを道路網に統合することである。しかしながら、そのような試みは、非常にコストがかかり、インフラストラクチャの場合では、地理的に限定され、したがって、一般的にアクセス可能なＡＶ技術に至り得ない。 Limited field of view, lighting and weather challenges, and occlusion all lead to detection errors and noisy localization/kinematics. To address such insufficient real-world perceptual output, one approach to AV technology is to invest in expensive sensors and/or integrate specialized infrastructure into the road network. However, such efforts are very costly and, in the case of infrastructure, geographically limited and therefore cannot lead to a generally accessible AV technology.

高価なハードウェア及びインフラストラクチャに基づかないＡＶ技術は、機械学習、ひいては、現実世界の状況を処理するためのデータに、完全に依存している。検出エラーに対処するとともに複雑な運転タスクに十分な運転ポリシーを学習するためには、膨大な量のデータ及び計算リソースが必要とされ、依然として、適正に処理されないエッジ・ケースがある。これらのエッジ・ケースにおける共通の特徴は、機械学習モデルが目に見えない又は混乱させる状況に十分に一般化されず、ディープ・ニューラル・ネットワークのブラックボックス性に起因して、誤った挙動を分析することが困難であることである。 AV technology, which is not based on expensive hardware and infrastructure, relies entirely on machine learning and thus data to process real-world situations. Dealing with detection errors and learning driving policies sufficient for complex driving tasks requires vast amounts of data and computational resources, and there are still edge cases that are not properly handled. A common feature in these edge cases is that machine learning models do not generalize well to unseen or confusing situations, and due to the black-box nature of deep neural networks, it is difficult to analyze incorrect behavior. It is difficult to do so.

現在の道路対応の自動運転は、ＡＣＣ、ＡＥＢ、及びＬＣＡなどの別個のＡＤＡＳ機能の形態で実施される。完全な自動運転に達するには、既存のＡＤＡＳ機能をともにシームレスに結合するとともに、より多くのそのような機能（例えば、車線変更、交差点処理など）を追加することによって現在自動化されていないいかなるギャップもカバーすることを必要とする。要するに、現在の自動運転は、完全な自動運転をもたらすために容易に拡張することができる全体論的アプローチに基づいてない。 Current road-enabled autonomous driving is implemented in the form of separate ADAS functions such as ACC, AEB, and LCA. To reach full autonomy, we need to seamlessly combine existing ADAS functions together and bridge any gaps that are not currently automated by adding more such functions (e.g. lane changes, intersection handling, etc.). also needs to be covered. In short, current autonomous driving is not based on a holistic approach that can be easily expanded to bring about full autonomy.

本開示の実施例は、図面と併せて、以下の詳細な説明から、より完全に理解及び認識されるであろう。 Embodiments of the present disclosure will be more fully understood and appreciated from the following detailed description, taken in conjunction with the drawings.

米国特許出願第１６／７２９，５８９号U.S. Patent Application No. 16/729,589

方法の一実例を示す図である。FIG. 3 is a diagram illustrating an example of the method. 方法の一実例を示す図である。FIG. 3 is a diagram illustrating an example of the method. 方法の一実例を示す図である。FIG. 3 is a diagram illustrating an example of the method. 方法の一実例を示す図である。FIG. 3 is a diagram illustrating an example of the method. 車両の一実例である図である。It is a figure which is an example of a vehicle. 状況及び知覚フィールドの実例を示す図である。FIG. 3 is a diagram showing an example of a situation and a perceptual field. 状況及び知覚フィールドの実例を示す図である。FIG. 3 is a diagram showing an example of a situation and a perceptual field. 状況及び知覚フィールドの実例を示す図である。FIG. 3 is a diagram showing an example of a situation and a perceptual field. 状況及び知覚フィールドの実例を示す図である。FIG. 3 is a diagram showing an example of a situation and a perceptual field. 方法の一実例を示す図である。FIG. 3 is a diagram illustrating an example of the method. シーンの一実例を示す図である。FIG. 3 is a diagram showing an example of a scene. 方法の一実例を示す図である。FIG. 3 is a diagram illustrating an example of the method. 画像の実例を示す図である。It is a figure which shows the example of an image. 画像の実例を示す図である。It is a figure which shows the example of an image. 画像の実例を示す図である。It is a figure which shows the example of an image. 画像の実例を示す図である。It is a figure which shows the example of an image. 方法の実例を示す図である。FIG. 3 is a diagram illustrating an example of the method. 方法の実例を示す図である。FIG. 3 is a diagram illustrating an example of the method. 方法の実例を示す図である。FIG. 3 is a diagram illustrating an example of the method. 方法の実例を示す図である。FIG. 3 is a diagram illustrating an example of the method. 方法の実例を示す図である。FIG. 3 is a diagram illustrating an example of the method.

以下の詳細な説明において、本発明の完全な理解を提供するために多くの特定の詳細が記載される。しかしながら、本発明はこれらの特定の詳細なしに実施され得ることが当業者によって理解されるであろう。他の場合では、周知の方法、手順、及び構成要素は、本発明を不明瞭にしないように詳細には説明されていない。 In the detailed description that follows, numerous specific details are set forth in order to provide a thorough understanding of the invention. However, it will be understood by those skilled in the art that the present invention may be practiced without these specific details. In other instances, well-known methods, procedures, and components have not been described in detail so as not to obscure the present invention.

本発明とみなされる主題は特に、本明細書の結論部分において特に指摘され、明確に特許請求される。しかしながら、本発明は、その目的、特徴、及び利点とともに、動作構成及び方法の両方に関して、添付の図面とともに読まれると、以下の詳細な説明を参照することによって最良に理解され得る。 The subject matter regarded as the invention is particularly pointed out and distinctly claimed in the concluding portion of the specification. The invention, however, both as to objects, features, and advantages, as well as arrangements and methods of operation, may best be understood by reference to the following detailed description when read in conjunction with the accompanying drawings.

例示を簡単及び明確にするため、図に示される要素は必ずしも縮尺通りに描かれていないことが理解されるであろう。例えば、要素のいくつかの寸法は、明確にするため、他の要素に対して誇張されていることがある。さらに、適切と考えられる場合、参照符号は、対応する又は類似の要素を示すために図間で繰り返され得る。 It will be appreciated that for simplicity and clarity of illustration, the elements shown in the figures are not necessarily drawn to scale. For example, the dimensions of some of the elements may be exaggerated relative to other elements for clarity. Furthermore, where considered appropriate, reference signs may be repeated between the figures to indicate corresponding or similar elements.

本発明の例示の実施例は大部分、当業者に知られた電子構成要素及び回路を用いて実施され得るので、詳細は、本発明の基本的概念の理解及び認識のため、また、本発明の教示を分かりにくくしない又は本発明の教示から逸脱しないようにするために、上記で示されたような必要とみなされる範囲よりも多くの範囲で説明されない。 Since the illustrative embodiments of the invention may be implemented to a large extent using electronic components and circuits known to those skilled in the art, the details are provided for the purpose of understanding and appreciating the basic concepts of the invention and In order not to obscure or depart from the teachings of the present invention, they have not been described to more extent than is deemed necessary as set forth above.

本明細書における、方法へのいかなる言及も、方法を実行することが可能なデバイス若しくはシステム、及び／又は方法を実行する命令を記憶する非一時的コンピュータ可読媒体に、必要な変更を加えて適用されるものとする。 Any reference herein to a method applies mutatis mutandis to a device or system capable of performing the method and/or a non-transitory computer-readable medium storing instructions for performing the method. shall be carried out.

本明細書における、システム又はデバイスへのいかなる言及も、システムによって実行され得る方法に、必要な変更を加えて適用されるものとし、及び／又は、システムによって実行可能な命令を記憶する非一時的コンピュータ可読媒体に、必要な変更を加えて適用され得る。 Any reference herein to a system or device shall apply mutatis mutandis to the manner in which it may be performed by the system and/or to a non-transitory device storing instructions executable by the system. It may be applied mutatis mutandis to any computer-readable medium.

本明細書における、非一時的コンピュータ可読媒体へのいかなる言及も、非一時的コンピュータ可読媒体に記憶される命令を実行することが可能なデバイス又はシステムに、必要な変更を加えて適用されるものとし、及び／又は、命令を実行する方法に、必要な変更を加えて適用され得る。 Any reference herein to a non-transitory computer-readable medium applies mutatis mutandis to a device or system capable of executing instructions stored on the non-transitory computer-readable medium. and/or the method of executing the instructions may be applied mutatis mutandis.

図のいずれか、明細書の任意の部分及び／又はいずれもの特許請求の範囲において列挙される任意のモジュール又はユニットの任意の組み合わせが提供され得る。 Any combination of any modules or units recited in any of the figures, any part of the specification, and/or any claims may be provided.

本出願において示されるユニット及び／又はモジュールのうちの任意の１つが、非一時的コンピュータ可読媒体に記憶された、ハードウェア及び／又はコード、命令及び／又はコマンドで実装され得、車両内、車両外、モバイル機器内、サーバ内などに含まれ得る。 Any one of the units and/or modules illustrated in this application may be implemented in hardware and/or code, instructions and/or commands stored on a non-transitory computer-readable medium, in a vehicle, in a vehicle, etc. It may be included externally, within a mobile device, within a server, etc.

車両は、例えば、陸上輸送車両、空輸車両、又は水上船などの、任意の種類の車両であってもよい。 The vehicle may be any type of vehicle, such as, for example, a land transport vehicle, an air transport vehicle, or a water vessel.

本明細書及び／又は図面は、画像に言及することがある。画像はメディア・ユニットの一実例である。画像へのいかなる言及も、メディア・ユニットに、必要な変更を加えて適用され得る。メディア・ユニットは、感知される情報ユニット（ＳＩＵ：ｓｅｎｓｅｄｉｎｆｏｒｍａｔｉｏｎｕｎｉｔ）の一実例であり得る。メディア・ユニットへのいかなる言及も、自然が発生させる信号、人間の行動を表す信号、株式市場に関連する操作を表す信号、医療信号、金融系列、測地信号、地球物理学的、化学的、分子的、テキスト及び数値信号、時系列などに限定されないが、そのような任意の種類の自然信号に、必要な変更を加えて適用され得る。メディア・ユニットへのいかなる言及も、感知される情報ユニット（ＳＩＵ）に、必要な変更を加えて適用され得る。ＳＩＵは、いかなる種類のものであってもよく、可視光カメラ、音声センサ、赤外線、レーダ画像、超音波、電気光学、放射線写真、ＬＩＤＡＲ（ｌｉｇｈｔｄｅｔｅｃｔｉｏｎａｎｄｒａｎｇｉｎｇ：光検出及び測距）を感知し得るセンサ、熱センサ、パッシブ・センサ、及びアクティブ・センサなどのような、任意の種類のセンサによって感知され得る。感知は、送信された信号を表すサンプル（例えば、ピクセル、音声信号）を生成することを含み得るか、又は他の場合ではセンサに到達し得る。ＳＩＵは、１つ又は複数の画像、１つ又は複数のビデオ・クリップ、１つ又は複数の画像に関するテキスト情報、オブジェクトに関する運動学的情報を記述するテキストなどであり得る。 The specification and/or drawings may refer to images. An image is an example of a media unit. Any reference to an image may apply mutatis mutandis to the media unit. A media unit may be an example of a sensed information unit (SIU). Any reference to the media unit shall not include signals generated by nature, signals representing human behavior, signals representing operations related to the stock market, medical signals, financial series, geodetic signals, geophysical, chemical, molecular It may be applied mutatis mutandis to any kind of natural signals such as, but not limited to, targets, text and numerical signals, time series, etc. Any reference to a media unit may apply mutatis mutandis to a sensed information unit (SIU). The SIU can be of any type, including visible light cameras, audio sensors, infrared, radar imaging, ultrasound, electro-optical, radiographic, and LIDAR (light detection and ranging) sensing. The sensor may be sensed by any type of sensor, such as a magnetic sensor, a thermal sensor, a passive sensor, an active sensor, and the like. Sensing may include generating samples (e.g., pixels, audio signals) representative of the transmitted signal or may otherwise reach the sensor. The SIU can be one or more images, one or more video clips, textual information about one or more images, text describing kinematic information about an object, etc.

オブジェクト情報は、オブジェクトの位置、オブジェクトの挙動、オブジェクトの速度、オブジェクトの加速度、オブジェクトの伝播方向、オブジェクトの種類、オブジェクトの１つ又は複数の寸法などに限定されないが、そのような、任意の種類のオブジェクトに関連する情報を含み得る。オブジェクト情報は、生のＳＩＵ、処理されたＳＩＵ、テキスト情報、ＳＩＵから得られた情報などであり得る。 Object information may include, but is not limited to, object position, object behavior, object velocity, object acceleration, object propagation direction, object type, object dimension or dimensions, etc. may contain information related to the object. Object information can be raw SIU, processed SIU, textual information, information obtained from SIU, etc.

オブジェクト情報の取得は、オブジェクト情報を受信すること、オブジェクト情報を生成すること、オブジェクト情報の処理に関与すること、オブジェクト情報の一部分のみを処理すること、及び／又はオブジェクト情報の別の部分のみを受信することを含み得る。 Obtaining object information may include receiving object information, generating object information, participating in processing object information, processing only a portion of object information, and/or processing only another portion of object information. may include receiving.

オブジェクト情報の取得は、オブジェクト検出を含んでもよく、又はオブジェクト検出を行わずに実行されてもよい。 Obtaining object information may include object detection or may be performed without object detection.

オブジェクト情報の処理は、オブジェクト検出、ノイズ低減、信号対ノイズ比の改善、バウンディング・ボックスの画定などのうちから少なくとも１つを含み得る。 Processing the object information may include at least one of object detection, noise reduction, signal-to-noise ratio improvement, bounding box definition, and the like.

オブジェクト情報は、１つ又は複数のセンサ、１つ又は複数の通信ユニット、１つ又は複数のメモリ・ユニット、１つ又は複数の画像プロセッサなどの、１つ又は複数のソースから受信され得る。 Object information may be received from one or more sources, such as one or more sensors, one or more communication units, one or more memory units, one or more image processors.

オブジェクト情報は、１つ又は複数のやり方、例えば、絶対的なやり方（例えば、オブジェクトの位置の座標を提供すること）、或いは、例えば車両に対する、相対的なやり方（例えば、オブジェクトが車両に対して或る特定の距離及び或る特定の角度に位置する）で提供され得る。 Object information may be provided in one or more ways, e.g., in an absolute manner (e.g., providing the coordinates of the object's location) or in a relative manner, e.g., with respect to the vehicle (e.g., if the object is relative to the vehicle). located at a certain distance and at a certain angle).

車両は、自車両とも呼ばれる。 The vehicle is also called the own vehicle.

本明細書及び／又は図面は、プロセッサ又は処理回路に言及することがある。プロセッサは、処理回路であってもよい。処理回路は、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）として、及び／又は、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔｓ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙｓ）、フルカスタム集積回路など、若しくはそのような集積回路の組み合わせのような、１つ又は複数の他の集積回路として実装され得る。 The specification and/or drawings may refer to processors or processing circuits. A processor may be a processing circuit. The processing circuit may be used as a central processing unit (CPU) and/or as an application-specific integrated circuit (ASIC) or a field programmable gate array (FPGA). (mable gate arrays) , a full custom integrated circuit, or a combination of such integrated circuits.

本明細書及び／又は図面において示される方法の任意のステップの任意の組み合わせが提供され得る。 Any combination of any of the method steps shown herein and/or in the drawings may be provided.

請求項のいずれかの主題の任意の組み合わせが提供され得る。 Any combination of the subject matter of any of the claims may be provided.

本明細書及び／又は図面において示される、システム、ユニット、構成要素、プロセッサ、センサの任意の組み合わせが提供され得る。 Any combination of systems, units, components, processors, sensors shown herein and/or in the figures may be provided.

オブジェクトへのいかなる言及も、パターンに適用可能であり得る。したがって、オブジェクト検出へのいかなる言及も、パターン検出に、必要な変更を加えて適用可能である。 Any reference to an object may be applicable to a pattern. Therefore, any reference to object detection is applicable mutatis mutandis to pattern detection.

支障のない運転は、周囲の道路オブジェクトの位置及び動きに基づいてそれら道路オブジェクトを迂回することに依存するが、人間は周知のように、運動学を評価することが不得手である。人間は、周囲のオブジェクトの内部表現を、アクションをすぐに示唆する仮想力場の形態で用い、したがって、運動学的評価の必要性を妨げていると思われる。自車両が一方の車線を走行し、隣の車線の斜め前方の車両が逸れて自車線に入り始めるシナリオを考えられたい。ブレーキ又は脱線に対する人間の反応は、即時的及び本能的であり、逸れる車両から自車を退ける仮想力として経験することができる。この仮想力表現は学習され、特定の道路オブジェクトに関連付けられる。 Unimpaired driving relies on circumventing surrounding road objects based on their position and movement, but humans are well known to be poor at evaluating kinematics. Humans appear to use internal representations of surrounding objects in the form of virtual force fields that immediately suggest actions, thus precluding the need for kinematic evaluation. Consider a scenario in which your vehicle is driving in one lane, and a vehicle diagonally ahead of you in the next lane begins to swerve into your lane. The human reaction to braking or derailing is immediate and instinctive, and can be experienced as a virtual force pushing the vehicle away from the veering vehicle. This virtual force representation is learned and associated with specific road objects.

上記の考慮事項により触発され、知覚フィールドの新しい概念を提案する。知覚フィールドは、ＡＤＡＳ及び／又はＡＶソフトウェアの形態で自車両の制御システムを通じて「感知される」仮想力場の形態の学習された道路オブジェクト表現である。フィールドはここでは、空間位置（又は類似の量）に依存する数学関数として定義される。 Inspired by the above considerations, we propose a new concept of perceptual fields. The perceptual field is a learned road object representation in the form of a virtual force field that is "sensed" through the own vehicle's control system in the form of ADAS and/or AV software. A field is defined here as a mathematical function that depends on spatial location (or similar quantity).

推論方法１００の一実例が図１に示されており、以下を含む。 An example of an inference method 100 is shown in FIG. 1 and includes the following.

方法１００は、車両の環境の１つ又は複数のフレームごとに実行され得る。 Method 100 may be performed for each frame or frames of the vehicle's environment.

方法１００のステップ１１０は、１つ又は複数のオブジェクト（例えば、１つ又は複数の道路ユーザを含む）を検出及び／又は追跡することを含み得る。検出及び／又は追跡は、任意のやり方で行われ得る。１つ又は複数のオブジェクトは、車両の挙動に影響を及ぼしかねない任意のオブジェクトであり得る。例えば、道路ユーザ（歩行者、別の車両）、車両が進行中の道路及び／又は経路（例えば、道路又は経路の状態、道路の形状、例えば、カーブ、直線道路セグメント）、交通標識、交通信号、道路交差点、学校、幼稚園などである。ステップ１１０は、１つ又は複数のオブジェクトに関連する運動学的変数及びコンテキスト変数などのさらなる情報を取得することを含み得る。取得することは、受信又は生成することを含み得る。取得することは、１つ又は複数のフレームを処理して運動学的変数及びコンテキスト変数を生成することを含み得る。 Step 110 of method 100 may include detecting and/or tracking one or more objects (eg, including one or more road users). Detection and/or tracking may be performed in any manner. The object or objects may be any object that can affect the behavior of the vehicle. For example, road users (pedestrians, other vehicles), the road and/or route the vehicle is traveling on (e.g. road or route conditions, road geometry, e.g. curves, straight road segments), traffic signs, traffic signals. , road intersections, schools, kindergartens, etc. Step 110 may include obtaining additional information such as kinematic and contextual variables associated with the one or more objects. Obtaining may include receiving or generating. Obtaining may include processing one or more frames to generate kinematic variables and contextual variables.

ステップ１１０は（１つ又は複数のフレームを取得せずとも）運動学的変数を取得することを含み得ることに留意されたい。 Note that step 110 may include acquiring kinematic variables (without acquiring one or more frames).

方法１００はまた、１つ又は複数のオブジェクトに関連するそれぞれの知覚フィールドを取得するステップ１２０を含み得る。ステップ１２０は、オブジェクト間のどのマッピングを検索する及び／又は使用するべきかを決定することなどを含み得る。 Method 100 may also include obtaining 120 respective perceptual fields associated with one or more objects. Step 120 may include determining which mappings between objects to search and/or use, and the like.

ステップ１１０（及びステップ１２０さえも）の後に、知覚フィールド（及び１つ又は複数の仮想物理モデル関数）に運動学的変数及びコンテキスト変数などの関連する入力変数を渡すことによって１つ又は複数のオブジェクトに関連付けられた１つ又は複数の仮想力を決定するステップ１３０が続き得る。 After step 110 (and even step 120), one or more objects can be modified by passing relevant input variables, such as kinematic and context variables, to the perceptual field (and one or more virtual physics model functions). A step of determining 130 one or more virtual forces associated with the virtual force may follow.

ステップ１３０の後に、１つ又は複数のオブジェクトに関連付けられた１つ又は複数の仮想力に基づいて、車両に加えられる総仮想力を決定するステップ１４０が続き得る。例えば、ステップ１４０は、１つ又は複数のオブジェクトに関連付けられた１つ又は複数の仮想力にベクトル加重和（又は他の関数）を行うことを含み得る。 Step 130 may be followed by step 140 of determining a total virtual force applied to the vehicle based on one or more virtual forces associated with the one or more objects. For example, step 140 may include performing a vector weighted sum (or other function) on one or more virtual forces associated with one or more objects.

ステップ１４０の後に、総仮想力に基づいて、例えば、ニュートンの第２法則に相当するものに基づいて、所望の（又は目標の）仮想加速度を決定するステップ１５０が続き得る。所望の加速度は、ベクトルであってもよく、又は他の場合では方向を有してもよい。 Step 140 may be followed by step 150 of determining a desired (or target) virtual acceleration based on the total virtual force, eg, based on the equivalent of Newton's second law. The desired acceleration may be vector, or in other cases may have a direction.

ステップ１５０の後に、所望の仮想加速度を、所望の仮想加速度に応じて車両を伝播させる１つ又は複数の車両運転操作に変換するステップ１６０が続き得る。 Step 150 may be followed by step 160 of converting the desired virtual acceleration into one or more vehicle maneuvers that propagate the vehicle in response to the desired virtual acceleration.

例えば、ステップ１６０は、ガス・ペダルの動き、ブレーキ・ペダルの動き及び／又はハンドル角度を用いて、所望の加速を加速若しくは減速に変換すること又は車両の進行方向を変更することを含み得る。変換は、特定の制御スキームを有する車両の動力学モデルに基づき得る。 For example, step 160 may include converting the desired acceleration into acceleration or deceleration or changing the direction of travel of the vehicle using gas pedal movement, brake pedal movement, and/or steering wheel angle. The transformation may be based on a dynamic model of the vehicle with a particular control scheme.

知覚フィールドの利点として例えば、説明可能性、一般化可能性、及びノイズを伴う入力に対するロバスト性が挙げられる。 Advantages of perceptual fields include, for example, explainability, generalizability, and robustness to noisy inputs.

説明可能性。自車の動きを個々の知覚フィールドの構成として表現することは、アクションをより基本的な構成要素に分解することを示唆し、それ自体、説明可能性へ向けた重要なステップである。これらのフィールドを視覚化し、自車の動きを予測するために物理学からの直観を適用する可能性は、一般的なエンド・ツー・エンドのブラックボックス深層学習アプローチに比してさらなる説明可能性を表す。この透明性向上により、乗客及び運転者がＡＶ又はＡＤＡＳ技術をより信頼することができることにもなる。 Explainability. Representing the vehicle's movement as a configuration of individual perceptual fields suggests a decomposition of actions into more fundamental components, and as such is an important step toward explainability. The possibility of visualizing these fields and applying intuition from physics to predict the movement of your vehicle offers additional explainability compared to typical end-to-end black-box deep learning approaches. represents. This increased transparency also allows passengers and drivers to have more trust in the AV or ADAS technology.

一般化可能性。未知の道路オブジェクトに対する自車の反応を、退ける仮想力場として表すことは、目に見えない状況において誘導バイアスを構成する。この表現には、表現が訓練の少ない安全なやり方でエッジ・ケースを処理することができるという点で潜在的な利点がある。さらに、知覚フィールド・モデルは、同じアプローチを運転ポリシーのすべての側面について使用することができるという意味で全体論的である。知覚フィールド・モデルはまた、ＡＣＣ、ＡＥＢ、ＬＣＡなどのようなＡＤＡＳで使用される狭い運転機能に分けることができる。最後に、知覚フィールドの複合性により、モデルが原子的なシナリオで訓練されるとともに依然としてより複雑なシナリオを適切に処理することができることが可能となる。 Generalizability. Representing the vehicle's reaction to unknown road objects as a repelling virtual force field constitutes a guided bias in invisible situations. This representation has a potential advantage in that the representation can handle edge cases in a safe manner with less training. Furthermore, the perceptual field model is holistic in the sense that the same approach can be used for all aspects of driving policy. Perceptual field models can also be divided into narrow driving functions used in ADAS such as ACC, AEB, LCA, etc. Finally, the complexity of the perceptual field allows the model to be trained on atomic scenarios and still be able to adequately handle more complex scenarios.

ノイズを伴う入力に対するロバスト性。入力の潜在的なフィルタリングと組み合わせた知覚フィールドの時間発展に対する物理的制約は、ローカライゼーション及び運動学的データの純粋なフィルタリングに比して入力データにおけるノイズのより良い処理に至り得る。 Robustness to noisy inputs. Physical constraints on the temporal evolution of the perceptual field combined with potential filtering of the input may lead to better treatment of noise in the input data compared to pure filtering of localization and kinematic data.

物理的な力又は仮想力は、例えば、いわゆる動的システムを含む二次常微分方程式での、数学的定式化を可能にする。制御ポリシーをそのものとして表すことの利点は、動的システムの理論からの直観の影響を受けやすく、入力／出力の予測、ナビゲーション、及びフィルタリングなどの外部モジュールを組み込むことが簡単であることである。 Physical or virtual forces allow a mathematical formulation, for example in second-order ordinary differential equations involving so-called dynamical systems. The advantage of representing the control policy as such is that it is amenable to intuition from dynamic systems theory and easy to incorporate external modules such as input/output prediction, navigation, and filtering.

知覚フィールド・アプローチのさらなる利点は、いかなる特定のハードウェアにも依存せず、計算コストが既存の方法よりも高くないことである。 A further advantage of the perceptual field approach is that it does not depend on any specific hardware and the computational cost is no higher than existing methods.

訓練プロセス training process

知覚フィールドを学習するプロセスは、２つのタイプ、すなわち、行動クローニング（ＢＣ：ｂｅｈａｖｉｏｒａｌｃｌｏｎｉｎｇ）及び強化学習（ＲＬ：ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ）のうちの一方、又はそれらの組み合わせとすることができる。ＢＣは、観察された人間の状態－アクションのペアにニューラル・ネットワークを適合させることによって制御ポリシーを近似するのに対し、ＲＬは、専門家によるデモンストレーションを参照することなくシミュレーション環境における試行錯誤による学習を課す。 The process of learning perceptual fields can be one of two types, behavioral cloning (BC) and reinforcement learning (RL), or a combination thereof. BC approximates a control policy by adapting a neural network to observed human state-action pairs, whereas RL learns by trial and error in a simulated environment without reference to expert demonstrations. impose.

これらの２つのクラスの学習アルゴリズムを、先にＢＣによりポリシーを学習してそれを初期ポリシーとして用いてＲＬを使用して微調整されることによって組み合わせることができる。２つのアプローチを組み合わせる別のやり方は、先に行動クローニングによりいわゆる報酬関数（ＲＬで使用される）を学習して、人間にとって望ましい行動を構成するものを推論し、その後、通常のＲＬを使用して試行錯誤により訓練することである。この後者のアプローチは、逆ＲＬ（ＩＲＬ：ｉｎｖｅｒｓｅＲＬ）という名前で呼ばれている。 These two classes of learning algorithms can be combined by first learning a policy with BC and using it as an initial policy that is fine-tuned using RL. Another way to combine the two approaches is to first learn the so-called reward function (used in RL) by behavioral cloning to infer what constitutes desirable behavior for humans, and then use regular RL. training through trial and error. This latter approach goes by the name inverse RL (IRL).

図２は、ＢＣによる学習のために用いられる訓練方法２００の一実例である。 FIG. 2 is an illustration of a training method 200 used for learning with BC.

方法２００は、どのようにシナリオを処理するかについて専門家によるデモンストレーションであると考えられる人間データを収集するステップ２１０によって開始し得る。 Method 200 may begin by collecting 210 human data that is considered a demonstration by an expert on how to process a scenario.

ステップ２１０の後に、知覚フィールド・モデルから生じる運動学的変数と人間によるデモンストレーションの対応する運動学的変数との差を処する損失関数を構築するステップ２２０が続き得る。 Step 210 may be followed by step 220 of constructing a loss function that accounts for the difference between the kinematic variables resulting from the perceptual field model and the corresponding kinematic variables of the human demonstration.

ステップ２２０の後に、勾配降下などの何らかの最適化アルゴリズムによって損失関数を最小化するために知覚フィールド及び補助関数（知覚フィールドとは異なる仮想物理モデル関数であり得る）のパラメータを更新するステップ２３０が続き得る。 Step 220 is followed by step 230 of updating the parameters of the perceptual field and the auxiliary function (which may be a virtual physical model function different from the perceptual field) to minimize the loss function by some optimization algorithm such as gradient descent. obtain.

図３は、強化学習に用いられる訓練方法２５０の一実例である。 FIG. 3 is an example of a training method 250 used for reinforcement learning.

方法２５０は、現実的なシミュレーション環境を構築するステップ２６０によって開始し得る。 Method 250 may begin by building 260 a realistic simulation environment.

ステップ２６０の後に、専門家によるデモンストレーションから報酬関数を学習すること又は手動による設計のどちらかによって、報酬関数を構築するステップ２７０が続き得る。 Step 260 may be followed by step 270 of constructing a reward function, either by learning the reward function from expert demonstration or by manual design.

ステップ２７０の後に、シミュレーション環境においてエピソードを実行するとともに近位ポリシー最適化などの何らかのアルゴリズムによって知覚フィールド及び補助関数のパラメータを連続的に更新して予期される累積報酬を最大化するステップ２８０が続き得る。 Step 270 is followed by step 280 of running the episode in the simulation environment and continuously updating the parameters of the perceptual field and auxiliary function by some algorithm, such as proximal policy optimization, to maximize the expected cumulative reward. obtain.

図４は、方法４００の一実例を示す。 FIG. 4 shows an example of a method 400.

方法４００は、知覚フィールド運転関連操作のためのものであり得る。 Method 400 may be for sensory field driving related operations.

方法４００は、初期化ステップ４１０によって開始し得る。 Method 400 may begin with an initialization step 410.

初期化ステップ４１０は、方法４００のステップ４４０を実行するように訓練されるＮＮ群を受信することを含み得る。 Initialization step 410 may include receiving a group of NNs that are trained to perform step 440 of method 400.

代替的に、ステップ４１０は、方法４００のステップ４４０を実行するＮＮ群を訓練することを含み得る。 Alternatively, step 410 may include training a group of NNs to perform step 440 of method 400.

ＮＮ群を訓練する様々な実例を以下に提示する。
ａ．ＮＮ群は、行動クローニングを使用してオブジェクト情報を１つ又は複数の仮想力にマッピングするように訓練され得る。
ｂ．ＮＮ群は、強化学習を使用してオブジェクト情報を１つ又は複数の仮想力にマッピングするように訓練され得る。
ｃ．ＮＮ群は、強化学習と行動クローニングとの組み合わせを使用してオブジェクト情報を１つ又は複数の仮想力にマッピングするように訓練され得る。
ｄ．ＮＮ群は、行動クローニングを使用して定義される報酬関数を有する強化学習を使用してオブジェクト情報を１つ又は複数の仮想力にマッピングするように訓練され得る。
ｅ．ＮＮ群は、行動クローニングを使用して定義される初期ポリシーを有する強化学習を使用してオブジェクト情報を１つ又は複数の仮想力にマッピングするように訓練され得る。
ｆ．ＮＮ群は、オブジェクト情報を１つ又は複数の仮想力及び知覚フィールドとは異なる１つ又は複数の仮想物理モデル関数にマッピングするように訓練され得る。
ｇ．ＮＮ群は、第１のＮＮ及び第２のＮＮを含み得、第１のＮＮは、オブジェクト情報を１つ又は複数の知覚フィールドにマッピングするように訓練され、第２のＮＮは、オブジェクト情報を１つ又は複数の仮想物理モデル関数にマッピングするように訓練された。 Various examples of training NN groups are presented below.
a. A group of NNs can be trained to map object information to one or more virtual forces using behavioral cloning.
b. The NNs may be trained to map object information to one or more virtual forces using reinforcement learning.
c. The NNs may be trained to map object information to one or more virtual forces using a combination of reinforcement learning and behavioral cloning.
d. The NN population may be trained to map object information to one or more virtual forces using reinforcement learning with a reward function defined using behavioral cloning.
e. The NNs may be trained to map object information to one or more virtual forces using reinforcement learning with an initial policy defined using behavioral cloning.
f. The NNs may be trained to map object information to one or more virtual physical model functions that are different from one or more virtual forces and perceptual fields.
g. The group of NNs may include a first NN and a second NN, where the first NN is trained to map object information to one or more perceptual fields, and the second NN is trained to map object information to one or more perceptual fields. trained to map to one or more virtual physical model functions.

初期化ステップ４１０の後に、車両の環境内に位置する１つ又は複数のオブジェクトに関するオブジェクト情報を取得するステップ４２０が続き得る。ステップ４１０は、複数回繰り返され得、以下のステップも複数回繰り返され得る。オブジェクト情報は、ビデオ、画像、音声、又は任意の他の感知される情報を含み得る。 The initialization step 410 may be followed by a step 420 of obtaining object information regarding one or more objects located within the environment of the vehicle. Step 410 may be repeated multiple times, and the following steps may also be repeated multiple times. Object information may include video, images, audio, or any other sensed information.

ステップ４２０の後に、１つ又は複数のニューラル・ネットワーク（ＮＮ）を使用して、車両に加えられる１つ又は複数の仮想力を決定するステップ４４０が続き得る。 Step 420 may be followed by step 440 of determining one or more virtual forces applied to the vehicle using one or more neural networks (NN).

１つ又は複数のＮＮは、（初期化ステップ４１０からの）ＮＮ群全体であってもよく、又は、群の１つ又は複数の選択されていないＮＮを残した、ＮＮ群の一部のみであってもよい。 The one or more NNs may be the entire group of NNs (from initialization step 410), or only a portion of the group of NNs, leaving one or more unselected NNs of the group. There may be.

１つ又は複数の仮想力は、車両の挙動に対する１つ又は複数のオブジェクトの１つ又は複数の影響を表す。影響は、今後の影響又は現在の影響であり得る。影響により、車両はその進行が変わることがある。 The one or more virtual forces represent one or more influences of one or more objects on the behavior of the vehicle. An impact can be a future impact or a current impact. The impact may cause the vehicle to change its course.

１つ又は複数の仮想力は、仮想物理モデルに属する。仮想物理モデルは、車両及び／又はオブジェクトに物理法則（例えば、機械法則、電磁法則、光学法則）を実質的に適用し得る仮想モデルである。 One or more virtual forces belong to a virtual physical model. A virtual physical model is a virtual model that can substantially apply physical laws (eg, mechanical, electromagnetic, optical) to vehicles and/or objects.

ステップ４４０は、以下のステップ、すなわち、
ａ.車両に加えられる１つ又は複数の仮想力に基づいて、車両に加えられる総仮想力を算出するステップと、
ｂ.総仮想力によって車両に加えられる総仮想加速度に基づいて、車両の所望の仮想加速度を決定するステップと、のうちのうちの少なくとも一方を含み得る。所望の仮想加速度は、総仮想加速度と等しくてもよく、又は総仮想加速度と異なっていてもよい。 Step 440 includes the following steps:
a. calculating a total virtual force applied to the vehicle based on the one or more virtual forces applied to the vehicle;
b. determining a desired virtual acceleration of the vehicle based on the total virtual acceleration applied to the vehicle by the total virtual force. The desired virtual acceleration may be equal to the total virtual acceleration or may be different from the total virtual acceleration.

方法４００はまた、ステップ４３１、４３２、４３３、４３４、４３５及び４３６のうちの少なくとも１つを含み得る。 Method 400 may also include at least one of steps 431, 432, 433, 434, 435, and 436.

ステップ４３１は、オブジェクト情報に基づいて、車両の状況を判定することを含み得る。 Step 431 may include determining the condition of the vehicle based on the object information.

ステップ４３１の後に、状況に基づいて１つ又は複数のＮＮを選択するステップ４３２が続き得る。 Step 431 may be followed by step 432 of selecting one or more NNs based on the situation.

付加的に又は代替的に、ステップ４３１の後に、状況メタデータを１つ又は複数のＮＮに供給するステップ４３３が続き得る。 Additionally or alternatively, step 431 may be followed by step 433 of providing context metadata to one or more NNs.

ステップ４３４は、オブジェクト情報に基づいて、１つ又は複数のオブジェクトのうちのそれぞれのオブジェクトのクラスを検出することを含み得る。 Step 434 may include detecting a class of each of the one or more objects based on the object information.

ステップ４３４の後に、１つ又は複数のオブジェクトのうちの少なくとも１つのオブジェクトのクラスに基づいて、１つ又は複数のＮＮを選択するステップ４３５が続き得る。 Step 434 may be followed by step 435 of selecting one or more NNs based on the class of at least one of the one or more objects.

付加的に又は代替的に、ステップ４３４の後に、１つ又は複数のオブジェクトのうちの少なくとも１つのオブジェクトのクラスを示すクラス・メタデータを１つ又は複数のＮＮに供給するステップ４３６が続き得る。 Additionally or alternatively, step 434 may be followed by step 436 of providing class metadata to one or more NNs indicating the class of at least one of the one or more objects.

ステップ４４０の後に、１つ又は複数の仮想力に基づいて車両の１つ又は複数の運転関連操作を行うステップ４５０が続き得る。 Step 440 may be followed by step 450 of performing one or more driving-related maneuvers of the vehicle based on the one or more virtual forces.

ステップ４５０は、人間の運転者の介入なく実行され得、車両の速度及び／又は加速度及び／又は進行方向を変えることを含み得る。これは、自動運転を行うこと、或いは、車両及び／又は車両の１つ又は複数の運転関連ユニットの制御を一時的に行うことを含み得る先進運転支援システム（ＡＤＡＳ）運転操作を行うことを含み得る。これは、人間の運転者の関与の有無を問わず、車両の加速度を所望の仮想加速度に設定することを含み得る。 Step 450 may be performed without human driver intervention and may include changing the speed and/or acceleration and/or heading of the vehicle. This includes performing autonomous driving or performing advanced driver assistance system (ADAS) driving maneuvers, which may include temporarily taking control of the vehicle and/or one or more driving-related units of the vehicle. obtain. This may include setting the vehicle acceleration to a desired virtual acceleration with or without human driver involvement.

ステップ４４０は、運転者に車両の加速度を所望の仮想加速度に設定するように提案することを含み得る。 Step 440 may include suggesting to the driver to set the vehicle's acceleration to the desired virtual acceleration.

図５は、車両の一実例である。車両は、１つ又は複数の感知ユニット５０１と、１つ又は複数の運転関連ユニット５１０（自動運転ユニット、ＡＤＡＳユニットなどのようなと、方法のいずれかを実行するように構成されたプロセッサ５６０と、命令及び／又は方法の結果、関数など記憶するメモリ・ユニット５０８と、通信ユニット５０４とを含み得る。 FIG. 5 is an example of a vehicle. The vehicle includes one or more sensing units 501, one or more driving-related units 510 (such as autonomous driving units, ADAS units, etc.), and a processor 560 configured to perform any of the methods. , a memory unit 508 for storing results, functions, etc. of instructions and/or methods, and a communication unit 504 .

図６は、入力として車線サンプル点（ｌａｎｅｓａｍｐｌｅｐｏｉｎｔｓ）を用いた車線センタリングＲＬのための方法６００の実例を示す。車線サンプル点は、車両の環境内に位置する。 FIG. 6 shows an example of a method 600 for lane centering RL using lane sample points as input. Lane sample points are located within the vehicle's environment.

ＲＬは、エージェント（自車両）がその学習したポリシー（知覚フィールド）を実施することができる入力データを生成するシミュレーション環境を想定している。 RL assumes a simulation environment that generates input data on which an agent (self-vehicle) can implement its learned policies (perceptual fields).

方法６００は、Ｌが左、Ｒが右、且つインデックスｉがサンプル点を指す道路サンプル点（Ｘ_Ｌ，ｉ，Ｙ_Ｌ，ｉ）及び（Ｘ_Ｒ，ｉ，Ｙ_Ｒ，ｉ）の最も近い車線又はサイドを検出するステップ６１０によって開始し得る。（これまで車両と称された）自車両の速度は、Ｖ_ｅｇｏで示される。 The method 600 uses the nearest lane of road sample points (X _L,i , Y _L,i ) and (X _R,i , Y R, _i ) where L is left, R is right, and index i points to the sample point. Alternatively, it may begin with step 610 of detecting the side. The speed of the own vehicle (heretofore referred to as vehicle) is indicated by _Vego .

ステップ６１０の後に、左車線入力ベクトル（Ｘ_Ｌ，ｉ，Ｙ_Ｌ，ｉ）及びＶ_ｅｇｏをＸ_Ｌに連結するとともに右車線入力ベクトル（Ｘ_Ｒ，ｉ，Ｙ_Ｒ，ｉ）及びＶ_ｅｇｏをＸ_Ｒに連結するステップ６２０が続き得る。 After step 610, the left lane input vector (X _L,i , Y _L,i ) and _Vego are concatenated to X _L and the right lane input vector (X _R,i , Y _R,i ) and _Vego are connected to X A step 620 of connecting to _R may follow.

ステップ６２０の後に、車線知覚フィールドｆ_θ（Ｘ_Ｌ）及びｆ_θ（Ｘ_Ｒ）を算出するステップ６３０が続き得る。これは１つ又は複数のＮＮによって行われる。 Step 620 may be followed by step 630 of calculating lane perception fields f _θ (X _L ) and f _θ (X _R ). This is done by one or more NNs.

ステップ６３０の後に、自車両に加えられる自車加速度を記述する微分方程式、すなわちａ＝ｆ_θ（Ｘ_Ｌ）＋ｆ_θ（Ｘ_Ｒ）を構築するステップ６４０が続き得る。 Step 630 may be followed by step 640 of constructing a differential equation describing the own vehicle acceleration applied to the own vehicle, ie, a=f _θ (X _L )+f _θ (X _R ).

これは推論プロセスの出力であり得る。ステップ６４０の後に、ステップ４５０（図示せず）が続き得る。 This can be the output of an inference process. Step 640 may be followed by step 450 (not shown).

方法は、１つ又は複数のＮＮを更新することを含み得る。この場合、ＲＬは、専門家によるデモンストレーションに基づいて学習されるか又はハンドクラフトされるかのどちらかである報酬関数を想定し得）、図６の実例では、報酬関数は、自車両がその車線を維持するすべてのタイムスタンプについて増加し得る。 The method may include updating one or more NNs. In this case, the RL may assume a reward function that is either learned based on expert demonstrations or handcrafted); in the example of FIG. May be incremented for every lane keeping timestamp.

更新することは、シミュレーション環境において実施するステップ６７０を含み得、ＲＬ学習アルゴリズムが、報酬を取得することを含む次のステップにおいて起こることを記録する。 Updating may include performing 670 in a simulated environment, where the RL learning algorithm records what happens in the next step, including obtaining a reward.

ステップ６７０は、平均報酬を最大化するために、ネットワーク・パラメータθを逐次的に更新するように特定のＲＬアルゴリズム（例えば、ＰＰＯ、ＳＡＣ、ＴＴＤ３を使用することを含み得る。 Step 670 may include using a particular RL algorithm (eg, PPO, SAC, TTD3) to sequentially update network parameters θ to maximize the average reward.

図７は、視覚入力を用いるマルチオブジェクトＲＬのための方法７００を示す。 FIG. 7 shows a method 700 for multi-object RL using visual input.

方法７００のステップ７１０は、自車視点から短い時間窓にわたる一連のパノラマ的にセグメント化された画像（自車両が取得した画像）、個々のオブジェクトまでの相対距離Ｘ_{ｒｅｌ，ｉ}を受信することを含み得る。 Step 710 of the method 700 includes receiving a series of panoramic segmented images (images acquired by the own vehicle) over a short time window from the own vehicle perspective, relative distances to individual objects X _rel,i . may be included.

ステップ７１０の後に、高レベルの時空間特徴Ｘ_ｉを捕捉するために時空間ＣＮＮを個々のインスタンス（オブジェクト）に適用するステップ７２０が続き得る。 Step 710 may be followed by step 720 of applying a spatio-temporal CNN to individual instances (objects) to capture high-level spatio-temporal features X _i .

ステップ７２０の後に、個々の知覚フィールドｆ_θ（Ｘ_ｉ，ｉ）及び総和Σｆ_θ（Ｘ_{ｒｅｌ，Ｉ}，Ｘ_ｉ，ｉ）を計算するステップ７３０が続き得る。 Step 720 may be followed by step 730 of calculating the individual perceptual fields f _θ (X _i ,i) and the sum Σf _θ (X _rel,I ,X _i ,i).

ステップ７３０の後に、自車両に加えられる自車加速度を記述する微分方程式、すなわちａ＝Σｆ_θ（Ｘ_{ｒｅｌ，Ｉ}，Ｘ_ｉ，ｉ）を構築するステップ７４０が続き得る。 Step 730 may be followed by step 740 of constructing a differential equation describing the own vehicle acceleration applied to the own vehicle, ie, a=Σf _θ (X _rel,I , X _i ,i).

これは推論プロセスの出力であり得る。ステップ７４０の後に、ステップ４５０（図示せず）が続き得る。 This can be the output of an inference process. Step 740 may be followed by step 450 (not shown).

方法は、何らかのＲＬプロセスを用いて１つ又は複数のネットワーク・パラメータθを更新することを含み得る。 The method may include updating one or more network parameters θ using some RL process.

方法は、シミュレーション環境において実施するステップ７６０を含み得、ＲＬ学習アルゴリズムが、取得された報酬を含む次のステップにおいて起こることを記録する。 The method may include performing 760 in a simulated environment, where the RL learning algorithm records what happens in the next step, including the reward obtained.

ＲＬは、専門家によるデモンストレーションに基づいて学習されるか又はハンドクラフトされるかのどちらかである報酬関数を想定し得る。 The RL may assume a reward function that is either learned or handcrafted based on demonstrations by experts.

ステップ７６０の後に、平均報酬を最大化するために、ネットワーク・パラメータθを逐次的に更新するようにＰＰＯ、ＳＡＣ、ＴＴＤ３などの特定のＲＬアルゴリズムを使用するステップ７７０が続き得る。 Step 760 may be followed by step 770 of using a particular RL algorithm, such as PPO, SAC, TTD3, to sequentially update network parameters θ to maximize the average reward.

図８は、運動学的入力を用いるマルチオブジェクトＢＣのための方法８００を示す。 FIG. 8 shows a method 800 for multi-object BC using kinematic input.

方法８００のステップ８１０は、検出されたオブジェクト相対運動学（Ｘ_{ｒｅｌ，ｉ}，Ｖ_{ｒｅｌ，ｉ}）のリストを受信することを含み得、Ｘ_{ｒｅｌ，ｉ}は、自車両に対する検出されたオブジェクトｉの相対位置であり、Ｖ_{ｒｅｌ，ｉ}は、自車両に対する検出されたオブジェクトｉの相対速度である。また、自車両速度Ｖ_ｅｇｏを受信する。 Step 810 of method 800 may include receiving a list of detected object relative kinematics (X _rel,i , V _rel,i ), where X _rel,i is the relative kinematics of detected object i relative to the host vehicle. is the relative position, and V _rel,i is the relative velocity of the detected object i with respect to the own vehicle. The host vehicle speed V _ego is also received.

ステップ８１０の後に、各オブジェクトについて知覚フィールドｆ_θ（Ｘ_{ｒｅｌ，ｉ}，Ｖ_{ｒｅｌ，ｉ}，Ｖ_ｅｇｏ，ｉ）を算出するステップ８２０が続き得る。 Step 810 may be followed by step 820 of calculating a perceptual field f _θ (X _rel,i , V _rel,i , V _ego, i) for each object.

ステップ８２０の後に、個々の知覚フィールドからの寄与を総計するステップ８３０が続き得る。ステップ８３０はまた、結果としてもたらされる２ｄベクトルの大きさが個々の項の最大の大きさに等しいように正規化することを含み得、すなわち、Ｎ^＊Σｆ_θ（Ｘ_{ｒｅｌ，ｉ}，Ｖ_{ｒｅｌ，ｉ}，Ｖ_ｅｇｏ，ｉ）である。 Step 820 may be followed by step 830 of summing the contributions from the individual perceptual fields. Step 830 may also include normalizing so that the magnitude of the resulting 2d vector is equal to the maximum magnitude of the individual terms, i.e., N ^* Σf _θ (X _rel,i , V _{rel, i} , V _ego, i).

ステップ８３０の後に、自車両に加えられる自車加速度を記述する微分方程式、すなわちａ＝Ｎ^＊Σｆ_θ（Ｘ_{ｒｅｌ，ｉ}，Ｖ_{ｒｅｌ，ｉ}，Ｖ_ｅｇｏ，ｉ）を構築するステップ８４０が続き得る。 Step 830 may be followed by step 840 of constructing a differential equation describing the own vehicle acceleration applied to the own vehicle, i.e., a=N ^* _Σfθ (X _rel,i , V _rel,i , Vego _, i). .

これは推論プロセスの出力であり得る。ステップ８４０の後に、ステップ４５０（図示せず）が続き得る。 This can be the output of an inference process. Step 840 may be followed by step 450 (not shown).

方法は、１つ又は複数のネットワーク・パラメータを更新することを含み得る。 The method may include updating one or more network parameters.

方法は、初期条件

が与えられると自車軌跡を計算するステップ８６０を含み得る。 The method is initial conditions

may include step 860 of calculating the own vehicle trajectory given .

ステップ８６０の後に、損失関数＝

を計算するステップ８７０が続き得る。また、状況に応じて損失を伝播させる。 After step 860, loss function =

A step 870 of calculating . Also, losses are propagated depending on the situation.

図９は、入力として運動学的変数を用いて実施されたアダプティブ・クルーズ・コントロール・モデルの損失関数を加えた推論の、方法９００を示す。 FIG. 9 shows a method 900 of adaptive cruise control model loss function inference performed using kinematic variables as inputs.

方法９００のステップ９１０は、自車両の位置Ｘ_ｅｇｏ、自車両の速度Ｖ_ｅｇｏ、自車両の前にある最も近い車両の位置Ｘ_ＣＩＰＶ、及び、自車両の前にある最も近い車両の速度Ｖ_ＣＩＰＶを受信することを含み得る。 Step 910 of the method 900 comprises determining the position of the host vehicle X _ego , the speed of the host vehicle V _ego , the position of the closest vehicle in front of the host vehicle X _CIPV , and the speed of the closest vehicle in front of the host vehicle V _CIPV may include receiving.

ステップ９１０の後に、相対位置Ｘ_ｒｅｌ＝Ｘ_ｅｇｏ－Ｘ_ＣＩＰＶ、及び相対速度Ｖ_ｒｅｌ＝Ｖ_ｅｇｏ－Ｖ_ＣＩＰＶを算出するステップ９２０が続き得る。 Step 910 may be followed by step 920 of calculating relative position X _rel =X _ego -X _CIPV and relative velocity V _rel =V _ego -V _CIPV .

ステップ９２０の後に、以下のステップ９３０が続き得る。
ａ．第１のＮＮによって、知覚フィールド関数ｇ_θ（Ｘ_ｒｅｌ，Ｖ_ＣＩＰＶ）を算出する。
ｂ．第２のＮＮによって、補助関数ｈ_Ψ（Ｖ_ｒｅｌ）を算出する。
ｃ．目標加速度（目標力に等しい）を提供するようにｇ_θ（Ｘ_ｒｅｌ，Ｖ_ＣＩＰＶ）をｈ_Ψ（Ｖ_ｒｅｌ）で乗算する。 Step 920 may be followed by step 930 below.
a. A perceptual field function g _θ (X _rel , V _CIPV ) is calculated by the first NN.
b. The second NN calculates the auxiliary function h _Ψ (V _rel ).
c. Multiply g _θ (X _rel , V _CIPV ) by h _Ψ (V _rel ) to provide the target acceleration (equal to the target force).

これは推論プロセスの出力であり得る。ステップ９３０の後に、ステップ４５０（図示せず）が続き得る。 This can be the output of an inference process. Step 930 may be followed by step 450 (not shown).

方法は、１つ又は複数のＮＮパラメータを更新することを含み得る。 The method may include updating one or more NN parameters.

方法は、初期条件

が与えられると自車軌跡を計算するステップ９６０を含み得る。 The method is initial conditions

may include step 960 of calculating the own vehicle trajectory given .

ステップ９６０の後に、損失関数＝

を計算するステップ９７０が続き得る。また、状況に応じて損失を伝播させる。 After step 960, loss function =

A step 970 of calculating . Also, losses are propagated depending on the situation.

視覚化 Visualization

知覚フィールドは、種々の交通環境（例えば、幹線道路、都会、地方）においての、また、種々の運転タスク（例えば、衝突回避、車線維持、ＡＣＣ、追い越しなど）についての、自律自車両における運転ポリシーを生成するための新規な計算フレームワークである。知覚フィールドは、道路オブジェクトの属性であり、カテゴリｃの各道路オブジェクトｉ（例えば、他の車両、歩行者、交通標識、道路境界など）から出現する力場を符号化し、自車両に作用し、運転挙動を引き起こす。自車環境の知覚フィールド表現から望ましい運転挙動を取得する鍵となるのは、力場が多岐にわたる運転挙動を可能にするほど十分に一般的であるが人間の運転データを使用する効率的な学習を可能にするほど十分に特定的であるように、力場をモデル化することである。知覚フィールドの適用は、既存の方法（例えば、エンド・ツー・エンド・アプローチ）に勝る、タスク分解並びに説明可能性の及び一般化性能の向上などのいくつかの利点を有し、その結果、多岐にわたる運転挙動が得られる。 The perceptual field determines driving policies in autonomous vehicles in different traffic environments (e.g. highway, urban, rural) and for different driving tasks (e.g. collision avoidance, lane keeping, ACC, overtaking, etc.). This is a new computational framework for generating . The perceptual field is an attribute of the road object and encodes the force field emerging from each road object i of category c (e.g., other vehicles, pedestrians, traffic signs, road boundaries, etc.) and acting on the own vehicle, Causes driving behavior. The key to obtaining desired driving behavior from perceptual field representations of the vehicle's environment is efficient learning using human driving data, where force fields are sufficiently general to enable a wide variety of driving behaviors. The idea is to model the force field in such a way that it is specific enough to allow The application of perceptual fields has several advantages over existing methods (e.g., end-to-end approaches), such as improved task decomposition and explainability and generalization performance, resulting in a wide range of A wide range of driving behavior can be obtained.

図１０は、視覚化のための方法３０００の一実例を示す。 FIG. 10 shows an example of a method 3000 for visualization.

一実施例によれば、方法３０００は、車両の環境内に位置する１つ又は複数のオブジェクトに関するオブジェクト情報を取得するステップ３０１０によって開始する。 According to one embodiment, method 3000 begins with step 3010 of obtaining object information about one or more objects located within a vehicle's environment.

一実施例によれば、ステップ３０１０はまた、オブジェクト情報を分析することを含む。分析は、１つ又は複数のオブジェクトの位置情報及び／又は動き情報を決定することを含み得る。位置情報及び動き情報は、（車両に対する）１つ又は複数のオブジェクトの相対位置及び／又は（車両に対する）１つ又は複数のオブジェクトの相対動きを含み得る。 According to one embodiment, step 3010 also includes analyzing object information. The analysis may include determining location and/or motion information of one or more objects. The position and motion information may include the relative position of the one or more objects (with respect to the vehicle) and/or the relative movement of the one or more objects (with respect to the vehicle).

一実施例によれば、ステップ３０１０の後に、処理回路によって、また、オブジェクト情報に基づいて、１つ又は複数のオブジェクトの１つ又は複数の仮想フィールドを決定するステップ３０２０が続き、１つ又は複数の仮想フィールドは、車両の挙動に対する１つ又は複数のオブジェクトの影響の可能性を表す。 According to one embodiment, step 3010 is followed by step 3020 of determining one or more virtual fields of the one or more objects by the processing circuitry and based on the object information; The virtual field represents the possible influence of one or more objects on the behavior of the vehicle.

ステップ３０２０は、仮想物理モデルから駆動され得る。例えば、仮想物理モデルがオブジェクトを電磁電荷として表すものとすると、１つ又は複数の仮想フィールドは、仮想電磁フィールドであり、仮想力は、仮想電荷に起因して発生する電磁力を表す。例えば、仮想物理モデルが機械モデルであるものとすると、その場合、仮想力フィールドが、オブジェクトの加速度から駆動される。処理回路は、少なくとも、いくつかの適用において示された訓練方法のうちのいずれかを用いて、例えば、方法２００、３００及び４００のうちのいずれか１つを、必要な変更を加えて適用することによって、訓練することができることに留意されたい。訓練は例えば、行動クローニング（ＢＣ：ｂｅｈａｖｉｏｒａｌｃｌｏｎｉｎｇ）及び／又は強化学習（ＲＬ：ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ）に基づき得る。 Step 3020 may be driven from a virtual physical model. For example, if the virtual physical model represents the object as an electromagnetic charge, the one or more virtual fields are virtual electromagnetic fields, and the virtual force represents the electromagnetic force generated due to the virtual charge. For example, suppose the virtual physical model is a mechanical model, in which case the virtual force field is driven from the acceleration of the object. The processing circuit applies, mutatis mutandis, using at least any of the training methods presented in some applications, e.g., any one of methods 200, 300, and 400. Note that it can be trained by Training may be based on behavioral cloning (BC) and/or reinforcement learning (RL), for example.

一実施例によれば、ステップ３０２０の後に、１つ又は複数のフィールドに基づいて、運転者に対して１つ又は複数の仮想フィールドを視覚化することに用いる視覚化情報を生成するステップ３０３０が続く。 According to one embodiment, step 3020 is followed by step 3030 of generating visualization information for use in visualizing one or more virtual fields to the driver based on the one or more fields. Continue.

一実施例によれば、視覚化情報は、仮想フィールドごとの複数のフィールド線を表す。 According to one embodiment, the visualization information represents multiple field lines for each virtual field.

一実施例によれば、仮想フィールドごとの複数のフィールド線は、１つ又は複数のオブジェクトのオブジェクトごとの複数の楕円を形成する。 According to one embodiment, field lines per virtual field form per-object ellipses of one or more objects.

視覚化情報は、仮想フィールドを表すグラフィカル要素を含むグラフィカル・インタフェースの一部として表示され得る。方法は、ユーザ（車両の運転者など）に仮想フィールドの視覚表現を提供することを含み得る。 Visualization information may be displayed as part of a graphical interface that includes graphical elements representing virtual fields. The method may include providing a visual representation of the virtual field to a user (such as a driver of a vehicle).

視覚化情報及び／又はグラフィカル・ユーザ・インタフェースは、車両のディスプレイ上、ユーザ・デバイスのディスプレイ上（例えば、携帯電話上）などに表示され得る。 The visualization information and/or graphical user interface may be displayed on a vehicle display, on a user device display (eg, on a mobile phone), etc.

図１１は、別の車両であるオブジェクトの仮想フィールドごとの複数のフィールド線３０９２を有する、車両センサから見られるような、車両の環境の画像３０９１の一実例を示す。 FIG. 11 shows an example of an image 3091 of a vehicle's environment, as seen from a vehicle sensor, having multiple field lines 3092 for each virtual field of an object that is another vehicle.

図１２は、視覚化のための方法３００１の一実例を示す。 FIG. 12 shows an example of a method 3001 for visualization.

一実施例によれば、方法３００１は、ステップ３０１０によって開始する。 According to one embodiment, method 3001 begins with step 3010.

一実施例によれば、ステップ３０１０の後に、ステップ３０２０が続く。 According to one embodiment, step 3010 is followed by step 3020.

一実施例によれば、ステップ３０２０の後に、１つ又は複数の仮想フィールドに基づいて、１つ又は複数のオブジェクトによって車両に実質的に加えられる１つ又は複数の仮想力を決定するステップ３０４０が続く。 According to one embodiment, step 3020 is followed by step 3040 of determining one or more virtual forces substantially applied to the vehicle by the one or more objects based on the one or more virtual fields. Continue.

１つ又は複数の仮想力は、物理モデルに関連付けられているとともに車両の挙動に対する１つ又は複数のオブジェクトの影響を表す。 The one or more virtual forces are associated with the physical model and represent the influence of one or more objects on the behavior of the vehicle.

一実施例によれば、仮想力は力場である。 According to one embodiment, the virtual force is a force field.

一実施例によれば、仮想力は電位場である。 According to one embodiment, the virtual force is an electric potential field.

一実施例によれば、１つ又は複数の仮想力の仮想力は、仮想力の強度を示す仮想曲線によって表される。 According to one embodiment, the virtual force of the one or more virtual forces is represented by a virtual curve indicating the strength of the virtual force.

仮想力の強度は、仮想曲線の強度、仮想曲線の形状、又は仮想曲線のサイズ（例えば、幅、長さなど）のうちの１つ又は複数によって表され得る。 The strength of the virtual force may be represented by one or more of the strength of the virtual curve, the shape of the virtual curve, or the size (eg, width, length, etc.) of the virtual curve.

ステップ３０４０は、車両に実質的に加えられる総仮想力を決定することを含み得る。総仮想力は、１つ又は複数の仮想力の総計であり得る。 Step 3040 may include determining the total virtual force substantially applied to the vehicle. Total virtual force may be the sum of one or more virtual forces.

一実施例によれば、ステップ３０４０の後に、仮想力に基づいて、車両の所望の仮想加速度を算出するステップ３０５０が続く。 According to one embodiment, step 3040 is followed by step 3050 of calculating a desired virtual acceleration of the vehicle based on the virtual forces.

ステップ３０５０は、仮想力と車両の所望の仮想加速度との関係に関する仮定に基づいて実行され得る。例えば、仮想力は、仮想加速度（車両に実質的に加えられる）を有し得、車両の所望の仮想加速度は、車両に実質的に加えられる仮想加速度を相殺し得る。 Step 3050 may be performed based on assumptions regarding the relationship between the virtual force and the desired virtual acceleration of the vehicle. For example, the virtual force may have a virtual acceleration (substantially applied to the vehicle), and a desired virtual acceleration of the vehicle may offset the virtual acceleration substantially applied to the vehicle.

一実施例によれば、所望の仮想加速度は、実質的に加えられる加速度と同じ大きさを有するが、反対方向に方向付けられ得る。 According to one embodiment, the desired virtual acceleration may have substantially the same magnitude as the applied acceleration, but be directed in the opposite direction.

一実施例によれば、所望の仮想加速度は、実質的に加えられる加速度の大きさとは異なる大きさを有する。 According to one embodiment, the desired virtual acceleration has a magnitude that is different from the magnitude of the substantially applied acceleration.

一実施例によれば、所望の仮想加速度は、実質的に加えられる加速度の方向と反対でない方向を有する。 According to one embodiment, the desired virtual acceleration has a direction that is not substantially opposite to the direction of the applied acceleration.

一実施例によれば、ステップ３０５０の後に、１つ又は複数のフィールドに基づいて、１つ又は複数の仮想フィールド及び力情報を視覚化することに用いる視覚化情報を生成するステップ３０６０が続く。 According to one embodiment, step 3050 is followed by step 3060 of generating visualization information for use in visualizing one or more virtual fields and force information based on the one or more fields.

力情報は、１つ又は複数の仮想力及び／又は所望の仮想加速度を表し得る。 The force information may represent one or more virtual forces and/or desired virtual accelerations.

一実施例によれば、ステップ３０６０の後に、視覚化情報に応答するステップ３０７０が続く。 According to one embodiment, step 3060 is followed by step 3070 of responding to visualization information.

ステップ３０６０は、視覚化情報を送信すること、及び／又は視覚化情報を記憶すること、及び／又は視覚化情報によって表される内容を表示することを含み得る。 Step 3060 may include transmitting visualization information, storing visualization information, and/or displaying content represented by visualization information.

ステップ３０６０は、仮想フィールド及び／又は所望の加速度などを表すグラフィカル要素を含むグラフィカル・インタフェースの一部として視覚化情報を表示することを含み得る。グラフィカル・ユーザ・インタフェースは、ユーザ（車両の運転者など）に仮想フィールド及び／又は所望の加速度の視覚表現を提供する。 Step 3060 may include displaying the visualization information as part of a graphical interface that includes graphical elements representing virtual fields, desired accelerations, and the like. The graphical user interface provides a user (such as a vehicle driver) with a visual representation of the virtual field and/or the desired acceleration.

一実施例によれば、ステップ３０５０の後に、車両の所望の仮想加速度にさらに応答するステップ３０８０も続く。 According to one embodiment, step 3050 is also followed by step 3080 of further responding to a desired virtual acceleration of the vehicle.

一実施例によれば、ステップ３０８０は、以下のうちの少なくとも１つを含む。
ａ．１つ又は複数の仮想フィールドに基づいて運転関連操作の決定をトリガする。
ｂ．１つ又は複数の仮想フィールドに基づいて運転関連操作の実行をトリガする。
ｃ．運転関連操作の実行を要求又は命令する。
ｄ．所望の仮想加速度に基づいて、運転関連操作の算出をトリガする。
ｅ．所望の仮想加速度に基づいて、運転関連操作の算出を要求又は命令する。
ｆ．所望の仮想加速度に関する情報を車両の制御ユニットに送る。
ｇ．車両を制御する－運転者から自律運転ユニットに制御を伝達する。 According to one embodiment, step 3080 includes at least one of the following.
a. Trigger driving-related maneuver decisions based on one or more virtual fields.
b. Trigger execution of driving-related operations based on one or more virtual fields.
c. Request or command the performance of driving-related operations.
d. Trigger calculation of driving-related operations based on the desired virtual acceleration.
e. Request or command calculation of driving-related maneuvers based on the desired virtual acceleration.
f. Sending information regarding the desired virtual acceleration to the vehicle's control unit.
g. Control the vehicle - Transfer control from the driver to the autonomous driving unit.

図１３は、別の車両であるオブジェクトの車両に加えられる仮想力ごとの複数のフィールド線を有する、航空画像から見られるような、車両の環境の一実例を示す。図１３では、図１３において示されている地点の色、方向、及び大きさのうちのいずれか１つ（又は２つ以上の組み合わせ）は、１つ又は複数の仮想力がそれらの地点に加えられていることを示し得る。 FIG. 13 shows an example of the environment of a vehicle, as seen from an aerial image, with multiple field lines for each virtual force applied to the vehicle of an object, which is another vehicle. In FIG. 13, any one (or a combination of two or more) of the color, direction, and size of the points shown in FIG. It can be shown that the

図１４は、別の車両であるオブジェクトの仮想フィールドごとの複数のフィールド線３０９２を有する、また、オブジェクトによって加えられる仮想力の表示３０９４を有する、車両センサから見られるような、車両の環境の画像３０９３の一実例を示す。図１４において、表示３０９４は、複数のフィールド線３０９２も含む楕円の部分である。 FIG. 14 shows an image of the vehicle's environment, as seen from the vehicle sensors, having multiple field lines 3092 for each virtual field of an object that is another vehicle, and also having an indication 3094 of the virtual forces exerted by the object. An example of 3093 is shown below. In FIG. 14, display 3094 is a portion of an ellipse that also includes a plurality of field lines 3092. In FIG.

図１５は、シーンの一実例の画像１０３３を示す。 FIG. 15 shows an image 1033 of an example scene.

図１５は、第１の道路のセグメント内に位置する車両１０３１の一実例を示す。 FIG. 15 shows an example of a vehicle 1031 located within a first road segment.

歩行者１０２２が、車両１３０１の前で、セグメントを横断し始める。歩行者は、歩行者仮想フィールド（仮想等電位フィールド線１０２２’及び力インジケータ１０２５によって示されている）によって表され、図１５はまた、車両１０３１を退ける（表示されてもよく又は表示されなくてもよい）方向ベクトル１０４１を示す。 Pedestrian 1022 begins to cross the segment in front of vehicle 1301. The pedestrian is represented by a pedestrian virtual field (indicated by virtual equipotential field lines 1022' and force indicators 1025), and FIG. 1041).

別の車両１０３９が、対向車線で走行し、他の車両仮想フィールド１０４９、他の力インジケータ１０４９を有し、（表示されてもよく又は表示されなくてもよい）別の仮想力１０４９を車両１０３１に加える。 Another vehicle 1039 is traveling in the oncoming lane and has an other vehicle virtual field 1049, another force indicator 1049, and another virtual force 1049 (which may or may not be displayed) on the vehicle 1031. Add to.

（歩行者及び他の車両に起因して）車両１０３１に加えられる仮想力は、１０７１で示される（表示されてもよく又は表示されなくてもよい）。図１５はまた、車両の所望の加速度１０４２を示す。所望の加速度は、表示されてもよく又は表示されなくてもよい。 Virtual forces applied to vehicle 1031 (due to pedestrians and other vehicles) are shown at 1071 (which may or may not be displayed). FIG. 15 also shows the desired acceleration 1042 of the vehicle. The desired acceleration may or may not be displayed.

図１６は、車両の環境と、スカラー場を用いる視覚化の別の実例とを示す画像３０９５である。いくつかの地点をサンプリングするとともに、環境内のどの位置において仮想フィールドからの力がゼロに等しくなるのかを決定することによって、視覚化情報を生成した。図１６は、仮想力がゼロである位置がオブジェクトの仮想フィールドが「終了する」場所を示すまで強度を減少する同心楕円３０９６を含む。この種類の視覚化情報は、仮想フィールド内の位置に位置することになればどの程度の力が車両にかけられるのかを示す。 FIG. 16 is an image 3095 showing a vehicle environment and another example of visualization using a scalar field. Visualization information was generated by sampling several points and determining at which locations in the environment the force from the virtual field equals zero. FIG. 16 includes concentric ellipses 3096 that decrease in strength until the position where the virtual force is zero indicates where the object's virtual field "ends." This type of visualization information shows how much force would be applied to the vehicle if it were to be located at a position within the virtual field.

運転関連の向上したフィールド Improved driving related fields

制御ポリシーが、ギクシャクした非人間的な運転挙動（例えば、遅いブレーキ）を生じさせるという点で、現在のＡＤＡＳ及びＡＶ技術（特に視覚ベースの）には問題がある。知覚フィールド・モデルは、その問題を軽減し、快適な運転体験をもたらすためにさらに向上することができる。 Current ADAS and AV technologies (particularly vision-based) are problematic in that the control policies result in jerky and inhuman driving behavior (eg, slow braking). The perceptual field model can be further improved to alleviate that problem and provide a comfortable driving experience.

知覚フィールドは、模倣学習により学習される限り、人間による運転に類似の自車挙動を自然に生じさせる。人間による平均的な運転が運転者及び乗客によって快適であると知覚される程度まで、知覚フィールドによって運転がそのように導かれる。しかしながら、知覚フィールドの訓練アルゴリズムを変更することによって快適感を促進させる可能性が存在する。 As long as the perceptual field is learned through imitation learning, it will naturally produce own vehicle behavior similar to human driving. To the extent that average human driving is perceived as comfortable by the driver and passengers, the perceptual field guides the driving as such. However, the possibility exists to promote a sense of comfort by changing the training algorithm of the perceptual field.

運転体験の心理学及び運転体験に対する生理学的応答についての研究では、ジャークを最小にすることが快適性の体験に極めて重要な役割を果たすことが示唆されている。ジャークを最小にすることのさらなる必要条件は、快適性が向上した知覚フィールドを生成するために、訓練中に損失関数／報酬関数にジャークを含めることによって知覚フィールド・フレームワークに容易に組み込むことができる。 Research on the psychology of the driving experience and physiological responses to the driving experience suggests that minimizing jerk plays a vital role in the experience of comfort. The additional requirement of minimizing jerk can be easily incorporated into the perceptual field framework by including jerk in the loss/reward function during training to produce a perceptual field with improved comfort. can.

快適性が向上した知覚フィールドはまた、加速度及び速度などの他の因子を考慮することができる。要するに、快適感に影響することが分かっているいかなる因子も損失関数又は報酬関数に含め、したがって、基本的な知覚フィールド・モデルを向上させるようにすることができる。 The comfort-enhanced perceptual field can also take into account other factors such as acceleration and velocity. In short, any factor known to affect the feeling of comfort can be included in the loss or reward function, thus improving the basic perceptual field model.

快適性又は他の因子に基づいて仮想フィールドを向上させることは運転をさらに改善し得ることが見い出されている。 It has been found that enhancing the virtual field based on comfort or other factors can further improve driving.

図１７は、運転関連仮想フィールドの向上のための方法４０００の一実例を示す。 FIG. 17 shows an example of a method 4000 for enhancing driving-related virtual fields.

一実施例によれば、方法４０００は、車両の環境内に位置する１つ又は複数のオブジェクトに関するオブジェクト情報を取得するステップ４０１０によって開始する。 According to one embodiment, method 4000 begins with step 4010 of obtaining object information about one or more objects located within a vehicle's environment.

一実施例によれば、ステップ４０１０はまた、オブジェクト情報を分析することを含む。分析は、１つ又は複数のオブジェクトの位置情報及び／又は動き情報を決定することを含み得る。位置情報及び動き情報は、（車両に対する）１つ又は複数のオブジェクトの相対位置及び／又は（車両に対する）１つ又は複数のオブジェクトの相対動きを含み得る。 According to one embodiment, step 4010 also includes analyzing the object information. The analysis may include determining location and/or motion information of one or more objects. The position and motion information may include the relative position of the one or more objects (with respect to the vehicle) and/or the relative movement of the one or more objects (with respect to the vehicle).

一実施例によれば、ステップ４０１０の後に、処理回路によって、また、オブジェクト情報に基づいて、１つ又は複数のオブジェクトの１つ又は複数の仮想フィールドを決定するステップ４０２０が続き、１つ又は複数の仮想フィールドの決定は、仮想物理モデルに基づき、１つ又は複数の仮想フィールドは、車両の挙動に対する１つ又は複数のオブジェクトの影響の可能性を表し、仮想物理モデルは、１つ又は複数の物理法則及び少なくとも１つのさらなる運転関連パラメータに基づいて構築される。 According to one embodiment, step 4010 is followed by step 4020 of determining one or more virtual fields of one or more objects by processing circuitry and based on object information, one or more The determination of the virtual fields is based on a virtual physical model, one or more virtual fields represent the possible influence of one or more objects on the behavior of the vehicle, and the virtual physical model It is constructed based on the laws of physics and at least one further driving-related parameter.

一実施例によれば、処理回路は、基準運転パターンに基づいて訓練された。少なくとも１つのさらなる運転関連パラメータは、運転者の１つ又は複数の種類の運転パターンと、１つ又は複数の種類の基準運転パターンとの１つ又は複数の差異に関連する運転者パラメータを含む。 According to one embodiment, the processing circuitry was trained based on a reference driving pattern. The at least one further driving-related parameter includes a driver parameter related to one or more differences between one or more types of driving pattern of the driver and one or more types of reference driving pattern.

一実施例によれば、少なくとも１つのさらなる運転関連パラメータは、運転者の１つ又は複数の運転パターンに関連する運転者運転パターン関連パラメータを含む。 According to one embodiment, the at least one further driving-related parameter includes a driver driving pattern-related parameter that is associated with one or more driving patterns of the driver.

一実施例によれば、少なくとも１つのさらなる運転関連パラメータは、燃料消費パラメータを含む。 According to one embodiment, the at least one further driving-related parameter includes a fuel consumption parameter.

一実施例によれば、少なくとも１つのさらなる運転関連パラメータは、安全性パラメータを含む。 According to one embodiment, the at least one further driving-related parameter includes a safety parameter.

一実施例によれば、少なくとも１つのさらなる運転関連パラメータは、快適性パラメータを含む。 According to one embodiment, the at least one further driving-related parameter includes a comfort parameter.

快適性パラメータは、運転中の車両の運転者の快適性に関連し得る。 The comfort parameter may relate to the driver's comfort of the vehicle while driving.

快適性パラメータは、車両の外側に位置する１人以上の道路利用者の快適性、例えば、車両の近傍（例えば、車両から０．１～２０ｍ以内）に位置する他の運転者及び／又は歩行者の快適性に関連し得る。 The comfort parameter is defined as the comfort of one or more road users located outside the vehicle, for example other drivers and/or pedestrians located in the vicinity of the vehicle (e.g. within 0.1 to 20 m from the vehicle). may be related to personal comfort.

快適性パラメータは、運転中の運転者以外の一人又は複数人の乗客の快適性に関連し得る。 The comfort parameter may relate to the comfort of one or more passengers other than the driver during driving.

快適性パラメータは、走行中の車両内の運転者及び一人又は複数人の他の乗客の快適性に関連し得る。 Comfort parameters may relate to the comfort of a driver and one or more other passengers within a moving vehicle.

運転者の快適性は、安全性の理由から、一人又は複数人の乗客の快適性よりも優先され得る。 Driver comfort may be prioritized over the comfort of one or more passengers for safety reasons.

運転者、乗客又は任意の他の権限を与えられたエンティティが、いずれの者の快適性が考慮されるべきやり方を定め得る。 The driver, passenger or any other authorized entity may define the manner in which everyone's comfort is to be considered.

快適性レベルは、運転者、乗客又は任意の他の権限を与えられたエンティティによって設定され得る。 The comfort level may be set by the driver, passenger or any other authorized entity.

例えば、仮想物理モデルがオブジェクトを電磁電荷として表すものとすると、１つ又は複数の仮想フィールドは、仮想電磁フィールドであり、仮想力は、仮想電荷に起因して発生する電磁力を表す。 For example, if the virtual physical model represents the object as an electromagnetic charge, the one or more virtual fields are virtual electromagnetic fields, and the virtual force represents the electromagnetic force generated due to the virtual charge.

例えば、仮想物理モデルが機械モデルであるものとすると、その場合、仮想力フィールドが、オブジェクトの加速度から駆動される。処理回路は、少なくとも、いくつかの適用において示された訓練方法のうちのいずれかを用いて、例えば、方法２００、３００及び４００のうちのいずれか１つを、必要な変更を加えて適用することによって、訓練することができることに留意されたい。訓練は例えば、行動クローニング（ＢＣ）及び／又は強化学習（ＲＬ）に基づき得る。訓練はまた、１つ又は複数のさらなる運転関連パラメータを考慮し得る。例えば、損失関数は、さらなる運転関連パラメータの所望の値及び推定される現在の運転関連パラメータが与えられ、所望のさらなる運転関連パラメータと推定される現在のさらなる運転関連パラメータとのギャップを減らすことを意図し得る。 For example, suppose the virtual physical model is a mechanical model, in which case the virtual force field is driven from the acceleration of the object. The processing circuit applies, mutatis mutandis, using at least any of the training methods presented in some applications, e.g., any one of methods 200, 300, and 400. Note that it can be trained by Training may be based on behavioral cloning (BC) and/or reinforcement learning (RL), for example. Training may also take into account one or more additional driving-related parameters. For example, the loss function, given a desired value of a further driving-related parameter and an estimated current driving-related parameter, reduces the gap between the desired further driving-related parameter and the estimated current further driving-related parameter. It can be intended.

さらなる運転関連パラメータが快適性であるものとすると、快適性は、生理学的パラメータ（心拍数、発汗、血圧、皮膚色変化など）を監視すること、ストレスを示す、大声又は他の音声及び／又は視覚情報を検出することから、運転者からの明白なフィードバックに基づいて評価することができる。 A further driving-related parameter shall be comfort, which may include monitoring physiological parameters (heart rate, sweating, blood pressure, skin color changes, etc.), loud or other sounds indicating stress, and/or Since it detects visual information, it can be evaluated based on clear feedback from the driver.

一実施例によれば、ステップ４０２０の後に、１つ又は複数のオブジェクトによって仮想物理モデルに従って車両に加えられる総仮想力を決定するステップ４０３０が続く。 According to one embodiment, step 4020 is followed by step 4030 of determining the total virtual force exerted on the vehicle by one or more objects according to the virtual physical model.

一実施例によれば、ステップ４０３０の後に、１つ又は複数の仮想フィールドに基づいて車両の所望の仮想加速度を決定するステップ４０４０が続く。 According to one embodiment, step 4030 is followed by step 4040 of determining a desired virtual acceleration of the vehicle based on the one or more virtual fields.

ステップ４０４０は、仮想力と車両の所望の仮想加速度との関係に関する仮定に基づいて実行され得る。例えば、仮想力は、仮想加速度（車両に実質的に加えられる）を有し得、車両の所望の仮想加速度は、車両に実質的に加えられる仮想加速度を相殺し得る。 Step 4040 may be performed based on assumptions regarding the relationship between the virtual force and the desired virtual acceleration of the vehicle. For example, the virtual force may have a virtual acceleration (substantially applied to the vehicle), and a desired virtual acceleration of the vehicle may offset the virtual acceleration substantially applied to the vehicle.

一実施例によれば、ステップ４０４０は、車両の運転者の現在の快適性パラメータ又は車両の任意の他の乗客の現在の快適性パラメータとは関係なく実行される。 According to one embodiment, step 4040 is performed independently of the current comfort parameters of the driver of the vehicle or any other passengers of the vehicle.

一実施例によれば、方法４０００は、車両の運転者の現在の快適性パラメータを取得することを含み、ステップ４０４０は、運転者の現在の快適性パラメータに基づいて及び／又は車両の任意の他の乗客の現在の快適性パラメータに基づいても実行される。 According to one embodiment, the method 4000 includes obtaining current comfort parameters of a driver of the vehicle, and step 4040 includes obtaining any of the vehicle's comfort parameters based on the current comfort parameters of the driver. It is also performed based on the current comfort parameters of other passengers.

一実施例によれば、方法４０００は、運転関連操作の決定をトリガする及び／又は運転関連操作の決定の実行をトリガするステップ４０６０を含む。 According to one embodiment, method 4000 includes step 4060 of triggering a driving-related maneuver determination and/or triggering execution of a driving-related maneuver determination.

一実施例によれば、ステップ４０６０の前に、ステップ４０２０が先行し、トリガのいずれかは、１つ又は複数の仮想フィールドに基づく。 According to one embodiment, step 4060 is preceded by step 4020, where any of the triggers are based on one or more virtual fields.

一実施例によれば、ステップ４０６０の前に、ステップ４０３０が先行し、トリガのいずれかは、車両に加えられる総仮想力に基づく。 According to one embodiment, step 4060 is preceded by step 4030, where any of the triggers are based on the total virtual force applied to the vehicle.

一実施例によれば、ステップ４０６０の前に、ステップ４０４０が先行し、トリガのいずれかは、車両の所望の仮想加速度に基づく。 According to one embodiment, step 4060 is preceded by step 4040, where any of the triggers are based on a desired virtual acceleration of the vehicle.

図１８は、訓練する方法４１００の一実例を示す。 FIG. 18 shows an example of a method 4100 for training.

一実施例によれば、方法４１００は、ニューラル・ネットワークを訓練するのに必要とされる情報を取得するステップ４１１０を含む。情報は、所望の運転者パターン及び／又はさらなる運転関連パラメータの所望の値及び／又は仮想物理モデルを含み得る。 According to one embodiment, method 4100 includes obtaining 4110 information needed to train a neural network. The information may include desired driver patterns and/or desired values of further driving-related parameters and/or a virtual physical model.

一実施例によれば、ステップ４１１０の後に、オブジェクト情報に基づいて１つ又は複数のオブジェクトの１つ又は複数の仮想フィールドを決定するようにニューラル・ネットワークを訓練するステップ４１２０が続き、１つ又は複数の仮想フィールドの決定は、仮想物理モデルに基づき、１つ又は複数の仮想フィールドは、車両の挙動に対する１つ又は複数のオブジェクトの影響の可能性を表し、仮想物理モデルは、１つ又は複数の物理法則及び少なくとも１つのさらなる運転関連パラメータに基づいて構築される。 According to one embodiment, step 4110 is followed by step 4120 of training a neural network to determine one or more virtual fields of one or more objects based on the object information, one or more The determination of the plurality of virtual fields is based on a virtual physical model, one or more virtual fields representing the possible influence of one or more objects on the behavior of the vehicle, one or more virtual physical models and at least one further driving-related parameter.

一実施例によれば、ステップ４１２０の後に、１つ又は複数のオブジェクトによって仮想物理モデルに従って車両に加えられる総仮想力を決定するようにニューラル・ネットワーク（又は別の計算エンティティ）を訓練することが続いてもよい。 According to one embodiment, after step 4120, a neural network (or another computational entity) may be trained to determine the total virtual force exerted on the vehicle by the one or more objects according to the virtual physical model. You can continue.

一実施例によれば、ステップ４１２０の後に、１つ又は複数の仮想フィールドに基づいて車両の所望の仮想加速度を決定するようにニューラル・ネットワーク（又は別の計算エンティティ）を訓練することが続いてもよい。 According to one embodiment, step 4120 is followed by training a neural network (or another computational entity) to determine a desired virtual acceleration of the vehicle based on the one or more virtual fields. Good too.

仮想フィールドのパーソナライゼーション Virtual field personalization

人間のデータ及びシミュレーション・データを用いて知覚フィールド（ＰＦ：ｐｅｒｃｅｐｔｉｏｎｆｉｅｌｄ）の基本形が学習される。しかしながら、知覚フィールドによって引き起こされる挙動が、ＰＦ技術が与えられた車両のエンドユーザの行動とより厳密に一致するようにするために、当該エンドユーザが訓練を「微調整」する可能性が存在する。 Basic forms of perception fields (PF) are learned using human data and simulation data. However, the possibility exists that the end-user may "fine-tune" the training so that the behavior evoked by the sensory field more closely matches the behavior of the end-user of the vehicle given the PF technology. .

一実施例によれば、これは、以下、すなわち
ａ．車両におけるＰＦソフトウェアが、ＰＦを含むニューラル・ネットワークの最後の層の重み及びバイアスを「緩和」することを可能にすることによって、
ｂ．一群の運転マヌーバの各運転マヌーバについて、以下、すなわち
ｉ．環境に関する関連データとともにソフトウェアによって記録される一組の予め選択された運転マヌーバのうちの１つをエンドユーザに行わせること、
ｉｉ．この運転マヌーバとデフォルトＰＦによって規定される運転マヌーバとの差を用いることが損失関数とみなされ、それにより、逆伝播がＰＦを含むニューラル・ネットワークの最後の層の重み及びバイアスを更新すること、
を繰り返すことによって、行うことができる。 According to one embodiment, this includes: a. By allowing the PF software in the vehicle to "relax" the weights and biases of the last layer of the neural network containing the PF,
b. For each maneuver in the group of maneuvers: i. causing the end user to perform one of a set of preselected driving maneuvers that are recorded by the software along with relevant data about the environment;
ii. Using the difference between this driving maneuver and the driving maneuver defined by the default PF is considered as a loss function, whereby backpropagation updates the weights and biases of the last layer of the neural network containing the PF;
This can be done by repeating.

図１９は、ニューラル・ネットワークを更新する方法４２００の一実例を示す。 FIG. 19 shows an example of a method 4200 for updating a neural network.

一実施例によれば、方法４２００は、車両の環境内に位置する１つ又は複数のオブジェクトに関するオブジェクト情報を１つ又は複数のオブジェクトの１つ又は複数の仮想フィールドにマッピングするように訓練されるニューラル・ネットワークを取得するステップ４２１０によって開始し、１つ又は複数の仮想フィールドの決定は、仮想物理モデルに基づき、１つ又は複数の仮想フィールドは、車両の挙動に対する１つ又は複数のオブジェクトの影響の可能性を表し、仮想物理モデルは、１つ又は複数の物理法則及び少なくとも１つのさらなる運転関連パラメータに基づいて構築される。 According to one embodiment, method 4200 is trained to map object information about one or more objects located within the environment of the vehicle to one or more virtual fields of the one or more objects. Starting with step 4210 of obtaining a neural network, determining the one or more virtual fields is based on a virtual physical model, the one or more virtual fields determining the influence of the one or more objects on the behavior of the vehicle. A virtual physical model is constructed based on one or more physical laws and at least one further driving-related parameter.

そのようなニューラル・ネットワークの実例及び／又はそのようなニューラル・ネットワークを訓練する実例は、前の本文及び／又は前の図において提示されている。 Examples of such neural networks and/or examples of training such neural networks are presented in the previous text and/or in the previous figures.

一実施例によれば、ニューラル・ネットワークは、処理回路、例えば方法４０００を実行する処理回路によって実施される。 According to one embodiment, the neural network is implemented by processing circuitry, such as processing circuitry that performs method 4000.

取得することは、ニューラル・ネットワークを（例えばニューラル・ネットワークを訓練することなく）受信すること、又は、ニューラル・ネットワークを生成すること（例えば、生成することは訓練することを含み得る）を含み得る。 Obtaining may include receiving a neural network (e.g., without training the neural network) or generating a neural network (e.g., generating may include training). .

一実施例によれば、ステップ４２１０の後に、１つ又は複数の微調整パラメータに基づいてニューラル・オブジェクトの少なくとも一部分を微調整するステップ４２２０が続く。 According to one embodiment, step 4210 is followed by step 4220 of fine-tuning at least a portion of the neural object based on one or more fine-tuning parameters.

一実施例によれば、微調整は、訓練中に使用される同じ損失関数によって実行される。代替的に、微調整は、訓練中に使用される新たな損失関数によって実行される。いずれにしても、損失関数は、いかなるやり方でも決定され得、予め定められ及び／又は微調整段階に与えられ得る。 According to one embodiment, fine-tuning is performed by the same loss function used during training. Alternatively, fine-tuning is performed by a new loss function used during training. In any case, the loss function can be determined in any manner and can be predetermined and/or given to the fine-tuning stage.

一実施例によれば、ステップ４２２０は、ニューラル・ネットワーク全体を訓練又は再訓練することを伴わない。 According to one embodiment, step 4220 does not involve training or retraining the entire neural network.

ステップ４２２０は、特に、ニューラル・ネットワークを十分に訓練するのに必要とされるリソースに対して、微調整に割り当てられるリソースを制限することを含む。 Step 4220 includes, among other things, limiting the resources allocated to fine-tuning to those needed to fully train the neural network.

リソースの制限は、以下のうちの少なくとも１つを含み得る。
ａ．ニューラル・ネットワークのすべてではなく一部分の微調整。この部分は、単層であってもよく、ニューラル・ネットワーク全体の１、５、１０、１５、２５、３０、３５、４０、４５、５０、５５パーセントまでの、２つ以上の層であってもよい。
ｂ．データセットのサイズを制限する。例えば、微調整を、制限された時間期間、例えば、１、５、１０、１５、３０分未満、１、２、３、５時間未満、１、２日未満などの間に車両によって取得される画像に制限する。サイズ制限の別の実例は、データセットを、１００、２００、５００、１０００、２０００、５０００枚未満の画像、及び／又は、ニューラル・ネットワークを訓練するのに使用されるデータセットのサイズの０．００１％、０．０１％、０．１％、１％、５％未満に制限することである。
ｃ．学習率を制限する。
ｄ．微調整によって影響を受けるニューラル・ネットワーク・パラメータを制限する。 Resource limitations may include at least one of the following:
a. Fine-tuning some, but not all, of the neural network. This part may be a single layer, or two or more layers, up to 1, 5, 10, 15, 25, 30, 35, 40, 45, 50, 55 percent of the total neural network. Good too.
b. Limit the size of your dataset. For example, the fine-tuning is obtained by the vehicle during a limited period of time, e.g., less than 1, 5, 10, 15, 30 minutes, 1, 2, 3, less than 5 hours, less than 1, 2 days, etc. Limit to images. Another example of a size limit is to limit the dataset to less than 100, 200, 500, 1000, 2000, 5000 images, and/or 0.00000000000000000000000000000000000000000000000000000000000000000000, less than 100, 200, 500, 1000, 2000, 5000 images, and/or 0.50% of the size of the dataset used to train the neural network. 0.001%, 0.01%, 0.1%, 1%, and less than 5%.
c. Limit learning rate.
d. Limit the neural network parameters affected by fine-tuning.

リソースを制限しつつ微調整が適用される場合、様々なコンピュータ科学利益が得られる。ニューラル・ネットワーク全体の十分な訓練又は再訓練に比べ、はるかに少ない計算リソース及び／又ははるかに少ないメモリ・リソースが必要とされ得る。 A variety of computer science benefits can be obtained when fine-tuning is applied while limiting resources. Much less computational and/or memory resources may be required than sufficient training or retraining of the entire neural network.

上述した微調整は、１つ又は複数の微調整パラメータに従ってニューラル・ネットワークを適応させつつ、よりコンパクトなニューラル・ネットワーク及び損失関数によって実行することができる。 The fine-tuning described above can be performed with a more compact neural network and loss function, adapting the neural network according to one or more fine-tuning parameters.

一実施例によれば、微調整は、車両によって実行されてもよく、非常に複雑なニューラル・ネットワーク及び／又はインフラストラクチャ及び／又は大きなデータセットを必要としなくてもよい。 According to one embodiment, the fine-tuning may be performed by the vehicle and may not require highly complex neural networks and/or infrastructure and/or large data sets.

リソースの低減は、少なくとも５、１０、２０、５０、１００、２００、５００、１０００倍及びさらに多くであるものとすることができる。 The reduction in resources may be at least 5, 10, 20, 50, 100, 200, 500, 1000 times and more.

一実施例によれば、１つ又は複数の微調整パラメータは、燃料消費及び／又は車両の摩耗及び／又は車両の乗客の快適性及び／又は安全性パラメータ及び／又は任意の他の運転関連パラメータを含む。 According to one embodiment, the one or more fine-tuning parameters include fuel consumption and/or vehicle wear and/or vehicle passenger comfort and/or safety parameters and/or any other driving-related parameters. including.

一実施例によれば、１つ又は複数の微調整パラメータは、車両の運転者の制御下で車両が行う運転パターンである。運転パターンは、予め定められていてもよく又は予め定められていなくてもよい。 According to one embodiment, the one or more fine-tuning parameters are driving patterns performed by the vehicle under the control of the vehicle's driver. The driving pattern may or may not be predetermined.

一実施例によれば、少なくとも一部分は、ニューラル・ネットワークの１つの層又は２つ以上の層又はすべての層を含み得（或いはそれらに限定されないものであり得）、再訓練中に修正され得る。 According to one embodiment, at least a portion may include (or may include, but not be limited to) one layer or more than one layer or all layers of a neural network and may be modified during retraining. .

例えば、ステップ４２２０は、ニューラル・ネットワークの他の層の重み及びバイアスを変えないままにしつつ、ニューラル・ネットワークの最後の層の重み及びバイアスのうちの少なくとも１つなどの１つ又は複数のニューラル・ネットワーク・パラメータを更新することを含む。 For example, step 4220 may change one or more neural biases, such as at least one of the weights and biases of the last layer of the neural network, while leaving the weights and biases of other layers of the neural network unchanged. Including updating network parameters.

さらに別の実例について、他の層を変えないままにしつつ、最後の層のうちの１つの最後の層の重み及びバイアスのみがステップ４２２０中に修正される。 For yet another example, only the weights and biases of one of the last layers are modified during step 4220 while leaving the other layers unchanged.

ニューラル・ネットワークの任意の他の層は、再訓練中に修正され得る。 Any other layers of the neural network may be modified during retraining.

ニューラル・ネットワークは、基準運転パターンを模倣するように訓練された。これは、ＲＬ及び／又はＢＣを使用して行うことができた。 The neural network was trained to mimic reference driving patterns. This could be done using RL and/or BC.

一実施例によれば、ステップ４２２０は、運転者が行う運転パターンと、基準運転パターンとの差異を算出することと、ニューラル・ネットワークを修正するために差異を用いることと、を含む。例えば、差異は損失関数に与えられ得る。 According to one embodiment, step 4220 includes calculating a difference between the driver's driving pattern and a reference driving pattern and using the difference to modify the neural network. For example, the difference can be applied to a loss function.

図２０は、ニューラル・ネットワークを微調整する方法４３００の一実例を示す。 FIG. 20 shows an example of a method 4300 for fine-tuning a neural network.

一実施例によれば、方法４３００は、種々の状況に関して所望の運転パターンを特定するステップ４３１０を含む。特定は、行動クローニングの一部又は強化学習の一部であってもよい。 According to one embodiment, method 4300 includes identifying 4310 desired driving patterns for various situations. The identification may be part of behavioral cloning or part of reinforcement learning.

状況は、（ａ）車両の位置、（ｂ）１つ又は複数の気象条件、（ｃ）１つ又は複数のコンテキスト・パラメータ、（ｄ）道路条件、（ｅ）交通パラメータのうちの少なくとも１つであり得る。道路条件は、道路の粗さ、道路の整備レベル、窪み又は他の関連する道路障害物の存在、道路が滑りやすいか、雪やその他の粒子で覆われているかどうかを含み得る。交通パラメータ及び１つ又は複数のコンテキスト・パラメータは、時（時間、日、期間又は年、特定の日における特定の時間など）、交通荷重、道路上における車両の分布、１つ又は複数の車両の挙動（アグレッシブ、平穏、予測可能、予測不可能など）、道路に近い歩行者の存在、車両に近い歩行者の存在、車両から離れた歩行者の存在、歩行者の行動（アグレッシブ、平穏、予測可能、予測不可能など）、車両付近内での運転に関連付けられた危険性、車両の運転に関連付けられた複雑性、幼稚園、学校、人の集まりうちの少なくとも１つの（車両に近い）存在などを含み得る。状況の実例は、「ＳＩＴＵＡＴＩＯＮＢＡＳＥＤＰＲＯＣＥＳＳＩＮＧ」と題する米国特許出願第１６／７２９，５８９号に提示されており、この米国特許出願は参照により本明細書に組み込まれる。 The situation includes at least one of (a) vehicle location, (b) one or more weather conditions, (c) one or more context parameters, (d) road conditions, and (e) traffic parameters. It can be. Road conditions may include road roughness, road maintenance level, the presence of potholes or other relevant road obstructions, and whether the road is slippery or covered with snow or other particles. The traffic parameter and the one or more context parameters may include the time of day (hour, day, period or year, specific time on a specific day, etc.), traffic load, distribution of vehicles on the road, Pedestrian behavior (aggressive, calm, predictable, unpredictable, etc.), presence of pedestrians close to the road, presence of pedestrians close to vehicles, presence of pedestrians away from vehicles, pedestrian behavior (aggressive, calm, predictable, etc.) risks associated with driving within the vicinity of the vehicle; complexities associated with the operation of the vehicle; the presence (close to the vehicle) of at least one of the following: kindergartens, schools, gatherings of people, etc. may include. An illustration of the situation is provided in US Patent Application No. 16/729,589 entitled "SITUATION BASED PROCESSING," which is incorporated herein by reference.

提案される運転パターンは、ニューラル・ネットワーク（ＮＮ：ｎｅｕｒａｌｎｅｔｗｏｒｋ）を用いることによって生成され、車両の運転関連操作を適用することに用いる１つ又は複数のオブジェクトによって車両に加えられる仮想力を表し、仮想力は、車両の挙動に対する１つ又は複数のオブジェクトの影響を表す仮想物理モデルに関連する。提案される運転パターンは、種々の状況を捕捉する感知される情報ユニットがＮＮに与えられると、ＮＮによって生成される。 The proposed driving pattern is generated by using a neural network (NN) and represents virtual forces applied to the vehicle by one or more objects used in applying driving-related maneuvers of the vehicle; Virtual forces relate to virtual physical models that represent the influence of one or more objects on the behavior of a vehicle. The suggested driving pattern is generated by the NN when it is provided with sensed information units capturing various situations.

一実施例によれば、ステップ４３１０の後に、種々の状況に関して、提案される運転パターンを取得するステップ４３１５が続く。提案される運転パターンは、ＮＮを用いることによって生成され、車両の運転関連操作を適用することに用いる１つ又は複数のオブジェクトによって車両に加えられる仮想力を表す。仮想力は、車両の挙動に対する１つ又は複数のオブジェクトの影響を表す仮想物理モデルに関連する。仮想物理モデル及び／又は仮想力の実例は、本明細書の前の部分及び／又は図２０より前の図において示されている。 According to one embodiment, step 4310 is followed by step 4315 of obtaining suggested driving patterns for various situations. The proposed driving pattern is generated by using a NN and represents the virtual forces exerted on the vehicle by one or more objects used in applying driving-related maneuvers of the vehicle. Virtual forces relate to virtual physical models that represent the influence of one or more objects on the behavior of a vehicle. Examples of virtual physical models and/or virtual forces are shown in earlier portions of this specification and/or in figures prior to FIG.

一実施例によれば、ステップ４３１５の後に、ニューラル・ネットワークの少なくとも一部分を微調整するステップ４３２０が続く。 According to one embodiment, step 4315 is followed by step 4320 of fine-tuning at least a portion of the neural network.

一実施例によれば、微調整は、１つ又は複数の微調整パラメータに基づいて行われる。１つ又は複数の微調整パラメータの少なくともいくつかの実例は、上記に挙げられている。 According to one embodiment, fine-tuning is performed based on one or more fine-tuning parameters. At least some examples of one or more fine-tuning parameters are listed above.

一実施例によれば、微調整は、ニューラル・ネットワークの訓練と同じエンティティによって、例えば、製造エンティティ及び／又はプログラミング・エンティティ及び／又はニューラル・ネットワーク訓練及び微調整エンティティによって実行され得る。 According to one embodiment, the fine-tuning may be performed by the same entity as the training of the neural network, for example a manufacturing entity and/or a programming entity and/or a neural network training and fine-tuning entity.

一実施例によれば、微調整は、ソフトウェア更新の後に実行される。 According to one embodiment, fine-tuning is performed after a software update.

一実施例によれば、微調整は、車両がユーザに供給される前に実行される。 According to one embodiment, the fine-tuning is performed before the vehicle is delivered to the user.

一実施例によれば、微調整は、車両のユーザによって着手される。 According to one embodiment, the fine-tuning is initiated by a user of the vehicle.

一実施例によれば、微調整は、車両の１つ又は複数の運転セッション中に取得される感知されるデータ・ユニットに基づく。 According to one embodiment, the fine-tuning is based on sensed data units acquired during one or more driving sessions of the vehicle.

一実施例によれば、微調整は、運転パラメータ、及び、所望の運転パターンと提案される運転パターンとの関係に基づく。 According to one embodiment, the fine-tuning is based on the driving parameters and the relationship between the desired driving pattern and the proposed driving pattern.

一実施例によれば、微調整は、所望の運転パターンと提案される運転パターンとの関係に基づく。 According to one embodiment, the fine-tuning is based on the relationship between the desired driving pattern and the proposed driving pattern.

一実施例によれば、微調整は、所望の運転パターンと提案される運転パターンとの差異を（例えば、損失関数を用いて）低減させることを含む。低減はまた、別の微調整パラメータに応答性があり得る。 According to one embodiment, fine-tuning includes reducing the difference between the desired driving pattern and the proposed driving pattern (eg, using a loss function). The reduction may also be responsive to other fine-tuning parameters.

一実施例によれば、ステップ４３２０は、特に、ニューラル・ネットワークを十分に訓練するのに必要とされるリソースに関して、微調整に割り当てられるリソースを制限することを含む。 According to one embodiment, step 4320 includes limiting the resources allocated to fine-tuning, particularly with respect to the resources needed to fully train the neural network.

リソースの制限は、以下のうちの少なくとも１つを含み得る。
ａ．ニューラル・ネットワークのすべてではなく一部分の微調整。この部分は、単層であってもよく、ニューラル・ネットワーク全体の１、５、１０、１５、２５、３０、３５、４０、４５、５０、５５パーセントまでの、２つ以上の層であってもよい。
ｂ．データセットのサイズを制限する。例えば、微調整を、制限された時間期間、例えば、１、５、１０、１５、３０分未満、１、２、３、５時間未満、１、２日未満などの間に車両によって取得される画像に制限する。サイズ制限の別の実例は、データセットを、１００、２００、５００、１０００、２０００、５０００枚未満の画像、及び／又は、ニューラル・ネットワークを訓練するのに使用されるデータセットのサイズの０．００１％、０．０１％、０．１％、１％、５％未満に制限することである。
ｃ．学習率を制限する。
ｄ．微調整によって影響を受けるいくつかのニューラル・ネットワーク・パラメータを制限する。 Resource limitations may include at least one of the following:
a. Fine-tuning some, but not all, of the neural network. This part may be a single layer, or two or more layers, up to 1, 5, 10, 15, 25, 30, 35, 40, 45, 50, 55 percent of the total neural network. Good too.
b. Limit the size of your dataset. For example, the fine-tuning is obtained by the vehicle during a limited period of time, e.g., less than 1, 5, 10, 15, 30 minutes, 1, 2, 3, less than 5 hours, less than 1, 2 days, etc. Limit to images. Another example of a size limit is to limit the dataset to less than 100, 200, 500, 1000, 2000, 5000 images, and/or 0.00000000000000000000000000000000000000000000000000000000000000000000, less than 100, 200, 500, 1000, 2000, 5000 images, and/or 0.50% of the size of the dataset used to train the neural network. 0.001%, 0.01%, 0.1%, 1%, and less than 5%.
c. Limit learning rate.
d. Limit some neural network parameters that are affected by fine-tuning.

図２１は、方法４３５０の一実例を示す。 FIG. 21 shows an example of method 4350.

一実施例によれば、方法４３５０は、提案される運転パターンを生成するとともに、車両の運転関連操作を適用することに用いる１つ又は複数のオブジェクトによって車両に加えられる仮想力を表すニューラル・ネットワーク（ＮＮ）を取得するステップ４３６０によって開始し、仮想力は、車両の挙動に対する１つ又は複数のオブジェクトの影響を表す仮想物理モデルに関連する。 According to one embodiment, method 4350 includes a neural network representing virtual forces exerted on a vehicle by one or more objects used in generating suggested driving patterns and applying driving-related maneuvers of the vehicle. Starting with step 4360 of obtaining (NN), the virtual forces are associated with a virtual physical model representing the influence of one or more objects on the behavior of the vehicle.

一実施例によれば、ステップ４３５０の後に、１つ又は複数の微調整パラメータに基づいてニューラル・ネットワークの少なくとも一部分を微調整するステップ４３７０が続く。 According to one embodiment, step 4350 is followed by step 4370 of fine-tuning at least a portion of the neural network based on one or more fine-tuning parameters.

一実施例によれば、ステップ４３７０は、ＮＮの選択された部分のみを調整することを含む。 According to one embodiment, step 4370 includes adjusting only selected portions of the NN.

一実施例によれば、ステップ４３７０は、ＮＮの選択された層のみを微調整することを含む。 According to one embodiment, step 4370 includes fine-tuning only selected layers of the NN.

一実施例によれば、ステップ４３７０は、ＮＮの最後の層のみを微調整することを含む。 According to one embodiment, step 4370 includes fine-tuning only the last layer of the NN.

一実施例によれば、ステップ４３７０は、車両の運転者によって、例えば、車両と通信するモバイル機器を使用して、マン・マシン・インタフェース（音声コマンド及び／又はタッチ画面及び／又はノブ若しくはボタン・インタフェース）と対話することによってトリガされる。 According to one embodiment, step 4370 includes a human-machine interface (voice commands and/or touch screen and/or knobs or buttons) provided by the operator of the vehicle, e.g., using a mobile device communicating with the vehicle. interface).

一実施例によれば、ステップ４３７０は、車両の運転者に関連付けられた運転アクションによってトリガされる。例えば、特定の運転マヌーバを行う。 According to one embodiment, step 4370 is triggered by a driving action associated with a driver of the vehicle. For example, performing certain driving maneuvers.

一実施例によれば、ステップ４３７０は、微調整がソフトウェア更新によってトリガされることを含む。ソフトウェア更新は、微調整を行うかどうかを運転者が選択することを可能にし得る。代替的に、微調整は、ソフトウェア更新により自動的にトリガされてもよい。 According to one embodiment, step 4370 includes the fine-tuning being triggered by a software update. Software updates may allow the driver to choose whether to make minor adjustments. Alternatively, fine-tuning may be triggered automatically by software updates.

一実施例によれば、ステップ４３７０は、微調整中に使用されるデータセットのサイズを、ＮＮを訓練するために使用されるデータセットよりも１パーセント少なくなるように制限することを含む。 According to one embodiment, step 4370 includes limiting the size of the dataset used during fine-tuning to be 1 percent smaller than the dataset used to train the NN.

方法は、所望の運転パターンを取得すること（例えば、図２０を参照）を含み得、ステップ４３７０は、所望の運転パターンと提案される運転パターンとの差異を低減させることを含む。したがって、微調整は、所望の運転パターンをより良く模倣する運転パターンを提供し得る。 The method may include obtaining a desired driving pattern (see, eg, FIG. 20), and step 4370 includes reducing the difference between the desired driving pattern and the proposed driving pattern. Thus, fine-tuning may provide a driving pattern that better mimics the desired driving pattern.

前述の明細書において、本発明を、本発明の実施例の特定の実例を参照しながら説明してきた。しかしながら、添付の特許請求の範囲に記載された本発明のより広い趣旨及び範囲から逸脱することなく、本明細書において様々な修正及び変更を行ってもよいことが明らかであろう。さらに、説明及び特許請求の範囲における「前（ｆｒｏｎｔ）」、「後（ｂａｃｋ）」、「上部（ｔｏｐ）」、「下部（ｂｏｔｔｏｍ）」、「上（ｏｖｅｒ）」、「下（ｕｎｄｅｒ）」などの用語は、記載がある場合、説明目的のために使用されており、必ずしも恒久的な相対位置を記載するために使用されているわけではない。 In the foregoing specification, the invention has been described with reference to specific illustrations of embodiments of the invention. It will be apparent, however, that various modifications and changes may be made herein without departing from the broader spirit and scope of the invention as set forth in the appended claims. Furthermore, in the description and claims, "front", "back", "top", "bottom", "over", and "under" are used. Terms such as, where indicated, are used for descriptive purposes and not necessarily to describe permanent relative positions.

そのように使用される用語は、本明細書において説明される本発明の実施例が例えば、本明細書において例示又は他の場合では説明される以外の配向で動作が可能であるように、適切な状況下で置き換え可能であることが理解される。さらに、「アサート（ａｓｓｅｒｔ）」又は「セット（ｓｅｔ）」及び「ネゲート（ｎｅｇａｔｅ）」（又は「デアサート（ｄｅａｓｓｅｒｔ）」若しくは「クリア（ｃｌｅａｒ）」）という用語は、信号、ステータス・ビット、又は同様の装置をそれぞれその論理的に真又は論理的に偽の状態にすることを指す場合に、本明細書において使用される。論理的に真の状態が論理レベル１である場合、論理的に偽の状態は論理レベル０である。また、論理的に真の状態が論理レベル０である場合、論理的に偽の状態は論理レベル１である。 The terms so used are appropriate, such that the embodiments of the invention described herein are capable of operation in, for example, orientations other than those illustrated or otherwise described herein. It is understood that they can be replaced under certain circumstances. Additionally, the terms "assert" or "set" and "negate" (or "deassert" or "clear") refer to signals, status bits, or similar is used herein to refer to placing a device in its logically true or logically false state, respectively. If a logically true state is a logic level 1, a logically false state is a logic level 0. Also, if a logically true state is a logic level 0, a logically false state is a logic level 1.

当業者は、論理ブロック間の境界が単に例示にすぎないこと、及び、代替的な実施例は、論理ブロック若しくは回路要素を併合してもよく、又は様々な論理ブロック若しくは回路要素に機能の代替的な分解を課してもよいことを認識するであろう。したがって、本明細書において示されるアーキテクチャは単に例示にすぎないこと、及び、実際、同じ機能を達成する多くの他のアーキテクチャが実装され得ることを理解されたい。同じ機能を達成するための構成要素のいかなる配置も、所望の機能が達成されるように効果的に「関連付けられる」。 Those skilled in the art will appreciate that boundaries between logic blocks are merely exemplary and that alternative embodiments may merge logic blocks or circuit elements or provide alternative functionality to various logic blocks or circuit elements. will recognize that it is possible to impose a decomposition. Accordingly, it should be understood that the architecture shown herein is merely exemplary, and that, in fact, many other architectures may be implemented that accomplish the same functionality. Any arrangement of components to accomplish the same function is effectively "associated" so that the desired function is achieved.

したがって、特定の機能を達成するように組み合わされる、本明細書における任意の２つの構成要素は、アーキテクチャ又は中間構成要素に関係なく、所望の機能が達成されるように、互いに「関連付けられている」ものとみなされ得る。同様に、そのように関連付けられた任意の２つの構成要素はまた、所望の機能を達成するように互いに「動作可能に接続されている」又は「動作可能に結合されている」ものとみなすことができる。さらに、当業者は、上述の動作間の境界が単に例示にすぎないことを認識するであろう。複数の動作を組み合わせて単一の動作にしてもよく、単一の動作を追加の動作に分散させてもよく、また、動作を少なくとも部分的に時間的に重複させて実行してもよい。 Thus, any two components herein that are combined to achieve a particular function, regardless of architecture or intermediate components, are "associated" with each other such that the desired function is achieved. ” can be considered as a thing. Similarly, any two components so associated are also considered to be "operably connected" or "operably coupled" to each other so as to accomplish a desired function. Can be done. Additionally, those skilled in the art will recognize that the boundaries between the operations described above are merely exemplary. Multiple operations may be combined into a single operation, a single operation may be distributed among additional operations, and operations may be performed at least partially overlapping in time.

さらに、代替的な実施例は、特定の動作の複数のインスタンスを含んでもよく、動作の順序は、様々な他の実施例において変更されてもよい。また、例えば、一実施例では、示される実例は、単一の集積回路に又は同じデバイス内に位置する回路として実装され得る。代替的に、実例は、適切なやり方で互いに相互接続される任意の数の別個の集積回路又は別個のデバイスとして実装され得る。 Furthermore, alternative embodiments may include multiple instances of particular operations, and the order of the operations may be changed in various other embodiments. Also, for example, in one embodiment, the illustrated examples may be implemented on a single integrated circuit or as circuits located within the same device. Alternatively, the instances may be implemented as any number of separate integrated circuits or separate devices interconnected with each other in any suitable manner.

しかしながら、他の修正、変形及び代替も可能である。したがって、本明細書及び図面は、限定的な意味ではなく例示的な意味で考えられるべきである。特許請求の範囲において、括弧に入れられた参照符号はいずれも、特許請求の範囲を限定するものと解釈されるべきではない。「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」という語は、請求項に列挙されたもの以外の要素又はステップの存在を排除しない。 However, other modifications, variations and substitutions are also possible. Accordingly, the specification and drawings are to be regarded in an illustrative rather than a restrictive sense. In the claims, any reference signs placed between parentheses shall not be construed as limiting the claim. The word ``comprising'' does not exclude the presence of elements or steps other than those listed in a claim.

さらに、「１つの（ａ）」又は「１つの（ａｎ）」という語は、本明細書において使用される場合、１つ又は２つ以上として定義される。また、請求項における「少なくとも１つの」及び「１つ又は複数の」などの前置きの句の使用は、同じ請求項が「１つ又は複数の」又は「少なくとも１つの」という前置きの句及び「１つの（ａ）」又は「１つの（ａｎ）」などの不定冠詞を含む場合であっても、不定冠詞「１つの（ａ）」又は「１つの（ａｎ）」による別の請求項要素の前置きが、そのような前置きされた請求項要素を含む任意の特定の請求項をそのような要素を１つだけ含む発明に限定することを示唆すると解釈されるべきではない。同じことが定冠詞の使用について当てはまる。別段に述べられていない限り、「第１の」及び「第２の」などの用語は、そのような用語が説明する要素間を任意に区別するために使用される。したがって、これらの用語は、必ずしもそのような要素の時間的な又は他の優先順位付けを示すことを意図していない。 Additionally, the terms "a" or "an" as used herein are defined as one or more than one. Also, the use of prefix phrases such as "at least one" and "one or more" in a claim may be used in conjunction with the use of prefix phrases such as "at least one" and "one or more" in the same claim. The definition of another claim element by the indefinite article “a” or “an” even if it includes an indefinite article such as “a” or “an” The preamble should not be construed as suggesting that any particular claim containing such preambled claim element is limited to the invention containing only one such element. The same applies to the use of definite articles. Unless otherwise stated, terms such as "first" and "second" are used to arbitrarily distinguish between the elements such terms describe. Accordingly, these terms are not necessarily intended to indicate temporal or other prioritization of such elements.

特定の手段が互いに異なる請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に使用することができないことを示していない。本発明の特定の特徴を本明細書において示し説明してきたが、多くの修正、置換、変更及び均等物が直ちに当業者に想起されるであろう。したがって、添付の特許請求の範囲は、本発明の真の趣旨内にあるようなすべての修正及び変更をカバーすることを意図していることを理解されたい。 The mere fact that certain measures are recited in mutually different claims does not indicate that a combination of these measures cannot be used to advantage. While certain features of the invention have been shown and described herein, many modifications, substitutions, changes and equivalents will immediately occur to those skilled in the art. It is, therefore, to be understood that the appended claims are intended to cover all such modifications and changes as fall within the true spirit of the invention.

明確にするため、別個の実施例の文脈において説明される、本開示の実施例の様々な特徴は、単一の実施例において組み合わせで提供される場合もあることが理解される。逆に、簡潔にするため、単一の実施例の文脈において説明される、本開示の実施例の様々な特徴は、別個に又は任意の適切な部分的な組み合わせで提供される場合もある。本開示の実施例は上記で特に示し説明してきたものによって限定されないことが、当業者によって理解されるであろう。そうではなく、本開示の実施例の範囲は、添付の特許請求の範囲及びその均等物によって定義される。 It will be understood that various features of embodiments of the disclosure that are, for clarity, described in the context of separate embodiments, may also be provided in combination in a single embodiment. Conversely, various features of embodiments of the disclosure that are, for brevity, described in the context of a single embodiment, may also be provided separately or in any suitable subcombination. It will be understood by those skilled in the art that the embodiments of this disclosure are not limited to what has been particularly shown and described above. Rather, the scope of the embodiments of this disclosure is defined by the following claims and their equivalents.

Claims

運転関連仮想フィールドの向上のための方法であって、
車両の環境内に位置する１つ又は複数のオブジェクトに関するオブジェクト情報を取得することと、
処理回路によって、また、前記オブジェクト情報に基づいて、前記１つ又は複数のオブジェクトの１つ又は複数の仮想フィールドを決定することであって、前記１つ又は複数の仮想フィールドの前記決定は、仮想物理モデルに基づき、前記１つ又は複数の仮想フィールドは、前記車両の挙動に対する前記１つ又は複数のオブジェクトの影響の可能性を表し、前記仮想物理モデルは、１つ又は複数の物理法則及び少なくとも１つのさらなる運転関連パラメータに基づいて構築される、決定することと、
を含む、方法。 A method for improving a driving-related virtual field, comprising:
Obtaining object information regarding one or more objects located within the environment of the vehicle;
determining one or more virtual fields of the one or more objects by a processing circuit and based on the object information, the determination of the one or more virtual fields comprising: Based on a physical model, the one or more virtual fields represent a possible influence of the one or more objects on the behavior of the vehicle, and the virtual physical model is based on one or more physical laws and at least determining, constructed based on one further driving-related parameter;
including methods.

前記少なくとも１つのさらなる運転関連パラメータは、快適性パラメータである、請求項１に記載の方法。 2. The method of claim 1, wherein the at least one further driving-related parameter is a comfort parameter.

前記１つ又は複数の仮想フィールドに基づいて前記車両の所望の仮想加速度を決定することを含む、請求項１に記載の方法。 2. The method of claim 1, comprising determining a desired virtual acceleration of the vehicle based on the one or more virtual fields.

前記所望の仮想加速度の前記決定は、前記車両の運転者の現在の快適性パラメータとは関係なく実行される、請求項３に記載の方法。 4. The method of claim 3, wherein the determination of the desired virtual acceleration is performed independently of current comfort parameters of a driver of the vehicle.

前記方法は、前記車両の運転者の現在の快適性パラメータを取得することを含み、前記所望の仮想加速度の前記決定は、前記運転者の現在の快適性パラメータに基づいても実行される、請求項３に記載の方法。 The method includes obtaining current comfort parameters of a driver of the vehicle, wherein the determination of the desired virtual acceleration is also performed based on the current comfort parameters of the driver. The method described in Section 3.

前記処理回路は、基準運転パターンに基づいて訓練され、前記少なくとも１つのさらなる運転関連パラメータは、前記運転者の１つ又は複数の種類の運転パターンと１つ又は複数の種類の前記基準運転パターンとの１つ又は複数の差異に関連する運転者パラメータを含む、請求項３に記載の方法。 The processing circuit is trained based on a reference driving pattern, and the at least one further driving-related parameter is based on one or more types of driving patterns of the driver and one or more types of the reference driving pattern. 4. The method of claim 3, including driver parameters associated with one or more differences in the vehicle.

前記車両の前記所望の仮想加速度の前記決定は、前記１つ又は複数のオブジェクトによって前記仮想物理モデルに従って前記車両に加えられる総仮想力に基づく、請求項３に記載の方法。 4. The method of claim 3, wherein the determination of the desired virtual acceleration of the vehicle is based on the total virtual force exerted on the vehicle by the one or more objects according to the virtual physical model.

前記少なくとも１つのさらなる運転関連パラメータは、燃料消費パラメータを含む、請求項１に記載の方法。 2. The method of claim 1, wherein the at least one further driving-related parameter includes a fuel consumption parameter.

前記少なくとも１つのさらなる運転関連パラメータは、安全性パラメータを含む、請求項１に記載の方法。 2. The method of claim 1, wherein the at least one further driving-related parameter includes a safety parameter.

前記少なくとも１つのさらなる運転関連パラメータは、前記車両の運転者の１つ又は複数の運転パターンに関連する運転者運転パターン関連パラメータを含む、請求項１に記載の方法。 2. The method of claim 1, wherein the at least one further driving-related parameter comprises a driver driving pattern-related parameter associated with one or more driving patterns of a driver of the vehicle.

前記１つ又は複数の仮想フィールドに基づいて運転関連操作の決定をトリガすることを含む、請求項１に記載の方法。 2. The method of claim 1, comprising triggering a determination of a driving-related maneuver based on the one or more virtual fields.

前記１つ又は複数の仮想フィールドに基づいて運転関連操作の実行をトリガすることを含む、請求項１に記載の方法。 2. The method of claim 1, comprising triggering performance of a driving-related operation based on the one or more virtual fields.

運転関連仮想フィールドの向上のための非一時的コンピュータ可読媒体であって、
車両の環境内に位置する１つ又は複数のオブジェクトに関するオブジェクト情報を取得する命令と、
処理回路によって、また、前記オブジェクト情報に基づいて、前記１つ又は複数のオブジェクトの１つ又は複数の仮想フィールドを決定する命令であって、前記１つ又は複数の仮想フィールドの前記決定は、仮想物理モデルに基づき、前記１つ又は複数の仮想フィールドは、前記車両の挙動に対する前記１つ又は複数のオブジェクトの影響の可能性を表し、前記仮想物理モデルは、１つ又は複数の物理法則及び少なくとも１つのさらなる運転関連パラメータに基づいて構築される、決定する命令と、
を記憶する、非一時的コンピュータ可読媒体。 A non-transitory computer-readable medium for enhancing a driving-related virtual field, the medium comprising:
instructions for obtaining object information about one or more objects located within the environment of the vehicle;
instructions for determining, by a processing circuit and based on the object information, one or more virtual fields of the one or more objects, the determining of the one or more virtual fields comprising: Based on a physical model, the one or more virtual fields represent the possible influence of the one or more objects on the behavior of the vehicle, and the virtual physical model is based on one or more physical laws and at least instructions for determining, constructed based on one further driving-related parameter;
A non-transitory computer-readable medium that stores information.

前記１つ又は複数の仮想フィールドに基づいて前記車両の所望の仮想加速度を決定する命令を記憶する、請求項１３に記載の非一時的コンピュータ可読媒体。 14. The non-transitory computer-readable medium of claim 13, storing instructions for determining a desired virtual acceleration of the vehicle based on the one or more virtual fields.

前記処理回路は、基準運転パターンに基づいて前記所望の仮想加速度を決定するように訓練される、請求項１４に記載の非一時的コンピュータ可読媒体。 15. The non-transitory computer-readable medium of claim 14, wherein the processing circuit is trained to determine the desired virtual acceleration based on a reference driving pattern.

前記車両の前記所望の仮想加速度の前記決定は、前記１つ又は複数のオブジェクトによって前記仮想物理モデルに従って前記車両に加えられる総仮想力に基づく、請求項１４に記載の非一時的コンピュータ可読媒体。 15. The non-transitory computer-readable medium of claim 14, wherein the determination of the desired virtual acceleration of the vehicle is based on a total virtual force exerted on the vehicle by the one or more objects according to the virtual physical model.

前記少なくとも１つのさらなる運転関連パラメータは、前記運転者の１つ又は複数の種類の運転パターンと１つ又は複数の種類の前記基準運転パターンとの１つ又は複数の差異に関連する運転者パラメータを含む、請求項１３に記載の非一時的コンピュータ可読媒体。 The at least one further driving-related parameter comprises a driver parameter associated with one or more differences between one or more types of driving pattern of the driver and one or more types of the reference driving pattern. 14. The non-transitory computer-readable medium of claim 13, comprising: