自律走行車両又は半自律走行車両のような車両が、車両交通ネットワークの一部分を通り抜けることがある。車両は一以上のセンサを含み、車両交通ネットワークを通り抜けることは、当該センサが、例えば、車両の動作環境又は車両の一部分に対応するデータのような、センサデータを生成又はキャプチャすることを含み得る。例えば、センサデータは、歩行者、遠隔車両、車両動作環境内のその他のオブジェクト、車両交通ネットワーク幾何学形状、又はこれらの組み合わせのような、一以上の外部オブジェクトに対応する情報を含み得る。
自律走行車両は、自律走行車両動作管理システムを含み、これは、自律走行車両のための動作環境データ、例えばセンサデータを処理することができる一以上の動作環境モニタを含み得る。自律走行車両動作管理システムは、一以上の動作シナリオを検出することができ、シナリオ固有動作制御評価モジュールの各インスタンスを、対応する動作シナリオの検出に応答して作成することができる。自律走行車両動作管理コントローラは、車両制御アクションを各インスタンス生成されたシナリオ固有動作制御自律走行車動作管理コントローラ評価モジュールインスタンスから受信することができ、特定された車両制御アクションに応じて自律走行車両を、車両交通ネットワークの一部分を通り抜けるように制御することができる。
可視顕著性認識制御による実装自律走行車両動作管理を実装する車両は、認識ユニットを含み得る。この認識ユニットは、車両を取り囲む視野の一以上の所定領域を示す顕著性情報を受信し、深層学習アルゴリズムを使用するオブジェクト検出を行うべく当該顕著性情報を使用することができる。自律走行車両動作管理システムは、外部オブジェクト情報を認識システムから受信することができ、当該外部オブジェクト情報に基づいて車両交通ネットワークの一部分を通り抜けることができ、車両交通ネットワーク情報、予測された外部オブジェクト情報、又はこれらの組み合わせに基づいて顕著性情報を生成することができる。自律走行車両動作管理システムは、後続のオブジェクト検出に使用するべく顕著性情報を認識システムに与えることができる。
ここでは自律走行車両を参照して説明されるにもかかわらず、ここに説明される方法及び装置は、自律又は半自律の動作が可能ないずれの車両にも実装されてよい。車両交通ネットワークを参照して説明されるにもかかわらず、ここに説明される方法及び装置は、自律走行車両が、当該車両が走行可能な任意のエリアにおいて動作することを含んでよい。
図1は、ここに開示される側面、特徴及び要素が実装され得る車両の一例の図である。図示のように、車両1000は、車台1100、パワートレイン1200、コントローラ1300及び車輪1400を含む。車両1000が簡潔性を目的として4つの車輪1400を含むように示されるにもかかわらず、任意の他の単数又は複数の、プロペラ又はトレッドのような推進デバイスも使用され得る。図1において、パワートレイン1200、コントローラ1300及び車輪1400のような要素を相互接続する線は、データ若しくは制御信号のような情報、電力若しくはトルクのようなパワー、又は情報及びパワーの双方が対応要素間で通信し得ることを示す。例えば、コントローラ1300は、パワートレイン1200からパワーを受け、パワートレイン1200、車輪1400又はその双方と通信して車両1000を制御することができる。これは、例えば加速若しくは減速による車両の運動状態の制御、例えばステアリングによる車両の方向状態の制御、又は車両1000のその他の制御を含む。
図示のように、パワートレイン1200は、パワーソース1210、トランスミッション1220、ステアリングユニット1230及びアクチュエータ1240を含む。他の要素、又はパワートレインの要素、例えばサスペンション、ドライブシャフト、車軸若しくは排気システム、の組み合わせも含まれ得る。別個に示されるにもかかわらず、車輪1400はパワートレイン1200に含まれてよい。
パワーソース1210は、エンジン、バッテリ又はこれらの組み合わせを含んでよい。パワーソース1210は、電気エネルギー、熱エネルギー又は運動エネルギーのようなエネルギーを与えるべく動作可能な任意のデバイス、又はデバイスの組み合わせとしてよい。例えば、パワーソース1210は、内燃機関、電気モータ又は内燃機関と電気モータとの組み合わせのようなエンジンを含んでよく、車輪1400の一以上に運動エネルギーを動力として供給するべく動作可能としてよい。パワーソース1210は、ポテンシャルエネルギーユニットを含み得る。例えば、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル金属水素化物(NiMH)、リチウムイオン(Li-ion)のような一以上の乾電池バッテリ、太陽電池、燃料電池、又は任意の他のエネルギー供給可能デバイスを含み得る。
トランスミッション1220は、パワーソース1210から運動エネルギーのようなエネルギーを受け取ることができ、当該エネルギーを車輪1400に伝達して動力を与えることができる。トランスミッション1220は、コントローラ1300、アクチュエータ1240、又はその双方によって制御され得る。ステアリングユニット1230は、コントローラ1300、アクチュエータ1240、又はその双方によって制御してよく、車両を操舵するべく車輪1400を制御してよい。アクチュエータ1240は、信号をコントローラ1300から受信してよく、車両1000を動作させるべくパワーソース1210、トランスミッション1220、ステアリングユニット1230、又はこれらの任意の組み合わせを作動させ又は制御してよい。
図示のように、コントローラ1300は、ロケーションユニット1310、電子通信ユニット1320、プロセッサ1330、メモリ1340、ユーザインタフェイス1350、センサ1360、電子通信インタフェイス1370、又はこれらの任意の組み合わせを含んでよい。単一のユニットが図示されるにもかかわらず、コントローラ1300の任意の一以上の要素が、任意数の別個の物理ユニットに統合されてよい。例えば、ユーザインタフェイス1350及びプロセッサ1330が第1物理ユニットに統合されてよく、メモリ1340が第2物理ユニットに統合されてよい。図1の示されないにもかかわらず、コントローラ1300は、バッテリのようなパワーソースを含み得る。別個の要素として図示されるにもかかわらず、ロケーションユニット1310、電子通信ユニット1320、プロセッサ1330、メモリ1340、ユーザインタフェイス1350、センサ1360、電子通信インタフェイス1370、又はこれらの任意の組み合わせを一以上の電子ユニット、回路又はチップに統合してよい。
プロセッサ1330は、信号又は他の情報を操作又は処理することができる現在存在し又は今後開発される任意のデバイス、又は複数のデバイスの組み合わせを含んでよく、これらは、光プロセッサ、量子プロセッサ、分子プロセッサ、又はこれらの組み合わせを含む。例えば、プロセッサ1330は、一以上の特殊目的プロセッサ、一以上のデジタル信号プロセッサ、一以上のマイクロプロセッサ、一以上のコントローラ、一以上のマイクロコントローラ、一以上の集積回路、一以上の特定用途集積回路、一以上のフィールドプログラマブルゲートアレイ、一以上のプログラマブルロジックアレイ、一以上のプログラマブルロジックコントローラ、一以上の状態機械、又はこれらの任意の組み合わせを含み得る。プロセッサ1330は、ロケーションユニット1310、メモリ1340、電子通信インタフェイス1370、電子通信ユニット1320、ユーザインタフェイス1350、センサ1360、パワートレイン1200、又はこれらの任意の組み合わせに動作可能に結合され得る。例えば、プロセッサは、通信バス1380を介してメモリ1340に動作可能に結合され得る。
メモリ1340は、例えば、プロセッサ1330による使用を目的とし又はプロセッサ1330と接続されて機械可読命令又は任意の関連情報を包含、記憶、通信又は移送することができる任意の有体非一時的コンピュータ使用可能又はコンピュータ可読媒体を含み得る。メモリ1340は、例えば、一以上のソリッドステートドライブ、一以上のメモリカード、一以上のリムーバブルメディア、一以上のリードオンリーメモリ、一以上のランダムアクセスメモリ、ハードディスク、フロッピーディスク(登録商標)、光ディスク、磁気カード若しくは光学カードを含む一以上のディスク、電子情報を記憶するのに適切な任意のタイプの非一時的媒体、又はこれらの任意の組み合わせとしてよい。
通信インタフェイス1370は、図示のように、無線アンテナ、有線通信ポート、光通信ポート、又は有線若しくは無線電子通信媒体1500とインタフェイスをなし得る任意の他の有線若しくは無線ユニットとしてよい。図1に単一の通信リンクを介して通信する通信インタフェイス1370が示されるにもかかわらず、通信インタフェイスは、多数の通信リンクを介して通信するように構成してよい。図1に単一の通信インタフェイス1370が示されるにもかかわらず、車両は任意数の通信インタフェイスを含んでよい。
通信ユニット1320は、通信インタフェイス1370を介してのように、有線又は無線の通信媒体1500を介して信号を送信又は受信するように構成されてよい。図1に明示的に示されないにもかかわらず、通信ユニット1320は、無線周波数(RF)、紫外線(UV)、可視光、光ファイバ、ワイヤライン、又はこれらの組み合わせのような任意の有線又は無線の通信媒体を介して送信、受信、又はその双方を行うように構成されてよい。図1に単一の通信ユニット1320及び単一の通信インタフェイス1370が示されるにもかかわらず、任意数の通信ユニット及び任意数の通信インタフェイスを使用してよい。いくつかの実施形態において、通信ユニット1320は、専用短距離通信(DSRC)ユニット、車載ユニット(OBU)、又はこれらの組み合わせを含んでよい。
ロケーションユニット1310は、車両1000の経度、緯度、高度、進行方向又は速度のようなジオロケーション情報を決定することができる。例えば、ロケーションユニットは、広域強化システム(Wide Area Augmentation System(WAAS))対応全米海洋電子工業会(National Marine-Electronics Association(NMEA))ユニット、無線三角測量ユニット、又はこれらの組み合わせのような、グローバルポジショニングシステム(GPS)を含み得る。ロケーションユニット1310は、例えば、車両1000の現在の進行方向、2次元又は3次元における車両1000の現在の位置、車両1000の現在の角度配向、又はこれらの組み合わせ、を表す情報を取得するべく使用してよい。
ユーザインタフェイス1350は、仮想若しくは物理キーパッド、タッチパッド、ディスプレイ、タッチディスプレイ、ヘッドアップディスプレイ、仮想ディスプレイ、拡張現実ディスプレイ、触覚ディスプレイ、視線追跡デバイスのような特徴追跡デバイス、スピーカ、マイクロフォン、ビデオカメラ、センサ、プリンタ、又はこれらの任意の組み合わせのような、人とのインタフェイスをなし得る任意のユニットを含み得る。ユーザインタフェイス1350は、図示のプロセッサ1330と、又はコントローラ1300の任意の他の要素と、動作可能に結合されてよい。単一ユニットとして示されるにもかかわらず、ユーザインタフェイス1350は一以上の物理ユニットを含み得る。例えば、ユーザインタフェイス1350は、人との音声通信を行うためのオーディオインタフェイス、及び人との視覚かつタッチベースの通信を行うためのタッチディスプレイを含み得る。ユーザインタフェイス1350は、複数の物理的に別個のユニット、単一の物理ユニット内の複数の画定された部分、又はこれらの組合せのような多数のディスプレイを含み得る。
センサ1360は、車両を制御するべく使用され得る情報を与えるように動作可能となり得る複数のセンサの一アレイのような一以上のセンサを含み得る。センサ1360は、車両1000の現在の動作特性に関する情報を与えることができる。センサ1360は、例えば、速度センサ、加速度センサ、操舵角センサ、トラクション関連センサ、制動関連センサ、ハンドル位置センサ、アイトラッキングセンサ、着座位置センサ、又は車両1000の現在の動的状況のいくつかの側面に関する情報を報告するように動作可能な任意のセンサ若しくは複数のセンサの組み合わせを含み得る。
センサ1360は、車両1000を取り囲む物理環境に関する情報を取得するように動作可能な一以上のセンサを含み得る。例えば、一以上のセンサは、車線ラインのような道路形状及び特徴、並びに固定障害物、車両及び歩行者のような障害物を検出し得る。センサ1360は、一以上のビデオカメラ、レーザセンシングシステム、赤外線センシングシステム、音響センシングシステム、若しくは任意の他の適切なタイプの車載環境センシングデバイス、又は現在知られている若しくは後に開発されるデバイスの組み合わせであってよく、又はこれらを含んでよい。いくつかの実施形態において、センサ1360及びロケーションユニット1310は、組み合わせユニットとしてよい。
別個に図示されないにもかかわらず、車両1000は軌道コントローラを含み得る。例えば、コントローラ1300が軌道コントローラを含み得る。軌道コントローラは、車両1000の現在の状態、及び車両1000のために計画された経路を記述する情報を取得し、この情報に基づいて車両1000のための軌道を決定及び最適化するように動作可能となり得る。いくつかの実施形態において、軌道コントローラは、車両1000が、軌道コントローラが決定する軌道に追従するように、車両1000を制御するべく動作可能な信号を出力することができる。例えば、軌道コントローラの出力は、パワートレイン1200、車輪1400、又はその双方に供給され得る最適化軌道となり得る。いくつかの実施形態において、最適化軌道は、一組の操舵角のような制御入力としてよく、各操舵角は、一時点又は一位置に対応する。いくつかの実施形態において、最適化軌道は、一以上の経路、直線、曲線、又はこれらの組み合わせとしてよい。
車輪1400の一以上を、ステアリングユニット1230の制御下で操舵角に枢動可能な***舵車輪、ランスミッション1220の制御下で車両1000を推進するべくトルクがかけられる被推進車輪、又は車両1000を操舵及び推進し得る***舵及び被推進の車輪としてよい。
図1に示されないにもかかわらず、車両は、エンクロージャ、ブルートゥース(登録商標)モジュール、周波数変調(FM)無線ユニット、近距離無線通信(NFC)モジュール、液晶ディスプレイ(LCD)ディスプレイユニット、有機発光ダイオード(OLED)ディスプレイユニット、スピーカ、又はこれらの任意の組み合わせのような、図1に示されないユニット又は要素を含み得る。
車両1000は、直接の人間介入なしに、車両交通ネットワークの一部分を通り抜けるべく自律的に制御される自律走行車両としてよい。図1に別個に示されないにもかかわらず、自律走行車両は、自律走行車両のルーティング、ナビゲーション及び制御を行い得る自律走行車両制御ユニットを含み得る。自律走行車両制御ユニットは、車両の他ユニットに統合されてよい。例えば、コントローラ1300が自律走行車両制御ユニットを含み得る。
自律走行車両制御ユニットは、車両1000を、現在の車両動作パラメータに応じて車両交通ネットワークの一部分を通り抜けるように、制御し又は動作させることができる。自律走行車両制御ユニットは、車両1000を、車両を駐車することのような所定の動作又は操作を行うように、制御し又は動作させることができる。自律走行車両制御ユニットは、車両1000の現在位置のような起点から目的地までの走行ルートを、車両情報、環境情報、車両交通ネットワークを表す車両交通ネットワークデータ、又はこれらの組み合わせに基づいて生成することができ、そのルートに応じて車両1000を、車両交通ネットワークを通り抜けるように制御し又は動作させることができる。例えば、自律走行車両制御ユニットは、走行ルートを軌道コントローラに出力することができ、軌道コントローラは、生成されたルートを使用して車両1000を起点から目的地まで走行させることができる。
図2は、ここに開示される側面、特徴及び要素が実装され得る車両交通及び通信システムの一部分の一例の図である。車両交通及び通信システム2000は、図1に示される車両1000のような一以上の車両2100/2110を含み得る。この車両は、一以上の車両交通ネットワーク2200の一以上の部分を介して走行することができ、一以上の電子通信ネットワーク2300を介して通信することができる。図2に明示的に示されないにもかかわらず、車両は、オフロードエリアのような、車両交通ネットワークに明示的に又は完全に含まれるわけではないエリアを通り抜けてよい。
電子通信ネットワーク2300は、例えば多重アクセスシステムとすることができ、車両2100/2110と一以上の通信デバイス2400との間の音声通信、データ通信、ビデオ通信、メッセージング通信、又はこれらの組合せのような通信を与えることができる。例えば、車両2100/2110は、車両交通ネットワーク2200を表す情報のような情報を、通信デバイス2400からネットワーク2300を介して受信することができる。
いくつかの実施形態において、車両2100/2110は、有線通信リンク(図示せず)、無線通信リンク2310/2320/2370、又は任意数の有線若しくは無線通信リンクの組み合わせを介して通信することができる。例えば、図示のように、車両2100/2110は、地上無線通信リンク2310を介して、非地上無線通信リンク2320を介して、又はこれらの組み合わせを介して、通信することができる。地上無線通信リンク2310は、イーサネット(登録商標)リンク、シリアルリンク、ブルートゥースリンク、赤外線(IR)リンク、紫外線(UV)リンク、又は電子通信を与え得る任意のリンクを含み得る。
車両2100/2110は、他の車両2100/2110と通信してよい。例えば、ホストすなわちサブジェクトの車両(HV)2100が、ベーシックセーフティメッセージ(BSM)のような一以上の自動化車両間メッセージを、遠隔車両すなわち標的の車両(RV)2110から、直接通信リンク2370を介して、又はネットワーク2300を介して、受信することができる。例えば、遠隔車両2110は、300メートルのような所定ブロードキャスト範囲内のホスト車両にメッセージをブロードキャストすることができる。いくつかの実施形態において、ホスト車両2100は、信号中継器(図示せず)又は他の遠隔車両(図示せず)のような第三者を介してメッセージを受信してよい。車両2100/2110は、例えば100ミリ秒のような所定間隔に基づいて周期的に、一以上の自動化車両間メッセージを送信してよい。
自動化車両間メッセージは、車両識別情報、経度、緯度若しくは高度情報のような地理空間状態情報、地理空間ロケーション精度情報、車両加速度情報、ヨーレート情報、速度情報、車両方位情報、制動システム状態情報、スロットル情報、ハンドル角情報若しくは車両ルーティング情報のような運動状態情報、又は車両サイズ情報、ヘッドライト状態情報、ターンシグナル情報、ワイパー状態情報、トランスミッション情報、若しくは伝動車両状態に関連する任意の他の情報若しくは情報の組み合わせを含み得る。例えば、トランスミッション状態情報は、伝動車両のトランスミッションがニュートラル状態、パーキング状態、前進状態、逆進状態のいずれであるかを示してよい。
車両2100は、アクセスポイント2330を介して通信ネットワーク2300と通信することができる。コンピューティングデバイスを含み得るアクセスポイント2330は、車両2100と、通信ネットワーク2300と、一以上の通信デバイス2400と、又はこれらの組み合わせと、有線又は無線通信リンク2310/2340を介して通信するように構成され得る。例えば、アクセスポイント2330は、基地局、基地トランシーバ局(BTS)、ノードB、拡張ノードB(eNode-B)、ホームノードB(HNode-B)、無線ルータ、有線ルータ、ハブ、リレー、スイッチ、又は任意の同様の有線若しくは無線デバイスとしてよい。図2において単一ユニットとして示されるにもかかわらず、アクセスポイントは、任意数の相互接続された要素を含み得る。
車両2100は、通信ネットワーク2300と、衛星2350又は他の非地上通信デバイスを介して通信することができる。コンピューティングデバイスを含み得る衛星2350を、車両2100と、通信ネットワーク2300と、一以上の通信デバイス2400と、又はこれらの組み合わせと、一以上の通信リンク2320/2360を介して通信するように構成することができる。図2において単一ユニットとして示されるにもかかわらず、衛星は、任意数の相互接続された要素を含み得る。
電子通信ネットワーク2300は、音声、データ、又は任意の他のタイプの電子通信を与えるように構成された任意のタイプのネットワークとしてよい。例えば、電子通信ネットワーク2300は、ローカルエリアネットワーク (LAN)、ワイドエリアネットワーク(WAN)、仮想プライベートネットワーク(VPN)、移動体又はセルラー電話ネットワーク、インターネット、又は任意の他の電子通信システムを含み得る。電子通信ネットワーク2300は、トランスミッション制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、インターネットプロトコル(IP)、リアルタイムトランスポートプロトコル(RTP)、ハイパーテキストトランスポートプロトコル(HTTP)、又はこれらの組み合わせのような通信プロトコルを使用してよい。図2において単一ユニットとして示されるにもかかわらず、電子通信ネットワークは、任意数の相互接続された要素を含み得る。
車両2100は、車両交通ネットワーク2200の一部分又は条件を特定することができる。例えば、車両2100は、図1に示されるセンサ1360のような一以上の車載センサ2105を含み得る。これは、速度センサ、車輪速度センサ、カメラ、ジャイロスコープ、光センサ、レーザセンサ、レーダーセンサ、ソニックセンサ、又は車両交通ネットワーク2200の一部分若しくは条件を決定若しくは特定することができる任意の他のセンサ若しくはデバイス若しくはこれらの組み合わせを含み得る。センサデータは、車線ラインデータ、遠隔車両ロケーションデータ、又はその双方を含み得る。
車両2100は、車両交通ネットワーク2200を表す情報のようなネットワーク2300を介して通信される情報、一以上の車載センサ2105によって特定される情報、又はこれらの組み合わせを使用して、一以上の車両交通ネットワーク2200の一部分又は複数部分を通り抜けることができる。
簡単のため図2が2つの車両2100、2110、一つの車両交通ネットワーク2200、一つの電子通信ネットワーク2300、及び一つの通信デバイス2400を示すにもかかわらず、任意数の車両、ネットワーク又はコンピューティングデバイスを使用してよい。車両交通及び通信システム2000は、図2に示されないデバイス、ユニット又は要素を含み得る。車両2100が単一ユニットとして示されるにもかかわらず、車両は、任意数の相互接続された要素を含み得る。
車両2100がネットワーク2300を介して通信デバイス2400と通信するように示されるにもかかわらず、車両2100は、任意数の直接又は間接通信リンクを介して通信デバイス2400と通信してよい。例えば、車両2100は、ブルートゥース通信リンクのような直接通信リンクを介して通信デバイス2400と通信してよい。
いくつかの実施形態において、車両2100/2210を、車両の運転者、操作者又は所有者のようなエンティティ2500/2510に関連付けることができる。いくつかの実施形態において、車両2100/2110に関連付けられたエンティティ2500/2510を、スマートフォン2502/2512又はコンピュータ2504/2514のような一以上の個人用電子デバイス2502/2504/2512/2514に関連付けることができる。いくつかの実施形態において、個人用電子デバイス2502/2504/2512/2514は、対応する車両2100/2110と、直接又は間接通信リンクを介して通信することができる。一つのエンティティ2500/2510が一つの車両2100/2110に関連付けられ図2に示されるにもかかわらず、任意数の車両が一のエンティティに関連付けられてよく、任意数のエンティティが一の車両に関連付けられてよい。
図3は、本開示に係る車両交通ネットワークの一部分の図である。車両交通ネットワーク3000は、建物のような一以上のナビゲーション不能エリア3100、駐車エリア3200のような一以上の部分的ナビゲーション可能エリア、道路3300/3400のような一以上のナビゲーション可能エリア、又はこれらの組み合わせを含み得る。いくつかの実施形態において、図1に示される車両1000のような自律走行車両、図2に示される車両2100/2110の一つ、半自律走行車両、又は自律走行を実装する任意の他の車両が、車両交通ネットワーク3000の一部分を通り抜けることができる。
車両交通ネットワーク3000は、一以上のナビゲーション可能又は部分的ナビゲーション可能エリア3200/3300/3400の間に一以上のインターチェンジ3210を含み得る。例えば、図3に示される車両交通ネットワーク3000の一部分は、駐車エリア3200と道路3400との間にインターチェンジ3210を含む。駐車エリア3200は、パーキングスロット3220を含み得る。
道路3300/3400のような車両交通ネットワーク3000の一部分は、一以上の車線3320/3340/3360/3420/3440を含み、図3に矢印で示される一以上の進行方向に関連付けられる。
車両交通ネットワーク、又は図3に示される車両交通ネットワーク3000の一部分のようなその一部分を、車両交通ネットワークデータとして表すことができる。例えば、車両交通ネットワークデータは、データベース又はファイルに記憶され得るマークアップ言語要素のような要素の階層として表現され得る。簡単のため、ここでの図面は、車両交通ネットワークの複数の部分を表す車両交通ネットワークデータを図又はマップとして示すが、車両交通ネットワークデータは、車両交通ネットワーク又はその一部分を表すことができる任意のコンピュータ利用可能な形式で表現してよい。車両交通ネットワークデータは、走行方向情報、制限速度情報、料金情報、傾斜又は角度情報のようなグレード情報、表面材料情報、美的情報、所定の危険の情報、又はこれらの組み合わせのような、車両交通ネットワーク制御情報を含み得る。
車両交通ネットワークは、歩行者交通ネットワークに関連付けられてよいし、歩行者交通ネットワークを含んでもよい。例えば、図3は、歩行者通路であってもよい歩行者交通ネットワークの一部分3600を含む。図3に別個に示されないにもかかわらず、横断歩道のような歩行者ナビゲート可能エリアが、車両交通ネットワークのナビゲート可能エリア又は部分的ナビゲート可能エリアに対応し得る。
車両交通ネットワークの一部分又は複数部分の組み合わせを、関心ポイント又は目的地として特定することができる。例えば、車両交通ネットワークデータは、建物をナビゲート不能エリア3100として、及び隣接する部分的ナビゲート可能駐車エリア3200を関心地点として特定することができ、車両は関心ポイントを目的地として特定することができ、その車両は、車両交通ネットワークを通り抜けることによって起点から目的地まで走行することができる。ナビゲーション不能エリア3200に関連付けられた駐車エリア3100が、図3においてナビゲーション不能エリア3100に隣接して示されるにもかかわらず、目的地は、例えば、建物と、その建物に物理的又は地理的に非隣接の駐車エリアとを含んでもよい。
目的地を特定することは、目的地のためのロケーションを特定することを含み、これは、個別の一意的に特定可能なジオロケーションであってよい。例えば、車両交通ネットワークは、目的地のための、番地、郵便宛先、車両交通ネットワークアドレス、GPSアドレス、又はこれらの組み合わせのような、所定ロケーションを含み得る。
目的地を、図3に示されるエントランス3500のような一以上のエントランスに関連付けてよい。車両交通ネットワークデータは、目的地に関連付けられたエントランスのジオロケーションを特定する情報のような、所定のエントランスロケーション情報を含み得る。
目的地を、図3に示されるドッキングロケーション3700のような、一以上のドッキングロケーションに関連付けてよい。ドッキングロケーション3700は、乗客の乗り降りのようなドッキング動作を行うことができるように、自律走行車両が停車、停止又は駐車することができる目的地に近接する指定の又は未指定のロケーション又はエリアとしてよい。
車両交通ネットワークデータは、目的地に関連付けられたドッキングロケーション3700のジオロケーションを特定する情報のような、ドッキングロケーション情報を含み得る。図3に別個に示されないにもかかわらず、ドッキングロケーション情報は、ドッキングロケーション3700に関連付けられた動作のタイプを特定することができる。例えば、目的地を、乗客が乗り込むための第1ドッキングロケーション、及び乗客が降りるための第2ドッキングロケーションに関連付けることができる。自律走行車両がドッキングロケーションに駐車し得るにもかかわらず、目的地に関連付けられたドッキングロケーションを、目的地に関連付けられた駐車エリアから独立かつ別個としてよい。
図4は、本開示の実施形態に係る自律走行車両動作管理システムの一例の図である。自律走行車両動作管理システム4000は、図1に示される車両1000、図2に示される車両2100/2110の一つ、半自律走行車両、又は任意の他の自律走行実装車両のような自律走行車両に実装することができる。
自律走行車両は、車両交通ネットワーク、又はその一部分を通り抜けることができる。これは、特異車両動作シナリオを通り抜けることを含み得る。特異車両動作シナリオは、自律走行車両の所定時空エリア内の又は動作環境内の自律走行車両の動作に影響を及ぼし得る動作条件の特異的に特定可能なセットを含み得る。例えば、特異車両動作シナリオは、自律走行車両が所定時空距離内で通り抜けることができる道路、道路セグメント又は車線の数又は濃度に基づいてよい。他例において、特異車両動作シナリオは、自律走行車両の所定時空エリア内の又は動作環境内の自律走行車両の動作に影響を及ぼし得る一以上の交通制御デバイスに基づいてよい。他例において、特異車両動作シナリオは、自律走行車両の所定時空エリア内の又は動作環境内の自律走行車両の動作に影響を及ぼし得る一以上の特定可能なルール、規則又は法律に基づいてよい。他例において、特異車両動作シナリオは、自律走行車両の所定時空エリア内の又は動作環境内の自律車両の動作に影響を及ぼし得る一以上の特定可能な外部オブジェクトに基づいてよい。
簡単及び明確性のため、同様の車両動作シナリオが、車両動作シナリオのタイプ又はクラスを参照してここに記載され得る。車両動作シナリオのタイプ又はクラスは、当該シナリオの所定パターン又は複数パターンの所定セットを言及し得る。例えば、交差点シナリオは、自律走行車両が交差点を通り抜けることを含み、歩行者シナリオは、自律走行車両が、一人以上の歩行者から所定近さを含む又は所定近さ内にある車両交通ネットワークの一部分を通り抜けることを含み、これは例えば、歩行者が自律走行車両の予測経路を横断している又は当該経路に近付いている場合である。車線変更シナリオは、自律走行車両が車線変更によって車両交通ネットワークの一部分を通り抜けることを含む。合流シナリオは、自律走行車両が第1車線から合流車線へ合流することによって車両交通ネットワークの一部分を通り抜けることを含む。通過障害シナリオは、自律走行車両が障害物又は障害を通過することによって車両交通ネットワークの一部分を通り抜けることを含む。歩行者車両動作シナリオ、交差点車両動作シナリオ、車線変更車両動作シナリオ、合流車両動作シナリオ及び通過障害車両動作シナリオがここに説明されるにもかかわらず、任意の他の車両動作シナリオ又は車両動作シナリオタイプを使用してよい。
図4に示されるように、自律走行車両動作管理システム4000は、自律走行車両動作管理コントローラ(AVOMC)4100、動作環境モニタ4200、及びシナリオ固有動作制御評価モジュール4300を含む。
自律走行車両のAVOMC4100又は他のユニットは、自律走行車両を、車両交通ネットワーク又はその一部分を通り抜けるように制御することができる。自律走行車両を、車両交通ネットワークを通り抜けるように制御することは、自律走行車両の動作環境をモニタすることと、特異車両動作シナリオを特定又は検出することと、当該特異車両動作シナリオに基づいて候補車両制御アクションを特定することと、当該候補車両制御アクションの一以上又はその組み合わせに応じて当該自律走行車両を、当該車両交通ネットワークの一部分を通り抜けるように制御することとを含み得る。
AVOMC4100は、自律走行車両の動作環境又はその一以上の側面を表す動作環境データを受信、識別、又はアクセスすることができる。自律走行車両の動作環境は、自律走行車両の所定時空間エリア内、自律走行車両の所定ルートの所定時空間エリア内、又はこれらの組み合わせ内の自律走行車両の動作に影響を及ぼし得る特異的に特定可能な動作条件のセットを含み得る。例えば、自律走行車両の動作に影響を及ぼし得る動作条件は、センサデータ、車両交通ネットワークデータ、ルートデータ、又は車両の定義又は決定された動作環境を表す任意の他のデータ又はデータの組み合わせに基づいて特定することができる。
動作環境データは、自律走行車両の地理空間ロケーションを示す情報、自律走行車両の地理空間ロケーションを車両交通ネットワークを表す情報に相関させる情報、自律走行車両のルート、自律走行車両の速度、自律走行車両の加速状態、自律走行車両の乗客情報、又は自律走行車両若しくは自律車両の動作に関する任意の他の情報のような、自律走行車両の車両情報を含み得る。動作環境データは、自律走行車両のために特定されたルートに近接する車両交通ネットワークを表す情報、例えば、特定されたルートに沿った車両交通ネットワークの複数部分の、300メートルのような所定空間距離内の車両交通ネットワークを表す情報、を含み得る。これは、車両交通ネットワークの一以上の側面の幾何学形状を示す情報、車両交通ネットワークの、表面条件のような条件を示す情報、又はこれらの任意の組み合わせを含み得る。動作環境データは、300メートルのような自律走行車両の所定空間距離内のような、自律走行車両に近接する車両交通ネットワークを表す情報を含み得る。これは、車両交通ネットワークの一以上の側面の幾何学的形状を示す情報、車両交通ネットワークの、表面条件のような条件を示す情報、又はこれらの任意の組み合わせを含み得る。動作環境データは、歩行者、非人間動物、自転車若しくはスケートボードのような非原動機交通デバイス、遠隔車両のような電動機交通デバイス、又は自律走行車両の動作に影響を及ぼし得る任意の他の外部オブジェクト若しくはエンティティを表す情報のような、自律走行車両の動作環境内の外部オブジェクトを表す情報を含み得る。
自律走行車両の動作環境の側面を、それぞれの特異車両動作シナリオの中で表すことができる。例えば、外部オブジェクトの相対的な配向、軌道、予測経路を、それぞれの特異車両動作シナリオの中で表すことができる。他例において、車両交通ネットワークの相対的な幾何学的形状を、それぞれの特異車両動作シナリオの中で表すことができる。
一例として、第1の特異車両動作シナリオは、横断歩道で道路を横断する歩行者に対応し、右から左に横断するための左から右への横断のような歩行者の相対的配向及び予測経路を、第1の特異車両動作シナリオの中で表すことができる。第2の特異車両動作シナリオは、交通規則を無視した道路横断歩行により道路を横断する歩行者に対応し、右から左に横断するための左から右への横断のような歩行者の相対的配向及び予測経路を、第2の特異車両動作シナリオの中で表すことができる。
自律走行車両は、動作環境の中で多数の特異車両動作シナリオを通り抜けることができる。そのシナリオは、複合的な車両動作シナリオの側面となり得る。自律走行車両動作管理システム4000は、安全制約、法的制約、物理的制約、ユーザ受容性制約、又は自律走行車両の動作のために定義又は導出され得る任意の他の制約又は複数の制約の組み合せのような、所定の制約に従う特異車両動作シナリオを通り抜けるように自律走行車両を動作させ又は制御し得る。
AVOMC4100は、自律走行車両の動作環境又は所定側面をモニタすることができる。自律走行車両の動作環境をモニタすることは、外部オブジェクトを特定及び追跡すること、特異車両動作シナリオを特定すること、又はこれらの組み合わせを含み得る。例えば、AVOMC4100は、自律走行車両の動作環境によって外部オブジェクトを特定及び追跡することができる。外部オブジェクトを特定及び追跡することは、自律走行車両に対して相対的となり得るそれぞれの外部オブジェクトの時空間ロケーションを特定することと、一の外部オブジェクトの速度、軌道、又はその双方を特定することを含み得るそれぞれの外部オブジェクトの一以上の予測経路を特定することとを含み得る。簡単及び明確性のため、ここでのロケーション、予測ロケーション、経路、予測経路等の記述は、対応するロケーション及び経路が地理空間的及び時間的コンポーネントを言及するという明示的な指示を省略することができる。しかしながら、ここに明示的に示されない限り、又は文脈から一義的に明らかでない限り、ここに記載されるロケーション、予測ロケーション、経路、予測経路等は、地理空間的コンポーネント、時間的コンポーネント、又はその双方を含み得る。自律走行車両の動作環境をモニタすることは、動作環境モニタ4200から受信した動作環境データを使用することを含み得る。
動作環境モニタ4200は、シナリオ不可知モニタ、シナリオ固有モニタ、又はこれらの組み合わせを含み得る。遮断モニタ4210のようなシナリオ不可知モニタは、自律走行車両の動作環境をモニタし、自律走行車両の動作環境の側面を表す動作環境データを生成し、その動作環境データを一以上のシナリオ固有モニタ、AVOMC4100、又はこれらの組み合わせに出力することができる。歩行者モニタ4220、交差点モニタ4230、車線変更モニタ4240、合流モニタ4250又は前方障害モニタ4260のようなシナリオ固有モニタは、自律走行車両の動作環境をモニタし、自律走行車両の動作環境のシナリオ固有側面を表す動作環境データを生成し、その動作環境データを一以上のシナリオ固有動作制御評価モジュール4300、AVOMC4100、又はこれらの組み合わせに出力することができる。例えば、歩行者モニタ4220は、歩行者をモニタする動作環境モニタとしてよく、交差点モニタ4230は、交差点をモニタする動作環境モニタとしてよく、車線変更モニタ4240は、車線変更をモニタする動作環境モニタとしてよく、合流モニタ4250は、合流の動作環境モニタとしてよく、前方障害モニタ4260は、前方障害をモニタする動作環境モニタとしてよい。動作環境モニタ4270が、自律走行車両動作管理システム4000が任意数の動作環境モニタ4200を含み得ることを示すべく破線を使用して示される。
動作環境モニタ4200が、自律走行車両の一以上のセンサが生成又はキャプチャした動作環境データ、車両交通ネットワークデータ、車両交通ネットワーク幾何学形状データ、ルートデータ、又はこれらの組み合わせのような、動作環境データを受信し又はこれにアクセスする。例えば、歩行者モニタ4220は、自律走行車両の動作環境における一以上の歩行者を示し、これに対応し、又はこれに関連付けられるセンサデータのような情報を受信し又はアクセスすることができる。動作環境モニタ4200は、動作環境データ又はその一部分を、動作環境又はその一側面に関連付けることができる。例えば、歩行者のような外部オブジェクト、遠隔車両、又は車両交通ネットワーク幾何学形状の一側面に関連付けることができる。
動作環境モニタ4200は、動作環境の一以上の側面を表す情報を生成又は特定することができる。例えば、歩行者のような外部オブジェクト、遠隔車両、又は車両交通ネットワーク幾何学形状の一側面に関連付けることができる。これは、動作環境データをフィルタリング、抽象化又は処理することを含み得る。動作環境モニタ4200は、例えば、図1に示されるメモリ1340のような、AVOMC4100によりアクセス可能な自律走行車両のメモリに、動作環境の一以上の側面を表す情報を記憶すること、動作環境の一以上の側面を表す情報をAVOMC4100に送信すること、又はこれらの組み合わせによって、動作環境の一以上の側面を表す情報をAVOMC4100に、又はAVOMC4100によるアクセスのために、出力することができる。動作環境モニタ4200は、動作環境データを、AVOMC4100のような自律走行車両動作管理システム4000の一つ以上の要素に出力することができる。図4に示されないにもかかわらず、シナリオ固有動作環境モニタ4220、4230、4240、4250、4260が、動作環境データを、遮断モニタ4210のような、シナリオ不可知動作環境モニタに出力することができる。
歩行者モニタ4220は、一以上の歩行者のアクションを特定、追跡又は予想するべく動作環境データを相関させ、関連付け、又は処理することができる。例えば、歩行者モニタ4220は、一以上の歩行者に対応し得る一以上のセンサからセンサデータのような情報を受信することができる。歩行者モニタ4220は、センサデータを、一以上の特定歩行者に関連付けることができる。これは、それぞれの特定歩行者の一人以上の進行方向、予測経路のような経路、現在若しくは予測速度、現在若しくは予測加速率、又はこれらの組み合わせを特定することを含み得る。歩行者モニタ4220は、特定された、関連付けられた、又は生成された歩行者情報を、AVOMC4100に、又はAVOMC4100によるアクセスのために出力することができる。
交差点モニタ4230は、自律走行車両の動作環境における一以上の遠隔車両のアクションを特定、追跡又は予想するべく、自律走行車両の動作環境における交差点又はその一側面を特定するべく、車両交通ネットワーク幾何学形状を特定するべく、又はこれらの組み合わせのために、動作環境データを相関させ、関連付け、又は処理することができる。例えば、交差点モニタ4230は、センサデータのような情報を、自律走行車両の動作環境における一以上の遠隔車両、自律走行車両の動作環境における交差点若しくはその一以上の側面、車両交通ネットワーク幾何学形状、又はこれらの組み合わせに対応し得る一以上のセンサから受信することができる。交差点モニタ4230はセンサデータを、自律走行車両の動作環境における一以上の特定遠隔車両、自律走行車両の動作環境における交差点若しくはその一以上の側面、車両交通ネットワーク幾何学形状、又はこれらの組み合わせに関連付けることができる。これは、それぞれの特定遠隔車両の一以上の現在若しくは予測進行方向、予測経路のような経路、現在若しくは予測速度、現在若しくは予測加速率、又はこれらの組み合わせを特定することを含み得る。交差点モニタ4230は、特定され、関連付けられ、又は生成された交差点情報をAVOMC4100に、又はAVOMC4100によるアクセスのために出力することができる。
車線変更モニタ4240は、自律走行車両の予測経路沿いのゆっくりとした又は静止した遠隔車両を示す情報のような自律走行車両の動作環境における一以上の遠隔車両のアクションを特定、追跡若しくは予想するべく、自律走行車両の動作環境における車両交通ネットワーク幾何学形状のような自律走行車両の動作環境の一以上の側面を特定するべく、又は車線変更動作に地理空間的に対応するこれらの組み合わせのために動作環境データを相関させ、関連付け、又は処理することができる。例えば、車線変更モニタ4240は、センサデータのような情報を、自律走行車両の動作環境における一以上の遠隔車両、自律走行車両の動作環境における自律走行車両の動作環境の一以上の側面、又は車線変更動作に地理空間的に対応するこれらの組み合わせに対応し得る一以上のセンサから受信することができる。車線変更モニタ4240はセンサデータを、自律走行車両の動作環境における一以上の特定遠隔車両、自律走行車両の動作環境の一以上の側面、又は車線変更動作に地理空間的に対応するこれらの組み合わせに関連付けることができる。これは、それぞれの特定遠隔車両のうち一以上の、現在若しくは予測進行方向、予測経路のような経路、現在若しくは予測速度、現在若しくは予測加速率、又はこれらの組み合わせを特定することを含み得る。車線変更モニタ4240は、特定され、関連付けられ、又は生成された車線変更情報をAVOMC4100に、又はAVOMC4100によるアクセスのために出力することができる。
合流モニタ4250は、自律走行車両の動作環境における一以上の遠隔車両のアクションを特定、追跡若しくは予想するべく、自律走行車両の動作環境における車両交通ネットワーク幾何学形状のような自律走行車両の動作環境の一以上の側面を特定するべく、又は合流動作に地理空間的に対応するこれらの組み合わせのために動作環境データを相関させ、関連付け、又は処理することができる。例えば、合流モニタ4250は、センサデータのような情報を、自律走行車両の動作環境における一以上の遠隔車両、自律走行車両の動作環境における自律走行車両の動作環境の一以上の側面、又は合流動作に地理空間的に対応するこれらの組み合わせに対応し得る一以上のセンサから受信することができる。合流モニタ4250はセンサデータを、自律走行車両の動作環境における一以上の特定遠隔車両、自律走行車両の動作環境の一以上の側面、又は合流動作に地理空間的に対応するこれらの組み合わせに関連付けることができる。これは、それぞれの特定遠隔車両のうち一以上の、現在若しくは予測進行方向、予測経路のような経路、現在若しくは予測速度、現在若しくは予測加速率、又はこれらの組み合わせを特定することを含み得る。合流モニタ4250は、特定され、関連付けられ、又は生成された合流情報をAVOMC4100に、又はAVOMC4100によるアクセスのために出力することができる。
前方障害モニタ4260は、前方障害動作に地理空間的に対応する自律走行車両の動作環境の一以上の側面を特定するべく、動作環境データを相関させ、関連付け、又は処理することができる。例えば、前方障害モニタ4260は、自律走行車両の動作環境における車両交通ネットワーク幾何学形状を特定することができる。前方障害モニタ4260は、自律走行車両の予測経路沿いの又は自律走行車両の特定ルート沿いのゆっくりとした若しくは静止した遠隔車両のような自律走行車両の動作環境における一以上の障害又は障害物を特定することができる。前方障害モニタ4260は、自律走行車両の動作環境における一以上の遠隔車両のアクションを特定、追跡又は予想することができる。前方障害モニタ4250は、センサデータのような情報を、自律走行車両の動作環境における一以上の遠隔車両、自律走行車両の動作環境における自律走行車両の動作環境の一以上の側面、又は前方障害動作に地理空間的に対応するこれらの組み合わせに対応し得る一以上のセンサから受信することができる。前方障害モニタ4250はセンサデータを、自律走行車両の動作環境における一以上の特定遠隔車両、自律走行車両の動作環境の一以上の側面、又は前方障害動作に地理空間的に対応するこれらの組み合わせに関連付けることができる。これは、それぞれの特定遠隔車両のうち一以上の、現在若しくは予測進行方向、予測経路のような経路、現在若しくは予測速度、現在若しくは予測加速率、又はこれらの組み合わせを特定することを含み得る。前方障害モニタ4250は、特定され、関連付けられ、又は生成された前方障害情報をAVOMC4100に、又はAVOMC4100によるアクセスのために出力することができる。
遮断モニタ4210は、自律走行車両の、動作環境又はその一側面を表す動作環境データを受信し得る。遮断モニタ4210は、自律走行車両に近接する車両交通ネットワークの複数部分のような、車両交通ネットワークの一以上の部分に対する、それぞれの利用可能性確率又は対応する遮断確率を決定することができる。これは、自律走行車両の現在ルートに基づいて特定された予測経路のような、自律走行車両の予測経路に対応する車両交通ネットワークの複数部分を含み得る。利用可能性確率又は対応する遮断確率が、自律走行車両が車両交通ネットワークの一部分又はその中の空間ロケーションを、遠隔車両又は歩行者のような外部オブジェクトにより妨害されることなく、安全に通り抜ける確率又は尤度を示し得る。遮断モニタ4210は、利用可能性を連続的又は周期的に決定又は更新することができる。遮断モニタ4210は、利用可能性確率又は対応する遮断確率をAVOMC4100に通信することができる。
AVOMC4100は、動作環境データが表す動作環境の一以上の側面に基づいて一以上の特異車両動作シナリオを特定することができる。例えば、AVOMC4100は、動作環境モニタ4200の一以上が示す動作環境データを特定したことに応答して、又はその特定に基づいて、特異車両動作シナリオを特定することができる。特異車両動作シナリオは、ルートデータ、センサデータ、又はこれらの組み合わせに基づいて特定することができる。例えば、AVOMC4100は、ルートの特定に応答して、当該車両の一の特定ルートに対応する一つ又は多数の特異車両動作シナリオを、例えば、当該特定ルートに対応するマップデータに基づいて特定することができる。多数の特異車両動作シナリオは、動作環境データが表す動作環境の一以上の側面に基づいて特定することができる。例えば、動作環境データは、自律走行車両の予測経路沿いの交差点に接近する歩行者を表す情報を含んでよく、AVOMC4100は、歩行者車両動作シナリオ、交差点車両動作シナリオ、又はその双方を特定してよい。
AVOMC4100は、動作環境データが表す動作環境の一以上の側面に基づいて、シナリオ固有動作制御評価モジュール4300の一以上の、それぞれのインスタンスをインスタンス生成してよい。シナリオ固有動作制御評価モジュール4300は、シナリオ固有動作制御評価モジュール(SSOCEM)を含み得る。これは例えば、歩行者SSOCEM4310、交差点SSOCEM4320、車線変更SSOCEM4330、合流SSOCEM4340、通過障害SSOCEM4350、又はこれらの組み合わせである。SSOCEM4360が、自律走行車両動作管理システム4000が任意数のSSOCEM4300を含み得ることを示すべく破線を使用して示される。例えば、AVOMC4100は、特異車両動作シナリオの特定に応答してSSOCEM4300のインスタンスをインスタンス生成することができる。AVOMC4100は、動作環境データが表す動作環境の一以上の側面に基づいて一以上のSSOCEM4300の多数のインスタンスをインスタンス生成することができる。例えば、動作環境データは、自律走行車両の動作環境における2人の歩行者を示し、AVOMC4100は、各歩行者に対する歩行者SSOCEM4310のそれぞれのインスタンスを、動作環境データが表す動作環境の一以上の側面に基づいてインスタンス生成してよい。
AVOMC4100は、例えば共有メモリに記憶することによって動作環境データ又はその一以上の側面を、遮断モニタ4210のような自律走行車両の他ユニット、又はSSOCEM4300の一以上のインスタンスに伝送し、送信し、又は利用可能にすることができる。例えば、AVOMC4100は、遮断モニタ4210から受信した利用可能性確率又は対応する遮断確率を、SSOCEM4300のインスタンス生成されたインスタンスそれぞれに通信することができる。AVOMC4100は、動作環境データ又はその一以上の側面を、例えば、自律走行車両の、図1に示されるメモリ1340のようなメモリに記憶することができる。
自律走行車両を制御して車両交通ネットワークを横切るようにすることは、特異車両動作シナリオに基づいて候補車両制御アクションを特定すること、候補車両制御アクションの一以上に応じて自律走行車両を、車両交通ネットワークを通り抜けるように制御すること、又はこれらの組み合わせを含み得る。例えば、AVOMC4100は、一以上の候補車両制御アクションを、SSOCEM4300のそれぞれのインスタンスから受信することができる。AVOMC4100は、候補車両制御アクションから車両制御アクションを特定することができ、車両制御アクションに従って車両交通ネットワークを通り抜けるように、車両を制御することができ、又は特定された車両制御アクションを他の車両制御ユニットに与えることができる。
車両制御アクションは、例えば車両を加速、減速若しくは停止させることによる車両の運動状態の制御、例えば車両を操舵若しくは方向変換停止させることによる車両の方向状態の制御、又は車両交通ネットワークの一部分を通り抜けることに関連して自律走行車両が行い得る任意の他の車両動作若しくは複数の車両動作の組み合わせによる、車両制御の動作又は操作を示し得る。
例えば、車両制御アクションの「停止」は、車両を停止させ又は車両が静止するようになるか若しくは静止したままとなるようにするべく、運動制御ユニット、軌道制御ユニット、又は複数の制御ユニットの組み合わせを制御することによって、車両交通ネットワーク又はその一部分を通り抜けるように車両を制御することを含み得る。車両制御アクションを「譲る」ことは、車両を減速させるべく、又は車両を所定の法定速度限界よりも下となり若しくは所定の法定速度限界内となり得る所定のしきい値若しくは範囲内の速度で移動するように制御するべく、運動制御ユニット、軌道制御ユニット、又は複数の制御ユニットの組み合わせを制御することによって、車両交通ネットワーク又はその一部分を通り抜けるように車両を制御することを含み得る。車両制御アクションの「配向調整」は、所定の通行権パラメータの中で、閉塞、外部オブジェクト、又はその双方に対する車両の配向を改変するべく、運動制御ユニット、軌道制御ユニット、又は複数の制御ユニットの組み合わせを制御することによって、車両交通ネットワーク又はその一部分を通り抜けるように車両を制御することを含み得る。車両制御アクションの「加速」は、所定の加速率で、又は所定範囲内の加速率で加速するべく、運動制御ユニット、軌道制御ユニット、又は複数の制御ユニットの組み合わせを制御することによって、車両交通ネットワーク又はその一部分を通り抜けるように車両を制御することを含み得る。車両制御アクションの「減速」は、所定の減速率で、又は所定範囲内の減速率で減速するべく、運動制御ユニット、軌道制御ユニット、又は複数の制御ユニットの組み合わせを制御することによって、車両交通ネットワーク又はその一部分を通り抜けるように車両を制御することを含み得る。車両制御アクションの「維持」は、現在速度、現在経路若しくは経路、又は現在車線の配向を維持すること等によって現在動作パラメータを維持するべく、運動制御ユニット、軌道制御ユニット、又は複数の制御ユニットの組み合わせを制御することによって、車両交通ネットワーク又はその一部分を通り抜けるように車両を制御することを含み得る。車両制御アクションの「進行」は、以前に特定されたセットの動作パラメータを開始又は再開するべく、運動制御ユニット、軌道制御ユニット、又は複数の制御ユニットの組み合わせを制御することによって、車両交通ネットワーク又はその一部分を通り抜けるように車両を制御することを含み得る。いくつかの車両制御アクションがここに記載されるにもかかわらず、他の車両制御アクションを使用してもよい。
車両制御アクションは、一以上の性能メトリックを含み得る。例えば、車両制御アクションの「停止」は、性能メトリックとして減速率を含み得る。他例において、車両制御アクションの「進行」は、ルート若しくは経路情報、速度情報、加速率、又はこれらの組み合わせを性能メトリックとして明示的に示し、又は現在若しくは以前に特定された経路、速度、加速率、若しくはこれらの組み合わせが維持され得ることを明示的又は暗示的に示し得る。車両制御アクションは、車両制御アクションのシーケンス、組み合わせ、又はその双方を含み得る複合車両制御アクションとしてよい。例えば、車両制御アクションの「配向調整」は、車両制御アクションの「停止」、所定加速率に関連付けられたその後の車両制御アクションの「加速」、及び所定減速率に関連付けられたその後の車両制御アクションの「停止」を示し得る。車両制御アクションの「配向調整」に従って自律走行車両を制御することは、自律走行車両を数インチ又は1フィートのような短い距離だけゆっくりと前進するように制御することを含む。
AVOMC4100は、SSOCEM4300のインスタンスをインスタンス解除することができる。例えば、AVOMC4100は、動作条件の特異セットを、自律走行車両のための特異車両動作シナリオを示すとして特定し、特異車両動作シナリオのためにSSOCEM4300のインスタンスをインスタンス生成し、動作条件をモニタし、その後、動作条件の一以上が満了し又は所定しきい値未満で自律走行車両の動作に影響を及ぼす確率があることを決定し得る。AVOMC4100は、SSOCEM4300のインスタンスをインスタンス解除し得る。
AVOMC4100は、内在性メトリック、緊急性メトリック、ユーティリティメトリック、許容性メトリック、又はこれらの組み合わせのような、一以上の車両動作管理制御メトリックに基づいて、SSOCEM4300のインスタンスをインスタンス生成及びインスタンス解除することができる。内在性メトリックは、車両が車両交通ネットワークを、車両の現在ロケーションから、それぞれの特定された車両動作シナリオに対応する車両交通ネットワークの一部分まで通り抜けるための、空間的、時間的、又は空間時間的な距離又は近接を示し、表し、又はこれらに基づき得る。緊急性メトリックは、それぞれの特定された車両運転シナリオに対応する車両交通ネットワークの一部分を通り抜けるように車両を制御するべく利用可能な空間的、時間的、又は空間時間的距離の尺度を示し、表し、又はこれらに基づき得る。ユーティリティメトリックは、それぞれの特定された車両動作シナリオに対応するSSOCEM4300のインスタンスをインスタンス生成する期待値を示し、表し、又はこれらに基づき得る。許容性メトリックは、衝突回避を示すメトリックのような安全性メトリック、車両交通ネットワークのルール及び規則の順守を示すメトリックのような車両交通ネットワーク制御順守メトリック、車両の最大制動能力を示すメトリックのような物理能力メトリック、ユーザの好みのようなユーザ定義メトリックとしてよい。他のメトリック又は複数のメトリックの組み合わせを使用してよい。車両動作管理制御メトリックは、所定のレート、範囲又は制限を示し得る。例えば、許容性メトリックは、所定の目標減速率、所定の減速率範囲、又は所定の最大減速率を示し得る。
SSOCEM4300は、特異車両動作シナリオそれぞれの、一以上のモデルを含み得る。自律走行車両動作管理システム4000は、任意数のSSOCEM4300を含み得る。各SSOCEM4300が、対応特異車両動作シナリオのモデルを含む。SSOCEM4300は、一以上のタイプのモデルからの一以上のモデルを含み得る。例えば、SSOCEM4300は、部分観測マルコフ決定プロセス(POMDP)モデル、マルコフ決定プロセス(MDP)モデル、古典的計画モデル、部分観測確率ゲーム(POSG)モデル、分散部分観測マルコフ決定プロセス(Dec-POMDP)モデル、強化学習(RL)モデル、人工ニューラルネットワークモデル、又はそれぞれの特異車両動作シナリオの任意の他のモデルを含み得る。異なるタイプのモデルはそれぞれが、精度及びリソース使用率に関してそれぞれの特性を有し得る。例えば、所定シナリオのPOMDPモデルは、所定シナリオのMDPモデルよりも精度及びリソース使用率が高くなる。SSOCEM4300に含まれるモデルは、例えば精度に基づいて、例えば階層的に順序付けられてよい。例えば、SSOCEM4300に含まれる最高精度のモデルのような指定モデルを、SSOCEM4300の一次モデルとして特定し、SSOCEM4300に含まれる他のモデルを二次モデルとして特定することができる。
一例において、SSOCEM4300の一以上が、単一エージェントモデルとなり得るPOMDPモデルを含み得る。POMDPモデルは、一セットの状態(S)、一セットのアクション(A)、一セットの観測(Ω)、一セットの状態遷移確率(T)、一セットの条件付き観測確率(O)、報酬関数(R)、又はこれらの組み合わせを使用して、モデル化の不確実性を含む特異車両運転シナリオをモデル化することができる。POMDPモデルを、タプル<S,A,Ω,T,O,R>として定義又は記述してよい。
当該セットの状態(S)からの一状態が、自律走行車両の動作環境の外部オブジェクト及び交通制御デバイスのようなそれぞれの所定側面の特異条件を表し得る。これは、個別の時間的ロケーションにおいて自律走行車両の動作に確率的に影響を及ぼし得る。各セットの状態(S)を、特異車両動作シナリオそれぞれに対して定義することができる。一セットの状態(S)からの各状態(状態空間)は、一以上の所定状態係数を含み得る。いくつかのモデルに対する状態係数のいくつかの例がここに記載されるにもかかわらず、ここに記載されるいずれのモデルも含むモデルは、任意の数又は濃度の状態係数を含み得る。各状態係数は、各シナリオの所定側面を表し、各所定セットの値を有し得る。いくつかの状態係数のための状態係数値のいくつかの例がここに記載されるにもかかわらず、ここに記載される任意の状態係数を含む一の状態係数が、任意の数又は濃度の値を含んでよい。
当該セットのアクション(A)からの一のアクションが、当該セットの状態(S)における各状態での利用可能な車両制御アクションを示し得る。各セットのアクションを各特異車両動作シナリオに対して定義することができる。一セットのアクション(A)からの各アクション(アクション空間)が一以上の所定アクション係数を含み得る。いくつかのモデルのためのアクション係数のいくつかの例がここに記載されるにもかかわらず、ここに記載される任意のモデルを含む一のモデルが、任意の数又は濃度のアクション係数を含んでよい。各アクション係数は、利用可能な車両制御アクションを表し、複数の値の対応所定セットを含み得る。いくつかのアクション係数のためのアクション係数値のいくつかの例がここに記載されるにもかかわらず、ここに記載される任意のアクション係数を含む一のアクション係数が、任意の数又は濃度の値を含んでよい。
当該セットの観測(Ω)からの一の観測が、当該セットの状態(S)からの各状態に対する利用可能、観測可能、測定可能又は決定可能なデータを示し得る。各セットの観測を各特異車両動作シナリオに対して定義することができる。一セットの観測(Ω)からの各観測(観測空間)が一以上の所定観測係数を含み得る。いくつかのモデルのための観測係数のいくつかの例がここに記載されるにもかかわらず、ここに記載される任意のモデルを含む一のモデルが、任意の数又は濃度の観測係数を含んでよい。各観測係数は、利用可能な観測を表し、複数の値の対応所定セットを含み得る。いくつかの観測係数のための観測係数値のいくつかの例がここに記載されるにもかかわらず、ここに記載される任意の観測係数を含む一の観測係数が、任意の数又は濃度の値を含んでよい。
当該セットの状態遷移確率(T)からの一の状態遷移確率が、当該セットの状態(S)によって表される自律走行車両の動作環境への変化を、当該セットのアクション(A)によって表される自律走行車両のアクションに応答して、確率的に表すことができる。これは、T:S×A×S→[0,1]として表現することができる。各セットの状態遷移確率(T)を各特異車両動作シナリオに対して定義することができる。いくつかのモデルのための状態遷移確率のいくつかの例がここに記載されるにもかかわらず、ここに記載される任意のモデルを含む一のモデルが、任意の数又は濃度の状態遷移確率を含んでよい。例えば、状態、アクション、及びその後の状態の各組み合わせを、それぞれの状態遷移確率に関連付けることができる。
当該セットの条件付き観測確率(O)からの一の条件付き観測確率が、当該セットの状態(S)によって表される自律走行車両の動作環境に基づいてそれぞれの観測(Ω)を行う確率を、当該セットのアクション(A)によって表される自律走行車両のアクションに応答して、表すことができる。これは、O:A×S×Ω→[0,1]として表現することができる。各セットの条件付き観測確率(O)を各特異車両動作シナリオに対して定義することができる。いくつかのモデルのための条件付き観測確率のいくつかの例がここに記載されるにもかかわらず、ここに記載される任意のモデルを含む一のモデルが、任意の数又は濃度の条件付き観測確率を含んでよい。例えば、アクション、その後の状態、及び観測の各組み合せを、それぞれの条件付き観測確率に関連付けることができる。
報酬関数(R)は、状態とアクションとの各組み合わせに発生し得る正又は負の(コスト)値それぞれを決定することができる。これは、自律走行車両が車両交通ネットワークを、対応する車両制御アクションに応じた対応状態からその後の状態まで通り抜ける期待値を表すことができる。これは、R:S×A→Rとして表現することができる。
簡単及び明確性のため、ここに記載される状態係数値又は観測係数値のような一モデルの複数の値の例は、{スタート,ゴール}又は{短い,長い}のようなカテゴリー表現を含む。カテゴリー値は、相対値となり得る所定の離散値を表し得る。例えば、時間的側面を表す状態係数がセット{短い,長い}からの値を有し、値「短い」が、3秒のような所定しきい値内の又はこれ未満の時間的距離のような離散値を表し、値「長い」が、少なくとも当該しきい値に等しい又はこれよりも大きい時間的距離のような離散値を表す。カテゴリー値それぞれに対する所定しきい値は、関連係数に対して定義され得る。例えば、時間的係数に対するセット{短い,長い}のための所定しきいを、相対空間ロケーション係数値に関連付けることができ、当該時間的係数に対するセット{短い,長い}のための他の所定しきいを、相対空間ロケーション係数値に関連付けることができる。係数値のカテゴリー表現がここに記載されるにもかかわらず、他の表現、又は複数の表現の組み合わせを使用してもよい。例えば、一セットの時間的状態係数値は、{短い(3秒未満の値を表す),4,5,6,長い(少なくとも7秒の値を表す)}としてよい。
部分観測マルコフ決定プロセス(POMDP)モデルを実装する実施形態のようないくつかの実施形態において、自律走行車両動作制御シナリオをモデル化することは、閉塞をモデル化することを含み得る。例えば、動作環境データは、自律走行車両の動作環境におけるセンサ閉塞のような一以上の閉塞に対応する情報を含み得る。これにより、動作環境データは、自律走行車両の動作環境における一以上の閉塞された外部オブジェクトを表す情報を省略し得る。例えば、閉塞は、交通標識、建物、木、特定された外部オブジェクト、又は任意の他の動作条件若しくは、所定空間時間的ロケーションにおいて自律走行車両から一以上の他の動作条件を閉塞することのできる動作条件、例えば外部オブジェクト、の組み合わせとしてよい。いくつかの実施形態において、動作環境モニタ4200が、閉塞を特定することができ、外部オブジェクトが所定閉塞により閉塞又は隠される確率を特定又は決定することができ、AVOMC4100に出力されてAVOMC4100がSSOCEM4300それぞれに通信する動作環境データにおける閉塞された車両確率情報を含み得る。
自律走行車両運転管理システム4000は、任意の数又は組み合わせのタイプのモデルを含み得る。例えば、歩行者SSOCEM4310、交差点SSOCEM4320、車線変更SSOCEM4330、合流SSOCEM4340、及び通過障害SSOCEM4350を、POMDPモデルとしてよい。他例において、歩行者SSOCEM4310をMDPモデルとしてよく、交差点SSOCEM4320をPOMDPモデルとしてよい。AVOMC4100は、動作環境データに基づいてSSOCEM4300の任意数のインスタンスをインスタンス生成することができる。
SSOCEM4300インスタンスをインスタンス生成することは、SSOCEM4300から一のモデルを特定することと、特定されたモデルの一のインスタンスをインスタンス生成することを含み得る。例えば、SSOCEM4300が、対応特異車両動作シナリオのための一次モデル及び二次モデルを含み、SSOCEM4300をインスタンス生成することが、一次モデルを現在モデルとして特定すること、及び一次モデルの一のインスタンスをインスタンス生成することを含み得る。モデルのインスタンス生成は、解又はポリシーがモデルにとって利用可能か否かを決定することを含み得る。モデルのインスタンス生成は、モデルにとって利用可能な解又はポリシーが部分的に解決されるか、又は収束かつ解決されるかを決定することを含み得る。SSOCEM4300をインスタンス生成することは、SSOCEM4300に対して特定されたモデルのための解又はポリシーのインスタンスをインスタンス生成することを含み得る。
POMDPモデルのようなモデルを解くことは、モデルを定義する<S,A,Ω,T,O,R>のようなタプルの要素の可能な組み合わせを評価することによって決定され得る未払い報酬を最大化する一の関数となり得るポリシー又は解を決定することを含み得る。ポリシー又は解は、特定された信念状態データに基づいて、報酬が最大化された又は最適な候補車両制御アクションを特定又は出力し得る。確率的でよい特定された信念状態データが、各モデルに対する状態値の現在セットのような現在状態データ、又は状態値の現在セットに対する確率を示してよく、各相対時間的ロケーションに対応し得る。例えば、MDPモデルを解くことが、当該セットの状態(S)から一の状態を特定すること、当該セットのアクション(A)から一のアクションを特定すること、状態遷移確率に従うアクションをシミュレートした後の当該セットの状態(S)からその後の状態又は後継を決定することを含み得る。各状態が、対応するユーティリティ値に関連付けられてよく、MDPモデルを解くことが、状態、アクション、及びその後の状態の各可能な組み合わせに対応するユーティリティ値それぞれを決定することを含み得る。その後の状態のユーティリティ値を、割引された報酬又はペナルティとしてよい報酬又はペナルティに従う最大の特定されたユーティリティ値として特定してよい。ポリシーは、対応状態に対する最大ユーティリティ値に対応するアクションを示し得る。POMDPモデルを解くことを、信念状態に基づくことを除いてMDPモデルを解くことと同様としてよく、各状態に対する確率を表してよく、各状態に対して発生する観測に対応する観測確率に従ってよい。よって、SSOCEMモデルを解くことが、可能な状態/アクション/状態の遷移を評価することと、それぞれのアクション及び観察に基づき、例えばベイズ規則を使用して、それぞれの信念状態を更新することとを含む。
図5は、本開示の実施形態に係る自律走行車両動作管理5000の一例の流れ図である。自律走行車両動作管理システム5000は、図1に示される車両1000、図2に示される車両2100/2110の一つ、半自律走行車両、又は任意の他の自律走行実装車両のような自律走行車両に実装することができる。例えば、自律走行車両は、図4に示される自律走行車両動作管理システム4000のような自律走行車両動作管理システムを実装してよい。
図5に示されるように、自律走行車両動作管理5000は、一以上のモジュール又はそのコンポーネントを含む自律走行車両動作管理システムを実装又は動作させることであって、図4に示されるAVOMC4100のような自律走行車両動作管理コントローラ(AVOMC)5100を動作させることを含み得ることと、図4に示される動作環境モニタ4220、4230、4240、4250、4260、4270の一以上のような動作環境モニタ5200を動作させることと、図4に示されるSSOCEM4300のインスタンスのようなシナリオ固有動作制御評価モジュールインスタンス(SSOCEMインスタンス)5300を動作させることとを含む。
AVOMC4100は、自律走行車両の動作環境又はその一側面を特定するべく5110において、自律走行車両の動作環境又は所定側面をモニタすることができる。例えば、動作環境モニタ5200は、動作環境のシナリオ固有側面をモニタすることができ、共有メモリに記憶させることにより動作環境を表す動作環境データをAVOMC5100に伝送し、送信し、又は利用可能にすることができる。自律走行車両の動作環境をモニタすることは、5110において外部オブジェクトを特定及び追跡すること、5120において特異車両動作シナリオを特定すること、又はこれらの組み合わせを含み得る。例えば、AVOMC5100、動作環境モニタ5200、又はその双方が、センサデータ、車両データ、ルートデータ、車両交通ネットワークデータ、以前に特定された動作環境データ、又は任意の他の利用可能データ、若しくは動作環境の一側面若しくは複数側面を記述するデータの組み合わせに基づいて、動作環境データを特定し得る。
動作環境を特定することは、動作環境又はその一以上の側面を表す動作環境データを特定することを含み得る。動作環境データは、自律走行車両の車両情報、自律走行車両近くの車両交通ネットワーク若しくはその一以上の側面を表す情報、自律走行車両の動作環境の中の、自律走行車両に対して特定されたルート沿いの若しくはそのルート近くの外部オブジェクト若しくはその一以上の側面を表す情報、又はこれらの組み合わせを含み得る。センサ情報は、自律走行車両のセンサ情報処理ユニットからの処理済みセンサ情報のような、処理されたセンサ情報としてよい。このセンサ情報処理ユニットは、自律走行車両のセンサからセンサ情報を受信して当該センサ情報に基づいて処理済みセンサ情報を生成することができる。
動作環境データを特定することは、図1に示されるセンサ1360及び図2に示される車載センサ2105のような自律走行車両のセンサから、動作環境の一以上の側面を示す情報を受信することを含み得る。自律走行車両のセンサ又は他のユニットはセンサ情報を、自律走行車両の、図1に示されるメモリ1340のようなメモリに記憶させることができ、AVOMC5100は当該メモリからセンサ情報を読み取る。
動作環境データを特定することは、車両交通ネットワークデータから、動作環境の一以上の側面を示す情報を特定することを含み得る。例えば、AVOMC5100は、自律走行車両が交差点に近付いていることを示す車両交通ネットワークデータ、又は自律走行車両から300メートル以内のような自律走行車両に近い車両交通ネットワークの幾何学的形状又は構成を記述する車両交通ネットワークデータを読み取り又は受信することができる。
5110において動作環境データを特定することは、自律走行車両外部の遠隔車両又は他の遠隔デバイスからの動作環境の一以上の側面を示す特定情報を含み得る。例えば、自律走行車両は、遠隔車両から無線電子通信リンクを介して、遠隔車両の遠隔車両地理空間状態情報を示す遠隔車両情報、遠隔車両の遠隔車両運動状態情報、又はその双方を含む遠隔車両メッセージを受信することができる。
動作環境データを特定することは、自律走行車両に対して特定されたルートを表すルートデータから、動作環境の一以上の側面を示す情報を特定することを含み得る。例えば、AVOMC5100は、自律走行車両のために、ユーザ入力に応答して特定されたルートのような、特定されたルートを表す車両交通ネットワークデータを読み取り又は受信してよい。
AVOMC5100及び動作環境モニタ5200は、5110、5112及び5210に示されるように、動作環境データを特定するべく通信することができる。代替的又は付加的に、動作環境モニタ5200は、自律走行車両のセンサからのような自律走行車両の他のコンポーネントから若しくは他の動作環境モニタ5200から動作環境データを受信してよく、又は動作環境モニタ5200は、自律走行車両のメモリから動作環境データを読み出してよい。
AVOMC5100は、例えば、5120において特定された動作環境データが表す動作環境の一以上の側面に基づいて、一以上の特異車両動作シナリオを、5110において検出又は特定することができる。
AVOMC5100は、例えば5120において特異車両動作シナリオを特定することに応答して、5130において動作環境データが表す動作環境の一以上の側面に基づいてSSOCEMインスタンス5300をインスタンス生成することができる。一つのSSOCEMインスタンス5300が図5に示されるにもかかわらず、AVOMC5100は、5110において特定された動作環境データが表す動作環境の一以上の側面に基づいて多数のSSOCEMインスタンス5300をインスタンス生成してよい。各SSOCEMインスタンス5300は、5120において検出された対応特異車両動作シナリオ、又は5110において特定された特異外部オブジェクトと5120において検出された対応特異車両動作シナリオとの組み合わせに対応する。5130においてSSOCEMインスタンス5300をインスタンス生成することは、5132に示されるように、自律走行車両の動作環境を表す動作環境データをSSOCEMインスタンス5300に送信することを含み得る。SSOCEMインスタンス5300は、5310において、自律走行車両の動作環境又はその一以上の側面を表す動作環境データを受信することができる。5130においてSSOCEMインスタンス5300をインスタンス生成することは、特異車両動作シナリオの一次モデル若しくは二次モデルのようなモデルを特定すること、当該モデルのインスタンスをインスタンス生成すること、を含み得る。当該モデルに対応する解若しくはポリシーを特定すること、当該解若しくはポリシーのインスタンスをインスタンス生成すること、又はこれらの組み合わせを含み得る。
動作環境モニタ5200は、図4に示される遮断モニタ4210のような遮断モニタを含み得る。これは、自律走行車両近くの車両交通ネットワークの複数部分のような車両交通ネットワークの一以上の部分に対し、5220において、各利用可能性確率(POA)又は対応する遮断確率を決定することができる。これは、自律走行車両の現在ルートに基づいて特定される予測経路のような自律走行車両の一の予測経路に対応する車両交通ネットワークの複数部分を含み得る。遮断モニタは、例えば共有メモリに記憶することによって、5220において特定された利用可能性確率を、5222においてSSOCEMインスタンス5300に伝送し、送信し、又は利用可能にすることができる。代替的又は付加的に、遮断モニタは、5220において特定された利用可能性確率を、自律走行車両のメモリにおいて記憶することができる。図5に明示的に示されないにもかかわらず、遮断モニタは、利用可能性確率をSSOCEMインスタンス5300に送信することに加え又はその代わりに、例えば共有メモリに記憶することによって、5220において特定された利用可能性確率を、5222においてAVOMC5100に伝送し、送信し、又は利用可能にすることができる。SSOCEMインスタンス5300は、5320において利用可能性確率を受信し得る。
SSOCEMインスタンス5300は、5330において候補車両制御アクションを生成又は特定し得る。例えば、SSOCEMインスタンス5300は、動作環境データ5310を受信したこと、5320において利用可能性確率データを受信したこと、又はその双方に応答して、5330において候補車両制御アクションを生成又は特定し得る。例えば、特異車両動作シナリオのモデルに対し、5310においてインスタンス生成された解又はポリシーのインスタンスが、動作環境データ、利用可能性確率データ、又はその双方に基づいて候補車両制御アクションを出力し得る。SSOCEMインスタンス5300は、例えば共有メモリに記憶することによって、5330において特定された候補車両制御アクションを、5332においてAVOMC5100に伝送し、送信し、又は利用可能にすることができる。代替的又は付加的に、SSOCEMインスタンス5300は、5330において特定された候補車両制御アクションを、自律走行車両のメモリにおいて記憶することができる。
AVOMC5100は、5140において候補車両制御アクションを受信することができる。例えば、AVOMC5100は、5140において候補車両制御アクションをSSOCEMインスタンス5300から受信することができる。代替的又は付加的に、AVOMC5100は、候補車両制御アクションを自律走行車両のメモリから読み取ることができる。
AVOMC5100は、5150において、自律走行車両を、車両交通ネットワークを通り抜けるように制御するべく、候補車両制御アクションを承認し、又は候補車両制御アクションを車両制御アクションとして特定することができる。5150において候補車両制御アクションを承認することは、候補車両制御アクションに応じて車両交通ネットワークの一部分を通り抜けるべきか否かを決定することを含み得る。
AVOMC5100は、5150において特定された車両制御アクションに応じて、5160において自律走行車両が車両交通ネットワーク又はその一部分を通り抜けるように、特定された車両制御アクションを制御し、又は他の車両制御ユニットに与えることができる。
AVOMC5100は、5170において、自律走行車両の動作環境又はその一側面を特定することができる。5170において自律走行車両の動作環境又はその一側面を特定することは、5110において自律走行車両の動作環境を特定することと同様であり、以前に特定された動作環境データを更新することを含み得る。
AVOMC5100は、5180において、特異車両動作シナリオが解決か又は未解決かを決定又は検出することができる。例えば、AVOMC5100は、上述のように、連続的に又は周期的に動作環境情報を受信することができる。AVOMC5100は、特異車両動作シナリオが解決されたか否かを決定するべく動作環境データを評価することができる。
AVOMC5100は、5180において、SSOCEMインスタンス5300に対応する特異車両動作シナリオが未解決であることを決定することができ、AVOMC5100は、5185に示されるように、例えば共有メモリに記憶することによって、5170において特定された動作環境データをSSOCEMインスタンス5300に伝送し、送信し、又は利用可能にすることができ、5180においてSSOCEMインスタンス5300をインスタンス解除することは省略され又は異なってよい。
AVOMC5100は、5180において、特異車両動作シナリオが解決されたことを決定してよく、5190において、5180において解決されると決定された特異車両動作シナリオに対応するSSOCEMインスタンス5300をインスタンス解除してよい。例えば、AVOMC5100は、5120において、自律走行車両のための特異車両動作シナリオを形成する動作条件の特異セットを特定することができ、5180において、動作条件の一以上が満了していること、又は自律走行車両の動作に影響を及ぼす確率が所定しきい値を下回ることを決定することができ、対応するSSOCEMインスタンス5300をインスタンス解除することができる。
図5において明確に示されないにもかかわらず、AVOMC5100は、5170において動作環境データを特定又は更新することと、5180において特異車両動作シナリオが解決されたか否かを決定することと、5180において特異車両動作シナリオが未解決であることを決定したことに応答して、5185に示されるように、5170において特定された動作環境データをSSOCEMインスタンス5300に送信することとを、5180において特異車両動作シナリオが解決されたか否かを決定することが、特異車両動作シナリオが解決されたことを決定することを含むまでずっと、連続的又は周期的に繰り返すことができる。
図6は、本開示の実施形態に係る車両6000の一例の図である。車両6000は、図1に示される車両1000、図2に示される車両2100/2110の一つ、半自律走行車両、又は任意の他の自律走行実装車両のような自律走行車両としてよい。図6に示されるように、車両6000は、図1に示されるセンサ1360のようなセンサとしてよい画像キャプチャユニット6100~6700を含む。図6が7つの画像キャプチャユニット6100~6700を示すにもかかわらず、任意数の画像キャプチャユニット又は他のセンサを使用してよい。車両6000は認識ユニット6800を含む。簡単及び明確性のため、図6は、上が北に、右が東に配向される。簡単及び明確性のため、図6において、東すなわち右側は、ゼロ度の角度に対応するように記載されるので、車両6000は、90度の角度に対応する北に整列するように配向される。
画像キャプチャユニット6100~6700はそれぞれが、相対配向及び視野を有し得る。相対配向は、車両6000に関連する各画像キャプチャユニット6100~6700の配向である。図6に示されないにもかかわらず、画像キャプチャユニットの相対配向は、例えば機械的又は電子的に調整可能となり得る。視野は、画像キャプチャユニットがキャプチャするシーンのエリアを記述する。円錐視野が、ここに一般的に記載されるにもかかわらず、他の視野構成も使用してよい。視野の複数の例が図7に示される。
図6に示されるように、車両6000は、中心前方画像キャプチャユニット6100(第1画像キャプチャユニット)、左前方画像キャプチャユニット6200(第2画像キャプチャユニット)、右前方画像キャプチャユニット6300(第3画像キャプチャユニット)、左後方画像キャプチャユニット6400(第4画像キャプチャユニット)、右後方キャプチャユニット6500(第5画像キャプチャユニット)、左側方画像キャプチャユニット6600(第6画像キャプチャユニット)、及び右側方画像キャプチャユニット6700(第7画像キャプチャユニット)を含む。他の画像キャプチャユニット及びその配向を使用してよい。
中心前方画像キャプチャユニット6100は、中心前方画像キャプチャユニット6100の視野(明示せず)の光軸に対応する相対配向を有し得る。中心前方画像キャプチャユニット6100の相対配向は、図示のように90度で車両6000に対して水平方向に整列されてよい。中心前方画像キャプチャユニット6100の相対配向は、水平線(図示せず)に対して垂直に整列されてよい。他の相対配向も使用してよい。
左前方画像キャプチャユニット6200は、左前方画像キャプチャユニット6200の視野(明示せず)の光軸に対応する相対配向を有し得る。左前方画像キャプチャユニット6200の相対配向は、図示のように167.5度で車両6000の左前に対して水平方向に整列し得る。左前方画像キャプチャユニット6200の相対配向は、水平線(図示せず)に対して垂直に整列されてよい。他の相対配向も使用してよい。
右前方画像キャプチャユニット6300は、右前方画像キャプチャユニット6300の視野(明示せず)の光軸に対応する相対配向を有し得る。右前方画像キャプチャユニット6300の相対配向は、図示のように12.5度で車両6000の右前に対して水平方向に整列し得る。右前方画像キャプチャユニット6300の相対配向は、水平線(図示せず)に対して垂直に整列されてよい。他の相対配向も使用してよい。
左後方画像キャプチャユニット6400は、左後方画像キャプチャユニット6400の視野(明示せず)の光軸に対応する相対配向を有し得る。左後方画像キャプチャユニット6400の相対配向は、図示のように240度で車両6000の左後ろに対して水平方向に整列し得る。左後方画像キャプチャユニット6400の相対配向は、水平線(図示せず)に対して垂直に整列されてよい。他の相対配向も使用してよい。
右後方画像キャプチャユニット6500は、右後方画像キャプチャユニット6500の視野(明示せず)の光軸に対応する相対配向を有し得る。右後方画像キャプチャユニット6500の相対配向は、図示のように300度で車両6000の右後ろに対して水平方向に整列し得る。右後方画像キャプチャユニット6500の相対配向は、水平線(図示せず)に対して垂直に整列されてよい。他の相対配向も使用してよい。
左側方画像キャプチャユニット6600は、左側方画像キャプチャユニット6600の視野(明示せず)の光軸に対応する相対配向を有し得る。左側方画像キャプチャユニット6600の相対配向は、図示のように180度で車両6000の左に対して水平方向に整列し得る。左側方画像キャプチャユニット6600の相対配向は、水平線(図示せず)に対して垂直に整列されてよい。他の相対配向も使用してよい。
右側方画像キャプチャユニット6700は、右側方画像キャプチャユニット6700の視野(明示せず)の光軸に対応する相対配向を有し得る。右側方画像キャプチャユニット6700の相対配向は、図示のようにゼロ度で車両6000の右に対して水平方向に整列し得る。右側方画像キャプチャユニット6700の相対配向は、水平線(図示せず)に対して垂直に整列されてよい。他の相対配向も使用してよい。
認識ユニット6800は、前部画像処理ユニット6810、後部画像処理ユニット6820及び認識制御ユニット6830を含む。画像処理ユニット6810、6820及び認識制御ユニット6830が、明確性のため別個に示されるにもかかわらず、画像処理ユニット6810、6820及び認識制御ユニット6830の2以上を組み合わせユニットとして実装してよい。図6に示されるように、中心前方画像キャプチャユニット6100、左前方画像キャプチャユニット6200及び右前方画像キャプチャユニット6300は、前部画像処理ユニット6810と通信するように示される。左後方画像キャプチャユニット6400、右後方画像キャプチャユニット6500、左側方画像キャプチャユニット6600及び右側方画像キャプチャユニット6700は、後部画像処理ユニット6820と通信するように示される。画像処理ユニット6810、6820は認識制御ユニット6830と通信するように示される。画像処理ユニット、制御ユニット及び通信経路の他の構成を使用してよい。
認識ユニット6800は、認識制御のための顕著性情報を取得することができる。例えば、認識ユニット6800は、顕著性情報を、図4に示される自律走行車両動作管理コントローラ4100のような車両6000の他のユニット(図示せず)から受信することができる。顕著性情報は、自律走行車両を取り囲む視野の一部分を示し得る。認識ユニット6800は、顕著性情報を自律走行車両の一以上のセンサに相関させることができる。例えば、認識制御ユニット6830は、顕著性情報を車両6000の自律走行車両動作管理コントローラ(図示せず)から受信することができ、認識制御ユニット6830は、例えば共有メモリに記憶することによって、顕著性情報又はその一部分を前部画像処理ユニット6810、後部画像処理ユニット6820、又はその双方に伝送し、送信し、又は利用可能にすることができる。
前部画像処理ユニット6810(第1画像処理ユニット)は、画像データのようなセンサ情報を中心前方画像キャプチャユニット6100、左前方画像キャプチャユニット6200及び右前方画像キャプチャユニット6300から受信することができる。前部画像処理ユニット6810は、中心前方画像キャプチャユニット6100、左前方画像キャプチャユニット6200及び右前方画像キャプチャユニット6300に対応する顕著性情報を認識制御ユニット6830から受信することができる。前部画像処理ユニット6810は、前の外部オブジェクト情報を含み得る画像処理データ(第1画像処理データ)を、中心前方画像キャプチャユニット6100、左前方画像キャプチャユニット6200及び右前方画像キャプチャユニット6300から受信したセンサ情報に基づいて生成することができる。画像処理データを生成することは、認識制御ユニット6830から受信した顕著性情報に基づいて画像処理データを生成することを含み得る。
後部画像処理ユニット6820(第2画像処理ユニット)は、画像データのようなセンサ情報を、左後方画像キャプチャユニット6400、右後方画像キャプチャユニット6500、左側画像キャプチャユニット6600及び右側方画像キャプチャユニット6700から受信することができる。後部画像処理ユニット6820は、左後方画像キャプチャユニット6400、右後方画像キャプチャユニット6500、左側方画像キャプチャユニット6600及び右側方画像キャプチャユニット6700に対応する顕著性情報を認識制御ユニット6830から受信することができる。後部画像処理ユニット6820は、後ろの外部オブジェクト情報を含み得る画像処理データ(第2画像処理データ)を、左後方画像キャプチャユニット6400、右後方画像キャプチャユニット6500、左側画像キャプチャユニット6600及び右側方画像キャプチャユニット6700から受信したセンサ情報に基づいて生成することができる。画像処理データを生成することは、認識制御ユニット6830から受信した顕著性情報に基づいて画像処理データを生成することを含み得る。
認識制御ユニット6830は、前部画像処理ユニット6810若しくはその一部分から受信した画像処理データに基づいて、後部画像処理ユニット6820若しくはその一部分から受信した画像処理データに基づいて、又は前部画像処理ユニット6810から受信した画像処理データと後部画像処理ユニット6820若しくはその一部分から受信した画像処理データとの組み合わせに基づいて、外部オブジェクト情報を生成することができる。認識制御ユニット6830は、例えば共有メモリに記憶することによって、外部オブジェクト情報を車両6000の自律走行車両動作管理コントローラ(図示せず)に伝送し、送信し、又は利用可能にすることができる。
図7は、本開示の実施形態に係る車両のセンサの視野の一例の図である。図7は、図6に示される車両6000のような車両7000を示す。明確性のため図7に明示されないにもかかわらず、車両7000は、図6に示される画像キャプチャユニット6100~6700のようなセンサを含み得る。簡単及び明確性のため、図7は、上が北に、右が東に配向される。簡単及び明確性のため、図7において、東すなわち右側は、ゼロ度の角度に対応するように記載されるので、車両7000は、90度の角度に対応する北に整列するように配向される。
各画像キャプチャユニットが、図6に関連して記載されるような対応相対配向、及び図7に示される視野7100~7700を有し得る。各視野7100~7700が、所定の画角及び所定の有効範囲を有し得る。
有効範囲は、所定の最小外部オブジェクトサイズを有する外部オブジェクトが所定の最小オブジェクト検出精度しきい値を超える精度で検出され得る画像キャプチャユニットからの最大距離(作動距離)を表す。所定の最小外部オブジェクトサイズは、視野(視点)に対する外部オブジェクトの所定水平(又は垂直)寸法、例えば100mmとしてよい。他の所定の最小外部オブジェクトサイズを使用してよい。所定の最小外部オブジェクト水平(又は垂直)分解能は、オブジェクト検出のための所定の最小外部水平(又は垂直)オブジェクトサイズを有する外部オブジェクトをキャプチャするべく使用され得る所定の最小水平(又は垂直)画素濃度(連続)、例えば4画素としてよい。他の所定の最小外部オブジェクト分解能を使用してよい。空間分解能は、所定の最小外部オブジェクト分解能に対する所定の外部オブジェクトサイズの比としてよい。例えば、所定の最小外部オブジェクトサイズを100mmとしてよく、所定の最小外部オブジェクト分解能を4画素としてよく、空間分解能を100mm/4画素すなわち画素当たり25mmとしてよい。
画像キャプチャユニットの水平(又は垂直)角度分解能を、画像キャプチャユニットの画像センサの水平(又は垂直)画像センサ分解能と、画像キャプチャユニットの水平(又は垂直)画角との比としてよい。例えば、画像キャプチャユニットは、10度の水平画角、1280×800の画像センサ分解能、及び水平画角の角度当たり128画素の水平角度分解能を有してよい。他例において、画像キャプチャユニットは、120度の水平画角、1280×800の画像センサ分解能、及び水平画角の角度当たり11画素の水平角度分解能を有してよい。
有効範囲は、水平(又は垂直)角度分解能に相関されてよい。例えば、画像キャプチャユニットは、180度の水平画角、1280×800の画像センサ分解能、水平画角の角度当たり7画素の水平角度分解能を有してよく、遠隔車両を検出するための有効範囲は40メートルとしてよい。他例において、画像キャプチャユニットは、120度の水平画角、1280×800の画像センサ分解能、水平画角の角度当たり11画素の水平角度分解能を有してよく、遠隔車両を検出するための有効範囲は60メートルとしてよい。他例において、画像キャプチャユニットは、60度の水平画角、1280×800の画像センサ分解能、水平画角の角度当たり21画素の水平角度分解能を有してよく、遠隔車両を検出するための有効範囲は120メートルとしてよい。
車両7000は、図6に示される中心前方画像キャプチャユニット6100のような第1画像キャプチャユニットを含み得る。第1画像キャプチャユニットは、図示の車両7000の前に向かう配向となる第1視野7100(前方視野)を有し得る。第1視野7100は、第1画像キャプチャユニット(明示せず)の光軸に沿って配向され、図示のように120度のような第1所定画角を有し得る。第1視野7100は、遠隔車両に対する60メートルのような第1有効範囲を有し得る。
車両7000は、図6に示される左前方画像キャプチャユニット6200のような第2画像キャプチャユニットを含み得る。第2画像キャプチャユニットは、図示の車両7000の左に配向される第2視野7200(第1側方視野)を有し得る。第2視野7200は、第2画像キャプチャユニット(明示せず)の光軸に沿うように配向され、図示のように60度のような第2所定画角を有し得る。第2視野7200は、遠隔車両に対する120メートルのような第2有効範囲を有し得る。
車両7000は、図6に示される右前方画像キャプチャユニット6300のような第3画像キャプチャユニットを含み得る。第3画像キャプチャユニットは、図示の車両7000の右に配向される第3視野7300(第2側方視野)を有し得る。第3視野7300は、第3画像キャプチャユニット(明示せず)の光軸に沿うように配向され、図示のように60度のような第2所定画角を有し得る。第3視野7300は、遠隔車両に対する120メートルのような第2有効範囲を有し得る。
車両7000は、図6に示される左後方画像キャプチャユニット6400のような第4画像キャプチャユニットを含み得る。第4画像キャプチャユニットは、図示の車両7000の左後ろに配向される第4視野7200(第1後方視野)を有し得る。第4視野7400は、第4画像キャプチャユニット(明示せず)の光軸に沿うように配向され、図示のように60度のような第3所定画角を有し得る。第4視野7400は、遠隔車両に対する120メートルのような第3有効範囲を有し得る。
車両7000は、図6に示される右後方画像キャプチャユニット6500のような第5画像キャプチャユニットを含み得る。第5画像キャプチャユニットは、図示の車両7000の右後ろに配向される第5視野7200(第2後方視野)を有し得る。第5視野7500は、第5画像キャプチャユニット(明示せず)の光軸に沿うように配向され、図示のように60度のような第3所定画角を有し得る。第5視野7500は、遠隔車両に対する120メートルのような第3有効範囲を有し得る。
車両7000は、図6に示される左側方画像キャプチャユニット6600のような第6画像キャプチャユニットを含み得る。第6画像キャプチャユニットは、図示の車両7000の左側に配向される第6視野7600(第3側方視野)を有し得る。第6視野7600は、第6画像キャプチャユニット(明示せず)の光軸に沿って配向され、図示のように180度のような第4所定画角を有し得る。第6視野7600は、遠隔車両に対する40メートルのような第4有効範囲を有し得る。
車両7000は、図6に示される右側方画像キャプチャユニット6700のような第7画像キャプチャユニットを含み得る。第7画像キャプチャユニットは、図示の車両7000の右側に配向される第7視野7700(第4側方視野)を有し得る。第7視野7700は、第7画像キャプチャユニット(明示せず)の光軸に沿って配向され、図示のように180度のような第4所定画角を有し得る。第7視野7700は、遠隔車両に対する40メートルのような第4有効範囲を有し得る。
視野7100~7700の複数部分が、暗く点描された部分により示されるように重畳し合ってよい。例えば、前方視野7100は、左前方視野7200、右前方視野7300、左側方視野7600及び右側方視野7700と重畳し合ってよい。
図8は、本開示の実施形態に係る顕著性領域の一例の図である。図8は、図6に示される車両6000のような車両8000を示す。図8は、車両8000に対する非重畳顕著性セクタ8010~8120を示す。顕著性セクタ8010~8120はそれぞれが、車両8000の動作環境を表す車両8000に対する連続顕著性範囲の一の角度部分を含む。例えば、顕著性セクタ8010~8120はそれぞれが、図示のように30度を含み得る。異なる数(濃度)及びサイズのセクタを使用してよい。異なる配向の顕著性セクタ及び連続顕著性領域を使用してよい。簡単及び明確性のため、図8は、上が北に、右が東に配向される。
図示のように、顕著性セクタは、自律走行車両8000の南南東の第1顕著性セクタ8010、自律走行車両8000の南東の第2顕著性セクタ8020、自律走行車両8000の東南東の第3顕著性セクタ8030、自律走行車両8000の東北東の第4顕著性セクタ8040、自律走行車両8000の北東の第5顕著性セクタ8050、自律走行車両8000の北北東の第6顕著性セクタ8060、自律走行車両8000の北北西の第7顕著性セクタ8070、自律走行車両8000の北西の第8顕著性セクタ8080、自律走行車両8000の西北西の第9顕著性セクタ8090、自律走行車両8000の西南西の第10顕著性セクタ8100、自律走行車両8000の南西の第11顕著性セクタ8110、及び自律走行車両8000の南南西の第12顕著性セクタ8120を含む。
顕著性セクタ8010~8120はそれぞれが、暗く点描された背景により示される近顕著性距離部分、及び明るく点描された背景により示される遠顕著性距離部分を含む。例えば、近顕著性距離は、車両8000の60メートル以内のような車両8000に相対的に近いエリアに対応し、遠顕著性距離は、車両8000から120メートルの距離のような、車両から少なくとも60メートルのような、車両8000から相対的に遠いエリアに対応する。角度サイズ、顕著性距離及び配向を含む利用可能顕著性セクタ8010~8120を、車両8000に対して定義することができる。顕著性領域は、顕著性セクタ8010~8120及び近い又は遠い等の顕著性距離として示され得る。
顕著性情報は、車両8000に対する一以上の顕著性領域、顕著性セクタ、顕著性距離、又はこれらの組み合せを示し又は特定し得る。顕著性情報は、それぞれの顕著性領域又はセクタに対応する高優先順位又は低優先順位のような相対優先順位を示し得る。例えば、各顕著性領域を表す0~23の範囲にある整数値のような整数値を使用してよい。他例において、0~11の範囲にある整数値のような各顕著性セクタを表す整数値、及び近顕著性距離又は遠顕著性距離を表すバイナリ値[0,1]を使用してよい。他例において、高優先順位又は低優先順位を表すバイナリ値を使用してよい。顕著性情報の他の表現も使用してよい。
図9は、本開示の実施形態に係る車両9000に対する、図8に示される非重畳顕著性セクタ8010~8120のような非重畳顕著性セクタ9010~9120と、図7に示される視野7100~7700である視野9200~9800との対応関係の例の図である。簡単及び明確性のため、図9は、上が北に、右が東に配向される。
図示のように、車両9000の、図6に示される中心前方画像キャプチャユニット6100のような第1画像キャプチャユニットが、自律走行車両9000の北東の顕著性セクタ9050のための遠顕著性距離に対応する顕著性領域の少なくとも一部分、自律走行車両9000の北東の顕著性セクタ9050のための近顕著性距離に対応する顕著性領域、自律走行車両9000の北北東の顕著性セクタ9060のための遠顕著性距離に対応する顕著性領域、自律走行車両9000の北北東の顕著性セクタ9060のための近顕著性距離に対応する顕著性領域、自律走行車両9000の北北西の顕著性セクタ9070のための遠顕著性距離に対応する顕著性領域、自律走行車両9000の北北西の顕著性セクタ9070のための近顕著性距離に対応する顕著性領域、自律走行車両9000の北西の顕著性セクタ9080のための遠顕著性距離に対応する顕著性領域、及び自律走行車両9000の北西の顕著性セクタ9080のための近顕著性距離に対応する顕著性領域と重畳し又は部分的に重畳する図7に示される視野7100のような第1視野9200を有する。
図示のように、車両9000の、図6に示される左前方画像キャプチャユニット6200のような第2画像キャプチャユニットが、自律走行車両9000の北西の顕著性セクタ9080のための遠顕著性距離に対応する顕著性領域の少なくとも一部分、自律走行車両9000の北西の顕著性セクタ9080のための近顕著性距離に対応する顕著性領域、自律走行車両9000の西北西の顕著性セクタ9090のための遠顕著性距離に対応する顕著性領域、自律走行車両9000の西北西の顕著性セクタ9090のための近顕著性距離に対応する顕著性領域、自律走行車両9000の西南西の顕著性セクタ9100のための遠顕著性距離に対応する顕著性領域、及び自律走行車両9000の西南西の顕著性セクタ9100のための近顕著性距離に対応する顕著性領域と重畳し又は部分的に重畳する図7に示される視野7200のような第2視野9300を有する。
図示のように、車両9000の、図6に示される右前方画像キャプチャユニット6300のような第3画像キャプチャユニットが、自律走行車両9000の東南東の顕著性セクタ9030のための遠顕著性距離に対応する顕著性領域の少なくとも一部分、自律走行車両9000の東南東の顕著性セクタ9030のための近顕著性距離に対応する顕著性領域、自律走行車両9000の東北東の顕著性セクタ9040のための遠顕著性距離に対応する顕著性領域、自律走行車両9000の東北東の顕著性セクタ9040のための近顕著性距離に対応する顕著性領域、自律走行車両9000の北東の顕著性セクタ9050のための遠顕著性距離に対応する顕著性領域、及び自律走行車両9000の北東の顕著性セクタ9050のための近顕著性距離に対応する顕著性領域と重畳し又は部分的に重畳する図7に示される視野7300のような第3視野9400を有する。
図示のように、車両9000の、図6に示される左後方画像キャプチャユニット6400のような第4画像キャプチャユニットが、自律走行車両9000の南西の顕著性セクタ9110のための遠顕著性距離に対応する顕著性領域の少なくとも一部分、自律走行車両9000の南西の顕著性セクタ9110のための近顕著性距離に対応する顕著性領域、自律走行車両9000の南南西の顕著性セクタ9120のための遠顕著性距離に対応する顕著性領域、及び自律走行車両9000の南南西の顕著性セクタ9120のための近顕著性距離に対応する顕著性領域と重畳し又は部分的に重畳する図7に示される視野7400のような第4視野9500を有する。
図示のように、車両9000の、図6に示される右後方画像キャプチャユニット6500のような第5画像キャプチャユニットが、自律走行車両9000の南南東の顕著性セクタ9010のための遠顕著性距離に対応する顕著性領域の少なくとも一部分、自律走行車両9000の南南東の顕著性セクタ9010のための近顕著性距離に対応する顕著性領域、自律走行車両9000の南東の顕著性セクタ9020のための遠顕著性距離に対応する顕著性領域、及び自律走行車両9000の南東の顕著性セクタ9020のための近顕著性距離に対応する顕著性領域と重畳し又は部分的に重畳する図7に示される視野7500のような第5視野9600を有する。
図示のように、車両9000の、図6に示される左側方画像キャプチャユニット6600のような第6画像キャプチャユニットが、自律走行車両9000の北北西の顕著性セクタ9070のための近顕著性距離に対応する顕著性領域の少なくとも一部分、自律走行車両9000の北西の顕著性セクタ9080のための近顕著性距離に対応する顕著性領域、自律走行車両9000の西北西の顕著性セクタ9090のための近顕著性距離に対応する顕著性領域、自律走行車両9000の西南西の顕著性セクタ9100のための近顕著性距離に対応する顕著性領域、自律走行車両9000の南西の顕著性セクタ9110のための近顕著性距離に対応する顕著性領域、及び自律走行車両9000の南南西の顕著性セクタ9120のための近顕著性距離に対応する顕著性領域と重畳し又は部分的に重畳する図7に示される視野7700のような第6視野9700を有する。
図示のように、車両9000の、図6に示される右側方画像キャプチャユニット6700のような第7画像キャプチャユニットが、自律走行車両9000の南南東の顕著性セクタ9010のための近顕著性距離に対応する顕著性領域の少なくとも一部分、自律走行車両9000の南東の顕著性セクタ9020のための近顕著性距離に対応する顕著性領域、自律走行車両9000の東南東の顕著性セクタ9030のための近顕著性距離に対応する顕著性領域、自律走行車両9000の東北東の顕著性セクタ9040のための近顕著性距離に対応する顕著性領域、自律走行車両9000の北東の顕著性セクタ9050のための近顕著性距離に対応する顕著性領域、及び自律走行車両9000の北北東の顕著性セクタ9060のための近顕著性距離に対応する顕著性領域と重畳し又は部分的に重畳する図7に示される視野7800のような第7視野9800を有する。
図10は、本開示の実施形態に係る可視顕著性認識制御10000による自律走行車両動作管理の一例の流れ図である。可視顕著性認識制御10000による自律走行車両動作管理は、図1に示される自律走行車両1000、図2に示される自律走行車両2100/2110、図6~9に示される自律走行車両6000~9000、半自律走行車両、又は自律運転を実装する任意の他の車両のような自律走行車両に実装してよい。自律走行車両は、図2及び3に示される自律走行車両交通ネットワーク又はその一部分のような車両交通ネットワークを通り抜けることができる。
自律走行車両は、図4に示される自律走行車両動作管理システム4000のような自律走行車両動作管理システムを実装することができ、図4に示される自律走行車両動作管理コントローラ4100のような自律走行車両動作管理コントローラを含み得る。自律走行車両は、図6に示される認識ユニット6800のような認識ユニットを含み得る。これは、図6に示される前部画像処理ユニット6810のような前部画像処理ユニット、図6に示される後部画像処理ユニット6820のような後部画像処理ユニット、及び図6に示される認識制御ユニット6830のような認識制御ユニットを含み得る。自律走行車両は、図6に示される画像キャプチャユニット6100~6700のようなセンサを含み得る。
可視顕著性認識制御10000による自律走行車両動作管理は、認識ユニット、自律走行車両動作管理コントローラ、又はその双方を動作させることを含み、10100において自律走行車動作制御環境を動作させることと、10200において顕著性情報を特定することと、10300において外部オブジェクト情報を生成することと、10400において外部オブジェクト情報を出力することと、10500において特異車両動作シナリオを特定することと、10600においてシナリオ固有動作制御評価モジュールインスタンスをインスタンス生成することと、10700において候補車両制御アクションを受信することと、10800において自律走行車両交通ネットワークを通り抜けることとを含み得る。
自律走行車両が、10100において自律走行車動作制御環境を動作させることができる。これは、自律走行車動作制御環境を生成することを含み得る。例えば、自律走行車両動作管理コントローラは、シナリオ固有動作制御評価モジュールインスタンスを動作させるべく自律走行車動作制御環境を生成することができる。自律走行車動作制御環境は、図4に示される動作環境モニタ4200のような一以上の動作環境モニタを含み得る。
顕著性情報を10200において特定することができる。例えば、自律走行車両動作管理コントローラは、10200において顕著性情報を生成することができる。顕著性情報は、自律走行車両を取り囲む視野の一部分の顕著性、重要性、又は相対動作ユーティリティを示し得る。例えば、顕著性情報は、図8に示される顕著性領域のような、車両に対する一以上の顕著性領域、顕著性セクタ、顕著性距離、又はこれらの組み合わせを示し又は特定し得る。顕著性情報は、それぞれの顕著性領域又はセクタに対応する高優先順位又は低優先順位のような相対優先順位を示し得る。
いくつかの実装例において、顕著性情報は、各顕著性セクタのための顕著性距離情報及び優先順位情報を含み得る。例えば、図8に示される顕著性セクタ8010~8120のような各顕著性セクタに対し、顕著性情報は、バイナリ値01として表現される近顕著性距離、バイナリ値10として表現される遠顕著性距離、又はバイナリ値00若しくは11として表現される近顕著性距離と遠顕著性距離との組み合わせを含み、バイナリ値0として表現される低相対優先順位、又はバイナリ値1として表現される遠相対順位のような相対優先順位を示し得る。いくつかの実装例において、相対優先順位情報は、ランキング又は確率であってよい。いくつかの実装例において、顕著性情報は、低優先順位に関連付けられた顕著性領域に対し、顕著性情報を省略してよい。
顕著性情報を生成することは、例えば、自律走行車両の動作環境、以前に特定された外部オブジェクトデータ、又はこれらの組み合わせを表すマップデータのような車両交通ネットワーク情報を使用することを含み得る。以前に特定された外部オブジェクトデータは、自律走行車両動作管理システムが以前に生成したデータであってよく、これは、予測外部オブジェクトデータ又は外部オブジェクト確率データを含み得る。いくつかの実装例において、10100において自律走行車動作制御環境を動作させることが省略されてよく、外部オブジェクト追跡ユニットのような車両の他ユニットが顕著性情報を生成してよい。
認識ユニットは、10200において顕著性情報を取得することができる。例えば、認識ユニットは、顕著性情報を自律走行車両動作管理コントローラから受信することができる。
認識ユニットを動作させることは、10300において外部オブジェクト情報を生成することを含み得る。例えば、認識ユニットは、自律走行車両の所定距離内の一以上の外部オブジェクトに対応する外部オブジェクト情報を、10100において特定された顕著性情報に基づいて生成することができる。外部オブジェクト情報を生成することは、認識制御のために顕著性情報を処理することを含み得る。例えば、認識制御ユニットは、顕著性情報を自律走行車両の利用可能センサに相関させることができる。例えば、認識ユニットは、実質的に同時発生の画像のような一以上の画像を、図7に示される視野7100~7700のような一以上の視野に対応する図6に示される画像キャプチャユニット6100~6700のような自律走行車両の一以上の画像キャプチャユニットから受信することができる。認識制御ユニットは、画像キャプチャユニットがキャプチャした画像の顕著性部分を特定するべく顕著性情報を相関させることができる。各画像は、自律走行車両の動作環境の視野の実質的に時間的に同時発生の部分をキャプチャし得る。認識制御ユニットは、顕著性情報が示す顕著性領域に対応する一以上の画像キャプチャユニット、対応画像処理ユニット、又はその双方を特定することができる。認識制御ユニットは、例えば共有メモリに記憶することによって、顕著性情報又はその一部分を前部画像処理ユニット、後部画像処理ユニット、又はその双方に伝送し、送信し、又は利用可能にすることができる。
各画像処理ユニットが、センサ情報の顕著性部分を顕著性情報に基づいて決定することができる。自律走行車両の画像キャプチャユニットのようなセンサの、画像のようなセンサ情報を、顕著性部分から省略してよい。例えば、自律走行車両の画像キャプチャユニットがキャプチャした画像が、顕著性情報において特定される顕著性領域と非重畳であってよく、当該画像を顕著性部分から省略してよい。他例において、自律走行車両の画像キャプチャユニットがキャプチャした画像が、顕著性情報において特定される顕著性領域と重畳してよく、当該画像又はその一部分を顕著性部分に含めてよい。例えば、センサ情報を自律走行車両の画像キャプチャユニットがキャプチャした画像としてよく、顕著性部分を画像の空間的に連続な領域又はパッチとしてよい。画像処理ユニットは、画像の一以上の部分を顕著性部分として特定することができ、当該画像の残り部分を非顕著性部分として特定してよい。例えば、自律走行車両の画像キャプチャユニットがキャプチャした画像が、顕著性領域を含む視野を有してよく、画像処理ユニットが、顕著性情報において示される高優先順位顕著性領域に対応する画像の一部分を顕著性部分として特定してよい。顕著性情報において低優先順位として特定され、又は顕著性情報から省略される顕著性領域に対応する画像の複数部分を、非顕著性部分として特定してよい。画像のサイズに対する顕著性部分のサイズを、顕著性距離情報に基づいて決定してよい。
一例において、前部画像処理ユニットは、中心画像キャプチャユニットのような自律走行車両の第1画像キャプチャユニット、右前方画像キャプチャユニットのような自律走行車両の第2画像キャプチャユニット、及び左前方画像キャプチャユニットのような自律走行車両の第3画像キャプチャユニットがキャプチャした画像に基づいて、一以上の顕著性部分(第1画像処理データ)を特定することができる。後部画像処理ユニットは、左後方画像キャプチャユニットのような自律走行車両の第4画像キャプチャユニット、右後方画像キャプチャユニットのような自律走行車両の第5画像キャプチャユニット、左画像キャプチャユニットのような自律走行車両の第6画像キャプチャユニット、及び右画像キャプチャユニットのような自律走行車両の第7画像キャプチャユニットがキャプチャした画像に基づいて、一以上の顕著性部分(第2画像処理データ)を特定することができる。
いくつかの実装例において、画像処理ユニットが、3のような所定濃度を超える濃度を有する一セットの顕著性部分(候補顕著性部分)を特定することができ、画像処理ユニットが、顕著性情報に基づいて各顕著性情報の対応優先順位を決定することができ、画像処理ユニットは、顕著性部分において最高優先順位を有する候補顕著性部分の特定された濃度を含むとともに、非顕著性部分において顕著性部分以外の候補顕著性部分を含み得る。顕著性部分の最小優先順位が、非顕著性部分における候補顕著性部分の最大優先順位を超えてよい。
認識ユニットは、センサ情報の単数又は複数の顕著性部分に基づいて外部オブジェクト情報を生成することができる。例えば、前部画像処理ユニットは、中心画像キャプチャユニット、前左画像キャプチャユニット及び前右画像キャプチャユニットに対応する単数又は複数の顕著性部分に基づいて外部オブジェクト候補情報を生成することができ、後部画像処理ユニットは、左後方画像キャプチャユニット、右後方画像キャプチャユニット、左画像キャプチャユニット及び右画像キャプチャユニットに対応する単数又は複数の顕著性部分に基づいて外部オブジェクト候補情報を生成することができる。外部オブジェクト情報を生成することは、深層学習オブジェクト分類アルゴリズムを使用して単数又は複数の顕著性部分を評価することを含み得る。
認識ユニットを動作させることは、10400において外部オブジェクト情報を出力することを含み得る。例えば、認識ユニットは、例えば共有メモリに記憶することによって、外部オブジェクト情報またはその一部分を自律走行車両動作管理コントローラに、又は車両の他の単数若しくは複数のユニットに、伝送し、送信し、又は利用可能にすることができる。
自律走行車両動作管理コントローラを動作させることは、10500において特異車両動作シナリオを特定することを含み得る。自律走行車両動作管理コントローラは、10400において認識ユニットが出力した外部オブジェクト情報を使用して特異車両動作シナリオを特定することを含み得る。例えば、自律走行車両動作管理コントローラは、10400において認識ユニットが受信送信した外部オブジェクト情報を受信することができ、外部オブジェクト情報を受信したことに応答して特異車両動作シナリオを特定することができる。
自律走行車両動作管理コントローラを動作させることは、10600においてシナリオ固有動作制御評価モジュールインスタンスをインスタンス生成することを含み得る。例えば、自律走行車両動作管理コントローラは、10500において特異車両動作シナリオを特定したことに応答してシナリオ固有動作制御評価モジュールインスタンスをインスタンス生成することができる。シナリオ固有動作制御評価モジュールインスタンスは、特異車両動作シナリオのシナリオ固有動作制御評価モデルのインスタンスを含み得る。シナリオ固有動作制御評価モジュールインスタンスを動作させることは、シナリオ固有動作制御評価モデルのためのポリシーを特定することを含み得る。
自律走行車両動作管理コントローラを動作させることは、10700において候補車両制御アクションを受信することを含み得る。例えば、自律走行車両動作管理コントローラは、10600においてインスタンス生成されたシナリオ固有動作制御評価モジュールインスタンスのためのポリシーから候補車両制御アクションを受信することができる。
自律走行車両動作管理コントローラを動作させることは、10800において自律走行車両を、自律走行車両交通ネットワークの一部分を通り抜けるように制御することを含み得る。例えば、自律走行車両動作管理コントローラは、10700において特定された候補車両制御アクションに応じて自律走行車両を、自律走行車両交通ネットワークの一部分を通り抜けるように制御することができる。自律走行車両交通ネットワークの一部分は、10500において特定された特異車両動作シナリオを含み得る。
10200において顕著性情報を特定すること、10300において外部オブジェクト情報を生成すること、10400において外部オブジェクト情報を出力すること、10500において特異車両動作シナリオを特定すること、10600においてシナリオ固有動作制御評価モジュールインスタンスをインスタンス生成すること、10700において候補車両制御アクションを受信すること、及び10800において自律走行車両交通ネットワークの一部分を通り抜けることは、10900における方向線により示されるように順次に繰り返される。
図11は、本開示の実施形態に係る交差点シナリオ及び歩行者シナリオを含む車両交通ネットワークの一部分11000に対する可視顕著性認識制御による自律走行車両動作管理の一例の図である。可視顕著性認識制御による自律走行車両動作管理は、図1に示される自律走行車両1000、図2に示される自律走行車両2100/2110の一つ、図6~9に示される自律走行車両6000、7000、8000、9000の一つ、半自律走行車両、又は自律運転を実装する任意の他の車両のような自律走行車両11100が、図4に示される自律走行車両動作管理システム4000のような自律走行車両動作管理システムを動作させることを含み得る。これは、自律走行車両11100が第1道路11200に沿って第2道路11210との交差点に近付くように車両交通ネットワークの一部分を通り抜けることを含む自律走行車両動作制御シナリオの一モデルを含み得る。簡単及び明確性のため、図11に示される車両交通ネットワークの一部分11000は、上が北に、右が東に配向される。
第1遠隔車両11300が、第2道路11210に沿って西方向に通り抜けるように示される。第1遠隔車両11300の現在軌道は、実線の方向線を使用して示される。第2遠隔車両11400が、第2道路11210に沿って東方向に通り抜けるように示される。第2遠隔車両11400の現在軌道は、実線の方向線を使用して示される。歩行者11500が交差点の近くに示される。歩行者11500の現在軌道が、実線の方向線を使用して示される。これは、歩行者11500が、例えば、自律走行車両11100の予測経路11110と交差する経路に沿って第2道路11210の一部分を通り抜けることによって、自律走行車両11100の動作に影響を及ぼし得ることを示す。
自律走行車両動作管理システムは、交差点の配向を示す車両交通ネットワーク情報と、遠隔車両11300、11400及び歩行者11500を含み得る検出された外部オブジェクトを表す以前に取得された外部オブジェクト情報とを含み得る環境情報を動作させることに基づいて、顕著性情報を生成することができる。
自律走行車両11100は、図11に示される現在ロケーションに到着するべく第1道路11200を通り抜けることによって交差点に近付くことができる。自律走行車両11100の自律走行車両動作管理システムは、図11に示される車両交通ネットワークの一部分11000を通り抜けるための、図8に示される非重畳顕著性セクタ8010~8120のような一セットの非重畳顕著性セクタに基づいて顕著性情報を特定することができる。簡単及び明確性のため、特定された顕著性領域11600~11650は、図11において破線のアウトラインを使用して示される。図11が特定された顕著性領域11600~11650を示し他の顕著性領域を簡単及び明確性のため省略するにもかかわらず、図8に示されるような他の顕著性領域も、一セットの非重畳顕著性セクタに含まれてよい。自律走行車両11100の自律走行車両動作管理システムは、各顕著性セクタに対応する顕著性距離情報、顕著性優先順位情報、又はこれらの組み合わせを特定することができる。
自律走行車両11100の自律走行車両動作管理システムは、図4に示される交差点モニタ4230のような交差点モニタを動作させることができる。これは、交差点モニタをインスタンス生成することを含み得る。交差点モニタは、自律走行車両11100の特定されたルートに対応する一部分、自律走行車両11100に空間的に近接する一部分、若しくは自律走行車両11100の予測経路11110、又はこれらの組み合わせのような、車両交通ネットワークの一部分を表すマップデータ、センサデータ、又はこれらの組み合わせのような車両交通ネットワークデータを処理又は評価することができる。交差点モニタは、自律走行車両11100の動作環境又はその一側面を表す動作環境情報を特定又は生成することができる。
交差点モニタは、例えば車両交通ネットワーク情報に基づいて、自律走行車両の動作環境が交差点を含むことを決定することができ、例えば以前に特定された外部オブジェクト情報に基づいて、自律走行車両の前方及び右の第1遠隔車両11300、及び自律走行車両の前方及び左の第2遠隔車両11400を特定することができる。
交差点モニタは、遠隔車両11300、11400それぞれに対応する予測された相対ロケーション情報を特定することができる。交差点モニタは、遠隔車両11300、11400の予測相対ロケーションに対応する各顕著性領域を特定することができる。交差点モニタは、遠隔車両11300、11400に対応する各顕著性領域に対して高優先順位のような優先順位を特定することができる。
図示のように、自律走行車両11100の自律走行車両動作管理システムは、第1遠隔車両11300を含む自律走行車両11100の東北東の顕著性セクタに対する遠顕著性距離に対応する顕著性領域に対して高優先順位を特定することができ、第2遠隔車両11400を含む自律走行車両11100の西北西の顕著性セクタ11650に対する遠顕著性距離に対応する顕著性領域に対して高優先順位を特定することができる。
交差点モニタは、車両交通ネットワークにおける停止線に対応するロケーションのような、車両交通ネットワークにおける通行権境界ロケーション又は他のロケーションを特定してよい。通行権境界ロケーションは、自律走行車両11110の現在ロケーションと、自律走行車両11100の予測経路11110に沿った車両交通ネットワークにおける、自律走行車両11100が通行権重畳エリアに入ることなく安全に通り抜けられる通行権重畳エリアに最も近いロケーションとなり得る通行権重畳エリアに近接の、例えば直接隣接し若しくはそこから1メートルの、交通権重畳エリアとの間にある自律走行車両11100の予測経路11110に沿った車両交通ネットワークにおけるロケーションとしてよい。交差点モニタは、自律走行車両11100の現在ロケーションに対する停止線又は通行権境界ロケーションの予測相対配向に対応する顕著性領域を特定することができる。交差点モニタは、自律走行車両11100の現在ロケーションに対する停止線又は通行権境界ロケーションの予測相対配向に対応する顕著性領域に対し、高優先順位のような優先順位を特定してよい。交差点モニタは、自律走行車両11100の現在軌道又は予測経路11110に沿った顕著性領域を特定することができ、自律走行車両11100の現在軌道又は予測経路11110に沿った顕著性領域に対し、低優先順位のような優先順位を特定してよい。
図示のように、自律走行車両11100の自律走行車両運転管理システムは、自律走行車両11100の北東の顕著性セクタ11610の近顕著性距離、自律走行車両11100の北北東の顕著性セクタ11620の近顕著性距離、自律走行車両11100の北北西の顕著性セクタ11630の近顕著性距離、及び自律走行車両11100の北西の顕著性セクタ11640の近顕著性距離に対応する顕著性領域に対し、高優先順位を特定することができる。
自律走行車両11100の自律走行車両動作管理システムは、図4に示される歩行者モニタ4220のような歩行者モニタを動作させることができる。これは、歩行者モニタをインスタンス生成することを含み得る。歩行者モニタは、自律走行車両11100の特定されたルートに対応する一部分、自律走行車両11100に空間的に近接する一部分、若しくは自律走行車両11100の予測経路11110、又はこれらの組み合わせのような、車両交通ネットワークの一部分を表すマップデータ、センサデータ、又はこれらの組み合わせのような車両交通ネットワークデータを処理又は評価することができる。歩行者モニタは、自律走行車両11100の動作環境又はその一側面を表す動作環境情報を特定又は生成することができる。
歩行者モニタは、自律走行車両11100の左に歩行者11500を特定することができる。車両交通ネットワークは、横断歩道(明示せず)のような歩行者交通ネットワークの重畳部分を含み、歩行者モニタは、自律走行車両11100の現在ロケーションに関連する横断歩道の相対ロケーションに対応する一以上の顕著性領域を特定することができる。歩行者モニタは、歩行者11500、横断歩道、又はその双方に対応する顕著性領域に対し、高優先順位のような優先順位を特定することができる。
自律走行車両11100の自律走行車両動作管理システムは、例えば共有メモリに記憶することによって、特定された顕著性情報を自律走行車両11100の認識ユニットに伝送し、送信し、又は利用可能にすることができる。例えば、自律走行車両11100の自律走行車両動作管理システムは、例えば共有メモリに記憶することによって、自律走行車両11100の東北東の顕著性セクタ11600の遠顕著性距離に対する高優先順位、自律走行車両11100の北東の顕著性セクタ11610の近顕著性距離に対する高優先順位、自律走行車両11100の北北東の顕著性セクタ11620の近顕著性距離に対する高優先順位、自律走行車両11100の北北西の顕著性セクタ11630の近顕著性距離に対する高優先順位、自律走行車両11100の北西の顕著性セクタ11640の近顕著性距離に対する高優先順位、及び自律走行車両11100の西北西の顕著性セクタ11650の遠顕著性距離に対する高優先順位を示す顕著性情報を、自律走行車両11100の認識ユニットに伝送し、送信し、又は利用可能にすることができる。顕著性情報は、他の顕著性領域に対し、低優先順位を特定してよく又は顕著性情報を省略してよい。
自律走行車両11100の認識ユニットは、顕著性情報を取得し、受信し、読み取り、又はそれにアクセスし、当該顕著性情報を、自律走行車両11100の画像キャプチャユニットの各視野に相関させることができる。
自律走行車両11100の認識ユニットは、特定された顕著性領域11600~11650が、図6に示される中心前方画像キャプチャユニット6100のような自律走行車両11100の中心前方画像キャプチャユニットの視野11700、図6に示される左前方画像キャプチャユニット6200のような自律走行車両11100の左前方画像キャプチャユニットの視野11710、及び図6に示される右前方画像キャプチャユニット6300のような右前方画像キャプチャユニットの視野11720に空間的に対応することを決定することができる。
例えば、認識制御ユニットは、自律走行車両の東北東の顕著性セクタの遠顕著性距離に対応する顕著性領域11600が、自律走行車両の右前画像キャプチャユニットの視野11720に対応すること、例えば空間的に重畳すること、を決定してよい。認識制御ユニットは、自律走行車両の北東の顕著性セクタの近顕著性距離に対応する顕著性領域11610が、自律走行車両の右前画像キャプチャユニットの視野11720、自律走行車両の中心画像キャプチャユニットの視野11700、及び自律走行車の右画像キャプチャユニットの視野(図示せず)に対応すること、例えば空間的に重畳すること、を決定してよい。認識制御ユニットは、自律走行車両の北北東の顕著性セクタの近顕著性距離に対応する顕著性領域11620が、自律走行車両の中心画像キャプチャユニットの視野11700、及び自律走行車の右画像キャプチャユニットの視野(図示せず)に対応すること、例えば空間的に重畳すること、を決定してよい。認識制御ユニットは、自律走行車両の北北西の顕著性セクタの近顕著性距離に対応する顕著性領域11630が、自律走行車両の中心画像キャプチャユニットの視野11700、及び自律走行車の左画像キャプチャユニットの視野(図示せず)に対応すること、例えば空間的に重畳すること、を決定してよい。認識制御ユニットは、自律走行車両の北西の顕著性セクタの近顕著性距離に対応する顕著性領域11640が、自律走行車両の左前画像キャプチャユニットの視野11710、自律走行車両の中心画像キャプチャユニットの視野11700、及び自律走行車の左画像キャプチャユニットの視野(図示せず)に対応すること、例えば空間的に重畳すること、を決定してよい。例えば、認識制御ユニットは、自律走行車両の西北西の顕著性セクタの遠顕著性距離に対応する顕著性領域11650が、自律走行車両の左前画像キャプチャユニットの視野11710に対応すること、例えば空間的に重畳すること、を決定してよい。
自律走行車両11100の認識ユニットは、特定された顕著性領域11600~11650に対応するセンサ、例えば自律走行車両11100の中心前方画像キャプチャユニット、自律走行車両11100の左前方画像キャプチャユニット、及び自律走行車両11100の右前方画像キャプチャユニットがキャプチャ又は生成したセンサデータを使用して、外部オブジェクト情報を生成することができる。
例えば、認識制御ユニットは、前方画像処理ユニットを、自律走行車両の右前画像キャプチャユニット、自律走行車両の中心画像キャプチャユニット、及び自律走行車両の左前画像キャプチャユニットに関連付けられるとして特定し、顕著性情報又はその対応部分を当該前部画像処理ユニットに送信し、伝送し、又は与えることができる。いくつかの実装例において、認識制御ユニットは、顕著性情報を後部画像処理ユニットに送信することを省略してよく、後部画像処理ユニットに対応する顕著性領域の不在を示す顕著性情報を後部画像処理ユニットに送信してもよい。いくつかの実装例において、認識制御ユニットは、顕著性情報を前部画像処理ユニット及び後部画像処理ユニットの双方に送信してよい。
自律走行車両11100の認識ユニットは、例えば共有メモリに記憶することによって、外部オブジェクト情報を自律走行車両11100の自律走行車両動作管理システムに伝送し、送信し、又は利用可能にすることができる。
自律走行車両動作管理コントローラは、外部オブジェクト情報を含む動作環境情報に基づいて一以上のシナリオを検出又は特定してよい。例えば、自律走行車両動作管理コントローラは、交差点及び第1遠隔車両11300に対応する第1交差点シナリオ、交差点及び第2遠隔車両11400に対応する第2交差点シナリオ、並びに歩行者11500に対応する歩行者シナリオを検出又は特定してよい。
自律走行車両動作管理コントローラは、シナリオの検出又は特定に応答して、一以上のSSOCEMインスタンスをインスタンス生成してよく、動作環境情報をSSOCEMインスタンスに送信又は利用可能にしてよい。例えば、自律走行車両動作管理コントローラは、交差点及び第1遠隔車両11300に対応する第1交差点シナリオのための第1交差点SSOCEMインスタンスをインスタンス生成してよく、自律走行車両動作管理コントローラは、交差点及び第2遠隔車両11400に対応する第2交差点シナリオのための第2交差点SSOCEMインスタンスをインスタンス生成してよく、自律走行車両動作管理コントローラは、歩行者11500に対応する歩行者シナリオのための歩行者SSOCEMインスタンスをインスタンス生成してよい。
SSOCEMインスタンスをインスタンス生成することは、対応車両動作シナリオの一モデルのための解又はポリシーを特定することを含み得る。車両動作シナリオの一モデルのための解又はポリシーを特定することは、対応するSSOCEMモデルを解くことを含み得る。対応SSOCEMインスタンスをインスタンス生成することは、対応する解又はポリシーの一インスタンスをインスタンス生成することを含み得る。
第1交差点SSOCEM解インスタンスは、対応モデル化シナリオ及び対応する動作環境情報に基づいて「停止」、「配向調整」又は「進行」のような第1候補車両制御アクションを生成することができ、対応候補車両制御アクションを、例えば対応候補車両制御アクションを自律走行車両動作管理コントローラに送信すること、又は対応候補車両制御アクションを、自律走行車両動作管理コントローラによるアクセスのために記憶することによって、自律走行車両動作管理コントローラに出力することができる。
第2交差点SSOCEM解インスタンスは、対応モデル化シナリオ及び対応する動作環境情報に基づいて「停止」、「配向調整」又は「進行」のような第2候補車両制御アクションを生成することができ、対応候補車両制御アクションを、例えば対応候補車両制御アクションを自律走行車両動作管理コントローラに送信すること、又は対応候補車両制御アクションを、自律走行車両動作管理コントローラによるアクセスのために記憶することによって、自律走行車両動作管理コントローラに出力することができる。
歩行者SSOCEM解インスタンスは、対応モデル化シナリオ及び対応する動作環境情報に基づいて「停止」、「配向調整」又は「進行」のような第3候補車両制御アクションを生成することができ、対応候補車両制御アクションを、例えば対応候補車両制御アクションを自律走行車両動作管理コントローラに送信すること、又は対応候補車両制御アクションを、自律走行車両動作管理コントローラによるアクセスのために記憶することによって、自律走行車両動作管理コントローラに出力することができる。
自律走行車両動作管理コントローラは、候補車両制御アクションを対応インスタンス生成SSOCEMインスタンスから受信してよく、受信した候補車両制御アクションに基づいて、対応する時間的ロケーションにおいて自律走行車両11100を制御するべく、車両制御アクションを特定してよく、特定された車両制御アクションに応じて自律走行車両を、車両交通ネットワーク又はその一部分を通り抜けるように制御してよい。
図12は、本開示の実施形態に係る交差点シナリオを含む車両交通ネットワークの他部分12000の一例の図である。自律走行車両動作管理は、図1に示される自律走行車両1000、図2に示される自律走行車両2100/2110の一つ、図6~9に示される自律走行車両6000、7000、8000、9000の一つ、半自律走行車両、又は自律運転を実装する任意の他の車両のような自律走行車両12100が、図4に示される自律走行車両動作管理システム4000のような自律走行車両動作管理システムを動作させることを含み得る。これは、自律走行車両12100が第1道路12200に沿って第2道路12210との交差点に近付くように車両交通ネットワークの一部分を通り抜けることを含む自律走行車両動作制御シナリオの一モデルを含み得る。簡単及び明確性のため、図12に示される車両交通ネットワークの一部分12000は、上が北に、右が東に配向される。
第1遠隔車両12300が、第2道路12210に沿って交差点を通過して西方向に通り抜けるように示される。第1遠隔車両12300の現在軌道は、実線の方向線を使用して示される。第2遠隔車両12400が、第2道路12210に沿って東方向に通り抜けるように示される。第2遠隔車両12400は、交差点に隣接する停止線において静止しているように示される。第3遠隔車両12500が、第1道路12200に沿って交差点に向かって南方向に通り抜けるように示される。第3遠隔車両12500の現在軌道は、実線の方向線を使用して示される。
自律走行車両12100は、図12に示される現在ロケーションに到着するべく第1道路12200を通り抜けることによって交差点に近付くことができる。自律走行車両12100の自律走行車両動作管理システムは、図12に示される車両交通ネットワークの一部分12000を通り抜けるための、図8に示される非重畳顕著性セクタ8010~8120のような一セットの非重畳顕著性セクタに基づいて顕著性情報を特定することができる。簡単及び明確性のため、特定された顕著性領域12600~12630は、図12において破線のアウトラインを使用して示される。図12が特定された顕著性領域12600~12630を示し他の顕著性領域を簡単及び明確性のため省略するにもかかわらず、図8に示されるような他の顕著性領域も、一セットの非重畳顕著性セクタに含まれてよい。自律走行車両12100の自律走行車両動作管理システムは、各顕著性セクタに対応する顕著性距離情報、顕著性優先順位情報、又はこれらの組み合わせを特定することができる。
自律走行車両12100の自律走行車両動作管理システムは、図4に示される交差点モニタ4230のような交差点モニタを動作させることができる。これは、交差点モニタをインスタンス生成することを含み得る。交差点モニタは、自律走行車両12100の特定されたルートに対応する一部分、自律走行車両12100に空間的に近接する一部分、若しくは自律走行車両12100の予測経路12110、又はこれらの組み合わせのような、車両交通ネットワークの一部分を表すマップデータ、センサデータ、又はこれらの組み合わせのような車両交通ネットワークデータを処理又は評価することができる。交差点モニタは、自律走行車両12100の動作環境又はその一側面を表す動作環境情報を特定又は生成することができる。
交差点モニタは、例えば車両交通ネットワーク情報に基づいて、自律走行車両の動作環境が交差点を含むことを決定することができ、例えば以前に特定された外部オブジェクト情報に基づいて、自律走行車両の前方及び右の第1遠隔車両12300、及び自律走行車両の前方及び左の第2遠隔車両12400を特定することができる。
交差点モニタは、遠隔車両12300、12400、12500それぞれに対応する予測された相対ロケーション情報を特定することができる。交差点モニタは、遠隔車両12300、12400、12500の予測相対ロケーションに対応する各顕著性領域を特定することができる。交差点モニタは、遠隔車両12300、12400、12500に対応する各顕著性領域に対して高優先順位のような優先順位を特定することができる。
図示のように、自律走行車両12100の自律走行車両動作管理システムは、自律走行車両12100の北東の顕著性セクタ12600の近顕著性距離に対応する顕著性領域に対し、高優先順位を特定することができる。自律走行車両12100の自律走行車両動作管理システムは、第1遠隔車両12300の一部分を含む自律走行車両12100の北北東の顕著性セクタ12610の遠顕著性距離に対応する顕著性領域に対し、高優先順位を特定することができる。自律走行車両12100の自律走行車両動作管理システムは、第1遠隔車両12300の一部分を含みかつ第3遠隔車両12500を含む自律走行車両12100の北北西の顕著性セクタ12620の遠顕著性距離に対応する顕著性領域に対し、高優先順位を特定することができる。自律走行車両12100の自律走行車両動作管理システムは、第2遠隔車両12400を含む自律走行車両12100の北西の顕著性セクタ12630の近顕著性距離に対応する顕著性領域に対し、高優先順位を特定することができる。
交差点モニタは、12202に示される車両交通ネットワークにおける停止線に対応するロケーションのような、車両交通ネットワークにおける通行権境界ロケーション又は他のロケーションを特定してよい。通行権境界ロケーションは、自律走行車両12110の現在ロケーションと、自律走行車両12100の予測経路12110に沿った車両交通ネットワークにおける、自律走行車両12100が通行権重畳エリアに入ることなく安全に通り抜けられる通行権重畳エリアに最も近いロケーションとなり得る通行権重畳エリアに近接の、例えば直接隣接し若しくはそこから1メートルの、交通権重畳エリアとの間にある自律走行車両12100の予測経路12110に沿った車両交通ネットワークにおけるロケーションとしてよい。交差点モニタは、自律走行車両12100の現在ロケーションに対する停止線又は通行権境界ロケーションの予測相対配向に対応する顕著性領域を特定することができる。交差点モニタは、自律走行車両12100の現在ロケーションに対する停止線又は通行権境界ロケーションの予測相対配向に対応する顕著性領域に対し、高優先順位のような優先順位を特定してよい。交差点モニタは、自律走行車両12100の現在軌道又は予測経路12110に沿った顕著性領域を特定することができ、自律走行車両12100の現在軌道又は予測経路12110に沿った顕著性領域に対し、低優先順位のような優先順位を特定してよい。
自律走行車両12100の自律走行車両動作管理システムは、例えば共有メモリに記憶することによって、特定された顕著性情報を自律走行車両12100の認識ユニットに伝送し、送信し、又は利用可能にすることができる。例えば、自律走行車両12100の自律走行車両動作管理システムは、自律走行車両12100の北東の顕著性セクタ12600の近顕著性距離に対し高優先順位を示し、自律走行車両12100の北北東の顕著性セクタ12610の遠顕著性距離に対し高優先順位を示し、自律走行車両12100の北北西の顕著性セクタ12620の遠顕著性距離に対し高優先順位を示し、及び自律走行車両12100の北西の顕著性セクタ12630の近顕著性距離に対し高優先順位を示す顕著性情報を、自律走行車両12100の認識ユニットに伝送し、送信し、又は利用可能にすることができる。顕著性情報は、他の顕著性領域に対し、低優先順位を特定してよく又は顕著性情報を省略してよい。
自律走行車両12100の認識ユニットは、顕著性情報を取得し、当該顕著性情報を、自律走行車両12100の画像キャプチャユニットの各視野に相関させることができる。
自律走行車両12100の認識ユニットは、特定された顕著性領域12600~12630が、図6に示される自律走行車両12100の中心前方画像キャプチャユニット6100のような中心前方画像キャプチャユニットの視野12700に空間的に対応することを決定することができる。
自律走行車両12100の認識ユニットは、特定された顕著性領域12600~12630に対応するセンサ、例えば自律走行車両12100の中心前方画像キャプチャユニットがキャプチャ又は生成したセンサデータを使用して、外部オブジェクト情報を生成することができる。
例えば、認識制御ユニットは、前方画像処理ユニットを、自律走行車両の右前画像キャプチャユニット、自律走行車両の中心画像キャプチャユニット、及び自律走行車両の左前画像キャプチャユニットに関連付けられるとして特定し、顕著性情報又はその対応部分を当該前部画像処理ユニットに送信し、伝送し、又は与えることができる。いくつかの実装例において、認識制御ユニットは、顕著性情報を後部画像処理ユニットに送信することを省略してよく、後部画像処理ユニットに対応する顕著性領域の不在を示す顕著性情報を後部画像処理ユニットに送信してもよい。いくつかの実装例において、認識制御ユニットは、顕著性情報を前部画像処理ユニット及び後部画像処理ユニットの双方に送信してよい。
自律走行車両12100の認識ユニットは、例えば共有メモリに記憶することによって、外部オブジェクト情報を自律走行車両12100の自律走行車両動作管理システムに伝送し、送信し、又は利用可能にすることができる。
自律走行車両動作管理コントローラは、外部オブジェクト情報を含む動作環境情報に基づいて一以上のシナリオを検出又は特定してよい。例えば、自律走行車両動作管理コントローラは、交差点及び第1遠隔車両12300に対応する第1交差点シナリオ、交差点及び第2遠隔車両12400に対応する第2交差点シナリオ、並びに交差点及び第3遠隔車両12500に対応する第3交差点シナリオを検出又は特定してよい。
自律走行車両動作管理コントローラは、シナリオの検出又は特定に応答して、一以上のSSOCEMインスタンスをインスタンス生成してよく、動作環境情報をSSOCEMインスタンスに送信又は利用可能にしてよい。例えば、自律走行車両動作管理コントローラは、交差点及び第1遠隔車両12300に対応する第1交差点シナリオのための第1交差点SSOCEMインスタンスをインスタンス生成してよく、自律走行車両動作管理コントローラは、交差点及び第2遠隔車両12400に対応する第2交差点シナリオのための第2交差点SSOCEMインスタンスをインスタンス生成してよく、自律走行車両動作管理コントローラは、交差点及び第3遠隔車両12500に対応する第3交差点シナリオのための第3交差点SSOCEMインスタンスをインスタンス生成してよい。
SSOCEMインスタンスをインスタンス生成することは、対応車両動作シナリオの一モデルのための解又はポリシーを特定することを含み得る。車両動作シナリオの一モデルのための解又はポリシーを特定することは、対応するSSOCEMモデルを解くことを含み得る。対応SSOCEMインスタンスをインスタンス生成することは、対応する解又はポリシーの一インスタンスをインスタンス生成することを含み得る。
第1交差点SSOCEM解インスタンスは、対応モデル化シナリオ及び対応する動作環境情報に基づいて「停止」、「配向調整」又は「進行」のような第1候補車両制御アクションを生成することができ、対応候補車両制御アクションを、例えば対応候補車両制御アクションを自律走行車両動作管理コントローラに送信すること、又は対応候補車両制御アクションを、自律走行車両動作管理コントローラによるアクセスのために記憶することによって、自律走行車両動作管理コントローラに出力することができる。
第2交差点SSOCEM解インスタンスは、対応モデル化シナリオ及び対応する動作環境情報に基づいて「停止」、「配向調整」又は「進行」のような第2候補車両制御アクションを生成することができ、対応候補車両制御アクションを、例えば対応候補車両制御アクションを自律走行車両動作管理コントローラに送信すること、又は対応候補車両制御アクションを、自律走行車両動作管理コントローラによるアクセスのために記憶することによって、自律走行車両動作管理コントローラに出力することができる。
第3交差点SSOCEM解インスタンスは、対応モデル化シナリオ及び対応する動作環境情報に基づいて「停止」、「配向調整」又は「進行」のような第3候補車両制御アクションを生成することができ、対応候補車両制御アクションを、例えば対応候補車両制御アクションを自律走行車両動作管理コントローラに送信すること、又は対応候補車両制御アクションを、自律走行車両動作管理コントローラによるアクセスのために記憶することによって、自律走行車両動作管理コントローラに出力することができる。
自律走行車両動作管理コントローラは、候補車両制御アクションを対応インスタンス生成SSOCEMインスタンスから受信してよく、受信した候補車両制御アクションに基づいて、対応する時間的ロケーションにおいて自律走行車両12100を制御するべく、車両制御アクションを特定してよく、特定された車両制御アクションに応じて自律走行車両を、車両交通ネットワーク又はその一部分を通り抜けるように制御してよい。
図13は、本開示の実施形態に係る交差点シナリオ及び歩行者シナリオを含む車両交通ネットワークの他部分13000の一例の図である。自律走行車両動作管理は、図1に示される自律走行車両1000、図2に示される自律走行車両2100/2110の一つ、図6~9に示される自律走行車両6000、7000、8000、9000の一つ、半自律走行車両、又は自律運転を実装する任意の他の車両のような自律走行車両13100が、図4に示される自律走行車両動作管理システム4000のような自律走行車両動作管理システムを動作させることを含み得る。これは、自律走行車両13100が第1道路13200に沿って第2道路13210との交差点に近付くように車両交通ネットワークの一部分を通り抜けることを含む自律走行車両動作制御シナリオの一モデルを含み得る。簡単及び明確性のため、図13に示される車両交通ネットワークの一部分13000は、上が北に、右が東に配向される。
第1遠隔車両13300が、第2道路13210に沿って東方向に通り抜けるように示される。第1遠隔車両13300は、交差点に隣接する停止線において静止しているように示される。第2遠隔車両13400が、第1道路13200に沿って交差点に向かって南方向に通り抜けるように示される。第2遠隔車両13400の現在軌道は、実線の方向線を使用して示される。
自律走行車両13100は、図13に示される現在ロケーションに到着するべく第1道路13200を通り抜けることによって交差点に近付くことができる。自律走行車両13100の自律走行車両動作管理システムは、図13に示される車両交通ネットワークの一部分13000を通り抜けるための、図8に示される非重畳顕著性セクタ8010~8120のような一セットの非重畳顕著性セクタに基づいて顕著性情報を特定することができる。簡単及び明確性のため、特定された顕著性領域13500~13520は、図13において破線のアウトラインを使用して示される。図13が特定された顕著性領域13500~13520を示し他の顕著性領域を簡単及び明確性のため省略するにもかかわらず、図8に示されるような他の顕著性領域も、一セットの非重畳顕著性セクタに含まれてよい。自律走行車両13100の自律走行車両動作管理システムは、各顕著性セクタに対応する顕著性距離情報、顕著性優先順位情報、又はこれらの組み合わせを特定することができる。
自律走行車両13100の自律走行車両動作管理システムは、図4に示される交差点モニタ4230のような交差点モニタを動作させることができる。これは、交差点モニタをインスタンス生成することを含み得る。交差点モニタは、自律走行車両13100の特定されたルートに対応する一部分、自律走行車両13100に空間的に近接する一部分、若しくは自律走行車両13100の予測経路13110、又はこれらの組み合わせのような、車両交通ネットワークの一部分を表すマップデータ、センサデータ、又はこれらの組み合わせのような車両交通ネットワークデータを処理又は評価することができる。交差点モニタは、自律走行車両13100の動作環境又はその一側面を表す動作環境情報を特定又は生成することができる。
交差点モニタは、例えば車両交通ネットワーク情報に基づいて、自律走行車両の動作環境が交差点を含むことを決定することができ、例えば以前に特定された外部オブジェクト情報に基づいて、自律走行車両の前方及び左の第1遠隔車両13300、及び自律走行車両の前方の第2遠隔車両13400を特定することができる。
交差点モニタは、遠隔車両13300、13400それぞれに対応する予測された相対ロケーション情報を特定することができる。交差点モニタは、遠隔車両13300、13400の予測された相対ロケーションに対応する各顕著性領域を特定することができる。交差点モニタは、遠隔車両13300、13400に対応する各顕著性領域に対して高優先順位のような優先順位を特定することができる。
図示のように、自律走行車両13100の自律走行車両動作管理システムは、自律走行車両13100の北北東の顕著性セクタ13500の遠顕著性距離に対応する顕著性領域に対し、高優先順位を特定することができる。自律走行車両13100の自律走行車両動作管理システムは、第2遠隔車両13400を含む自律走行車両13100の北北西の顕著性セクタ13510の遠顕著性距離に対応する顕著性領域に対し、高優先順位を特定することができる。自律走行車両13100の自律走行車両動作管理システムは、第1遠隔車両13300を含む自律走行車両13100の北西の顕著性セクタ13520の近顕著性距離に対応する顕著性領域に対し、高優先順位を特定することができる。
交差点モニタは、図示のように車両交通ネットワークにおける停止線に対応するロケーションのような、車両交通ネットワークにおける通行権境界ロケーション又は他のロケーションを特定してよい。通行権境界ロケーションは、自律走行車両13100の現在ロケーションと、自律走行車両13100の予測経路13110に沿った車両交通ネットワークにおける、自律走行車両13100が通行権重畳エリアに入ることなく安全に通り抜けられる通行権重畳エリアに最も近いロケーションとなり得る通行権重畳エリアに近接の、例えば直接隣接し若しくはそこから1メートルの、交通権重畳エリアとの間にある自律走行車両13100の予測経路13110に沿った車両交通ネットワークにおけるロケーションとしてよい。交差点モニタは、自律走行車両13100の現在ロケーションに対する停止線又は通行権境界ロケーションの予測相対配向に対応する顕著性領域を特定することができる。交差点モニタは、自律走行車両13100の現在ロケーションに対する停止線又は通行権境界ロケーションの予測相対配向に対応する顕著性領域に対し、高優先順位のような優先順位を特定してよい。交差点モニタは、自律走行車両13100の現在軌道又は予測経路13110に沿った顕著性領域を特定することができ、自律走行車両13100の現在軌道又は予測経路13110に沿った顕著性領域に対し、低優先順位のような優先順位を特定してよい。
自律走行車両13100の自律走行車両動作管理システムは、例えば共有メモリに記憶することによって、特定された顕著性情報を自律走行車両13100の認識ユニットに伝送し、送信し、又は利用可能にすることができる。例えば、自律走行車両13100の自律走行車両動作管理システムは、自律走行車両12100の北北東の顕著性セクタ13500の遠顕著性距離に対し高優先順位を示し、自律走行車両13100の北北西の顕著性セクタ13510の遠顕著性距離に対し高優先順位を示し、及び自律走行車両13100の北西の顕著性セクタ13520の近顕著性距離に対し高優先順位を示す顕著性情報を、自律走行車両13100の認識ユニットに伝送し、送信し、又は利用可能にすることができる。顕著性情報は、他の顕著性領域に対し、低優先順位を特定してよく又は顕著性情報を省略してよい。
自律走行車両13100の認識ユニットは、顕著性情報を取得し、当該顕著性情報を、自律走行車両13100の画像キャプチャユニットの各視野に相関させることができる。
自律走行車両13100の認識ユニットは、特定された顕著性領域13500~13520が、図6に示される自律走行車両13100の中心前方画像キャプチャユニット6100のような中心前方画像キャプチャユニットの視野13600に空間的に対応することを決定することができる。
自律走行車両13100の認識ユニットは、特定された顕著性領域13500~13520に対応するセンサ、例えば自律走行車両13100の中心前方画像キャプチャユニットがキャプチャ又は生成したセンサデータを使用して、外部オブジェクト情報を生成することができる。
例えば、認識制御ユニットは、前方画像処理ユニットを、自律走行車両の右前画像キャプチャユニット、自律走行車両の中心画像キャプチャユニット、及び自律走行車両の左前画像キャプチャユニットに関連付けられるとして特定し、顕著性情報又はその対応部分を当該前部画像処理ユニットに送信し、伝送し、又は与えることができる。いくつかの実装例において、認識制御ユニットは、顕著性情報を後部画像処理ユニットに送信することを省略してよく、後部画像処理ユニットに対応する顕著性領域の不在を示す顕著性情報を後部画像処理ユニットに送信してもよい。いくつかの実装例において、認識制御ユニットは、顕著性情報を前部画像処理ユニット及び後部画像処理ユニットの双方に送信してよい。
自律走行車両13100の認識ユニットは、例えば共有メモリに記憶することによって、外部オブジェクト情報を自律走行車両13100の自律走行車両動作管理システムに伝送し、送信し、又は利用可能にすることができる。
自律走行車両動作管理コントローラは、外部オブジェクト情報を含む動作環境情報に基づいて一以上のシナリオを検出又は特定してよい。例えば、自律走行車両動作管理コントローラは、交差点及び第1遠隔車両13300に対応する第1交差点シナリオ、並びに交差点及び第2遠隔車両13400に対応する第2交差点シナリオを検出又は特定してよい。
自律走行車両動作管理コントローラは、シナリオの検出又は特定に応答して、一以上のSSOCEMインスタンスをインスタンス生成してよく、動作環境情報をSSOCEMインスタンスに送信又は利用可能にしてよい。例えば、自律走行車両動作管理コントローラは、交差点及び第1遠隔車両13300に対応する第1交差点シナリオのための第1交差点SSOCEMインスタンスをインスタンス生成してよく、自律走行車両動作管理コントローラは、交差点及び第2遠隔車両13400に対応する第2交差点シナリオのための第2交差点SSOCEMインスタンスをインスタンス生成してよく、自律走行車両動作管理コントローラは、交差点及び第3遠隔車両13500に対応する第3交差点シナリオのための第3交差点SSOCEMインスタンスをインスタンス生成してよい。
SSOCEMインスタンスをインスタンス生成することは、対応車両動作シナリオの一モデルのための解又はポリシーを特定することを含み得る。車両動作シナリオの一モデルのための解又はポリシーを特定することは、対応するSSOCEMモデルを解くことを含み得る。対応SSOCEMインスタンスをインスタンス生成することは、対応する解又はポリシーの一インスタンスをインスタンス生成することを含み得る。
第1交差点SSOCEM解インスタンスは、対応モデル化シナリオ及び対応する動作環境情報に基づいて「停止」、「配向調整」又は「進行」のような第1候補車両制御アクションを生成することができ、対応候補車両制御アクションを、例えば対応候補車両制御アクションを自律走行車両動作管理コントローラに送信すること、又は対応候補車両制御アクションを、自律走行車両動作管理コントローラによるアクセスのために記憶することによって、自律走行車両動作管理コントローラに出力することができる。
第2交差点SSOCEM解インスタンスは、対応モデル化シナリオ及び対応する動作環境情報に基づいて「停止」、「配向調整」又は「進行」のような第2候補車両制御アクションを生成することができ、対応候補車両制御アクションを、例えば対応候補車両制御アクションを自律走行車両動作管理コントローラに送信すること、又は対応候補車両制御アクションを、自律走行車両動作管理コントローラによるアクセスのために記憶することによって、自律走行車両動作管理コントローラに出力することができる。
自律走行車両動作管理コントローラは、候補車両制御アクションを対応インスタンス生成SSOCEMインスタンスから受信してよく、受信した候補車両制御アクションに基づいて、対応する時間的ロケーションにおいて自律走行車両13100を制御するべく、車両制御アクションを特定してよく、特定された車両制御アクションに応じて自律走行車両を、車両交通ネットワーク又はその一部分を通り抜けるように制御してよい。
ここで使用されるように、用語「コンピュータ」又は「コンピューティングデバイス」は、ここに開示される任意の方法、又はその任意の単数若しくは複数の部分を実行することができる任意のユニット、又は複数のユニットの組み合わせを含む。
ここで使用されるように、用語「プロセッサ」は、一以上の特殊目的プロセッサ、一以上のデジタル信号プロセッサ、一以上のマイクロプロセッサ、一以上のコントローラ、一以上のマイクロコントローラ、一以上のアプリケーションプロセッサ、一以上の特定用途向け集積回路、一以上の特定用途向け標準製品のような一以上のプロセッサと、一以上のフィールドプログラマブルゲートアレイ、任意の他のタイプの集積回路若しくは集積回路の組み合せ、一以上の状態機械、又はこれらの任意の組み合せとを示す。
ここに使用されるように、用語「メモリ」は、任意のプロセッサによって又は任意のプロセッサに関連して使用され得る任意の信号又は情報を有体的に含み、記憶し、通信し、又は輸送し得る任意のコンピュータ使用可能又はコンピュータ読み取り可能な媒体又はデバイスを示す。例えば、メモリは、一以上のリードオンリーメモリ(ROM)、一以上のランダムアクセスメモリ(RAM)、一以上のレジスタ、低電力ダブルデータレート(LPDDR)メモリ、一以上のキャッシュメモリ、一以上の半導体メモリデバイス、一以上の磁気媒体、一以上の光媒体、一以上の光磁気媒体、又はこれらの任意の組み合せとしてよい。
ここに使用されるように、用語「命令」は、ここに開示される任意の方法、又はその任意の単数若しくは複数の部分を実行するための指示又は表現を含み、ハードウェア、ソフトウェア、又はこれらの任意の組み合わせで実現することができる。例えば、命令は、ここに記載されるそれぞれの方法、アルゴリズム、側面、又はこれらの組み合わせのいずれかを実行するべくプロセッサによって実行され得るコンピュータプログラムのような、メモリに記憶される情報として実装することができる。いくつかの実施形態において、命令又はその一部分は、ここに記載される方法、アルゴリズム、側面、又はこれらの組み合わせを実行するための専用ハードウェアを含み得る特殊目的プロセッサ又は回路として実装されてよい。いくつかの実施形態において、命令の複数部分は、直接に又はローカルエリアネットワーク、ワイドエリアネットワーク、インターネット、若しくはこれらの組み合わせのようなネットワークを介して通信され得る単数デバイス上の、多数のデバイス上の、多数のプロセッサにわたって分散されてよい。
ここに使用されるように、用語「例」、「実施形態」、「実装例」、「側面」、「特徴」又は「要素」は、一の例、実例又は例示として機能することを示す。明示的に示されない限り、任意の例、実施形態、実装例、側面、特徴又は要素は、他の例、実施形態、実装例、側面、特徴又は要素とは互いに独立しており、任意の他の例、実施形態、実装例、側面、特徴又は要素と組み合わせて使用されてよい。
ここに使用されるように、用語「決定」及び「特定」、又はその任意のバリエーションは、ここに図示され記載されるデバイスの一以上を使用して、任意の方法で、選択、確認、コンピューティング、検索、受信、決定、確立、取得、又は特定若しくは決定することを含む。
ここに使用されるように、用語「又は」及び「若しくは」は、排他的な「又は」及び「若しくは」ではなく、包括的な「又は」及び「若しくは」を意味することを意図する。すなわち、別段の指定がない限り、又は文脈から明らかな場合を除き、「XはA又はBを含む」は、自然の包含的な順列のいずれかを示すことを意図している。すなわち、XがAを含み、XがBを含み、又はXがA及びBの双方を含む場合、上記実例のいずれかにおいて「XはA又はBを含む」が満たされる。加えて、本願及び添付の特許請求の範囲において使用される冠詞「一」及び「一の」は、単数形に向けられることが別段の指定されない限り又は文脈上明確でない限り、一般に「一以上」を意味すると解釈されるべきである。
さらに、説明の簡単のため、ここでの図面及び記載が複数のステップ又は段のシーケンス又は連続を含み得るにもかかわらず、ここに開示される方法の複数の要素は、様々な順序で又は同時に行うことができる。付加的に、ここに開示される方法の要素は、ここに明示的に提示及び記載されていない他の要素とともに行うことができる。さらに、ここに記載される方法のすべての要素が、本開示に係る方法を実施するべく必要とされるわけではない。複数の側面、特徴及び要素が特定の組み合わせで記載されるにもかかわらず、各側面、特徴又は要素は、独立して、又は他の側面、特徴及び要素あり又はなしの様々な組み合わせで使用することができる。
上述の側面、実施例及び実装例が、本開示の理解を容易にするべく記載されてきたが、これらに限定されるものではない。それどころか、本開示は、添付の特許請求の範囲の中に含まれる様々な修正例及び均等な配列例も包含し、その範囲は、法律の下で許容されるすべての修正例及び均等の構造を包含するように最も広い解釈が与えられるべきである。