JP2024514510A - 外界についてのセンサデータへのインデクス付与 - Google Patents

Abstract

【課題】システムの提供。【解決手段】本明細書において記載されるシステム、方法及び他の実施形態は、導出内容によってセンサデータにインデクス付与することによって、移動環境におけるセンサデータの使用を改善することに関する。一実施形態において、方法は、取り出しイベントに応答して、車両からセンサデータを取得することを含む。方法は、センサデータがどのように取得されたかという属性に従ってセンサデータのインデクスを生成することを含む。方法は、少なくともモデルを用いて、追加内容を導出するためにセンサデータを分析することを含む。方法は、属性と関連するセンサデータの特徴をさらに示すように、追加内容を用いてインデクスを更新することを含む。方法は、センサデータの内容についての報告として、リモート機器にインデクスを提供することを含む。【選択図】図４

Description

関連出願の相互参照
本出願は、２０２１年４月２日に出願された、米国特許仮出願第６３／１７０，２９１号の利益を主張するもので、この仮出願の内容全体を参照により本明細書に援用される。

本明細書において記載される主題は、概して、センサデータへのインデクス付与の改善に関し、特に、センサデータ自体を取り出す代わりに、センサデータへのインデクス付与、及びインデクスを用いてセンサデータを表すことに関する。

最新の車両は、非常に大量のデータを生成する。このような大量のデータを扱う場合、通信と記憶の利用可能な手段は、概して困難に直面する。つまり、たとえば携帯電話ネットワークなどの利用可能な通信経路は、車両からセンサデータを取り出すときに重大なボトルネックとなり、クラウドベースのシステムが大量の生データを潜在的に処理できる一方で、それぞれ別々の車両が生成する量を考慮すると通信及び記憶のコストが著しいものになり、それにより、センサデータを取り出そうとするときに困難が生じる。

コンピュータ制御の車両、スマートシステム、モノのインターネット機器などの形で、ますます多くのデータ収集システムがオンラインになるにつれて、通信及び記憶の問題は悪化するばかりである。既存のネットワークシステムの膨大な量のデータと非対称設計は、センサデータを取り出す困難に加えて、概して望ましくない記憶と処理の著しい負荷が中央データシステムにかかることを意味する。

様々な実施形態において、システム及び方法の例は、導出内容によってセンサデータにインデクスを付与し、様々な情報源からのインデクスを集約してセンサデータの統合一覧を形成することによって、移動環境におけるセンサデータの取り出しを改善する手法に関する。前述のように、自動運転及び／又は他の目的のために各種センサを備える車両は、大量のセンサデータを生成する。センサデータは、その中に表現される外界に関する有益な情報を含む。しかしながら、車両からセンサデータを取り出し、役立つ方法でセンサデータを提供することは、情報の量、及び、通信経路及び計算リソースに対する限界のため、著しい困難を示す。

したがって、一つ以上の実施形態において、取り出し及び処理を実行する末端配置装置の能力を利用することによって、センサデータの取り出し及び処理を改善し、それにより、通信のボトルネック及びクラウドの計算リソースの多大な使用を回避する、本発明のシステムが開示される。たとえば一つの取り組みでは、システムは、充電ステーションと統合されるか、さもなければ、車両が長時間駐車する可能性がある場所（たとえば、自宅、オフィス、駐車場など）の末端配置装置に関連付けられる。どちらの場所が利用される場合でも、システムは概して、センサデータを記憶及び処理し、少なくとも１台の車両に対してそれを行う能力を有する末端配置装置と統合される。したがって、システムは、車両から生のセンサデータを取り出しローカルに記憶する。続いて、システムは、センサデータに対して、例えば機械学習モデル、分析論等の種々のアプリケーションを実行して、追加内容を導出してもよい。追加内容は、種々の形をとってもよく概して限定されないが、機械認識（例えば、物体認知、情景認識／相関等）を含んでもよい。

さらに、システムは、たとえば本来の用途に関連する車両上のセンサデータの処理の一部として、車両自体によって生成された生のセンサデータ導出物も受信してもよい。したがって、種々の構成で、車両からの生のセンサデータは、センサデータの内容をさらに特徴付ける注釈及び／又はメタデータの他の層を含む。いずれにせよ、システムは、センサデータ自体と車両とシステムの両方からの導出内容の属性に従って、センサデータにインデクスを付与する。システムは、センサデータにインデクスを付与するために、概して、センサデータの各部分がいつ、どこで取得されたかを示す時間及び位置情報である属性を使用する。システムは、続いて、時間位置情報を導出内容についての注釈に関連付けることによって、導出内容を用いてインデクスをさらに更新してもよい。その後で、システムは、センサデータに関する情報を含むインデクスをクラウドベースの機器に提供する。クラウドベースの機器は、同じ及び異なる地理的位置内の車両からのインデクスを集約するように機能し、それにより、幅広く選択された車両から収集されたセンサデータの一覧（つまり、集約／結合されたインデクス）が生成される。これは、興味深いデータを特定するためのエントリポイントとして機能しうるセンサデータのさまざまな局面についてクエリを実行し、次に必要に応じて末端装置からデータを直接取得するための中心的なリソースを提供する。したがって、本システムは、クラウドでセンサデータをアップロードして処理することに伴う問題点を回避しつつ、多くの異なる目的のためのセンサデータの使用を容易にする。このようにして、本システムは、外界の観測された領域についてインデクスを提供することによってセンサデータの使用を改善し、それにより、情報の記憶及び使用を単純化する。

一実施形態において、センサデータの取り出し及び記憶を改善するための収集システムが開示される。収集システムは、一つ以上のプロセッサ、及び一つ以上のプロセッサに通信可能に接続されたメモリを含む。メモリは、一つ以上のプロセッサによって実行されると、取り出しイベントに応答して、一つ以上のプロセッサに車両からセンサデータを取得させる命令を記憶する。命令は、センサデータがどのように取得されたかという属性に従って、センサデータのインデクスを生成する命令を含む。命令は、少なくともモデルを用いて、追加内容を導出するためにセンサデータを分析し、属性と関連するセンサデータの特徴をさらに示すように、追加内容を用いてインデクスを更新する命令を含む。命令は、センサデータの内容についての報告として、リモート機器にインデクスを提供する命令を含む。

一実施形態において、センサデータの取り出し及び記憶を改善し、一つ以上のプロセッサによって実行されると、一つ以上のプロセッサに一つ以上の機能を実行させる命令を含む、非一時的なコンピュータ可読媒体が開示される。命令は、取り出しイベントに応答して、車両からセンサデータを取得するための命令を含む。命令は、センサデータがどのように取得されたかという属性に従って、センサデータのインデクスを生成して、少なくともモデルを用いて、追加内容を導出するためにセンサデータを分析する命令を含む。命令は、属性と関連するセンサデータの特徴をさらに示すように、追加内容を用いてインデクスを更新する命令を含む。命令は、センサデータの内容についての報告として、リモート機器にインデクスを提供する命令を含む。

一実施形態において、方法が開示される。一実施形態において、方法は、取り出しイベントに応答して、車両からセンサデータを取得することを含む。方法は、センサデータがどのように取得されたかという属性に従って、センサデータのインデクスを生成することを含む。方法は、少なくともモデルを用いて、追加内容を導出するためにセンサデータを分析することを含む。方法は、属性と関連するセンサデータの特徴をさらに示すように、追加内容を用いてインデクスを更新することを含む。方法は、センサデータの内容についての報告として、リモート機器にインデクスを提供することを含む。

添付の図面は、本明細書に組み込まれてその一部を構成し、本開示のさまざまなシステム、方法、及び他の実施形態を示す。図に示された要素境界（例えば、ボックス、ボックスのグループ、又は他の形状）は、境界の一実施形態を表すことが理解されよう。一部の実施形態では、一つの要素が複数の要素として設計されてもよく、又は、複数の要素が一つの要素として設計されてもよい。一部の実施形態では、別の要素の内部要素として示される要素が、外部要素として実装されてもよく、そしてその逆でもよい。さらに、要素は一定の縮尺で描かれていないことがある。
図１は、本明細書において開示されるシステム及び方法が実装されうる車両の一実施形態を示す。 図２は、センサデータのインデクスの改良に関連する収集システムの一実施形態を示す。 図３は、本明細書において論じられるシステム及び方法を実装する各種構成要素を含むネットワークの図解を示す。 図４は、末端装置でのセンサデータへのインデクス付与に関連する方法の一実施形態を示すフローチャートである。

導出内容によってセンサデータにインデクスを付与し、様々な情報源からのインデクスを集約してセンサデータの統合一覧を形成することによって、移動環境におけるセンサデータの取り出しを改善する手法と関連する、システム、方法及び他の実施形態が開示される。前述のように、自動運転及び／又は他の目的のために各種センサを備える車両は、大量のセンサデータを生成する。一部の例において、そのような車両は、５ＴＢ／時間のセンサデータを生成しうる。センサデータは、その中に表現される外界に関する有益な情報を含む。しかしながら、車両からセンサデータを取り出して、受け入れ可能な形でセンサデータを提供することは、通信経路及び計算リソースに対する制約のため著しい困難を示す。

したがって、一つ以上の実施形態において、取り出し及び処理を実行する末端配置装置の能力を利用することによって、センサデータの取り出し及び処理を改善する、収集システムが開示される。直接の物理的接続又は堅固な無線接続がより可能になるため、情報源に近い末端装置の使用が通信のボトルネックを回避する。さらに、末端装置は、装置に取り出しを行う車両の集合に関連付けられたより小さなデータセットに計算リソースを集中させることができるため、クラウド内の計算リソースの大量使用を回避できる。

たとえば、一つの取り組みでは、システムは充電ステーションと統合されるか、さもなければ、車両が長時間駐車しうる場所（たとえば、自宅、オフィス、駐車場など）の末端配置装置に関連付けられる。どちらの場所が利用される場合でも、システムは概して、センサデータを記憶及び処理し、少なくとも１台の車両に対してそれを行う能力を有する末端配置装置と統合される。したがって、システムは、車両から生のセンサデータを取り出し、ローカルに記憶する。続いて、システムは、センサデータに対して例えば機械学習モデル、分析論等の種々のアプリケーションを実行して、追加内容を導出してもよい。追加内容は、種々の形をとってもよく概して限定されないが、機械認識（例えば、物体認知、情景認識／相関等）、及びセンサデータから導出される他の情報を含んでもよい。

さらに、システムは、車両自体によって生成された生のセンサデータ導出物を受信してもよい。つまり、車両は最初にセンサデータを生成し、そのセンサデータを処理して、たとえば周囲環境の局面を認識することができる。これらの認識は、異なる形、例えばオブジェクトインスタンス同定、認識された場面のセマンティックセグメンテーション、軌跡推定など、をとることができる。したがって、車両は、さらにセンサデータを豊かにして同じ決定のための冗長な処理を回避するために、センサデータとともにこれらの導出物を提供してもよい。次に、車両は、さまざまな構成で、センサデータとともに、センサデータの内容をさらに特徴付ける注釈及び／又はメタデータの他の層を含んでもよい。

一旦車両から取り出されると、システムは、センサデータ自体の属性、及び車両及び収集システムから生成される導出内容に従って、センサデータにインデクスを付与する。収集システムは、最初にセンサデータにインデクスを付与するために、概して、センサデータの各部分がいつ、どこで取得されたかを示す時間及び位置情報である属性を使用する。システムは、続いて、時間位置情報を導出内容についての注釈に関連付けることによって、導出内容を用いてインデクスをさらに更新してもよい。その後で、システムは、センサデータ自体ではなく、センサデータに関する情報を含むインデクスをクラウドベースの機器に提供する。クラウドベースの機器は、同じ及び異なる地理的位置内の車両からのインデクスを集約するように機能し、それにより、幅広い車両から収集されたセンサデータの一覧（つまり、集約／結合されたインデクス）が生成される。これは、興味深いデータを特定し、次に必要に応じて末端装置からデータを直接取得するためのエントリポイントとして機能しうる、センサデータのさまざまな局面についてクエリを実行するための中心的なリソースを提供する。したがって、本システムは、クラウドでセンサデータをアップロードして処理することに伴う問題点を回避しつつ、多くの異なる目的のためのセンサデータの使用を容易にする。このようにして、本システムは、センサデータの使用を改善し、外界の観測された領域についてのインデクスを提供する。

図１を参照すると、車両１００の例が示される。本明細書で使用される場合、「車両」は、任意の形の動力付き輸送機関である。一つ以上の実施態様で、車両１００は自動車である。本明細書において自動車及び末端装置に関して構成が記載されるが、実施形態がこれらの機器に限定されないことが理解されよう。一部の実施態様では、収集システム１７０は、例えば外界についてのセンサデータを収集する任意の装置の中で実装されてもよい。種々の取り組みにおいて、車両１００は、自動運転車両であってもよい。本明細書で使用される場合、自動運転車両とは、少なくともいくつかの自動運転機能を有する車両を意味する。したがって、車両１００は、自律的に、半自律的に、又は様々な先進運転支援システム（ＡＤＡＳ）の支援を受けて動作するものであってもよい。さらに、車両１００は、少なくとも一つの構成において、他の接続された車両、インフラストラクチャ要素（例えば、路側機、末端装置など）、クラウドコンピューティング要素などの他の機器と無線通信することができる、接続された車両である。さらに、本開示は概して車両１００に関連して記載されるが、さらに別の取り組みでは、本明細書に開示され言及されたシステム及び方法は、特定の形式の車両に関連付けられておらず、代わりに、例えば個人が持ち運ぶことができ、独立して機能することも他の機器の追加システム（センサなど）と連携して機能することもできる移動電子機器の一部として組み込まれる電子機器などの、他の要素の一部として実装されてもよい。

いずれにせよ、車両１００は種々の要素も含む。種々の実施形態で、車両１００が図１に示される要素の全てを有することは必要ではないであろうことが理解されよう。車両１００は、図１に示される種々の要素の異なる組合せを有してもよい。さらに、車両１００は、図１に示される要素に対して追加の要素を備えてもよい。一部の構成において、車両１００は、図１に示される要素の一つ以上無しで実装されてもよい。種々の要素が図１の車両１００の内部に設置されるように示されているが、これらの要素の一つ以上が車両１００の外部に設置されてもよいことが理解されよう。さらに、示される要素は、大きな距離だけ物理的に離されてもよい。例えば、論じられるように、開示される収集システム１７０の一つ以上の構成要素は車両１００の中に実装することができるが、収集システム１７０のさらなる構成要素は、さらにその後に論じられるように、末端配置装置の中に実装される。

車両１００の可能な要素の一部が図１に示されており、その後に続く図とともに記載される。しかしながら、図１の要素の多くについての説明は、この説明を簡潔にするために図２から図４に関する論考の後に提供される。さらに、説明を簡単かつ明瞭にするために、必要に応じて、対応する要素又は類似の要素を示すために、異なる図の間で参照番号を繰り返していることが理解されよう。さらに、この論考は、本明細書において記載される実施形態の完全な理解を提供するために、多数の具体的な詳細を概説する。しかしながら、当業者は、本明細書において記載される実施形態がこれらの要素の種々の組合せを用いて実践されてもよいことを理解するであろう。いずれにせよ、図１の実施形態にて説明するように、車両１００は、車両１００によって集められるセンサデータの収集、処理及びインデクス付与に関する、本明細書において開示する方法及び他の機能を実行するために実装される収集システム１７０を含む。前述のように、収集システム１７０は車両１００の構成要素であるとして示さるが、本開示は、収集システム１７０が、例えばマイクロデータセンタ、路側機、充電ステーションなどの末端装置を含むがこれに限定されない異なる機器の中の別々の異なるインスタンスとして実装されるとして構想する。概して、そのような機器は車両が長期間駐車するどこに設置されてもよい。

したがって、これらの機器は、家庭に、オフィスに、充電ステーションと一体化されて、駐車場内に、などに設置されてもよい。概して、静的位置にある末端装置と関係付けられた収集システム１７０は、取り出されたセンサデータに対してアプリケーションを実行して追加の導出内容を生成するための処理リソースの形でさらなるリソースも提供すると共に、たとえば、大量のデータを扱う追加の記憶装置を備えて構成される。

さらに、収集システム１７０は、車両１００内に備えられており、通信システムと連携して機能する。一実施形態において、通信システムは一つ以上の通信規格に従って通信する。例えば、通信システムは、有線か無線かにかかわらず、異なる周波数でそれぞれのプロトコルに従って通信するための、複数の異なるアンテナ／送信器及び／又は他のハードウェア要素を含んでもよい。通信システムは、一つの構成において、ＷｉＦｉ、ＤＳＲＣ、Ｖ２Ｉ、Ｖ２Ｖなどの通信プロトコル、又は車両１００と末端装置などの他の要素との間で通信するための別の適切なプロトコルを介して通信する。さらに、通信システムは、一つの構成において、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ）、ＧＳＭ進化型高速データレート（ＥＤＧＥ）、ロングタームエボリューション（ＬＴＥ）、５Ｇなどのプロトコル、又は、車両１００に様々な遠隔装置との通信を提供する別の通信技術に従ってさらに通信する。いずれにせよ、収集システム１７０は、他の要素及び／又は他の要素からの受信情報への通信を提供する、種々の通信技術を活用してもよい。

図２を参照すると、収集システム１７０の一実施形態がさらに示される。収集システム１７０は、図１の車両１００からのプロセッサ１１０を含むものとして示される。したがって、プロセッサ１１０は収集システム１７０の一部であってもよく、収集システム１７０は車両１００のプロセッサ１１０とは別個のプロセッサを含んでもよく、あるいは収集システム１７０はデータバス又は別の通信経路を介してプロセッサ１１０にアクセスしてもよい。更なる態様において、プロセッサ１１０は、クラウドベースのリソースである。したがって、プロセッサ１１０は、通信回路網を通して収集システム１７０と通信してもよいか、又は収集システム１７０と同じ位置に配置されてもよい。一実施形態において、収集システム１７０は、データモジュール２２０を記憶するメモリ２１０を含む。メモリ２１０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスク装置、フラッシュメモリ、又はモジュール２２０及び／又は収集システム１７０によって用いられる他の情報を記憶するための他の適切なメモリ（揮発性の又は不揮発性の）である。モジュール２２０は、例えば、プロセッサ１１０によって実行されるときに、プロセッサ１１０に本明細書において開示される種々の機能を実行させる、物理メモリ２１０の中のコンピュータ可読命令である。

図２及び収集システム１７０の一般的な実施形態を続けると、一つ以上の構成において、収集システム１７０はデータストア２３０を含む。データストア２３０は、一実施形態において、メモリ２１０又は別の電子メモリに記憶された電子データ構造（例えば、データベース）であり、記憶されたデータを分析し、記憶されたデータを提供し、記憶されたデータを整理するなどのためにプロセッサ１１０によって実行されうるルーチンで構成される。したがって、一実施形態において、データストア２３０は、種々の機能を実行する際にモジュール２２０によって用いられるデータを記憶する。一実施形態において、データストア２３０は、モジュール２２０によって用いられる他の情報とともに、センサデータ２４０を含む。データストア２３０は、センサデータ２４０を含むものとして示されるが、車両１００の自動化システムからの導出内容、及び／又はエッジデバイスにて実装されるときにプロセッサ１１０によって実行されるアプリケーションからの導出内容を含む、センサデータ２４０に関連付けられたメタデータなどの追加の情報セットを含むように、収集システム１７０の別個のインスタンスがデータストア２３０を実装してもよいことを理解されたい。

いずれにせよ、データモジュール２２０は、車両１００の一部として実装されるときに、車両１００の周囲環境についてのセンサデータ２４０を取得するようにプロセッサ１１０を制御するように機能する命令を含む。収集システム１７０は、車両１００が（例えば、自動運転モジュール１６０を介して）処理して、物体と環境の局面（車両、歩行者、道路、車線構成など）の識別、物体の軌跡、交通信号の動作状態及び道路にかかわる交通、識別された局面の意味クラスなどを含む周囲環境に関する決定を行う、センサデータ２４０の形で周囲環境の観察結果を捉える。一般に、車両１００の中の収集システム１７０は、車両１００によって生成される任意の情報を、センサデータ２４０を補充するものとして取得してもよい。したがって、センサデータ２４０は、カメラ、ライダー、レーダー、及び周囲環境についての類似のセンサからの観測結果だけを含むことには限定されず、車両１００の動作についての一般のテレマティクスデータを含んでもよい。例えば、センサデータ２４０は、車両１００に関するダイナミクス情報（例えば、ピッチ、ヨー、ロール、速度、など）、エンジンデータ、ドライバ制御入力（例えば、ステアリング角度、アクセルパーセント、など）等を含んでもよい。さらに別の態様において、センサデータ２４０は、カメラ画像、搭乗者の位置、情報エンターテイメント設定／使用、などの、車両１００の内部搭乗者キャビンに関する情報を含む。この情報には、センサデータ２４０が収集されたときの車両１００の位置を特定する地理的情報とともにタイムスタンプを含む一般のメタデータが付随する。

データモジュール２２０は、一つの構成において、センサデータ２４０の形でデータ入力を提供するように、車両１００のそれぞれのセンサを制御する。データモジュール２２０は、センサデータ２４０をさらに処理して周囲環境の別々の観察結果としてもよい。例えば、データモジュール２２０は、一つの取り組みでは、別々のセンサからのデータを融合させて、周囲環境の特定の局面についての観察結果を提供する。例えば、センサデータ２４０自体は、一つ以上の取り組みでは、別々の画像、レーダー反射、ライダー反射、などという形をとってもよい。データモジュール２２０は、センサデータ２４０から決定（例えば、位置、姿勢、特徴など）を導出し、周囲の車両、歩行者などの周囲環境の個別に識別された局面についてのデータを融合することができる。データモジュール２２０は、たとえば、センサデータの別個のインスタンスを瞬時のデータ点を超えた物体についての意味のある観測に関係付けることによって、センサデータ２４０を観測結果にさらに外挿することができる。例えば、データモジュール２２０は、多くのデータポイントにわたって歩行者を追跡して、車両、ショッピングカートなどの様々な物体に関する動作のきざしを提供し、物体が移動しているか、又は何らかの特定の動作（たとえば、駐車スペースに駐車する）を行っているかどうかについての情報を提供してもよい。

加えて、データモジュール２２０は、センサデータ２４０を提供するように各種センサを制御するとして論じられるが、一つ以上の実施形態において、モジュール２２０は、センサデータ２４０を取得するために能動的又は受動的な他の技術を使用してもよい。例えば、データモジュール２２０は、車両１００内の様々なセンサ又は他のモジュール／システムによって車両１００内のさらなる構成要素に提供される電子情報の流れからセンサデータ２４０を受動的に感知することができる。さらに、述べたように、データモジュール２２０又は車両１００の他の構成要素（例えば、モジュール１６０）は、センサデータ２４０を提供するときに、複数のセンサからのデータを融合するための様々な取り組みを行ってもよい。したがって、センサデータ２４０は、一実施形態において、複数のセンサから取得される認識の組合せを表す。

もちろん、車両１００が備えるセンサに応じて、収集システム１７０が収集できる利用可能なセンサデータ２４０は変化しうる。一つの例として、特定の実装によれば、車両１００は、異なるタイプのカメラ又は複数のカメラの設置を含んでもよい。センサデータ２４０を取得するときに、データモジュール２２０は、車両１００から生じる種々の電子入力を取得してもよく、それは、センサデータ２４０として収集システム１７０のデータストア２３０に記憶され、車両１００の一つ以上の追加システムによって、例えば機械学習アルゴリズム、発見的手法、等の種々のアルゴリズムに従って処理されてもよい。したがって、収集システム１７０は、一つの取り組みとして、センサデータ２４０を、そこから導出される情報とともにデータストア２３０に保持する。

前述のように、この情報は量において著しいものでありうる。したがって、さらなる構成では、データモジュール２２０は、（例えば、利用可能なスペースおよび先入先出に従って）限られた時間の間、センサデータ２４０を記憶してもよい。さらに別の態様では、データモジュール２２０は、ビデオフレーム、ＬｉＤＡＲフレームなどをスキップすることなどによって、情報を間引くか又は選択的に記憶することができる。いずれにせよ、末端装置との適切な関係が利用可能であるときに、収集システム１７０は、車両１００によって取得される複数の情報を記憶して情報をさらに取り出す。

現在の取り組みの全体的な構成のさらなる説明として、図３を考慮する。図３は、各種機器のネットワーク構成３００を示す。特に、ネットワーク構成３００は、車両１００ａから１００ｄ、末端装置３１０ａから３１０ｃ、及びクラウド３２０の間の関係を示す。車両１００ａから１００ｄは、末端装置（ｅｄｇｅ ｄｅｖｉｃｅ）である末端装置（ｅｄｇｅ）３１０ａから３１０ｃで収集されるセンサデータを取得する機器の典型である。前述のように、車両１００ａから１００ｄは、車両以外の機器、例えばドローン、ロボット、及び、その後の分析及びクエリに役立ちうる外界についての情報を収集する他の機器、を含んでもよい。さらに、別々の末端装置３１０ａから３１０ｃは、異なる群の車両と関係付けられてもよい。いずれにせよ、収集システム１７０は、車両１００ａから１００ｄから情報を収集し、車両１００ａから１００ｄが出会い認識したような外界に関する利用可能なデータの一覧にインデクスが集約されるクラウド３２０に、収集されたデータのインデクスを提供するために、末端装置３１０ａから３１０ｃとともに固有のインスタンスとして別個に組み込まれる。このようにして、

末端装置の収集システム１７０にセンサデータ２４０を取り出すために、車両１００と末端装置の収集システム１７０は、取り出しイベントの検出の後で接続を確立する。概して、取り出しイベントは、末端装置に車両１００が存在し、車両１００に取り出されるべきデータが存在することを示す状態の発生である。したがって、一つの例として、電気自動車であってもよい車両１００が充電ステーションと物理的に接続し、それがデータ接続をさらに含んでもよい。接続の確立を検出すると、充電ステーションの収集システム１７０は、たとえば、取り出されるべきデータが存在するかどうかについて、車両１００の収集システムにクエリを行ってもよい。概して、特定のプロトコルは異なる場合があるが、車両１００及び末端装置は、接続を確立し、データが取り出しイベントとしてアップロードできると判定するように機能する。したがって、これが発生すると、末端装置の収集システム１７０は、取り出しイベントの条件が満たされたと判定し車両１００からセンサデータ２３０を取得し始める。

一旦、末端装置の収集システム１７０がセンサデータ２４０を取得すると、データモジュール２２０はセンサデータ２４０の属性に従ってセンサデータ２４０にインデクスを付与する。一つの構成において、属性は、センサデータ２４０のそれぞれの部分と関係する時間及び位置を含む。加えて、車両１００が、センサデータ２４０自体に加えて、車両１００によって生成されるセンサデータ２４０についてのメタデータ及び導出物を取り出してもよいことを理解されたい。すなわち、センサデータ２４０が取り出されるとして論じられるが、センサデータ２４０は、モジュール１６０によって導出される情報、テレマティクスデータ、及び車両１００によって蓄積される他の情報をさらに含んでもよい。いずれにせよ、このようにセンサデータ２４０にインデクスを付与することは、属性に従ってセンサデータ２４０自体への一般的な入口点を提供するために、センサデータ２４０の基本インデクスとして機能する。一旦、センサデータ２４０が収集システム１７０にアップロードされると、データモジュール２２０はセンサデータ２４０をさらに処理して追加内容を導出する。

図３を参照すると、末端装置３１０ａから３１０ｃが、種々のサードパーティアプリケーション３３０とともに示される。アプリケーション３３０は、センサデータ２４０の分析を容易にするために、一つの構成において、データモジュール２２０の一部として統合される様々なアプリケーションプログラミングインターフェース（ＡＰＩ）を介してセンサデータ２４０と相互作用してもよい。いずれにせよ、アプリケーション３３０は、センサデータ２４０を分析するための様々なモデル、発見的手法又は他の技法を概して含んでもよい。個別のエッジ３１０ａから３１０ｃは、任意の数のアプリケーション３３０を含んでもよく、アプリケーション３３０は、特定の地理的位置に関連付けられたアプリケーション又は各末端装置と相互作用する車両のユースケースによって各エッジデバイスで異なりうる。一つの例として、アプリケーション３３０は、機械学習モデル、統計解析アプリケーション、等を含んでもよい。アプリケーション３３０は、センサデータ２４０を処理し、機械認識、パターン認識などの導出追加内容を提供するように機能する。したがって、アプリケーション３３０は、センサデータ２４０の追加の層として、導出追加内容を出力する。

データモジュール２２０は、続いて、センサデータ２４０に関する情報によってさらにインデクスを豊かにするために、導出追加内容によってインデクスを更新してもよい。この追加情報は、その情報によって表されるセンサデータ２４０と比較して概して相対的に小さい単純なタグ、注釈、又は他の指標として含められてもよい。したがって、結果として得られるインデクスは、時間及び位置によって相互に関連付けられたセンサデータ２４０に関する情報を提供する。この情報は、センサデータ２４０自体の代わりに提供され、それによって、データのクエリを可能にしながら、大量の情報を伝達することに伴うボトルネックを回避する。関心のあるデータの部分を要素が識別し、さらなる分析又は一般的な使用のための部分のみを検索できるように、この後続のクエリにより、末端装置からのセンサデータ２４０の検索が可能になる。このようにして、収集システム１７０は、通信及び処理のボトルネックの問題点を回避しつつ、センサデータの記憶、インデクス付与、及びその後の使用を改善する。

末端装置でのセンサデータの記憶、及びインデクス付与についての追加の態様が、図４について説明される。図４は、末端装置でセンサデータにインデクスを付与することに関係する方法４００のフローチャートを示す。方法４００は、図２の収集システム１７０が末端装置によって実装されるという観点から論じられる。方法４００は収集システム１７０と組み合わせて論じられるが、方法４００は収集システム１７０内で実装されることに限定されず、代わりに方法４００を実装することができるシステムの一例であることを理解されたい。さらに、この方法は概して直列プロセスとして示されるが、方法４００の様々な態様は、言及された機能を実行するために並行して実行してもよい。

４１０にて、データモジュール２２０は、取り出しイベントが満たされたかどうかを判定する。例えば、データモジュール２２０は、ビーコンに応答し、電子ハンドシェイクの一部であり、又はその他の方法で収集システム１７０に向けられた、データを取り出そうとしている車両の存在を示す電子通信を検出することによって、データを取り出そうとしている車両の存在を判定する。前述のごとく、取り出しイベントは、ハンドシェイク又は他のプロトコルを形成する一連の通信を含んでもよい。これは、取り出しの局面（速度、データ量など）をネゴシエートするためのパラメータの交換を含んでもよい。いずれの場合でも、取り出しイベントは、概して、車両１００がエッジデバイスの近くにあることを検出すること、通信するための接続を確立すること、そしてセンサデータ２４０の取り出しを開始することを含む。

４２０にて、データモジュール２２０は、車両１００からセンサデータ２４０を取得して、末端装置でローカルにセンサデータを記憶する。センサデータ２４０を取得する過程は、一つ以上の構成において、通信経路、例えば有線の又は無線の通信リンクを介して、センサデータ２４０を受信することを含む。データモジュール２３０は、センサデータ２４０を受信して、データストア２３０の中にローカルにセンサデータ２４０を記憶する。前述のように、収集システム１７０によって取得されるセンサデータ２４０は、センサからの生データを、そして、種々の取り組みにおいて、センサデータ２４０から導出される、及びセンサデータ２４０についての付加的情報を含んでもよい。すなわち、センサデータ２４０は、センサデータ２４０自体の特徴を記載しているメタデータ、及びセンサデータ２４０から車両１００によって生成される追加の導出内容とともに伝達されてもよい。更なる態様において、データモジュール２２０は選択的にセンサデータ２４０をサンプリングして、記憶のためにセンサデータ２４０を圧縮してもよい。データモジュール２２０は、センサデータ２４０が最初に受信されるとき、又はブロック４１０で論じられたさらなる処理の後などの後続の時点で、圧縮を行ってもよい。さらに他の実施形態において、センサデータ２４０は、圧縮なしで記憶される。いずれにせよ、センサデータ２４０は、取り出されるかさもなければ車両１００から取り除かれ、末端装置で保持される。

４３０にて、データモジュール２２０は、センサデータ２４０のインデクスを生成する。一つの取り組みとして、データモジュール２３０は、インデクス内の参照として役立つように、センサデータ２４０がどのように取得されたかについての属性を用いる。属性は、センサデータ２４０に関するさまざまな局面を含んでもよいが、車両１００がルートに沿って進むにつれてこれらの局面は概して相互に関連するため、概して時間及び地理的位置を含む。したがって、インデクスは、センサデータ２４０を時間／位置に従って検索可能にする。データモジュールは、車両１００によって生成される導出情報をインデクスに追加してもよい。以前概説したように、この情報は自動運転システム、テレマティックスデータ、安全制御システム、などからの情報を含んでもよい。したがって、センサデータ２４０の特定の部分が特に参照されることができるように、最初のインデクスはセンサデータ２４０を識別要素に関連付けるセンサデータ２４０に対する一般のインデクスとして機能する。

４４０にて、データモジュール２２０は、センサデータ２４０を処理して追加内容を導出する。特に、データモジュール２２０は、少なくともモデル又は他のアプリケーションを用いて、センサデータ２４０を分析して追加内容を導出する。モデル／アプリケーションは、収集システム１７０の生来の統合されたアプリケーションであってもよく、サードパーティアプリケーションであってもよい。すなわち、収集システム１７０は、センサデータ２４０のアクセス及び処理を容易にするＡＰＩの公開を通して、サードパーティアプリケーションのアクセスをサポートする。これによって、異なるアプリケーションの多様なセットがセンサデータ２４０を処理し、追加内容を導出し、それによって後続のクエリのためのより豊かな情報セットを与えることができる。追加内容が、車両１００の周囲環境の導出された認識、たとえば、物体の存在、物体の位置、物体の種類、及び物体間の関係、として概して記載されることを理解されたい。しかしながら、追加内容は、行動パターン（例えば、交通行動、運転行動、ドライバ傾向、など）、統計的相関などを導出することを含む多くの異なる形をとってもよい。

４５０にて、データモジュール２２０は、追加内容を用いてインデクスを更新する。インデクスを更新することにより、属性（すなわち、時間及び場所）に関するセンサデータ２４０の特徴をさらに示すことができる。このさらなる特徴付けは、特定のクエリ／要求に関連する可能性のあるセンサデータ２４０の特定の部分を識別するためにクエリを実行するための、追加の情報層を提供する。概して、データモジュール２２０は、追加内容に関連付けられたそれぞれの部分の時間及び位置に従って、追加内容をインデクス内のセンサデータ２４０と関連付けることによって、インデクスを更新する。さらに、導出内容は、物体、物体の位置、及び道路状況の組合せに関連するシナリオを定義する特徴をさらに示してもよい。一般に、シナリオは、導出内容内のパターン（例えば、交差点での歩行者と別の車両の存在）を識別するための、センサデータ２４０をさらに処理するアプリケーション、及び／又は導出内容自体の一つ以上のアプリケーションによる分析、からセンサデータ２４０に関して具体的に導出された指標であってもよい。同様に、道路状況はアプリケーションによって識別され、さまざまな物体の存在、気象条件などと組み合わせた道路の特定の構成を含んでもよい。一例として、道路状況は、交通の存在、道路の相対速度制限、昼／夜条件などを伴う特定の種類の曲がり角（たとえば、左折）を定義してもよい。このようにして、データモジュール２２０は、検索時にセンサデータ２４０の内容に関して高分解能を提供するために、センサデータ自体を含めずにインデクスに情報を組み込んでもよい。

４６０にて、データモジュール２２０は、センサデータ２４０の内容についての報告として、リモート機器にインデクスを提供する。前述のように、リモート機器は、概して、多くの異なる末端配置装置からのインデクスを、末端装置に取り出しを行っている車両集団の間の利用可能なすべてのセンサデータの共通一覧に集約するクラウドベースのリソースである。一つ以上の取り組みでは、収集システム１７０は、有線の又は無線の通信リンクを介してクラウドにインデクスを伝える。センサデータ２４０の代わりにインデクスを伝えることが、かなりの量のデータの転送を回避し、それにより、着目するセンサデータの局面を識別するために検索できるインデクスを介して情報をなお提供しながら、通信リンクに関連するボトルネックやデータ転送時の帯域幅の追加コストを回避する。このようにして、収集システム１７０は、地理的領域にわたって広く分散した車両によって収集されたセンサデータの記憶及び使用を改善する。

追加の態様として、収集システム１７０は、インデクスを介してセンサデータを検索することをさらにサポートする。すなわち、たとえば、種々の実施態様で、検索はクラウドで行われてもよく、インデクスの集約された一覧に対して実行されてもよい。検索は、例えば日付範囲、特定の地理的な位置、及び、インデクスの中に含まれる情報によって具体化されるセンサデータ自体の特定の局面などの、特定のパラメータを特定してもよい。したがって、クラウド内で実行される収集システム１７０のインスタンスは、どの末端装置及び関連する車両が検索に一致する情報に対応するかを一覧から決定する。クラウドは、続いて特定の適合する末端装置に検索を伝達してもよい。末端装置で、クエリがローカルなインデクスに対してさらに実行され、そこに記憶される情報の部分を識別する。末端装置は続いて、適合するセンサデータをクラウドに伝え戻してもよく、これは、情報全体、又は帯域幅を節約するために間引き版を伝えることを含んでもよい。どちらのアプローチが行われても、すべてのデータをクラウドに取り出す際の問題が発生することなく、システム全体がデータの特定セグメントの使用に効果的に集中し、それにより効率が向上する。

ここで、本明細書に開示されるシステム及び方法が動作しうる環境例として、図１のシステムについて詳細に論じる。ある場合には、車両１００は、自律モード、一つ以上の半自律動作モード、及び／又は手動モードの間で選択的に切り替わるように構成される。勿論、更なる態様で、車両１００は、アクティブ巡航制御、車線保持支援、衝突回避、等の一つ以上の運転支援システムを含んでも含まなくてもよい手動運転車両でもよい。いずれの場合も、「手動モード」は、車両の運行及び／又は操作のすべて又は大部分が、ユーザ（例えば、人間のドライバ）から受け取った入力に従って実行されることを意味する。一つ以上の構成において、車両１００は、手動モードのみで動作するように構成された従来の車両であってもよい。

一つ以上の実施形態において、車両１００は、自律車両である。本明細書で使用される場合、「自律車両」とは、自律モードで動作する車両を意味する。「自律モード」は、人間のドライバからの入力を最小限に、又は全く行わずに車両１００を制御するために、一つ以上のコンピュータシステムを使用して走行ルートに沿って車両１００を運行及び／又は操作することを指す。一つ以上の実施形態において、車両１００は、高度に自動化されているか又は完全に自動化されている。一実施形態において、車両１００は、一つ以上のコンピュータシステムが走行ルートに沿った車両の運行及び／又は操作の一部を実行し、車両操作者（すなわち、ドライバ）が、走行ルートに沿った車両１００の運行及び／又は操作の一部を実行するために車両に入力を提供する、一つ以上の半自律動作モードで構成される。

車両１００は、一つ以上のプロセッサ１１０を含んでもよい。一つ以上の構成において、プロセッサ１１０は、車両１００のメインプロセッサであってもよい。例えば、プロセッサ１１０は、電子制御ユニット（ＥＣＵ）であってもよい。車両１００は、一つ以上の種類のデータを記憶するための一つ以上のデータストア１１５を含んでもよい。データストア１１５は、揮発性及び／又は不揮発性メモリを含んでもよい。適切なデータストア１１５の事例は、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（リードオンリーメモリ）、ＰＲＯＭ（プログラマブルリードオンリーメモリ）、ＥＰＲＯＭ（消去可能プログラマブルリードオンリーメモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラマブルリードオンリーメモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、又は任意の他の適切な記憶媒体、又は任意のそれらの組み合わせを含む。データストア１１５はプロセッサ１１０の構成要素であってもよく、又は、データストア１１５はプロセッサ１１０で使用するためにプロセッサ１１０に動作可能に接続されてもよい。この説明の全体にわたって用いられる「動作可能に接続される」という用語は、直接の物理的接触のない接続を含む、直接的又は間接的な接続を含んでもよい。

一つ以上の構成において、一つ以上のデータストア１１５は、地図データ１１６を含んでもよい。地図データ１１６は、一つ以上の地理的領域の地図を含んでもよい。ある場合には、地図データ１１６は、一つ以上の地理的領域内の、道路、交通管制機器、路面標識、構造物、地物、及び／又はランドマークに関する情報又はデータを含んでもよい。地図データ１１６は、任意の適切な形であってもよい。ある場合には、地図データ１１６は、領域の空中視を含んでもよい。ある場合には、地図データ１１６は、３６０度の地上景観を含む、領域の地上景観を含んでもよい。地図データ１１６は、地図データ１１６に含まれる、及び／又は地図データ１１６に含まれる他の物と関連する一つ以上の物の測定値、寸法、距離及び／又は情報を含んでもよい。地図データ１１６は、道路形状に関する情報を有するデジタル地図を含んでもよい。地図データ１１６は、高品質であっても、及び／又は非常に詳細であってもよい。

一つ以上の構成において、地図データ１１６は、一つ以上の地形図１１７を含んでもよい。地形図１１７は、一つ以上の地理的領域の、地面、地形、道路、表面及び／又は他の特徴に関する情報を含んでもよい。地形図１１７は、一つ以上の地理的領域の高度データを含んでもよい。地図データ１１６は、高品質であっても、及び／又は非常に詳細であってもよい。地形図１１７は、一つ以上の地表面を定義することができ、地表面は、地表面を定義する、舗装道路、未舗装道路、土地及び他のものを含んでもよい。

一つ以上の構成において、地図データ１１６は、一つ以上の固定障害物地図１１８を含んでもよい。固定障害物地図１１８は、一つ以上の地理的領域の中に位置する一つ以上の固定障害物に関する情報を含んでもよい。「固定障害物」は、一定期間にわたって位置が変化しないか又は実質的には変化しない、及び／又は、一定期間にわたって大きさが変化しないか又は実質的には変化しない物体である。固定障害物の事例は、木、ビルディング、縁石、フェンス、ガードレール、中央分離帯、電柱、像、記念碑、標識、ベンチ、家具、郵便受け、大きな岩、丘陵を含む。固定障害物は、地面の上に広がる物体でありうる。固定障害物地図１１８に含まれる一つ以上の固定障害物は、位置データ、大きさデータ、寸法データ、素材データ、及び／又はそれと関連した他のデータを有してもよい。固定障害物地図１１８は、一つ以上の固定障害物の測定値、寸法、距離及び／又は情報を含んでもよい。固定障害物地図１１８は、高品質であってもよく、及び／又は非常に詳細であってもよい。固定障害物地図１１８は、地図を作られた領域の中の変化を反映するために更新されてもよい。

一つ以上のデータストア１１５は、センサデータ１１９を含んでもよい。この文脈において、「センサデータ」は、車両１００が備えているセンサに関する任意の情報を意味し、能力及びそのようなセンサに関する他の情報を含む。後述するように、車両１００は、センサシステム１２０を含んでもよい。センサデータ１１９は、センサシステム１２０の一つ以上のセンサに関係してもよい。例えば、一つ以上の構成において、センサデータ１１９は、センサシステム１２０の一つ以上のライダセンサ１２４の情報を含んでもよい。

ある場合には、地図データ１１６及び／又はセンサデータ１１９の少なくとも一部は、車両１００に搭載された一つ以上のデータストア１１５に配置されてもよい。代わりに、又は、加えて、地図データ１１６及び／又はセンサデータ１１９の少なくとも一部は、車両１００から離れて設置される一つ以上のデータストア１１５に配置されてもよい。

上述のように、車両１００は、センサシステム１２０を含んでもよい。センサシステム１２０は、一つ以上のセンサを含んでもよい。「センサ」とは、何かを検出及び／又は感知できる任意の機器、構成要素、及び／又はシステムを意味する。一つ以上のセンサは、リアルタイムで検出及び／又は感知するように構成されてもよい。本明細書で使用される場合、「リアルタイム」という用語は、特定のプロセス又は決定が行われるのに充分即時であるとユーザ又はシステムが感知する、又はプロセッサが何らかの外部プロセスについて行くことができる、処理応答性のレベルを意味する。

センサシステム１２０が複数のセンサを含む構成において、センサは、互いに独立して動作してもよい。あるいは、二つ以上のセンサが、互いに共同して動作してもよい。このような場合には、二つ以上のセンサは、センサネットワークを形成してもよい。センサシステム１２０及び／又は一つ以上のセンサは、プロセッサ１１０、データストア１１５及び／又は車両１００の別の要素（図１に示すあらゆる要素を含む）に動作可能に接続されてもよい。センサシステム１２０は、車両１００の少なくとも一部の外部環境（例えば、近くの車両）のデータを取得してもよい。

センサシステム１２０は、種々のタイプのセンサを含んでもよい。異なるタイプのセンサの種々の例が、本明細書において記載される。しかしながら、実施形態は記載される特定のセンサに限定されないことが理解されよう。センサシステム１２０は、一つ以上の車両センサ１２１を含んでもよい。車両センサ１２１は、車両１００自体に関する情報を検出し、判定し、及び／又は、感知してもよい。一つ以上の構成において、車両センサ１２１は、たとえば慣性加速度に基づいて、車両１００の位置及び方向の変化を検出及び／又は感知するように構成されてもよい。一つ以上の構成において、車両センサ１２１は、一つ以上の加速度計、一つ以上のジャイロスコープ、慣性計測装置（ＩＭＵ）、自律航法システム、全地球的航法衛星システム（ＧＮＳＳ）、全地球測位システム（ＧＰＳ）、ナビゲーションシステム１４７、及び／又は他の適切なセンサを含んでもよい。車両センサ１２１は、車両１００の一つ以上の特徴を検出及び／又は感知するように構成されてもよい。一つ以上の構成において、車両センサ１２１は、車両１００の現在の速度を決定するために、速度計を含んでもよい。

代わりに、又は、加えて、センサシステム１２０は、運転環境データを取得及び／又は感知するように構成される一つ以上の環境センサ１２２を含んでもよい。「運転環境データ」は、自律車両が設置される外部環境又はその一つ以上の部分に関するデータ又は情報を含む。例えば、一つ以上の環境センサ１２２は、車両１００の外部環境の少なくとも一部における障害物及び／又はそのような障害物に関する情報／データを検出、定量化及び／又は感知するように構成されてもよい。そのような障害物は、静止対象物及び／又は動的対象物であってよい。一つ以上の環境センサ１２２は、車両１００の外部環境の他のもの、例えば、車線マーカ、標識、交通信号、交通標識、車線境界線、横断歩道、車両１００に近接する縁石、道路外の物体など、を検出、測定、定量化、及び／又は感知するように構成されてもよい。

センサシステム１２０のセンサの種々の例が、本明細書において記載される。センサの例は、一つ以上の環境センサ１２２及び／又は一つ以上の車両センサ１２１の一部であってもよい。しかしながら、実施形態は記載される特定のセンサに限定されないことが理解されよう。

例えば、一つ以上の構成において、センサシステム１２０は、一つ以上のレーダセンサ１２３、一つ以上のライダセンサ１２４、一つ以上のソナーセンサ１２５、及び／又は一つ以上のカメラ１２６を含んでもよい。一つ以上の構成において、一つ以上のカメラ１２６は、高ダイナミックレンジ（ＨＤＲ）カメラ又は赤外線（ＩＲ）カメラであってもよい。

車両１００は、入力システム１３０を含んでもよい。「入力システム」は、情報／データが機械に入力されることを可能にする任意の機器、構成要素（ｃｏｍｐｏｎｅｎｔ）、システム、要素（ｅｌｅｍｅｎｔ）、又は、それらによる構成物又はグループを含む。入力システム１３０は、車両搭乗者（例えば、ドライバ又は同乗者）からの入力を受信してもよい。車両１００は、出力システム１３５を含んでもよい。「出力システム」は、情報／データが車両搭乗者（例えば、人、車両搭乗者など）に示されることを可能にする任意の機器、構成要素、又は、それらによる構成物又はグループを含む。

車両１００は、一つ以上の車両システム１４０を含んでもよい。一つ以上の車両システム１４０の種々の例が、図１に示される。しかしながら、車両１００は、より多くの、より少ない、又は異なる車両システムを含んでもよい。特定の車両システムは個別に定義されるが、それぞれの又は任意のシステム又はその一部は、車両１００内のハードウェア及び／又はソフトウェアを介して別の方法で結合又は分離されてもよいことを理解されたい。車両１００は、推進システム１４１、ブレーキシステム１４２、ステアリングシステム１４３、スロットルシステム１４４、動力伝達システム１４５、信号システム１４６、及び／又はナビゲーションシステム１４７を含んでもよい。これらのシステムのそれぞれは、現在公知であるか又は後に開発される、一つ以上の機器、構成要素及び／又はそれらの組み合わせを含んでもよい。

ナビゲーションシステム１４７は、現在公知であるか又は後に開発される、一つ以上の機器、アプリケーション、及び／又はそれらの組み合わせを含んでもよく、車両１００の地理的な位置を決定、及び／又は車両１００の移動経路を決定するように構成される。ナビゲーションシステム１４７は、車両１００の移動経路を決定する一つ以上の地図作成アプリケーションを含んでもよい。ナビゲーションシステム１４７は、全地球測位システム、ローカル測位システム、又は地理位置情報システムを含んでもよい。

プロセッサ１１０、収集システム１７０及び／又は自動運転モジュール１６０は、種々の車両システム１４０及び／又はその個別構成要素と通信するように、動作可能に接続されてもよい。例えば、図１に戻り、プロセッサ１１０及び／又は自動運転モジュール１６０は、車両１００の移動、速度、操作、車体の向き、方向などを制御するために、様々な車両システム１４０から情報を送信及び／又は受信するように通信してもよい。プロセッサ１１０及び／又は自動運転モジュール１６０は、これらの車両システム１４０の一部又は全部を制御してもよく、したがって、部分的に、又は完全に自律的であってもよい。

プロセッサ１１０、及び／又は自動運転モジュール１６０は、種々の車両システム１４０及び／又はその個別構成要素と通信するように、動作可能に接続されてもよい。例えば、図１に戻り、プロセッサ１１０、収集システム１７０、及び／又は自動運転モジュール１６０は、車両１００の移動、速度、操作、車体の向き、方向などを制御するために、様々な車両システム１４０から情報を送信及び／又は受信するように通信してもよい。プロセッサ１１０、収集システム１７０及び／又は自動運転モジュールモジュール１６０は、これらの車両システム１４０の一部もしくは全部を制御してもよい。

プロセッサ１１０及び／又は自動運転モジュール１６０は、車両システム１４０及び／又はその構成要素のうちの一つ以上を制御することによって、車両１００の運行及び／又は操作を制御するように動作可能でありうる。例えば、自律モードで動作するときは、プロセッサ１１０及び／又は自動運転モジュール１６０は、車両１００の方向及び／又は速度を制御してもよい。プロセッサ１１０及び／又は自動運転モジュール１６０は、車両１００を（例えば、エンジンに供給される燃料の供給を増加させることによって）加速させ、（例えば、エンジンに供給される燃料の供給を減少させることによって、及び／又はブレーキをかけることによって）減速させ、及び／又は（たとえば、２つの前輪の向きを変えることによって）方向を変えさせてもよい。本明細書で使用される場合、「させる（ｃａｕｓｅ）」又は「させる（ｃａｕｓｉｎｇ）」とは、イベント又はアクションが生じるように、又は、少なくともそのようなイベント又はアクションが発生する可能性のある状態になるように、直接的又は間接的な仕方で、させる（ｍａｋｅ）、強制する（ｆｏｒｃｅ）、強制する（ｃｏｍｐｅｌ）、指示する（ｄｉｒｅｃｔ）、命令する（ｃｏｍｍａｎｄ）、指導する（ｉｎｓｔｒｕｃｔ）、及び／又は可能にする（ｅｎａｂｌｅ）、ことを意味する。

車両１００は、一つ以上のアクチュエータ１５０を含んでもよい。アクチュエータ１５０は、プロセッサ１１０及び／又は自動運転モジュール１６０からの信号又は他の入力の受信に応答するように、車両システム１４０又はその構成要素のうちの一つ以上を修正、調整及び／又は変更するように動作可能な任意の要素又は要素の組み合わせであってもよい。任意の適切なアクチュエータを用いてもよい。例えば、ほんの数例をあげると、一つ以上のアクチュエータ１５０は、モータ、空気圧アクチュエータ、油圧ピストン、リレー、ソレノイド及び／又は圧電アクチュエータを含んでもよい。

車両１００は一つ以上のモジュールを含んでもよく、その少なくとも一部は本明細書において記載される。モジュールは、プロセッサ１１０によって実行されるときに、本明細書において記載される種々の処理の一つ以上を実行するコンピュータ可読のプログラムコードとして実装されてもよい。モジュールの一つ以上はプロセッサ１１０の構成要素であってもよく、又は、モジュールの一つ以上は、プロセッサ１１０が動作可能に接続される他の処理システム上で実行されるか、及び／又は、他の処理システムの間に分散されてもよい。モジュールは、一つ以上のプロセッサ１１０によって実行可能な命令（例えば、プログラムロジック）を含んでもよい。代わりに、又は、加えて、一つ以上のデータストア１１５がそのような命令を含んでもよい。

一つ以上の構成において、本明細書において記載されるモジュールの一つ以上は、人工知能要素又は計算知能要素、例えば、ニューラルネットワーク、ファジー論理又は他の機械学習アルゴリズム、を含んでもよい。さらに、一つ以上の構成において、一つ以上のモジュールは、本明細書において記載される複数のモジュールの間に分散されてもよい。一つ以上の構成において、本明細書において記載される二つ以上のモジュールは、単一モジュールに結合されてもよい。

車両１００は、一つ以上の自動運転モジュール１６０を含んでもよい。自動運転モジュール１６０は、センサシステム１２０、及び／又は、車両１００及び／又は車両１００の外部環境に関する情報を捉えることができる任意の他の種類のシステムからデータを受信するように構成されてもよい。一つ以上の構成において、自動運転モジュール１６０は、一つ以上の運転場面モデルを生成するために、そのようなデータを用いてもよい。自動運転モジュール１６０は、車両１００の位置及び速度を決定してもよい。自動運転モジュール１６０は、障害物、障害物、又は、交通標識、樹木、低木、近隣の車両、歩行者などを含む他の環境特徴の位置を決定してもよい。

自動運転モジュール１６０は、地図の生成又は地図データにおける車両１００の位置の決定に用いるために、車両１００の位置及び方向、複数の衛星からの信号に基づくグローバル座標での車両位置を推定するために、プロセッサ１１０、及び／又は本明細書で記載されるモジュールのうちの一つ以上によって使用される車両１００の外部環境内の障害物の位置情報、又は、車両１００の現在の状態を決定するかその環境に対する車両１００の位置を決定するために使用できる任意の他のデータ及び／又は信号、を受信及び／又は決定するように構成されてもよい。

自動運転モジュール１６０は、独立して又は収集システム１７０と共同で、センサシステム１２０によって取得されたデータ、運転場面モデル、及び／又はセンサデータからの決定などの任意の他の適切な情報源からのデータに基づいて、走行経路、車両１００の現在の自律運転操作、将来の自律運転操作、及び／又は現在の自律運転の修正を決定するように構成されてもよい。「運転操作」は、車両の運動に影響を及ぼす一つ以上の動作を意味する。運転操作の例には、ほんの少しの可能性を挙げると、加速、減速、ブレーキ、方向転換、車両１００の横方向の移動、走行車線の変更、走行車線への合流、及び／又は後退が含まれる。自動運転モジュール１６０は、決定された運転操作を実行するように構成されてもよい。自動運転モジュール１６０は、直接的又は間接的に、そのような自律運転操作を実行させてもよい。本明細書で使用される場合、「させる（ｃａｕｓｅ）」又は「させる（ｃａｕｓｉｎｇ）」とは、イベント又はアクションが生じるように、又は、少なくともそのようなイベント又はアクションが発生する可能性のある状態になるように、直接的又は間接的な仕方で、させる（ｍａｋｅ）、命令する（ｃｏｍｍａｎｄ）、指導する（ｉｎｓｔｒｕｃｔ）、及び／又は可能にする（ｅｎａｂｌｅ）、ことを意味する。自動運転モジュール１６０は、様々な車両機能を実行するように、及び／又は、車両１００又はその一つ以上のシステム（例えば、一つ以上の車両システム１４０）にデータを送信し、データを受信し、相互作用し、及び／又は制御するように構成されてもよい。

詳細な実施形態が本明細書において開示される。しかしながら、開示される実施形態は単なる例と意図されていることを理解されたい。したがって、本明細書において開示される特定の構造及び機能の詳細は、限定するものと解釈されるべきではなく、単に特許請求の範囲の根拠として、及び、実質的に任意の適切に詳細な構造において本明細書の態様をさまざまに使用することを当業者に教示するための代表的な根拠と解釈されるべきである。さらに、本明細書において用いられる用語及び表現は、限定するものではなく、むしろ可能な実装の理解可能な説明を提供することを意図している。種々の実施形態が図１から図９に示されるが、実施形態は図示の構造又はアプリケーションに限定されない。

図のフローチャート及びブロック図は、種々の実施形態に係わるシステム、方法及びコンピュータプログラム製品の可能な実装の構成、機能及び動作を示す。この点に関して、フローチャート又はブロック図の各ブロックは、指定された論理的機能を実装するための一つ以上の実行可能命令を含む、コードのモジュール、区分、又は一部を表してもよい。また、一部の別の実施態様では、ブロック内に示される機能が図中に示される順序と異なる順序で実行される可能性があることにも留意されたい。例えば、連続して示される２つのブロックは、実際は、実質的に並行して実行されることもあり、又は、関係する機能によって、ブロックは時々逆順で実行されることもある。

上述のシステム、構成要素、及び／又は過程は、ハードウェア又はハードウェアとソフトウェアの組み合わせで実現されてもよく、一つの処理システム内で集中方式で実現されても、相互接続されたいくつかの処理システムに異なる要素が分散する分散方式で実現されてもよい。本明細書において記載される方法を実行するように適合された任意の種類の処理システム又は別の装置が適している。ハードウェアとソフトウェアの典型的な組み合わせは、読み込まれ実行されると、本明細書に記載の方法を実行するように処理システムを制御する、コンピュータが使用可能なプログラムコードを備えた処理システムであってもよい。システム、構成要素、及び／又は過程も、機械によって読み取り可能で、本明細書に記載の方法及び過程を実行するように機械によって実行可能な命令のプログラムを有形に具現した、コンピュータプログラム製品又は他のデータプログラム記憶装置などのコンピュータ可読記憶装置に組み込まれてもよい。これらの要素は、本明細書において記載される方法の実施を可能にするすべての特徴を含み、処理システムに読み込まれるとこれらの方法を実施することが可能なアプリケーション製品に組み込まれてもよい。

さらに、本明細書に記載される構成は、コンピュータ可読プログラムコードが具現される、例えばそこに記憶される、一つ以上のコンピュータ可読媒体に具現されるコンピュータプログラム製品の形態をとってもよい。一つ以上のコンピュータ可読媒体の任意の組合せが用いられてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。「コンピュータ可読記憶媒体」という語句は、非一時的な記憶媒体を意味する。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁、赤外線、又は半導体の、システム、装置、又は機器、又はそれらの任意の適切な組み合わせであってもよいが、それらに限定されない。コンピュータ可読記憶媒体のより多くの具体例（網羅的ではないリスト）は、ポータブルコンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、半導体ドライブ（ＳＳＤ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、携帯用コンパクトディスク－リードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、光記憶装置、磁気記憶装置、又は前記の任意の好適な組み合わせ、を含む。この文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置又は機器で、又はそれらに関連して用いるために、プログラムを含むか又は記憶可能な任意の有形の媒体であってもよい。

概して、本明細書で用いられるモジュールは、特定のタスクを実行するか又は特定のデータ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造、などを含む。更なる態様において、メモリは、言及されたモジュールを概して記憶する。モジュールと関係したメモリは、プロセッサ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、又は別の適切な電子記憶媒体の中に組み込まれたバッファ又はキャッシュでもよい。さらに別の態様では、本開示によって構想されるモジュールは、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）のハードウェア要素として、プログラマブルロジックアレイ（ＰＬＡ）として、又は開示された機能を実行するための定義された構成セット（例えば、命令）とともに組み込まれた別の適切なハードウェア要素として実装される。

コンピュータ可読媒体上に具現されるプログラムコードは、無線、有線、光ファイバ、ケーブル、ＲＦ、など、又は前記の任意の好適な組み合わせ、を含むがこれらに限定されない任意の適切な媒体を用いて送信されてもよい。本構成の態様の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋又は同種のものなどのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語、を含む、一つ以上のプログラミング言語の任意の組み合わせで記述されてもよい。プログラムコードは、スタンドアロンソフトウェアパッケージとして、全体がユーザのコンピュータ上で動作してもよく、一部がユーザのコンピュータ上で動作してもよく、一部がユーザのコンピュータ上で一部がリモートコンピュータ上で動作してもよく、あるいは全体がリモートコンピュータ又はサーバ上で動作してもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）などの任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、あるいは、外部コンピュータに接続されてもよい（たとえば、インターネットサービスプロバイダを使用したインターネット経由で）。

本明細書で使用される場合、用語「ａ」及び「ａｎ」は、一つ以上として定義される。本明細書で使用される場合、用語「複数」は、二つ以上として定義される。本明細書で使用される場合、「別の」という用語は、少なくとも第２以上として定義される。本本明細書で使用される場合、用語「含む（ｉｎｃｌｕｄｉｎｇ）」及び／又は「有する（ｈａｖｉｎｇ）」は、備える（ｃｏｍｐｒｉｓｉｎｇ）（すなわち、解放語）として定義される。本本明細書で使用される場合「・・・及び・・・の少なくとも一つ」という語句は、関連するリストされた項目の一つ以上のあらゆるすべての可能な組合せを指し、包含する。例えば、「Ａ、Ｂ、及びＣの少なくとも一つ」という語句は、Ａだけ、Ｂだけ、Ｃだけ、又はそれらの任意の組み合わせ（例えば、ＡＢ、ＡＣ、ＢＣ又はＡＢＣ）を含む。

本明細書の態様は、その精神又は本質的な属性から逸脱することなく、他の形態で具現することができる。したがって、本発明の範囲を示すものとしては、前述の明細書ではなく、以下の特許請求の範囲を参照すべきである。

Claims (20)

1. センサデータの取り出し及び記憶を改善するための収集システムであって、
   一つ以上のプロセッサと、
   前記一つ以上のプロセッサに通信可能に接続され、前記一つ以上のプロセッサによって実行されると、前記一つ以上のプロセッサに、
   取り出しイベントに応答して、車両からセンサデータを取得する、
   前記センサデータがどのように取得されたかという属性に従って、前記センサデータのインデクスを生成する、
   少なくともモデルを用いて、追加内容を導出するために前記センサデータを分析する、
   前記属性と関連する前記センサデータの特徴をさらに示すように、前記追加内容を用いて前記インデクスを更新する、及び、
   前記センサデータの内容についての報告として、リモート機器に前記インデクスを提供する、命令を記憶するメモリと、を備える、収集システム。
2. 前記センサデータを分析するための命令は、物体の存在、前記物体の位置、前記物体の種類、及び前記物体間の関係を含む前記センサデータによって表される、前記車両の周囲環境についての認識を導出するために前記モデルを適用するための命令を含む、請求項１に記載の収集システム。
3. 前記インデクスを生成するための命令は、前記センサデータの各部分が取得されたときの少なくとも時間及び場所を含む、前記センサデータの取得に関する前記属性と、前記センサデータを関連付けるための命令を含む、請求項１に記載の収集システム。
4. 前記インデクスを更新する命令は、前記追加コンテンツに関連付けられた前記各部分の前記時間及び前記位置に従って、前記追加コンテンツを前記インデクス内の前記センサデータと関連付ける命令を含み、
   前記特徴は、物体、前記物体の位置、及び道路状況の組み合わせに関連するシナリオを定義する前記センサデータの内容を含む、請求項３に記載の収集システム。
5. 前記インデクスを提供する命令は、前記車両及び広い地理的領域にある他の車両との間で利用可能なセンサデータの統合一覧を形成するために、前記インデクスを前記他の車両からのインデクスと集約するために、前記インデクスをクラウドベースの機器に伝達するための命令を含む、請求項１に記載の収集システム。
6. 前記属性に従って前記インデクスを生成する命令は、少なくとも前記センサデータが取得された地理的位置及び前記センサデータが取得された時刻によって前記センサデータにインデクスを付与する命令を含み、
   前記インデクスを生成する命令は、前記車両の安全システム及び前記車両の自動制御システムに関連して前記車両によって生成された導出情報を前記インデクスに追加する命令を含む、請求項１に記載の収集システム。
7. 前記センサデータを取得する命令は、前記車両から前記センサデータに関する導出情報を取得し、前記センサデータをサンプリングして記憶のために前記センサデータを圧縮する命令をさらに含む、請求項１に記載の収集システム。
8. 前記取り出しイベントは、末端装置の通信域内での前記車両の検出と、前記末端装置での前記車両の充電とを含むグループから識別される、請求項１に記載の収集システム。
9. センサデータの取り出し及び記憶を改善するための命令を記憶する非一時的なコンピュータ可読媒体であって、一つ以上のプロセッサによって実行されると、前記一つ以上のプロセッサに、
   取り出しイベントに応答して、車両からセンサデータを取得させ、
   前記センサデータがどのように取得されたかという属性に従って、前記センサデータのインデクスを生成させ、
   少なくともモデルを用いて、追加内容を導出するために前記センサデータを分析させ、
   前記属性と関連する前記センサデータの特徴をさらに示すように、前記追加内容を用いて前記インデクスを更新させ、
   前記センサデータの内容についての報告として、リモート機器に前記インデクスを提供させる、非一時的なコンピュータ可読媒体。
10. 前記センサデータを分析するための命令は、物体の存在、前記物体の位置、前記物体の種類、及び前記物体間の関係を含む前記センサデータによって表される、前記車両の周囲環境についての認識を導出するために前記モデルを適用するための命令を含む、請求項９に記載の非一時的なコンピュータ可読媒体。
11. 前記インデクスを生成するための命令は、前記センサデータの各部分が取得されたときの少なくとも時間及び場所を含む、前記センサデータの取得に関する前記属性と、前記センサデータを関連付けるための命令を含む、請求項９に記載の非一時的なコンピュータ可読媒体。
12. 前記インデクスを更新する命令は、前記追加コンテンツに関連付けられた前記各部分の前記時間及び前記位置に従って、前記追加コンテンツを前記インデクス内の前記センサデータと関連付ける命令を含み、
    前記特徴は、物体、前記物体の位置、及び道路状況の組み合わせに関連するシナリオを定義する前記センサデータの内容を含む、請求項１１に記載の非一時的なコンピュータ可読媒体。
13. 前記インデクスを提供する命令は、前記車両及び広い地理的領域にある他の車両との間で利用可能なセンサデータの統合一覧を形成するために、前記インデクスを前記他の車両からのインデクスと集約するために、前記インデクスをクラウドベースの機器に伝達するための命令を含む、請求項９に記載の非一時的なコンピュータ可読媒体。
14. 取り出しイベントに応答して、車両からセンサデータを取得することと、
    前記センサデータがどのように取得されたかという属性に従って、前記センサデータのインデクスを生成することと、
    少なくともモデルを用いて、追加内容を導出するために前記センサデータを分析することと、
    前記属性と関連する前記センサデータの特徴をさらに示すように、前記追加内容を用いて前記インデクスを更新することと、
    前記センサデータの内容についての報告として、リモート機器に前記インデクスを提供することと、を含む方法。
15. 前記センサデータを分析することは、物体の存在、前記物体の位置、前記物体の種類、及び前記物体間の関係を含む前記センサデータによって表される、前記車両の周囲環境についての認識を導出するために前記モデルを適用することを含む、請求項１４に記載の方法。
16. 前記インデクスを生成することは、前記センサデータの各部分が取得されたときの少なくとも時間及び場所を含む、前記センサデータの取得に関する前記属性と、前記センサデータを関連付けることを含む、請求項１４に記載の方法。
17. 前記インデクスを更新することは、前記追加コンテンツに関連付けられた前記各部分の前記時間及び前記位置に従って、前記追加コンテンツを前記インデクス内の前記センサデータと関連付けることを含み、
    前記特徴は、物体、前記物体の位置、及び道路状況の組み合わせに関連するシナリオを定義する前記センサデータの内容を含む、請求項１６に記載の方法。
18. 前記インデクスを提供することは、前記車両及び広い地理的領域にある他の車両との間で利用可能なセンサデータの統合一覧を形成するために、前記インデクスを前記他の車両からのインデクスと集約するために、前記インデクスをクラウドベースの機器に伝達することを含む、請求項１４に記載の方法。
19. 前記属性に従って前記インデクスを生成することは、少なくとも前記センサデータが取得された地理的位置及び前記センサデータが取得された時刻によって前記センサデータにインデクスを付与することを含み、
    前記インデクスを生成することは、前記車両の安全システム及び前記車両の自動制御システムに関連して前記車両によって生成された導出情報を前記インデクスに追加することを含む、請求項１４に記載の方法。
20. 前記センサデータを取得することは、前記車両から前記センサデータに関する導出情報を取得し、前記センサデータをサンプリングして記憶のために前記センサデータを圧縮することをさらに含み、
    前記取り出しイベントは、末端装置の通信域内での前記車両の検出と、前記末端装置での前記車両の充電とを含むグループから識別される、請求項１４に記載の方法。