JP7316394B2 - 自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング - Google Patents

Description

本開示の実施形態は、一般に、自律走行車両を操作することに関する。より詳細には、本開示の実施形態は、自律走行車両を利用するモデル訓練及び車中検証（ｏｎｂｏａｒｄ ｖａｌｉｄａｔｉｏｎ）のためのオーディオロギング（ａｕｄｉｏ ｌｏｇｇｉｎｇ）に関する。

自律モード（例えば、ドライバーレス）で動作する車両は、乗員、特に運転者の、運転に関連する責任の一部を軽減することができる。自律モードで動作すると、車両は、オンボードセンサを用いて様々な場所を運行することができ、人間の干渉を最小限にして、ある場合には、乗員がいない状態で、車両を走行させることができる。

動作計画及び制御は、自律走行において重要なオペレーションである。しかし、従来の動作計画オペレーションでは、各種タイプの車両についての特徴の違いを考慮せずに、所定の経路を完了させることは、主にその曲率及び速度から困難であると考えられる。同一の動作計画及び制御があらゆるタイプの車両に適用されているが、ある状況下では、正確さを欠き、スムーズでない場合がある。

更に、動作計画及び制御のオペレーションは、通常、周囲の障害物又は物体を感知すること、及び走行環境における音源を聴くこと又は検出することを必要とする。したがって、機械学習モデル用にデータを訓練及び試験するために、障害物の特定及び音源の特定は、データ（例えば、検知データ）のラベル付けを必要とする。

残念なことに、データラベリングは、人間によって手動で行われ、人間であるが故に生じる瑕疵のために、手動でラベル付けされたデータは、あまり正確でなく、このことが後に、モデルの正確度に影響を及ぼすことがある。

本開示の実施形態は、一例として記載され、添付図面の図に限定されない。添付図面において、同一の参照番号は同様の要素を示す。

本開示の一態様は、自律走行車両（ＡＤＶ）が走行環境内を動作している間、前記ＡＤＶを利用して、ラベル付けされたオーディオデータと、前記ラベル付けされたオーディオデータの車中検証とを生成する方法であって、前記ＡＤＶの前記走行環境内の物体によって発せられた音を記録し、記録された前記音をオーディオサンプルに変換すること、前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングして、前記ＡＤＶの自律走行中に音源を認識する機械学習アルゴリズムを、後に訓練するために利用されるリファイニングされたラベル付け後のオーディオデータを作成することと、少なくとも前記オーディオサンプル並びに前記ＡＤＶの感知システムによってそれぞれ決定される前記物体の位置及び前記物体の相対方向に基づいて、前記リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することとを含む。

図１は、一実施形態に係るネットワークシステムを示すブロック図である。

図２は、一実施形態に係る自律走行車両（ＡＤＶ）の例を示すブロック図である。

図３Ａは、一実施形態に係る自律走行車両で用いられる自律走行システムの例を示すブロック図である。 図３Ｂは、一実施形態に係る自律走行車両で用いられる自律走行システムの例を示すブロック図である。

図４は、一実施形態に係る自律走行車両を用いるオーディオロギング及び車中検証のためのシステムを示すブロック図である。

図５は、一実施形態に係るオーディオロギング及び車中検証のためのシステムを用いた例示的な走行シナリオを示す図である。

図６は、一実施形態に係るラベル付けされたオーディオデータを生成する方法及びラベル付けされたオーディオデータの車中検証のフロー図である。

図７は、一実施形態に係るラベル付けされたオーディオデータの車中検証の方法のフロー図である。

詳細な説明
本開示の様々な実施形態及び態様は、以下で論じられる詳細を参照して説明され、添付図面は、これらの様々な実施形態を示す。以下の説明及び図面は、本開示の例示であって、本開示を限定するものと解釈されるべきではない。多くの具体的な詳細が、本開示の様々な実施形態の十分な理解を提供するために記載される。しかし、特定の例において、本開示の実施形態の簡潔な議論を提供するために、周知の又は従来の詳細は記載しない。

本明細書における「一実施形態」又は「実施形態」の表現は、実施形態に関連して説明される具体的な特徴、構造、又は特性が、本開示の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所にみられる「一実施形態では」という表現は、必ずしも全てが同一の実施形態を意味するとは限らない。

一態様によれば、自律走行車両（ＡＤＶ）が走行環境内を動作している間、前記ＡＤＶを利用して、ラベル付けされたオーディオデータと、前記ラベル付けされたオーディオデータの車中検証とを生成する方法が記載される。前記方法は、前記ＡＤＶの前記走行環境内の物体によって発せられた音を記録することと、記録された前記音をオーディオサンプルに変換することとを含む。前記方法は、更に、前記オーディオサンプルをラベル付けすることと、ラベル付けされた前記オーディオサンプルをリファイニングして、リファイニングされたラベル付け後のオーディオデータを作成することとを含む。前記ＡＤＶの自律走行中の音源を認識する機械学習アルゴリズムを、後に訓練するために、前記リファイニングされたラベル付け後のオーディオデータが利用される。前記方法は、更に、少なくとも前記オーディオサンプル、前記物体の位置、及び前記物体の相対方向に基づいて、前記リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することを含む。前記物体の位置及び前記物体の相対方向は、前記ＡＤＶの感知システムによって決定される。

別の態様によれば、自律走行車両（ＡＤＶ）が走行環境内を動作している間、前記ＡＤＶを利用して、ラベル付けされたオーディオデータの車中検証のための方法が記載される。前記方法は、前記ＡＤＶの前記走行環境内の障害物によって発せられた音を記録し、オーディオサンプルを作成することを含む。前記方法は、更に、前記ＡＤＶの視覚センサによって提供される検知データに基づいて、前記障害物の位置と、前記障害物の相対方向とを決定することを含む。前記方法は、更に、前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することを含む。前記リファイニングされたラベル付け後のオーディオデータは、前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングすることによって生成される。前記リファイニングされたラベル付け後のオーディオデータは、また、前記ＡＤＶの自律走行中の音源を認識する機械学習アルゴリズムを、後に訓練するために利用される。

図１は、本開示の一実施形態に係る自律走行ネットワーク構成を示すブロック図である。図１を参照すると、ネットワーク構成１００は、ネットワーク１０２を介して、１以上のサーバ１０３～１０４に通信可能に接続され得る自律走行車両（ＡＤＶ）１０１を含む。１つのＡＤＶが図示されているが、複数のＡＤＶを相互に接続することができ、及び／又はネットワーク１０２を介して、サーバ１０３～１０４に接続することができる。ネットワーク１０２は、任意のタイプのネットワークであることができ、例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、サテライトネットワーク、又はそれらの有線若しくは無線での組合せが挙げられる。サーバ１０３～１０４は、任意の種類のサーバ又は一群のサーバであることができ、例えば、Ｗｅｂ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、又はそれらの組合せが挙げられる。サーバ１０３～１０４は、データアナリティクスサーバ、コンテンツサーバ、交通情報サーバ、マップ及び関心のある地点（ｍａｐ ａｎｄ ｐｏｉｎｔ ｏｆ ｉｎｔｅｒｅｓｔ）（ＭＰＯＩ）サーバ、又はロケーションサーバなどであることができる。

ＡＤＶは、自律モードで走行するように構成することができる車両を意味し、自律モードでは、前記車両は、運転者からの入力が殆どない又は全くない状態で、環境を運行する。係るＡＤＶは、車両が走行する環境に関する情報を検出するように構成された１以上のセンサを有する検知システムを含むことができる。前記車両及びその関連するコントローラは、検出された情報を用いて、環境を運行する。ＡＤＶ１０１は、マニュアルモード、完全自律モード、又は一部自律モードで運行することができる。

一実施形態では、ＡＤＶ１０１は、自律走行システム（ＡＤＳ）１１０、車両制御システム１１１、無線通信システム１１２、ユーザインターフェースシステム１１３、及び検知システム１１５を含むが、これらに限定されない。ＡＤＶ１０１は、更に、通常車両に含まれる特定の共通コンポーネント、例えば、エンジン、ホイール、ステアリングホイール、トランミッションなどを含むことができ、これらは、各種の通信信号及び／又は命令、例えば、加速信号又は命令、減速信号又は命令、ステアリング信号又は命令、ブレーキ信号又は命令などを用いて、車両制御システム１１１及び／又はＡＤＳ１１０によって制御することができる。

コンポーネント１１０～１１３及び１１５は、インターコネクト、バス、ネットワーク、又はそれらの組合せを介して、通信可能に相互接続できる。例えば、コンポーネント１１０～１１３及び１１５は、コントローラエリアネットワーク（ＣＡＮ）バスを介して、通信可能に相互接続できる。ＣＡＮバスは、マイクロコントローラ及びデバイスが、ホストコンピュータがない各種用途で相互通信できるように設計された車両バススタンダードである。これは、メッセージベースのプロトコルであり、元来、自動車内部の多重電気配線用に設計されたが、その他の多くの用途でも用いられる。

続いて図２を参照すると、一実施形態では、検知システム１１５は、１以上のカメラ２１１、グローバル・ポジショニング・システム（ＧＰＳ）ユニット２１２、慣性計測ユニット（ＩＭＵ）２１３、レーダユニット２１４、及び光による検知と測距（ＬＩＤＡＲ）ユニット２１５を含むが、これらに限定されない。ＧＰＳシステム２１２は、ＡＤＶの位置に関する情報を提供するように動作可能なトランシーバを含むことができる。慣性計測ユニット（ＩＭＵ）２１３は、慣性加速度に基づいて、ＡＤＶの位置及び向きの変化を検知することができる。レーダユニット２１４は、無線信号を利用して、ＡＤＶの局所環境内の物体を検知するシステムを表し得る。いくつかの実施形態では、物体を検知することに加えて、レーダユニット２１４は、更に、物体の速度及び／又は進行を検知することができる。ＬＩＤＡＲユニット２１５は、レーザを用いて、ＡＤＶが位置する環境内の物体を検知することができる。ＬＩＤＡＲユニット２１５は、他のシステムコンポーネントの中でも、１以上のレーザ源、レーザスキャナ、及び１以上の検出器を含み得る。カメラ２１１は、ＡＤＶの周囲環境の画像を捕捉する１以上の装置を含むことができる。カメラ２１１は、スチルカメラ及び／又はビデオカメラであることができる。カメラは、例えば、回転及び／又は傾斜プラットフォームに搭載することによって、機械的に可動とすることができる。

検知システム１１５は、更に、他のセンサ、例えば、ソナーセンサ、赤外センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、及びオーディオセンサ（例えば、マイクロフォン）などを含むことができる。オーディオセンサは、ＡＤＶの周囲環境の音を捕捉するように構成することができる。ステアリングセンサは、ステアリングホイールのステアリング角度、車両のホイール、又はこれらの組合せを検知するように構成することができる。スロットルセンサ及びブレーキセンサは、車両のスロットル位置及びブレーキ位置をそれぞれ検知する。いくつかの状況では、スロットルセンサ及びブレーキセンサは、一体型スロットル／ブレーキセンサとして統合することができる。

一実施形態では、車両制御システム１１１は、ステアリングユニット２０１、スロットルユニット２０２（加速ユニットとも称される）、及びブレーキユニット２０３を含むが、これらに限定されない。ステアリングユニット２０１は、車両の方向又は進行を調節する。スロットルユニット２０２は、モータ又はエンジンの速度を制御し、延いては、車両の速度及び加速度を制御する。ブレーキユニット２０３は、摩擦を与えて、車両のホイール又はタイヤの動きを緩めることによって、車両を減速させる。なお、図２に示される各コンポーネントは、ハードウェア、ソフトウェア、又はこれらの組合せで実行させることができる。

図１を再度参照すると、無線通信システム１１２は、ＡＤＶ１０１と、外部システム、例えば、デバイス、センサ、他の車両などとの間の通信を可能にする。例えば、無線通信システム１１２は、１以上のデバイスと直接、又は通信ネットワーク、例えば、ネットワーク１０２を介するサーバ１０３～１０４などを介して無線通信することができる。無線通信システム１１２は、任意のセルラー通信ネットワーク、又は例えばＷｉＦｉを用いる無線ローカルエリアネットワーク（ＷＬＡＮ）を用いて、別のコンポーネント又はシステムと通信することができる。無線通信システム１１２は、例えば、赤外リンク、Ｂｌｕｅｔｏｏｔｈなどを用いて、装置（例えば、自律走行車両１０１内の乗員のモバイル装置、表示装置、スピーカ）と直接通信することができる。ユーザインターフェースシステム１１３は、自律走行車両１０１内に実装される周辺装置の一部であることができ、例えば、キーボード、タッチスクリーンディスプレイ装置、マイクロフォン、及びスピーカなどが挙げられる。

ＡＤＶ１０１の機能の一部又は全部を、特に、自律走行モードで運行するときに、感知及びＡＤＳ１１０によって制御又は管理することができる。ＡＤＳ１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、ストレージ）及びソフトウェア（例えば、オペレーティングシステム、計画及びルーティングプログラム）を含み、検知システム１１５、車両制御システム１１１、無線通信システム１１２、及び／又はユーザインターフェースシステム１１３から情報を受け取り、受け取った情報を処理し、出発点から目的地点までのルート又は経路を計画し、次いで、計画及び制御情報に基づいて自律走行車両１０１を走行させる。或いは、ＡＤＳ１１０を、車両制御システム１１１と統合させてもよい。

例えば、乗員としてのユーザが、移動の出発地と目的地を、例えば、ユーザインターフェースを介して指定することができる。ＡＤＳ１１０は、移動に関連するデータを取得する。例えば、ＡＤＳ１１０は、サーバ１０３～１０４の一部であり得るＭＰＯＩサーバからロケーション及びルートデータを取得することができる。ロケーションサーバは、ロケーションサービスを提供し、ＭＰＯＩサーバは、マップサービス及び特定の場所のＰＯＩを提供する。或いは、係るロケーション及びＭＰＯＩ情報を、ＡＤＳ１１０の永久記憶装置にローカルで記憶させてもよい。

ＡＤＶ１０１がルートに沿って移動している間、ＡＤＳ１１０は、また、交通情報システム又はサーバ（ＴＩＳ）からリアルタイムの交通情報を取得することができる。なお、サーバ１０３～１０４は、第三者によって操作されてもよい。或いは、サーバ１０３～１０４の機能を、ＡＤＳ１１０と統合することができる。リアルタイムの交通情報、ＭＰＯＩ情報、及びロケーション情報、並びに検知システム１１５によって検出又は検知されるリアルタイムのローカル環境データ（例えば、障害物、物体、近くの車両）に基づいて、ＡＤＳ１１０は、最適なルートを計画することができ、自律走行車両１０１を、例えば、車両制御システム１１１を介して、計画されたルートにしたがって走行させ、指定された目的地に安全且つ効率的に到達させることができる。

サーバ１０３は、様々なクライアントのためにデータアナリティクスサービスを行うデータアナリティクスシステムであることができる。一実施形態では、データアナリティクスシステム１０３は、機械学習エンジン１２２を含む。リファイニングされたラベル付け後のオーディオデータ１２６（以下、より詳細に記載される）に基づいて、機械学習エンジン１２２は、各種目的のために、例えば、動作計画及び制御のための音源の認識のために、一組のルール、アルゴリズム、及び／又は予測モデル１２４を生成又は訓練する。次いで、アルゴリズム１２４をＡＤＶにアップロードして、自律走行中にリアルタイムで利用することができる。以下、より詳細に記載されるように、リファイニングされたラベル付け後のオーディオデータ１２６は、音源のオーディオサンプル、前記音源の１以上の位置、前記音源の方向、オーディオサンプル識別子（ＩＤ）などを含むことができるが、これらに限定されない。

図３Ａ及び図３Ｂは、一実施形態に係るＡＤＶで使用される自律走行システムの例を示すブロック図である。システム３００は、図１のＡＤＶ１０１の一部として実行させることができ、ＡＤＳ１１０、車両制御システム１１１、及び検知システム１１５を含むが、これらに限定されない。図３Ａ及び図３Ｂを参照すると、ＡＤＳ１１０は、ローカリゼーションモジュール３０１、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、ルート決定モジュール３０７、オーディオレコーダ３０８、オーディオデータラベリングモジュール３０９、自動リファイニングモジュール３１０、及びプロファイリングモジュール３１１を含むが、これらに限定されない。

モジュール３０１～３１１の一部又は全部を、ソフトウェア、ハードウェア、又はこれらの組合せで実行させることができる。例えば、これらのモジュールを、永久記憶装置３５２にインストールし、メモリ３５１にロードし、１以上のプロセッサ（図示せず）によって実行させることができる。なお、これらのモジュールの一部又は全部を、図２の車両制御システム１１１の一部又は全部のモジュールに通信可能に接続又は統合することができる。モジュール３０１～３１１の一部は、統合モジュールとして互いに統合することができる。

ローカリゼーションモジュール３０１は、ＡＤＶ３００の現在地を特定し（例えば、レバレッジングＧＰＳユニット２１２）、ユーザの移動又はルートに関連するデータを管理する。ローカリゼーションモジュール３０１（マップ及びルートモジュールとも称される）は、ユーザの移動又はルートに関連するデータを管理する。ユーザは、ログインし、例えば、ユーザインターフェースを介して、移動の出発地と目的地を指定することができる。ローカリゼーションモジュール３０１は、ＡＤＶ３００の他のコンポーネント、例えば、マップ及びルートデータ３１１と通信して、移動に関連するデータを取得する。例えば、ローカリゼーションモジュール３０１は、ロケーションサーバ、並びにマップ及びＰＯＩ（ＭＰＯＩ）サーバからロケーション及びルートデータを取得することができる。ロケーションサーバは、ロケーションサービスを提供し、ＭＰＯＩサーバは、マップサービス及び特定の場所のＰＯＩを提供し、これらを、マップ及びルートデータ３１１の一部として記憶させてもよい。ＡＤＶ３００がルートに沿って移動している間、ローカリゼーションモジュール３０１は、また、交通情報システム又はサーバからリアルタイムの交通情報を取得することができる。

検知システム１１５によって提供された検知データ及びローカリゼーションモジュール３０１によって得られたローカリゼーション情報に基づき、周囲環境の感知が、感知モジュール３０２によって決定される。感知情報は、通常の運転者が感知するであろう、運転車両の周囲のものを表し得る。感知は、車線構成、交通信号機、別車両の相対位置、歩行者、建造物、横断歩道、又は他の交通に関する標識（例えば、停止の標識、道を譲れの標識）などを、例えば、物体の形態で含むことができる。車線構成は、１以上の車線を記述する情報、例えば、車線の形状（例えば、直線又は曲率）、車線の幅、１つの道路にいくつの車線があるか、一方通行又は対面通行の車線、合流又は分岐車線、出口車線などを含む。

感知モジュール３０２は、ＡＤＶ１０１の環境における物体及び／又は特徴を特定するために、コンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含み、１以上のカメラによって捕捉された画像を処理及び分析することができる。前記物体は、交通信号、車道の境界、他の車両、歩行者、及び／又は障害物などを含むことができる。コンピュータビジョンシステムは、物体認識アルゴリズム、ビデオトラッキング、及び他のコンピュータビジョン技術を用いることができる。いくつかの実施形態では、コンピュータビジョンシステムは、環境のマッピング、物体の追跡、物体の速度の推定などを行うことができる。感知モジュール３０２は、また、レーダ及び／又はＬＩＤＡＲなどの他のセンサによって提供された他の検知データに基づき、物体を検出することができる。

各物体について、予測モジュール３０３は、状況下で、物体がどのように振る舞うかを予測する。予測は、感知データに基づいて行われ、一組のマップ／ルート情報３１１及び交通ルール３１２を考慮して、特定の時点における走行環境を感知する。例えば、物体が対向方向の車両であり、現在の走行環境が交差点を含む場合、予測モジュール３０３は、その車両が、直進するか曲がるかを予測する。感知データが、交差点に交通信号機がないことを示す場合、予測モジュール３０３は、その車両が、交差点の前で完全に停止する必要があり得ることを予測することができる。感知データが、その車両が、現在、左折のみの車線又は右折のみの車線を走行していることを示す場合、予測モジュール３０３は、その車両が、左折するか右折するかを予測することができる。

各物体について、決定モジュール３０４は、物体の扱い方に関する決定を行う。例えば、特定の物体（例えば、交差ルートにおける別車両）及び物体を記述するそのメタデータ（例えば、速度、方向、曲がり角度）について、決定モジュール３０４は、物体との遭遇の仕方（例えば、追い越し、道路の譲り、停止、通過）を決定する。決定モジュール３０４は、係る決定を一組のルール、例えば、交通ルール又は走行ルール３１２にしたがって行うことができ、これらを、永久記憶装置３５２に記憶することができる。

ルート決定モジュール３０７は、出発地点から目的地点までの１以上のルート又は経路を提供するように構成される。例えば、ユーザから受け取った出発地から目的地までの所定の移動について、ルート決定モジュール３０７は、ルート及びマップ情報３１１を取得し、出発地から目的地に到達するまでの全ての可能なルート又は経路を決定する。ルート決定モジュール３０７は、出発地から目的地に到達するまでの、ルート決定モジュール３０７が決定するルートのそれぞれについて、地形図の形態で参照線を生成することができる。参照線は、他の車両、障害物、又は交通状況などの他のものからの干渉がない理想的なルート又は経路を意味する。即ち、他の車両、歩行者、又は障害物が道路上にない場合、ＡＤＶは、参照線に対して正確に又は参照線の近くを沿って走行する。次いで、地形図は、決定モジュール３０４及び／又は計画モジュール３０５に提供される。決定モジュール３０４及び／又は計画モジュール３０５は、可能なルートの全てを調べ、他のモジュールによって提供される他のデータ、例えば、ローカリゼーションモジュール３０１からの交通状況、感知モジュール３０２によって感知される走行環境、及び予測モジュール３０３によって予測される交通状況などを考慮して、最も適切なルートのうちの１つを選択且つ修正する。ＡＤＶを制御するための実際の経路又はルートは、特定の時点での具体的な走行環境に応じて、ルート決定モジュール３０７によって提供される参照線に近くてもよいし、それと異なっていてもよい。

感知された物体のそれぞれについての決定に基づいて、計画モジュール３０５は、ルート決定モジュール３０７によって提供された参照線を基準として用いて、ＡＤＶの経路又はルート、及び走行パラメータ（例えば、距離、速度、及び／又は曲がり角度）を計画する。即ち、所定の物体について、決定モジュール３０４は、物体に対してすべきことを決定し、一方、計画モジュール３０５は、それをどのようにすべきかを決定する。例えば、所定の物体について、決定モジュール３０４は、物体を通り過ぎることを決定することができ、一方、計画モジュール３０５は、物体の左右いずれの側で通り過ぎるべきかを決定することができる。計画及び制御データは、計画モジュール３０５によって生成され、車両３００が、どのように次の移動サイクル（例えば、次のルート／経路セグメント）に移るかを記述する情報を含む。例えば、計画及び制御データは、車両３００に対して、１時間当たり３０マイル（ｍｐｈ）の速度で１０メートル移動し、次いで、２５ｍｐｈの速度で右側車線に変更するように命令できる。

計画及び制御データに基づき、制御モジュール３０６は、適切な命令又は信号を車両制御システム１１１に送信することにより、計画及び制御データによって決められたルート又は経路にしたがって、ＡＤＶを制御し走行させる。計画及び制御データは、ルート又は経路に沿った様々な時点での適切な車両条件又は走行パラメータ（例えば、スロットル、ブレーキ、ステアリングの各命令）を用いて、ルート又は経路の第１の地点から第２の地点に車両を走行させるのに十分な情報を含む。

一実施形態では、計画フェーズは、走行サイクルとも称されるいくつかの計画サイクルで行われ、例えば、１００ミリ秒（ｍｓ）間隔で毎回行われる。計画サイクル又は走行サイクルのそれぞれについて、１以上の制御命令が、計画及び制御データに基づいて発せられる。即ち、１００ｍｓごとに、計画モジュール３０５は、次のルートセグメント又は経路セグメントを計画する。これは、例えば、目的位置、及びＡＤＶが前記目的位置に到達するのに要する時間を含む。或いは、計画モジュール３０５は、更に、具体的な速度、方向、及び／又はステアリング角度などを特定することができる。一実施形態では、計画モジュール３０５は、次の所定時間、例えば５秒間で、ルートセグメント又は経路セグメントを計画する。各計画サイクルについて、計画モジュール３０５は、現在のサイクル（例えば、次の５秒間）の目的位置を、前回のサイクルで計画された目的位置に基づいて計画する。次いで、制御モジュール３０６は、現在のサイクルの計画及び制御データに基づいて、１以上の制御命令（例えば、スロットル、ブレーキ、ステアリングの各制御命令）を生成する。

なお、決定モジュール３０４及び計画モジュール３０５は、統合モジュールとして統合することができる。決定モジュール３０４／計画モジュール３０５は、運行システム又は運行システムの機能を含み、ＡＤＶ用の走行経路を決定することができる。例えば、運行システムは、感知された障害物を実質的に回避する経路に沿ったＡＤＶの移動に影響する一連の速度及び進行方向を決定することができ、一般に、最終目的地に至る車道ベースの経路に沿ってＡＤＶを進める。目的地は、ユーザインターフェースシステム１１３を介するユーザの入力にしたがって設定することができる。運行システムは、ＡＤＶの動作中に、走行経路を動的にアップデートすることができる。運行システムは、ＡＤＶ用の走行経路を決定するように、ＧＰＳシステム及び１以上のマップからのデータを取り込むことができる。

一実施形態に係る自律走行車両を用いるオーディオロギング及び車中検証のためのシステムを示すブロック図である図４を更に参照すると、オーディオレコーダ３０８は、検知システム１１５からのオーディオセンサ４１１（例えば、マイクロフォン）と通信し、ＡＤＶを取り巻く環境から音を記録又は捕捉することができる。例えば、ＡＤＶのユーザは、ユーザインターフェースシステム１１３を介してオーディオレコーダ３０８を起動する（電源を入れる）ことができ、オーディオレコーダ３０８を起動するユーザの入力に応答して、オーディオレコーダ３０８は、ＡＤＶの走行環境内の障害物（例えば、警察車両、救急車、消防車などの緊急車両）によって発せられた音（例えば、サイレン音）を記録し、それを、オーディオサンプル／イベント３１３（例えば、好適なフォーマットのオーディオファイル）に変換することができる。十分なオーディオデータが記録される（例えば、特定のデータサイズ又は経過時間に到達する）と、ユーザは、オーディオレコーダ３０８を停止する（電源を切る）ことができ、オーディオサンプル／イベント３１３を永久記憶装置３５２に記憶させることができる。

捕捉又は記録されたオーディオサンプル３１３を用いて、ユーザは、オーディオデータラベリングモジュール３０９（例えば、データラベリングツールアプリケーション）を呼び出して、オーディオサンプル３１３を手動でラベル付けすることができる。例えば、オーディオデータラベリングモジュール３０９を用いて、オーディオサンプル３１３に、オーディオサンプルＩＤ、オーディオサンプル３１３に関連する１以上の位置（例えば、音源又は障害物の位置）、オーディオサンプル３１３に関連する方向（例えば、音源又は障害物の相対方向）などでタグを付ける又はラベル付けして、ラベル付けされたオーディオデータ３１４を作成することができ、これを、永久記憶装置３５２又はリモートサーバ（例えば、サーバ１０３）に記憶することができる。したがって、ラベル付けされたオーディオデータ３１４は、オーディオサンプル３１３、オーディオサンプルＩＤ、オーディオサンプル３１３に関連する１以上の位置、オーディオサンプル３１３に関連する方向などを含むことができる。自動リファイニングモジュール３１０は、機械学習用のラベル付けされたオーディオデータ３１４を自動的にリファイニングすることができる。即ち、ラベル付けされたオーディオデータ３１４は、機械学習モデルに入れることができるようになる前に、リファイニングし、使用可能なフォーマットに規格化する必要がある場合がある。例えば、モジュール３１０は、音源の位置及び／又は方向をリファイニングするために、障害物のクロッピング及び／又は回転を行い、リファイニングされたラベル付け後のオーディオデータ１２６を作成することができ、これを、永久記憶装置３５２にローカルで記憶させる及び／又はリモートサーバ（例えば、サーバ１０３）にアップロードすることができる。したがって、リファイニングされたラベル付け後のオーディオデータ１２６は、オーディオサンプル３１３、オーディオサンプルＩＤ、オーディオサンプル３１３に関連するリファイニングされた位置、及び／又はオーディオサンプル３１３に関連するリファイニングされた方向を含むことができる。オーディオデータ１２６は、移動計画及び制御のためなど各種目的のために、ルール、アルゴリズム、及び／又は予測モデル１２４を生成又は訓練する機械学習エンジン１２２への入力として用いることができる。

同時に、オーディオサンプル／イベント３１３及びリファイニングされたラベル付け後のオーディオデータ１２６を、プロファイリングモジュール３１１に与えて、オンライン性能用の性能プロファイル３１５を生成することができる。例えば、プロファイリングモジュール３１１は、感知モジュール３０２と通信及び／又は動作して、音源（又は障害物）の１以上の位置及び相対方向を決定及び捕捉することができる。図４に示されるように、感知モジュール３０２は、検知システム１１５からの１以上の視覚センサ（例えば、レーダ、カメラ、及び／又はＬＩＤＡＲ）と通信して、様々な時点で視覚センサ４１２によって提供されるセンサに基づき、物体又は障害物を検出することができる。これらの検知データを用いて、感知モジュール３０２は、任意の時点で物体のリアルタイムでの相対位置及び方向を決定することができる。物体の相対位置及び方向並びに入力されたオーディオサンプル３１３に基づいて、プロファイリングモジュール３１１は、リファイニングされたラベル付け後のオーディオデータ１２６のオンライン性能を、感知モジュール３０２によって感知される走行環境に関連するリアルタイム情報（例えば、障害物の位置及び方向）に対してプロファイリング又は検証し、性能プロファイル３１５を生成することができる。即ち、プロファイリングモジュール３１１は、物体の相対位置及び方向並びに入力されたオーディオサンプル３１３を、リファイニングされたラベル付け後のオーディオデータ１２６を比較及び評価するための参照情報として用いることができる。リファイニングされたラベル付け後のオーディオデータ１２６のプロファイリングされた性能は、性能プロファイル３１５の一部として記憶させることができ、これを、永久記憶装置３５２にローカルで記憶させることができる。

図５は、一実施形態に係るオーディオロギング及び車中検証のためのシステムを用いた例示的な走行シナリオを示す図である。図５を参照すると、ＡＤＶ１０１がロートを沿って走行している間、オーディオセンサ４１１（例えば、マイクロフォン）が、緊急車両５０１（例えば、警察車両、救急車、消防車など）からのサイレン音５１１を検出し、サイレン音５１１をオーディオサンプル／イベントとして記録することができる。したがって、緊急車両５０１は、サイレン音５１１を発する音源である。

記録されたオーディオサンプル／イベントを、オーディオサンプルＩＤ、オーディオサンプルに関連する１以上の位置（例えば、緊急車両５０１の位置）、オーディオサンプルに関連する方向（例えば、緊急車両５０１の相対方向）などで、（例えば、データラベリングアプリケーションを用いて）手動でラベル付けすることができる。前記したように、次いで、ラベル付けされたオーディオデータを、機械学習モデルに入れることができるようになる前に、リファイニングし、使用可能なフォーマットに規格化することができる。例えば、ラベル付けされたオーディオデータをリファイニングするために、障害物クロッピング及び／又は回転を行い、オーディオサンプルに関連する位置及び／又は方向をリファイニングすることができる。続いて、リファイニングされたラベル付け後のオーディオデータを、移動計画及び制御のためなど各種目的のために、一組のルール、アルゴリズム、及び／又は予測モデル１２４を生成又は訓練する機械学習エンジンに入れることができる。

同時に、記録されたオーディオサンプル／イベントは、プロファイリングシステム（例えば、図４のプロファイリングモジュール３１１）に提供され、リファイニングされたラベル付け後のオーディオデータの性能をリアルタイムの視覚検知データに対してｐロファイリング又は分析することができる。例えば、ＡＤＶ１０１がルートに沿って走行している間、視覚センサ４１２（例えば、カメラ、レーダ、ＬＩＤＡＲ）は、ＡＤＶ１０１の走行環境内の緊急車両５０１を検出することができる。走行環境における緊急車両５０１の検出に応答して、視覚センサ４１２は、様々な時点における緊急車両５０１の位置（例えば、ｘ、ｙ、ｚ座標）を提供することができる。ＡＤＶ１０１の提供された位置及び参照軸（ｘ軸）に基づいて、ＡＤＶ１０１の感知システムは、更に、ＡＤＶ１０１から緊急車両５０１に描かれる方向ベクトルを決定することができる。ＡＤＶ１０１の方向ベクトル及び参照軸に基づいて、方向角を決定することができ、この方向角は、緊急車両５０１の相対方向を表す。次いで、リファイニングされたラベル付け後のオーディオデータのオンライン性能を、緊急車両５０１の位置及び相対方向並びに記録されたオーディオサンプル／イベントに対して生成させることができる。

図５には１台の緊急車両５０１が図示されるが、他のの走行シナリオでは、複数の緊急車両５０１を用いることができ、オーディオロギング及び車中検証のためのシステムが、これらの車両により同時に操作されることが留意される。また、緊急車両５０１は、静止していてもよく、ＡＤＶ１０１に向かって動いている、又はＡＤＶ１０１から離れて動いていてもよい。同様に、ＡＤＶ１０１は、静止していてもよく、緊急車両５０１に向かって動いている、又は緊急車両５０１から離れて動いていてもよい。

図６は、一実施形態に係るラベル付けされたオーディオデータを生成する方法及びラベル付けされたオーディオデータの車中検証のフロー図である。いくつかの実施形態では、方法６００は、感知モジュール３０２、オーディオレコーダ３０８、オーディオデータラベリングモジュール３０９、自動リファイニングモジュール３１０、プロファイリングモジュール３１１、及び／又は機械学習エンジン１２２によって行われる。

図６を参照すると、ブロック６０１で、ＡＤＶの走行環境内の物体（例えば、緊急車両）によって発せられた音（例えば、サイレン音）が記録され、オーディオサンプルに変換される。ブロック６０２で、オーディオサンプルがラベル付けされ、ラベル付けされたオーディオサンプルがリファイニングされて、リファイニングされたラベル付け後のオーディオデータを作成し、リファイニングされたラベル付け後のオーディオデータは、ＡＤＶの自律走行中に、音源を認識する機械学習アルゴリズムを、後に訓練するために利用される。ブロック６０３で、リファイニングされたラベル付け後のオーディオデータの性能プロファイルは、少なくとも、オーディオサンプル、物体の位置、及び物体の相対方向に基づいて生成され、物体の位置及び物体の相対方向は、ＡＤＶの感知システムによって決定される。

図７は、一実施形態に係るラベル付けされたオーディオデータの車中検証の方法のフロー図である。方法又はプロセス７００は、ソフトウェア、ハードウェア、又はこれらの組合せを含み得る処理ロジックによって行うことができる。例えば、プロセス７００は、図１のＡＤＳ１１０によって行うことができる。

図７を参照すると、ブロック７０１で、処理ロジックは、ＡＤＶの走行環境内の障害物（例えば、緊急車両）によって発せられた音（例えば、サイレン音）を記録して、オーディオサンプルを作成する。ブロック７０２で、処理ロジックは、ＡＤＶの視覚センサ（例えば、カメラ、レーダ、ＬＩＤＡＲ）によって提供される検知データに基づいて、障害物の位置、及び前記障害物の相対方向を決定する。ブロック７０３で、処理ロジックは、オーディオサンプル、障害物の位置、及び障害物の相対方向を用い、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成する。前記リファイニングされたラベル付け後のオーディオデータは、オーディオサンプルをラベル付けし、ラベル付けされたオーディオサンプルをリファイニングすることによって生成され、ＡＤＶの自律走行中に、音源を認識する機械学習アルゴリズムを、後に訓練するために利用される。

なお、上に示され記載されたコンポーネントの一部又は全部は、ソフトウェア、ハードウェア、又はこれらの組合せで実行させることができる。例えば、係るコンポーネントを、永久記憶装置にインストールされ記憶されたソフトウェアとして実行させることができ、これは、プロセッサ（図示せず）によってメモリにロードされ実行され、本願を通して記載されるプロセス又はオペレーションを実行することができる。或いは、係るコンポーネントを、専用ハードウェアにプログラムされた又は埋め込まれた実行可能コードとして実装することができる。この専用ハードウェアとしては、例えば、集積回路（例えば、特定用途向けＩＣ、即ち、ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）が挙げられ、これらは、対応するドライバ及び／又はアプリケーションからのオペレーティングシステムを介してアクセスすることができる。更に、係るコンポーネントは、１以上の特定の命令を介してソフトウェアコンポーネントによってアクセス可能な命令セットの一部としてのプロセッサ又はプロセッサコア内の特定のハードウェアロジックとして実装することができる。

前述した詳細な説明の一部記載は、コンピュータメモリ内のデータビットに基づくオペレーションのアルゴリズム及び記号表現を用いてなされている。これらのアルゴリズムの記載及び表現は、データ処理分野における当業者によって、自身の研究の内容を他の当業者に最も効果的に伝えるために使用される方法である。アルゴリズムは、ここでは、及び一般的に言っても、所望の結果に至るオペレーションのセルフコンシステントなシーケンスであると考えられる。オペレーションは、物理量の物理的操作を要求するものである。

しかし、これらの用語及び類似用語はいずれも、適切な物理量に関連するものであり、これらの量に与えられる便利なラベルであるに過ぎないことに留意すべきである。前述の記載と明らかに異なる具体的記載がなされない限り、以下の特許請求の範囲に示される用語などの用語を用いた記載は、明細書全体を通して、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを、コンピュータシステムメモリ若しくはレジスタ又は他の情報ストレージ、トランミッション、若しくは表示装置内の物理量として同様に表される他のデータに操作及び変換するコンピュータシステム又は同様の電子計算装置の動作及びプロセスを意味すると理解される。

本開示の実施形態は、また、本明細書におけるオペレーションを実行するための装置に関する。係るコンピュータプログラムは、非一過性のコンピュータ可読媒体に記憶される。マシン可読媒体としては、マシン（例えば、コンピュータ）によって読み取ることができる形態の情報を記憶するための任意の機構が挙げられる。例えば、マシン可読（例えば、コンピュータ可読）媒体としては、マシン（例えば、コンピュータ）可読記憶媒体（例えば、リードオンリーメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス）などが挙げられる。

前述した図面に示されるプロセス又は方法は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（例えば、非一過性コンピュータ可読媒体で具現化される）、又は両者の組合せを含むロジックを処理することによって行うことができる。プロセス又は方法が、いくつかの順次的なオペレーションを用いて前述されるものの、記載のオペレーションのいくつかは、異なる順序で実行することができることを理解すべきである。更に、いくつかのオペレーションは、順次的にではなく並行して行うことができる。
本開示の実施形態は、コンピュータ上で動作しているときに、前述した図面に示されるプロセス又は方法を前記コンピュータに実行させるためのコンピュータプログラムに更に関する。

本開示の実施形態は、任意の特定のプログラミング言語を参照して記載されていない。
本明細書に記載される開示の実施形態の教示を実行するために、各種プログラミング言語を使用できることが理解される。

前述の明細書では、本開示の実施形態を、その具体的且つ例示的な実施形態を参照して説明している。以下の特許請求の範囲に記載される本開示のより広い精神及び範囲から逸脱することなく、それらに様々な変更を加えることが可能であることは明らかである。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味とみなされるべきである。

Claims (18)

1. 自律走行車両（ＡＤＶ）が走行環境内を動作している間、前記ＡＤＶを利用して、ラベル付けされたオーディオデータと、前記ラベル付けされたオーディオデータの車中検証とを生成する方法であって、前記方法は、コンピュータによって実行され、
   前記ＡＤＶの前記走行環境内の物体によって発せられた音を記録し、記録された前記音をオーディオサンプルに変換すること、
   前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングして、前記ＡＤＶの自律走行中に音源を認識する機械学習アルゴリズムを、後に訓練するために利用されるリファイニングされたラベル付け後のオーディオデータを作成し、前記オーディオサンプルが、前記ＡＤＶのユーザによって手動でラベル付けされることと、
   少なくとも前記オーディオサンプル並びに前記ＡＤＶの感知システムによってそれぞれ決定される前記物体の位置及び前記物体の相対方向に基づいて、前記リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することと
   を含むことを特徴とする方法。
2. 前記リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記物体の前記位置、及び前記物体の前記相対方向に対してプロファイリングすることを含む請求項１に記載の方法。
3. 前記リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することが、更に、前記ＡＤＶの視覚センサによって提供される検知データに基づいて、前記物体の前記位置及び前記物体の前記相対方向を決定することを含み、前記視覚センサが前記感知システムに接続されている請求項２に記載の方法。
4. 前記オーディオサンプルをラベル付けすることが、前記オーディオサンプルを、オーディオサンプル識別子（ＩＤ）、前記オーディオサンプルに関連する１以上の位置、及び前記オーディオサンプルに関連する方向でタグを付けることを含む請求項１に記載の方法。
5. 前記物体が緊急車両であり、発せられた前記音がサイレン音である請求項１に記載の方法。
6. 自律走行車両（ＡＤＶ）が走行環境内を動作している間、前記ＡＤＶを利用するラベル付けされたオーディオデータの車中検証のためのコンピュータで実行される方法であって、
   前記ＡＤＶの前記走行環境内の障害物によって発せられた音を記録し、オーディオサンプルを作成することと、
   前記ＡＤＶの視覚センサによって提供される検知データに基づいて、前記障害物の位置と、前記障害物の相対方向とを決定することと、
   前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することとを含み、前記リファイニングされたラベル付け後のオーディオデータが、前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングすることによって生成され、前記ＡＤＶの自律走行中の音源を認識する機械学習アルゴリズムを、後に訓練するために利用され、前記オーディオサンプルが、前記ＡＤＶのユーザによって手動でラベル付けされることを特徴とする方法。
7. 前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、前記性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向に対してプロファイリングすることを含む請求項６に記載の方法。
8. 前記ラベル付けされたオーディオサンプルが、前記オーディオサンプル、オーディオサンプル識別子（ＩＤ）、前記オーディオサンプルに関連する１以上の位置、及び前記オーディオサンプルに関連する方向を含む請求項６に記載の方法。
9. 前記障害物が緊急車両であり、発せられた前記音がサイレン音である請求項６に記載の方法。
10. ラベル付けされたオーディオデータの車中検証のためのシステムであって、
    プロセッサと、
    前記プロセッサに接続され、前記プロセッサによって実行されたときに、前記プロセッサにオペレーションを行わせる命令を記憶するメモリとを含み、前記オペレーションが、
    自律走行車両（ＡＤＶ）の走行環境内の障害物によって発せられた音を記録し、オーディオサンプルを作成することと、
    前記ＡＤＶの視覚センサによって提供された検知データに基づいて、前記障害物の位置及び前記障害物の相対方向を決定することと、
    前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することとを含み、前記リファイニングされたラベル付け後のオーディオデータが、前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングすることによって生成され、前記ＡＤＶの自律走行中の音源を認識する機械学習アルゴリズムを、後に訓練するために利用され、前記オーディオサンプルが、前記ＡＤＶのユーザによって手動でラベル付けされることを特徴とするシステム。
11. 前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、前記性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向に対してプロファイリングすることを含む請求項１０に記載のシステム。
12. 前記ラベル付けされたオーディオサンプルが、前記オーディオサンプル、オーディオサンプル識別子（ＩＤ）、前記オーディオサンプルに関連する１以上の位置、及び前記オーディオサンプルに関連する方向を含む請求項１０に記載のシステム。
13. 前記障害物が緊急車両であり、発せられた前記音がサイレン音である請求項１０に記載のシステム。
14. プロセッサによって実行されたときに、前記プロセッサにオペレーションを行わせる命令が記憶された非一過性のマシン可読媒体であって、前記オペレーションが、
    自律走行車両（ＡＤＶ）の走行環境内の障害物によって発せられた音を記録し、オーディオサンプルを作成することと、
    前記ＡＤＶの視覚センサによって提供された検知データに基づいて、前記障害物の位置及び前記障害物の相対方向を決定することと、
    前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することとを含み、前記リファイニングされたラベル付け後のオーディオデータが、前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングすることによって生成され、前記ＡＤＶの自律走行中の音源を認識する機械学習アルゴリズムを、後に訓練するために利用され、前記オーディオサンプルが、前記ＡＤＶのユーザによって手動でラベル付けされることを特徴とする非一過性のマシン可読媒体。
15. 前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、前記性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向に対してプロファイリングすることを含む請求項１４に記載の非一過性のマシン可読媒体。
16. 前記ラベル付けされたオーディオサンプルが、前記オーディオサンプル、オーディオサンプル識別子（ＩＤ）、前記オーディオサンプルに関連する１以上の位置、及び前記オーディオサンプルに関連する方向を含む請求項１４に記載の非一過性のマシン可読媒体。
17. 前記障害物が緊急車両であり、発せられた前記音がサイレン音である請求項１４に記載の非一過性のマシン可読媒体。
18. コンピュータ上で動作しているときに、請求項１～９のいずれかに記載の方法を前記コンピュータに実行させるためのコンピュータプログラム。