JP2021508815A - 妨害物体の検出に基づいて高精細度マップを補正するためのシステムおよび方法 - Google Patents

Abstract

本開示の実施形態は、高精細度マップを補正するためのシステムおよび方法を提供する。システムは、ＬｉＤＡＲによってキャプチャされたシーンのポイント・クラウド・データを受信するように構成された通信インターフェースを含み得る。システムは、ポイント・クラウド・データを記憶するように構成されたストレージと、少なくとも１つのプロセッサとを、さらに含み得る。少なくとも１つのプロセッサは、ポイント・クラウド・データから少なくとも１つの妨害物体を検出するように構成され、および、少なくとも１つの妨害物体によって生じるポイント・クラウド・データ内の少なくとも１つのホールを測位するように構成され得る。少なくとも１つのプロセッサは、シーンが少なくとも１つの妨害物体なしにキャプチャされたかのように構成され、少なくとも１つのホールについて妨害されないポイント・クラウド・データを推定するように構成され、および、妨害されないポイント・クラウド・データを用いて受信したポイント・クラウド・データを修復することによって、高精細度マップを補正するようにさらに構成される。
【選択図】図３

Description

本開示は、シーン内に妨害物が存在する際に高精細度マップを補正するためのシステムおよび方法に関し、より具体的には、妨害物体の検出に基づいて高精細度マップを更新するためのシステムおよび方法に関する。

自律走行技術は、正確なマップに大きく依拠している。たとえば、ナビゲーション・マップの精度は、測位、周囲環境の認識、意思決定、および制御などの、自律走行車両の機能にとって不可欠である。高精細度マップは、車両を乗り回している間に車両上の様々なセンサー、検出器、および他のデバイスによって収集された画像および情報を統合することによって取得され得る。たとえば車両には、車両が走行している道路または周囲の物体の特徴をキャプチャするために、光検出と測距システム（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、全地球測位システム（ＧＰＳ）受信機、１つまたは複数の慣性計測装置（ＩＭＵ）センサー、および１つまたは複数のカメラなどの、複数の集積センサーが装備され得る。キャプチャされたデータは、たとえば、車線のセンターラインまたは境界線座標、ビル、別の車両、ランドマーク、歩行者、または交通標識などの物体の座標および画像を含み得る。

特に、ＬｉＤＡＲは、パルス・レーザー光を用いてターゲットを照明すること、および、センサーを用いて反射したパルスを測定することによって、ターゲットまでの距離を測定する。次いで、レーザーの戻り時間および波長における差を使用して、ターゲットのデジタル３次元（３−Ｄ）表現を構築することができる。ＬｉＤＡＲによってキャプチャされたデータは、ポイント・クラウド・データと呼ばれる。測量の間、道路上の様々な物体がＬｉＤＡＲの視野を妨害する可能性がある。パルス・レーザー光は、道路に達する前に妨害物体によって反射されるため、キャプチャされるポイント・クラウド・データは歪められている。こうした歪められたポイント・クラウド・データを使用して再構築される高解像度マップは、キャプチャされたシーンを正確に反映することができない。

本開示の実施形態は、ポイント・クラウド・データのセグメンテーションおよび妨害物体によって生じる歪みの補償に基づいて高精細度マップを補正するためのシステムおよび方法によって、上記の問題に対処する。

本開示の実施形態は、高精細度マップを補正するためのシステムを提供する。システムは、ＬｉＤＡＲによってキャプチャされたシーンのポイント・クラウド・データを受信するように構成された通信インターフェースを含み得る。システムは、ポイント・クラウド・データを記憶するように構成されたストレージと、少なくとも１つのプロセッサとを、さらに含み得る。少なくとも１つのプロセッサは、ポイント・クラウド・データから少なくとも１つの妨害物体を検出するように構成され、および、少なくとも１つの妨害物体によって生じるポイント・クラウド・データ内の少なくとも１つのホールを測位するように構成され得る。少なくとも１つのプロセッサは、シーンが少なくとも１つの妨害物体なしにキャプチャされたかのように構成され、少なくとも１つのホールについて妨害されないポイント・クラウド・データを推定するように構成され、および、妨害されないポイント・クラウド・データを用いて受信したポイント・クラウド・データを修復することによって、高精細度マップを補正するようにさらに構成される。

本開示の実施形態は、高精細度マップを補正するための方法も提供する。方法は、通信インターフェースを介して、ＬｉＤＡＲによってキャプチャされたシーンのポイント・クラウド・データを受信することを含み得る。方法は、少なくとも１つのプロセッサによって、ポイント・クラウド・データから少なくとも１つの妨害物体を検出すること、および、少なくとも１つのプロセッサによって、少なくとも１つの妨害物体によって生じるポイント・クラウド・データ内の少なくとも１つのホールを測位することを、さらに含み得る。方法は、少なくとも１つのプロセッサによって、シーンが少なくとも１つの妨害物体なしにキャプチャされたかのように、少なくとも１つのホールについて妨害されないポイント・クラウド・データを推定すること、および、少なくとも１つのプロセッサによって、妨害されないポイント・クラウド・データを用いて受信したポイント・クラウド・データを修復することによって、高精細度マップを補正することも、含み得る。

本開示の実施形態は、１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに高精細度マップを補正するための方法を実施させる命令を記憶した、持続性コンピュータ可読媒体を、さらに提供する。方法は、ＬｉＤＡＲによってキャプチャされたシーンのポイント・クラウド・データを受信することを含み得る。方法は、ポイント・クラウド・データから少なくとも１つの妨害物体を検出すること、および、少なくとも１つのプロセッサによって、少なくとも１つの妨害物体によって生じるポイント・クラウド・データ内の少なくとも１つのホールを測位することを、さらに含み得る。方法は、シーンが少なくとも１つの妨害物体なしにキャプチャされたかのように、少なくとも１つのホールについて妨害されないポイント・クラウド・データを推定すること、および、妨害されないポイント・クラウド・データを用いて受信したポイント・クラウド・データを修復することによって、高精細度マップを補正することも、含み得る。

前述の概略的な説明および下記の詳細な説明は、どちらも単に例示的および説明的なものであり、請求される本発明を制限するものではないことを理解されよう。

本開示の実施形態に従った、センサーが装備された例示的な車両を示す概略図である。 本開示の実施形態に従った、高精細度マップを補正するための例示的なサーバを示すブロック図である。 本開示の実施形態に従った、高精細度マップを補正するための例示的な方法を示すフローチャートである。 本開示の実施形態に従った、ポイント・クラウド・データをセグメント化するために使用される例示的な畳み込みニューラル・ネットワーク（ＣＮＮ）を示す図である。 本開示の実施形態に従った、妨害されないポイント・クラウド・データを推定するための例示的な方法を示す図である。

次に、添付の図面にそれらの例が図示された例示的な実施形態について詳細に言及する。図面全体を通じて、同じかまたは類似の部分を言い表すために可能な限り同じ参照番号が使用される。

図１は、本開示の実施形態に従った、複数のセンサー１４０および１５０を有する例示的な車両１００の概略図を示す。いくつかの実施形態に一致して、車両１００は、高精細度マップまたは３−Ｄ都市モデリングを構築するためのデータを収集するように構成された測量車両であり得る。車両１００は、電気車両、燃料電池車両、ハイブリッド車両、または従来の内燃エンジン車両であり得ることが企図される。車両１００は、車体１１０および少なくとも１つのホイール１２０を有し得る。車体１１０は、スポーツ車両、クーペ、セダン、ピックアップ・トラック、ステーション・ワゴン、スポーツ用多目的車両（ＳＵＶ）、ミニバン、またはコンバージョン・バンなどの、任意の車体スタイルであり得る。いくつかの実施形態において、車両１００は、図１に示すように、１対の前輪および１対の後輪を含み得る。しかしながら、車両１００は、車両１００が動き回れるようにする、より多い、またはより少ないホイールまたは等価の構造を有し得ることが企図される。車両１００は、全輪駆動（ＡＷＤ）、前輪駆動（ＦＷＲ）、または後輪駆動（ＲＷＤ）として構成され得る。いくつかの実施形態において、車両１００は、車両に乗車している運転者によって、遠隔制御で、および／または自律的に運転されるように構成され得る。

図１に示されるように、車両１００には、取付構造１３０を介して車体１１０に取り付けられたセンサー１４０が装備され得る。取付構造１３０は、車両１００の車体１１０に設置される（ｉｎｓｔａｌｌｅｄ）かまたは他の方法で接続される（ａｔｔａｃｈｅｄ）、電気機械デバイスであり得る。いくつかの実施形態において、取付構造１３０は、ねじ、接着剤、または別の取付機構を使用し得る。車両１００は追加として、任意の好適な取付機構を使用して、車体１１０の内部または外部にセンサー１５０を装備し得る。センサー１４０または１５０を車両１００に装備し得る様式は、図１に示された例によって制限されることはなく、望ましい感知性能を達成するために、センサー１４０および１５０および／または車両１００のタイプに応じて変更され得ることが企図される。

いくつかの実施形態において、センサー１４０および１５０は、車両１００が軌道に沿って進んでいるときにデータをキャプチャするように構成され得る。本開示に一致して、センサー１４０は、周囲を走査し、ポイント・クラウドを収集するように構成された、ＬｉＤＡＲであり得る。ＬｉＤＡＲは、パルス・レーザー光を用いてターゲットを照明すること、およびセンサーを用いて反射したパルスを測定することによって、ターゲットまでの距離を測定する。次いで、レーザーの戻り時間および波長における差を用いて、ターゲットのデジタル３−Ｄ表現を作成することができる。ＬｉＤＡＲ走査に使用される光は、紫外線、可視光、または近赤外線であり得る。狭レーザー・ビームは非常に高い解像度で物理特徴をマッピングできるため、ＬｉＤＡＲは高精細度マップ測量に特に好適である。いくつかの実施形態において、ＬｉＤＡＲがポイント・クラウドをキャプチャし得る。ポイント・クラウド・データは、物体の周囲の外部表面上にデータ・ポイントのセットを含み得る。ポイント・クラウドが、物体の３−Ｄモデルを構築するために処理され得る。車両１００が軌道に沿って進んでいるときに、センサー１４０はポイント・クラウド・データを連続的にキャプチャし得る。ある時点でキャプチャされるポイント・クラウド・データの各セットが、ポイント・クラウド・フレームと呼ばれる。ポイント・クラウド・フレームは、リアルタイムで（たとえば、ストリーミングによって）、または、車両１００が軌道全体を完了した後でまとめて、サーバ１６０に伝送され得る。

図１に示されるように、車両１００には追加としてセンサー１５０が装備され得、センサー１５０は、ＧＰＳ受信機および１つまたは複数のＩＭＵセンサーなどの、ナビゲーション・ユニットにおいて使用されるセンサーを含み得る。ＧＰＳは、ジオロケーションおよび時間情報をＧＰＳ受信機に提供するグローバル・ナビゲーション衛星システムである。ＩＭＵは、加速度計およびジャイロスコープ、時には磁力計などの、様々な慣性センサーを使用して、車両の特定の力、角速度、および時には車両を取り囲む磁場を、測定および提供する電子デバイスである。ＧＰＳ受信機およびＩＭＵセンサーを組み合わせることによって、センサー１５０は、車両１００が進んでいるときに、各時点での車両１００の位置および配向（たとえば、オイラー角）を含む車両１００のリアルタイム姿勢情報を提供することができる。本開示に一致して、センサー１５０は、センサー１４０がポイント・クラウド・フレームをキャプチャするのと同じ時点で、姿勢情報を測定し得る。したがって、姿勢情報はそれぞれのポイント・クラウド・フレームに関連付けられ得る。いくつかの実施形態において、ポイント・クラウド・フレームとその関連付けられた姿勢情報との組み合わせを使用して、車両１００が測位され得る。

本開示に一致して、センサー１４０および１５０はサーバ１６０と通信し得る。いくつかの実施形態において、サーバ１６０は、ローカル物理サーバ、（図１に示されるような）クラウド・サーバ、仮想サーバ、分散型サーバ、または任意の他の好適なコンピューティング・デバイスであり得る。本開示に一致して、サーバ１６０は、センサー１４０および１５０からデータを取得し得る。サーバ１６０は、ワイヤレス・ローカル・エリア・ネットワーク（ＷＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、電波などのワイヤレス・ネットワーク、セルラー・ネットワーク、衛星通信ネットワーク、および／または、ローカルまたは短距離ワイヤレス・ネットワーク（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標））などの、ネットワークを介して、センサー１４０および１５０、および／または車両１００の他の構成要素と通信し得る。サーバ１６０は高精細度マップを記憶し得る。いくつかの実施形態において、高精細度マップは、元来、センサー１４０によって収集されたポイント・クラウド・データを使用して構築され得る。

本開示に一致して、サーバ１６０は、妨害物体によって生じるキャプチャされたポイント・クラウド・データ内のいずれの歪みも除去するために、高精細度マップを補正する責務も負い得る。いくつかの実施形態において、妨害物体は、レーザー光が道路に達する前に物体によって反射されるようにセンサー１４０のレーザー経路を遮断する任意の物体を含み得る。たとえば妨害物体は、歩行者、一時的なブース、あるいは、車、オートバイ、または自転車などの駐車または移動している車両であり得る。サーバ１６０は、妨害物体によって反射されたポイント・クラウド・データを残りのポイント・クラウド・データから分離すること、妨害物体が存在しなかったかのように正しいポイント・クラウド・データを推定すること、および、推定されたポイント・クラウド・データを使用して高精細度マップを補正することができる。

たとえば図２は、本開示の実施形態に従った、高精細度マップを補正するための例示的なサーバ１６０のブロック図を示す。いくつかの実施形態において、図２に示されるように、サーバ１６０は、通信インターフェース２０２、プロセッサ２０４、メモリ２０６、およびストレージ２０８を含み得る。いくつかの実施形態において、サーバ１６０は、集積回路（ＩＣ）チップなどの単一デバイス内に異なるモジュールを有し得るか、または、専用機能を備える別々のデバイスを有し得る。いくつかの実施形態において、サーバ１６０の１つまたは複数の構成要素は、クラウド内に配置され得るか、あるいは代替として、単一の位置（車両１００内部またはモバイル・デバイス）または分散位置にあり得る。サーバ１６０の構成要素は、集積デバイス内にあり得るか、または、異なる位置に分散されるが互いにネットワーク（図示せず）を介して通信し得る。

通信インターフェース２０２は、通信ケーブル、ワイヤレス・ローカル・エリア・ネットワーク（ＷＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、電波などのワイヤレス・ネットワーク、セルラー・ネットワーク、および／または、ローカルまたは短距離ワイヤレス・ネットワーク（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標））、あるいは他の通信方法を介して、センサー１４０および１５０などの構成要素にデータを送信し得、またそれらの構成要素からデータを受信し得る。いくつかの実施形態において、通信インターフェース２０２は、統合サービス・デジタル・ネットワーク（ＩＳＤＮ）カード、ケーブル・モデム、衛星モデム、または、データ通信接続を提供するためのモデムとすることができる。別の例として、通信インターフェース２０２は、互換ＬＡＮへのデータ通信接続を提供するためのローカル・エリア・ネットワーク（ＬＡＮ）カードとすることができる。ワイヤレス・リンクも通信インターフェース２０２によって実装可能である。こうした実装形態において、通信インターフェース２０２は、ネットワークを介して様々なタイプの情報を表すデジタル・データ・ストリームを伝搬する、電気、電磁、または光の信号を送受信することができる。

いくつかの実施形態に一致して、通信インターフェース２０２は、センサー１４０によってキャプチャされたポイント・クラウド・データ２０３などのデータを受信し得る。いくつかの実施形態において、通信インターフェース２０２は、センサー１５０によってキャプチャされた姿勢情報（図示せず）も受信し得る。いくつかの実施形態において、通信インターフェース２０２は、追加として、トレーニング・デバイス１８０からニューラル・ネットワーク２０５を受信し得る。いくつかの実施形態において、トレーニング・デバイス１８０は、たとえばプロセッサ、メモリ、ストレージ・デバイスなどを含む、サーバ１６０の構造と類似の構造を有し得る。いくつかの実施形態において、トレーニング・デバイス１８０はサーバ１６０の一部であり得る。トレーニング・デバイス１８０は、サンプル・データを使用してニューラル・ネットワーク２０５をトレーニングするように構成され得る。ニューラル・ネットワーク２０５は、トレーニング・プロセスの間に認知タスクを実施することを習得し得る。たとえば、ニューラル・ネットワーク２０５は、当初はＬｉＤＡＲによってキャプチャされたポイント・クラウド・データに基づいて、妨害物体を検出するようにトレーニングされ得る。いくつかの実施形態において、ニューラル・ネットワーク２０５は、セグメンテーション・タスクを実施するように、たとえば、妨害物体に関連付けられたポイント・クラウド・データ２０３の部分を残りのポイント・クラウド・データ２０３から分離するように、トレーニングされ得る。本開示に一致して、ニューラル・ネットワーク２０５は、畳み込みニューラル・ネットワーク（ＣＮＮ）を含むが限定されない、任意の好適な学習モデルであり得る。いくつかの実施形態において、ニューラル・ネットワーク２０５のトレーニングは、畳み込みカーネルの重さ、サイズ、形状、および構造などの、１つまたは複数のモデル・パラメータを決定し得る。

通信インターフェース２０２はさらに、受信したポイント・クラウド・データ２０３およびニューラル・ネットワーク２０５を、記憶のためにストレージ２０８へ、または処理のためにプロセッサ２０４へ、提供し得る。通信インターフェース２０２は、プロセッサ２０４によって作成された補正済み高精細度マップを受信すること、および、補正済みマップを、車両１００内の任意のローカル構成要素へ、またはネットワークを介して任意のリモート・デバイスへ、提供することもできる。

プロセッサ２０４は、任意の適切なタイプの汎用または特定用途向けのマイクロプロセッサ、デジタル信号プロセッサ、あるいはマイクロコントローラを含み得る。プロセッサ２０４は、高精細度マップの補正専用の別のプロセッサ・モジュールとして構成され得る。代替として、プロセッサ２０４は、高精細度マップの生成および補正に無関係の他の機能を実施するための、共有プロセッサ・モジュールとして構成され得る。

図２に示されるように、プロセッサ２０４は、ポイント・クラウド・セグメンテーション・ユニット２１０、ホール測位ユニット２１２、妨害されないポイント・クラウド推定ユニット２１４、マップ補正ユニット２１６などの、複数のモジュールを含み得る。これらのモジュール（および任意の対応するサブモジュールまたはサブユニット）は、他の構成要素と共に使用するように設計されたプロセッサ２０４のハードウェア・ユニット（たとえば、集積回路の一部）、または、プログラムの少なくとも一部を実行することを介してプロセッサ２０４によって実装されるソフトウェア・ユニットとすることができる。プログラムは、コンピュータ可読媒体上に記憶され得、またプロセッサ２０４によって実行されたときに、１つまたは複数の機能を実施し得る。図２は、ユニット２１０〜２１６がすべて１つのプロセッサ２０４内にあるように示しているが、これらのユニットは、互いに近くまたは遠隔に配置された複数のプロセッサ間に分散され得ることが企図される。

ポイント・クラウド・セグメンテーション・ユニット２１０は、１つまたは複数の妨害物体を検出するために、受信したポイント・クラウド・データ２０３をセグメント化するように構成され得る。妨害物体は、歩行者、車両、または、センサー１４０のレーザー経路内にある別の物体であり得る。いくつかの実施形態において、ポイント・クラウド・セグメンテーション・ユニット２１０は、ポイント・クラウド・データ２０３を２次元（２−Ｄ）平面に投影するように、したがって２−Ｄ投影画像を取得するように、構成され得る。たとえば、２−Ｄ投影画像は見下ろし図であり得る。いくつかの実施形態において、２−Ｄ投影画像は、いくつかのピクセルまたはスーパーピクセル（補助ピクセルのグループを含む）を含み得る。ポイント・クラウド・セグメンテーション・ユニット２１０は、２−Ｄ投影画像から様々な特徴をさらに抽出し得る。特徴の各カテゴリはチャネルに対応し得る。いくつかの実施形態において、ポイント・クラウド・セグメンテーション・ユニット２１０は、ピクセルが妨害物体に属する可能性がどの程度あるかを示す、ピクセルの属性を予測するために、抽出された特徴にニューラル・ネットワーク２０５を適用し得る。たとえば属性は、ピクセルと妨害物体の中心との間の距離、信頼度のレベル、ピクセルが妨害物体の一部である可能性、および妨害物体の高さを含み得る。

ピクセルについての属性予測結果に基づいて、妨害物体に対応するピクセルのセグメントが存在し得る。たとえば各セグメントは、可能性がしきい値よりも大きいなどの、ピクセルが妨害物体の一部であることを示す属性を伴うピクセルを含み得る。いくつかの実施形態において、同じ妨害物体に属するいくつかのセグメントは、それでもなお互いに接続していない可能性があり、セグメント間にあるギャップが存在し得る。いくつかの実施形態において、ポイント・クラウド・セグメンテーション・ユニット２１０は、ギャップを形成するピクセルの予測結果を修正することによって、それらのセグメントを統合し得る。

次いで、ポイント・クラウド・セグメンテーション・ユニット２１０は、妨害物体に対応するポイント・クラウド・データを、残りのポイント・クラウド・データから分離し得る。したがって残りのポイント・クラウド・データは、妨害物体によって生じる複数のホールを含む。いくつかの実施形態において、これらのホールは後に、妨害物体によって生じるデータ歪みを補償するために、推定されたポイント・クラウド・データによって満たされ得る。

いくつかの実施形態において、ホール測位ユニット２１２は、ポイント・クラウド・データ２０３内のホールを測位するように構成され得る。いくつかの実施形態において、ホールを測位することは、ホールが位置する平面、および妨害物体を包含するバウンディング・ボックスを決定することを含む。本開示ではホールを測位することを説明するが、代替として、ホールの代わりに妨害物体が測位され得、達成される機能は等価であり得ることが企図される。

妨害されないポイント・クラウド推定ユニット２１４は、ＬｉＤＡＲ測定が妨害物体によって遮断されなかったかのように、ホールを満たすためのポイント・クラウド・データを推定し得る。いくつかの実施形態において、妨害物体の平面位置に基づいて、レーザー経路がシミュレートされ得る。次いで、レーザー経路は、道路に接触するポイントを見つけるために、妨害物体を超えて延在し得る。そのポイントについてのポイント・クラウド・データが推定され得る。

マップ補正ユニット２１６は、推定されたポイント・クラウド・データを使用して高精細度マップを補正するように構成され得る。いくつかの実施形態において、マップ補正ユニット２１６は、推定されたポイント・クラウド・データを用いてホールを「修復」し得る。いくつかの実施形態において、修復は、妨害物体を包含するバウンディング・ボックス内に制限される。修復は、データの置換、修正、再配置、またはその他の操作を含み得る。いくつかの実施形態において、ポイント・クラウド・データ２０３は、ＬｉＤＡＲが軌道に沿って移動するときにキャプチャされる、複数のポイント・クラウド・フレームを含み得る。マップ補正ユニット２１６は、前述のように、対応する妨害されないポイント・クラウド・データを用いて各ポイント・クラウド・フレームを修復し、修復されたポイント・クラウド・フレームを統合し得る。修復されたポイント・クラウド・フレームを結合することで、ホールの領域をより良くカバーする高精細度マップをもたらすことができる。

メモリ２０６およびストレージ２０８は、プロセッサ２０４が操作する必要があり得る任意のタイプの情報を記憶するために提供される、任意の適切なタイプの大容量ストレージを含み得る。メモリ２０６およびストレージ２０８は、揮発性または不揮発性、磁気、半導体、テープ、光、取り外し可能、取り外し不能、または他のタイプのストレージ・デバイス、あるいは、ＲＯＭ、フラッシュ・メモリ、ダイナミックＲＡＭ、およびスタティックＲＡＭを含むが限定されない、有形の（すなわち持続性）コンピュータ可読媒体であり得る。メモリ２０６および／またはストレージ２０８は、本明細書で開示されるマップ補正機能を実施するためにプロセッサ２０４によって実行され得る、１つまたは複数のコンピュータ・プログラムを記憶するように構成され得る。たとえばメモリ２０６および／またはストレージ２０８は、ＬｉＤＡＲによってキャプチャされたポイント・クラウド・データのセグメント化に基づいて高精細度マップを補正するために、プロセッサ２０４によって実行され得るプログラムを記憶するように構成され得る。

メモリ２０６および／またはストレージ２０８は、さらに、プロセッサ２０４によって使用される情報およびデータを記憶するように構成され得る。たとえば、メモリ２０６および／またはストレージ２０８は、センサー１４０および１５０によってキャプチャされた様々なタイプのデータ（たとえば、ポイント・クラウド・データ、姿勢情報など）および高精細度マップを記憶するように構成され得る。メモリ２０６および／またはストレージ２０８は、ニューラル・ネットワーク２０５などの中間データおよび推定されたポイント・クラウドなども記憶し得る。様々なタイプのデータは、永続的に記憶すること、定期的に除去すること、または、データの各フレームが処理された直後に無視することができる。

図３は、本開示の実施形態に従った、高精細度マップを補正するための例示的な方法３００のフローチャートを示す。いくつかの実施形態において、方法３００は、とりわけサーバ１６０を含むマップ補正システムによって実装され得る。しかしながら方法３００は、その例示的実施形態に限定されない。方法３００は、下記で説明するようなステップＳ３０２〜Ｓ３２０を含み得る。ステップのうちのいくつかは、本明細書で提供される開示を実施するために任意選択であり得ることを理解されよう。さらに、ステップのうちのいくつかは、同時に、または図３に示される順序とは異なる順序で、実施され得る。

ステップＳ３０２において、センサー１４０によってキャプチャされたポイント・クラウド・データが受信され得る。いくつかの実施形態において、車両１００は、高精細度マップを構築するためのデータをキャプチャするための測量トリップに派遣され得る。車両１００が軌道に沿って移動するとき、センサー１４０は周囲のシーンのポイント・クラウド・データをキャプチャし得る。いくつかの実施形態において、ポイント・クラウド・データは複数のフレームからなり得、各フレームは、車両が軌道上の特定の位置にいる特定の時点でキャプチャされる。本開示に一致して、道路上には、ＬｉＤＡＲのレーザー経路を妨害する他の物体が存在し得、したがって収集されるポイント・クラウド・データ内に歪みを生じさせる。

ステップＳ３０４において、サーバ１６０は、２−Ｄ投影画像を作成するために、ステップＳ３０４で受信された３−Ｄポイント・クラウド・データを平面上に投影し得る。いくつかの実施形態において、投影は下方に向かって垂直であるため、取得される２−Ｄ投影画像は見下ろし図となる。３−Ｄポイント・クラウド・データを２−Ｄ画像内に投影することによって、深度情報が除去され、セグメンテーション・プロセスが簡略化される。

ステップＳ３０６〜Ｓ３１２はまとめて、妨害物体に対応する歪んだデータを、残りの歪んでいないポイント・クラウド・データから分離するために、ポイント・クラウド・データのセグメンテーションを実施する。いくつかの実施形態において、セグメンテーションは、ニューラル・ネットワークなどの機械学習モデルに基づくものであり得る。ニューラル・ネットワークは人工ニューラル・ネットワークとも呼ばれ、学習タスクを完了するために生物学的ニューラル・ネットワークをシミュレートするコンピューティング・モデルである。たとえばニューラル・ネットワークは、ポイント・クラウド・データのいずれの部分が、道路ではなく妨害物体によって反射されたレーザー光から収集されたかを学習するようにトレーニングされる。

図４は、本開示の実施形態に従った、ポイント・クラウド・データをセグメント化するために使用される例示的なＣＮＮ４００を示す。いくつかの実施形態において、ＣＮＮ４００はエンコーダ４２０およびデコーダ４３０を含み得る。エンコーダ４２０およびデコーダ４３０の各々は、複数の個別層（図示せず）を含み得る。異なる層の例は、１つまたは複数の畳み込み層、非線形演算子層（正規化線形ユニット（ＲｅＬｕ）関数、シグモイド関数、または双曲正接関数など）、プールまたはサブサンプリング層、完全に接続された層、および／または最終損失層を含み得る。各層は、１つのアップストリーム層と１つのダウンストリーム層とを接続し得る。入力は入力層と見なされ得、出力は最終出力層と見なされ得る。

ＣＮＮモデルの性能および学習能力を向上させるために、異なる層の数を選択的に増加させることができる。入力層から出力層までの中間個別層の数は非常に大きくなる可能性があり、それによって、ＣＮＮモデルのアーキテクチャの複雑さが増加する。多数の中間層を備えるＣＮＮモデルは、深層ＣＮＮモデルと呼ばれる。たとえば、いくつかの深層ＣＮＮモデルは２０から３０を超える層を含み得、他の深層ＣＮＮモデルは数百を超える層を含む場合さえある。深層ＣＮＮモデルの例には、ＡｌｅｘＮｅｔ、ＶＧＧＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＲｅｓＮｅｔなどが含まれる。

本明細書で使用される場合、開示されるセグメンテーション方法によって使用されるＣＮＮモデルは、畳み込みニューラル・ネットワークのフレームワークに基づいて公式化、適合、または修正された、任意のニューラル・ネットワーク・モデルを言い表し得る。たとえば、本開示の実施形態においてセグメンテーションに使用されるＣＮＮモデルは、１つまたは複数の逆畳み込み層、アップサンプリングまたはアッププール層、ピクセル単位予測層、および／または、コピーおよびクロップ演算子層などの、入力層から出力層までの間の中間層を選択的に含み得る。

図３に戻り、ステップＳ３０６において、サーバ１６０は２−Ｄ投影画像の各ピクセルから特徴を抽出し得る。抽出される特徴の例は、ピクセル値、ピクセル周辺のテクスチャ、隣接ピクセルとのコントラスト、画像内のピクセルの相対位置などを含み得る。ＣＮＮ４００は、抽出された特徴４０２を入力として受信し得る。いくつかの実施形態において、特徴はＷ^＊Ｈ^＊Ｃマトリックスとして配置され得、Ｗはピクセル行数、Ｈはピクセル列数、およびＣはチャネル特徴数である。

ステップＳ３０８において、ＣＮＮ４００は、ピクセル属性を予測するために抽出された特徴に適用され得る。たとえば属性は、ピクセルと妨害物体の中心との間の距離４０４、信頼度のレベル４０６、ピクセルが妨害物体の一部である可能性を示す確率４０８、および、妨害物体４１０の高さを含み得る。

ステップＳ３１０において、サーバ１６０は、ピクセルが妨害物体の一部であることを示す属性を備えるピクセルを含むセグメントを識別し得る。いくつかの実施形態において、ピクセルが妨害物体として分類されるべきであるかどうかを判定するために、属性をいくつかの所定のしきい値と比較し得る。たとえば、確率４０８が９５％であるピクセルは、９０％のしきい値と比較した後、妨害物体の一部であるものと分類され得る。代替または追加として、妨害物体の中心までの距離４０４がピクセル幅５のしきい値よりも短いピクセルは、妨害物体の一部であるとラベル表示され得る。

ピクセルごとの予測は、時折、結果として隣接するが接続されていないセグメントを生じさせ得る。たとえば、数個の散在的な妨害していない物体のピクセル、または、２つのその他の方法で接続されたセグメント間の小さなギャップが存在し得る。ステップＳ３１２において、サーバ１６０は、ギャップ内のそれらのピクセルの予測結果を修正することによって、それらのセグメントを統合し得る。たとえば、ピクセルごとの予測によって、歩行者の頭に対応する１つのセグメントと、歩行者の胴体（ｔｒｕｎｋ）に対応する隣接するセグメントとを見つけることができる。しかしながら、歩行者の首のエリアのピクセルは、たとえば、それらのピクセルのある属性がそれらを妨害物体に対応するものとして分類するための基準を満たさないため、初期には、妨害物体の一部ではないものとして予測され得る。しかしながら、統合を介して、セグメント間のピクセルを妨害物体に対応するものとして修正することによって、頭部セグメントおよび胴体セグメントが接続され得る。

妨害物体によって、ホールはポイント・クラウド・データ内に残される。ステップＳ３１４において、サーバ１６０は、検出された妨害物体に基づいてホールを測位し得る。いくつかの実施形態において、サーバ１６０は第１に、妨害物体についてバウンディング・ボックス、すなわち対応するホールの境界を決定し得る。サーバ１６０はさらに、バウンディング・ボックスのすぐ外側のポイント・クラウドについて第１の面を決定し得る。その一方で、サーバ１６０は、オリジナル（センサー１４０が位置している場所）（「基準面」）近くのポイント・クラウド・データの第２の面を決定し、第１の面と第２の面との間の角度を決定する。この角度がしきい値よりも小さい場合、サーバ１６０は第１の面を物体面として設定する。

ステップＳ３１６において、サーバ１６０は、妨害物体が無かったかのようにホールについて妨害されないポイント・クラウド・データを推定し得る。図５は、本開示の実施形態に従った、妨害されないポイント・クラウド・データを推定するための例示的な方法を示す。図５に示されるように、車両５００は、面ｂ１と面ｂ２との間に存在し得る。レーザー光は原点ＯでＬｉＤＡＲによって放出される。レーザー経路内に妨害物体が存在しない場合、レーザー経路は道路に当たり、たとえばポイントＡで道路によって反射される。車両５００の存在に起因して、レーザー経路は面ｂ１内のポイントＢに当たり得、車両５００によって反射される。車両５００が無い場合、レーザー経路ＯＢは延長され、最終的にポイントＢ’で道路に当たることになる。同様に、別のレーザー経路はポイントＣで面ｂ１に当たり、延長され、ポイントＣ’で道路に当たることになる。このようにして、ポイントＣおよびＢに対応する収集されたポイント・クラウド・データを使用して、ポイントＣ’およびＢ’に対応する妨害されないポイント・クラウド・データを推定することができる。いくつかの実施形態において、面ｂ１内の物体バウンディング・ボックス内（ポイント５０１とポイント５０２との間）の各ポイントは、道路上の対応するポイントを見つけ得る。このようにして、道路上の対応するポイントについて妨害されないポイント・クラウド・データを推定するために、面ｂ１から収集されたポイント・データを割り当てるかまたは他の方法で使用することができる。

ステップＳ３１８において、サーバ１６０は、推定された妨害されないポイント・クラウド・データを使用して、ホールを修復し得る。たとえば対応する妨害されないポイント・クラウド・データを使用して、ホールを満たすか、または他の方法でホールのデータを修正し得る。ステップＳ３２０において、修復は物体バウンディング・ボックスによってフィルタリングされ得る。たとえば図５に示されるように、修復されるホールは、道路上への物体バウンディング・ボックス（ポイント５０１とポイント５０２との間）の投影に限定される。修復をフィルタリングすることによって、ノイズを減少させ、補正結果を向上させることができる。

本開示の別の態様は、実行されたときに、前述のように１つまたは複数のプロセッサに方法を実施させる命令を記憶する、持続性コンピュータ可読媒体を対象とする。コンピュータ可読媒体は、揮発性または不揮発性、磁気、半導体、テープ、光、取り外し可能、取り外し不能、あるいは他のタイプの、コンピュータ可読媒体またはコンピュータ可読ストレージ・デバイスを含み得る。たとえば、コンピュータ可読媒体は、開示されたようなコンピュータ命令を記憶している、ストレージ・デバイスまたはメモリ・モジュールであり得る。いくつかの実施形態において、コンピュータ可読媒体は、コンピュータ命令を記憶しているディスクまたはフラッシュ・ドライブであり得る。

当業者であれば、開示されたシステムおよび関連方法に対して様々な修正および変形が実行可能であることが明らかとなろう。当業者であれば、本明細書の考察および開示されたシステムおよび関連方法の実施から、他の実施形態が明らかとなろう。

本明細書および実施例は単なる例示として見なされ、真の範囲は下記の特許請求の範囲およびそれらの等価物によって示されていることが意図される。

Claims (20)

1. 高精細度マップを補正するためのシステムであって、
   ＬｉＤＡＲによってキャプチャされたシーンのポイント・クラウド・データを受信するように構成された通信インターフェースと、
   前記ポイント・クラウド・データを記憶するように構成されたストレージと、
   少なくとも１つのプロセッサと、
   を備え、
   前記少なくとも１つのプロセッサは、
   前記ポイント・クラウド・データから少なくとも１つの妨害物体を検出するように構成され、
   前記少なくとも１つの妨害物体によって生じる前記ポイント・クラウド・データ内の少なくとも１つのホールを測位するように構成され、
   前記シーンが前記少なくとも１つの妨害物体なしにキャプチャされたかのように、前記少なくとも１つのホールについて妨害されないポイント・クラウド・データを推定するように構成され、および、
   前記妨害されないポイント・クラウド・データを用いて前記受信したポイント・クラウド・データを修復することによって、前記高精細度マップを補正するように構成される、
   システム。
2. 前記ストレージはニューラル・ネットワークを記憶するように構成され、前記少なくとも１つのプロセッサは、前記ニューラル・ネットワークを使用して前記少なくとも１つの妨害物体を検出するように構成される、請求項１に記載のシステム。
3. 前記ニューラル・ネットワークは畳み込みニューラル・ネットワークである、請求項２に記載のシステム。
4. 前記少なくとも１つのプロセッサは、
   前記ポイント・クラウド・データに基づいて２−Ｄ投影画像を作成するようにさらに構成され、前記２−Ｄ投影画像は複数のピクセルを含み、および、
   前記ニューラル・ネットワークを使用して各ピクセルに関連付けられた複数の属性を決定するようにさらに構成され、前記属性は、前記ピクセルが前記少なくとも１つの妨害物体に対応する可能性を示す、
   請求項２に記載のシステム。
5. 前記少なくとも１つのプロセッサは、
   前記２−Ｄ投影画像からセグメントを識別するようにさらに構成され、各セグメントは、前記ピクセルが前記少なくとも１つの妨害物体のうちの１つに対応することを示す属性を備えるピクセルを含み、および、
   前記２−Ｄ投影画像内の統合エリアを決定するようにさらに構成され、前記統合エリアは前記識別されたセグメントのすべてを包含する、
   請求項４に記載のシステム。
6. 前記ポイント・クラウド・データ内の少なくとも１つのホールを測位するために、前記少なくとも１つのプロセッサは、
   各ホールが位置する面を決定するように構成され、および、
   各ホールについて境界を決定するようにさらに構成される、請求項１に記載のシステム。
7. 前記少なくとも１つのプロセッサは、前記ホールの前記面に基づいて前記妨害されないポイント・クラウド・データを推定するようにさらに構成される、請求項６に記載のシステム。
8. 前記受信されたポイント・クラウド・データは、前記ＬｉＤＡＲが軌道に沿って移動するときにキャプチャされる複数のポイント・クラウド・フレームを含み、
   前記少なくとも１つのプロセッサは、
   前記対応する妨害されないポイント・クラウド・データを用いて各ポイント・クラウド・フレームを修復するように構成され、および、
   前記修復されたポイント・クラウド・フレームを統合するように構成される、請求項１に記載のシステム。
9. 高精細度マップを補正するための方法であって、
   通信インターフェースを介して、ＬｉＤＡＲによってキャプチャされたシーンのポイント・クラウド・データを受信するステップと、
   少なくとも１つのプロセッサによって、前記ポイント・クラウド・データから少なくとも１つの妨害物体を検出するステップと、
   前記少なくとも１つのプロセッサによって、前記少なくとも１つの妨害物体によって生じる前記ポイント・クラウド・データ内の少なくとも１つのホールを測位するステップと、
   前記少なくとも１つのプロセッサによって、前記シーンが前記少なくとも１つの妨害物体なしにキャプチャされたかのように、前記少なくとも１つのホールについて妨害されないポイント・クラウド・データを推定するステップと、
   前記少なくとも１つのプロセッサによって、前記妨害されないポイント・クラウド・データを用いて前記受信したポイント・クラウド・データを修復することによって、前記高精細度マップを補正するステップと、
   を含む、方法。
10. 前記少なくとも１つの妨害物体はニューラル・ネットワークを使用して検出される、請求項９に記載の方法。
11. 前記ニューラル・ネットワークは畳み込みニューラル・ネットワークである、請求項１０に記載の方法。
12. 前記ポイント・クラウド・データに基づいて２−Ｄ投影画像を作成するステップであって、前記２−Ｄ投影画像は複数のピクセルを含む、作成するステップと、
    前記ニューラル・ネットワークを使用して各ピクセルに関連付けられた複数の属性を決定するステップであって、前記属性は、前記ピクセルが前記少なくとも１つの妨害物体に対応する可能性を示す、決定するステップと、
    をさらに含む、請求項１０に記載の方法。
13. 前記２−Ｄ投影画像からセグメントを識別するステップであって、各セグメントは、前記ピクセルが前記少なくとも１つの妨害物体のうちの１つに対応することを示す属性を備えるピクセルを含む、識別するステップと、
    前記２−Ｄ投影画像内の統合エリアを決定するステップであって、前記統合エリアは前記識別されたセグメントのすべてを包含する、決定するステップと、
    をさらに含む、請求項１２に記載の方法。
14. 前記ポイント・クラウド・データ内の少なくとも１つのホールを測位するステップは、
    各ホールが位置する面を決定するステップと、
    各ホールについて境界を決定するステップと、
    をさらに含む、請求項９に記載の方法。
15. 前記妨害されないポイント・クラウド・データは前記ホールの前記面に基づいて推定される、請求項１４に記載の方法。
16. 前記受信されたポイント・クラウド・データは、前記ＬｉＤＡＲが軌道に沿って移動するときにキャプチャされる複数のポイント・クラウド・フレームを含み、
    前記高精細度マップを補正するステップは、
    前記対応する妨害されないポイント・クラウド・データを用いて各ポイント・クラウド・フレームを修復するステップと、
    前記修復されたポイント・クラウド・フレームを統合するステップと、
    をさらに含む、請求項１に記載の方法。
17. コンピュータ・プログラムを記憶している持続性コンピュータ可読媒体であって、
    前記コンピュータ・プログラムは、少なくとも１つのプロセッサによって実行されたときに、高精細度マップを補正するための方法を実施し、
    前記方法は、
    ＬｉＤＡＲによってキャプチャされたシーンのポイント・クラウド・データを受信するステップと、
    前記ポイント・クラウド・データから少なくとも１つの妨害物体を検出するステップと、
    前記少なくとも１つの妨害物体によって生じる前記ポイント・クラウド・データ内の少なくとも１つのホールを測位するステップと、
    前記シーンが前記少なくとも１つの妨害物体なしにキャプチャされたかのように、前記少なくとも１つのホールについて妨害されないポイント・クラウド・データを推定するステップと、
    前記妨害されないポイント・クラウド・データを用いて前記受信したポイント・クラウド・データを修復することによって、前記高精細度マップを補正するステップと、
    を含む、持続性コンピュータ可読媒体。
18. 前記少なくとも１つの妨害物体はニューラル・ネットワークを使用して検出され、
    前記方法は、
    前記ポイント・クラウド・データに基づいて２−Ｄ投影画像を作成するステップであって、前記２−Ｄ投影画像は複数のピクセルを含む、作成するステップと、
    前記ニューラル・ネットワークを使用して各ピクセルに関連付けられた複数の属性を決定するステップであって、前記属性は、前記ピクセルが前記少なくとも１つの妨害物体に対応する可能性を示す、決定するステップと、
    をさらに含む、請求項１７に記載の持続性コンピュータ可読媒体。
19. 前記方法は、
    前記２−Ｄ投影画像からセグメントを識別するステップであって、各パッチは、前記ピクセルが前記少なくとも１つの妨害物体のうちの１つに対応することを示す属性を備えるピクセルを含む、識別するステップと、
    前記２−Ｄ投影画像内の統合エリアを決定するステップであって、前記統合エリアは前記識別されたセグメントのすべてを包含する、決定するステップと、
    をさらに含む、請求項１８に記載の持続性コンピュータ可読媒体。
20. 前記ポイント・クラウド・データ内の少なくとも１つのホールを測位するステップは、
    各ホールが位置する面を決定するステップと、
    各ホールについて境界を決定するステップと、
    をさらに含み、
    前記妨害されないポイント・クラウド・データは前記ホールの前記面に基づいて推定される、
    請求項１７に記載の持続性コンピュータ可読媒体。

Images