JP2024023319A - 緊急車両の検出 - Google Patents

Abstract

【課題】緊急車両を検出することに関する。
【解決手段】例えば、自律型車両の視点から、複数の画像を撮影し得る。車両からそれぞれの距離にある関心領域を表す１つ以上のゲートを、画像について生成し得る。複数の光が、１つ以上のゲート内で検出され得る。第１の候補緊急車両は、画像のうちの１つの画像の１つ以上のゲートにおける、検出された複数の光から識別され得、第２の候補緊急車両は、画像のうちの別の画像の１つ以上のゲートにおける検出された複数の光から識別され得る。第１および第２の候補緊急車両は、同じ緊急車両であり、かつアクティブであると判定される。自律型車両の運用システムは、所与の緊急車両がアクティブであるという判定に基づいて制御される。
【選択図】図１１

Description

関連出願の相互参照
本出願は、２０１９年７月２９日に出願された米国仮特許出願第６２／８７９，６３６の出願日の利益を主張する、２０１９年１１月１３日に出願された米国特許出願第１６／６８２，７４７に対する優先権を主張し、これらの開示全体が参照により本明細書に組み込まれる。

人間の運転手を必要としない車両などの自律型車両が、ある場所から別の場所への搭乗者または物品の輸送を支援するために使用される場合がある。このような車両は、搭乗者が目的地などの何らかの初期入力を提供し、車両がその目的地に車両自体を操縦する、完全な自律運転モードで動作され得る。したがって、このような車両は、常時自律型車両の場所を判定し、かつ、他の車両、停止信号、歩行者などの車両の外部にある物体を検出し、識別することができるシステムに大きく依存することがある。

本開示の態様は、緊急車両を検出するためのシステムを提供する。本システムは、車両の運用システムと、運用システムと通信している１つ以上のコンピューティングデバイスとを含む。１つ以上のコンピューティングデバイスは、車両の視点からの環境の複数の画像を受信することであって、複数の画像が、第１の画像および追加の画像を含む、受信することと、複数の画像において１つ以上のゲートを生成することであって、１つ以上のゲートの各々が、車両からそれぞれの距離にある関心領域を表す、生成することと、１つ以上のゲート内の複数の光を検出することと、第１の画像の１つ以上のゲートのうちの所与のゲートにおける検出された複数の光のグループと対応する第１の候補緊急車両を識別することと、追加の画像の１つ以上のゲートのうちのゲートにおける検出された複数の光のグループと対応する第２の候補緊急車両を識別することと、第１の候補緊急車両および第２の候補緊急車両が同じ所与の緊急車両であると判定することと、所与の緊急車両がアクティブであると判定することと、所与の緊急車両がアクティブであるという判定に基づいて、車両の運用システムを動作させることと、を行うように構成されている。

一例では、１つ以上のコンピューティングデバイスは、１つ以上のゲートを生成するための１つ以上の領域を選択するようにさらに構成されている。別の例では、１つ以上のコンピューティングデバイスは、緊急車両に関連しない、環境内の区域と関連付けられた、第１の画像内のピクセルをマスクするようにさらに構成されている。別の例では、１つ以上のコンピューティングデバイスは、第１の画像における所与のゲート内の、検出された複数の光のグループを包含するように生成された第１の候補車両ポリゴンに基づいて、第１の候補緊急車両を識別するように構成されている。この例では、１つ以上のコンピューティングデバイスは、追加の画像における、検出された複数の光のグループおよび所与のゲートを包含するように生成された第２の候補車両ポリゴン、および第１の候補車両ポリゴンと第２の候補車両ポリゴンとの間の類似性の尺度に基づいて、第１の候補緊急車両および第２の候補緊急車両が、同じ所与の緊急車両であると判定するように構成されている。加えて、または代替的に、１つ以上のコンピューティングデバイスは、第１の候補車両ポリゴンに基づいて、アクティブな緊急車両の特性を識別するようにさらに構成されている。別の例では、１つ以上のコンピューティングデバイスは、第１の候補緊急車両または第２の候補緊急車両の検証に基づいて、所与の緊急車両がアクティブであると判定するように構成されている。この例では、検証は、アクティブな候補緊急車両の特性を、他の検出された物体と照合することを含む。加えて、または代替的に、検証は、１つ以上のゲート内の、検出された物体の誤検知をフィルタリングすることを含む。別の例では、１つ以上のコンピューティングデバイスは、第１の画像の１つ以上のゲート、または追加の画像の１つ以上のゲートに基づいて、アクティブな緊急車両の特性を識別するようにさらに構成されている。別の例では、車両の運用システムは、車両の軌道をプランニングするためのナビゲーションシステムである。別の例では、車両の運用システムは、車両を減速させて停止させるための減速システムである。別の例では、車両の運用システムは、車輪の角度を制御して、車両の向きを変えるためのステアリングシステムである。別の例では、１つ以上のプロセッサは、特定の周波数範囲内の光を識別することによって、複数の光を検出するように構成されている。別の例では、１つ以上のプロセッサは、特定の周波数範囲外の光をフィルタリングすることによって、複数の光を検出するように構成されている。

本開示の別の態様は、緊急車両を検出するための方法を提供する。本方法は、１つ以上のコンピューティングデバイスによって、自律型車両の視点から撮影された複数の画像を受信することであって、複数の画像が、第１の画像および追加の画像を含む、受信することと、１つ以上のコンピューティングデバイスによって、複数の画像において１つ以上のゲートを生成することであって、１つ以上のゲートの各々が、車両からそれぞれの距離にある関心領域を表す、生成することと、１つ以上のコンピューティングデバイスによって、１つ以上のゲート内の複数の光を検出することと、１つ以上のコンピューティングデバイスによって、第１の画像の１つ以上のゲートのうちのゲートにおける検出された複数の光のグループと対応する第１の候補緊急車両を識別することと、１つ以上のコンピューティングデバイスによって、追加の画像の１つ以上のゲートのうちの所与のゲートにおける検出された複数の光のグループと対応する第２の候補緊急車両を識別することと、１つ以上のコンピューティングデバイスによって、第１の候補緊急車両および第２の候補緊急車両が同じ所与の緊急車両であると判定することと、１つ以上のコンピューティングデバイスによって、所与の緊急車両がアクティブであると判定することと、１つ以上のコンピューティングデバイスによって、所与の緊急車両がアクティブであるという判定に基づいて、車両の運用システムを動作させることと、を含む。

一例では、本方法は、１つ以上のコンピューティングデバイスによって、１つ以上のゲートを生成するための１つ以上の領域を選択することも含む。別の例では、本方法は、１つ以上のコンピューティングデバイスによって、緊急車両に関連しない物体と関連付けられた、第１の画像内のピクセルをマスクすることをさらに含む。別の例では、第１の候補緊急車両を識別することは、第１の画像における、検出された複数の光のグループおよび所与のゲートを包含するように、第１の候補車両ポリゴンを生成することを含む。この例では、第１の候補緊急車両および第２の候補緊急車両が同じ所与の緊急車両であると判定することは、追加画像における、検出された複数の光のグループおよび所与のゲートを包含するように、第２の候補車両ポリゴンを生成することと、第２の候補車両ポリゴンを第１の画像に投影することと、第１の候補車両ポリゴンと第２の候補車両ポリゴンとの間の類似性の尺度を判定することと、類似性の量が閾値量よりも大きい場合に、第１の候補緊急車両および第２の候補緊急車両が同じ所与の緊急車両であると判定することと、を含む。別の例では、所与の緊急車両がアクティブであると判定することは、第１の候補緊急車両または第２の候補緊急車両を検証することを含む。別の例では、第１の画像の１つ以上のゲート、または追加の画像の１つ以上のゲートに基づいて、アクティブな緊急車両の特性を識別すること。

本開示の態様による、例示的な車両の機能図である。 本開示の態様による、車両の例示的な描写図である。 本開示の態様による、例示的な画像３００を示す。 本開示の態様による、例示的な画像３００を示す。 本開示の態様による、例示的な画像３００を示す。 本開示の態様による、例示的な画像４００を示す。 本開示の態様による、例示的な画像４００を示す。 本開示の態様による、例示的な画像４００を示す。 本開示の態様による、例示的な出力画像５００を示す。 本開示の態様による、トリミングされた画像部分６００を示す。 本開示の態様による、トリミングされた画像部分６００を示す。 本開示の他の態様による、例示的な画像４００を示す。 本開示の態様による、一連の画像を示す。 本開示のさらなる態様による、例示的な画像４００を示す。 本開示の態様による、別の一連の画像を示す。 本開示の態様による、例示的な方法のフロー図１１００である。

概要
本技術は、自律型車両のための、緊急車両の長距離検出に関する。緊急車両が遠方にある間、緊急車両を早期に検出することができることは、自律型車両が、その経路または挙動をより早く、またはより正確かつ効率な様式で調整することを可能にする。緊急車両には、とりわけ、例えば、パトカー、救急車、消防車を含む。本アプローチは、画像検索スペースを、対向車が存在する、または存在する可能性が高い場所に制限するために、道路の幾何学形状に基づいて、第１の画像における１つ以上の領域を選択することを含み得る。点滅する赤色光および青色光が、アクティブな緊急車両と関連付けられていることが多いため、候補ボックスは、選択された領域内で、点滅する赤色光および青色光が領域において検出される場所に応じて判定され得る。

自律型車両は、第１の画像を含む、自律型車両に対して前向きの方向において１つ以上の画像を捕捉するように構成された画像捕捉システムを含み得る。車両のコンピューティングデバイスは、道路グラフの幾何学形状に従って、第１の画像における１つ以上の領域を選択するように構成することができる。選択された１つ以上の領域は、対向車線が存在する、または存在する可能性が高い区域であり得る。道路グラフの幾何学形状は、第１の画像において車線特徴を検出することによって判定され得る。車線特徴を使用して、自律型車両の走行車線と同じ方向の車線、および自律型車両の走行車線とは反対の方向の車線を識別し得る。

次いで、車両のコンピューティングデバイスは、選択された１つ以上の領域において１つ以上のゲートを生成し得る。各ゲートは、自律型車両から特定の距離にある関心領域を表し得る。自律型車両の短距離センサの範囲が終了する場所から開始して、１つ以上のゲートを生成し得る。１つ以上のゲートは、反対方向の車線が知覚できなくなる距離、または名目上の緊急車両が、第１の画像におけるピクセルの第１の閾値量よりも小さくなる距離で終了し得る。１つ以上のゲートが生成された後、車両のコンピューティングデバイスは、任意の赤色光または青色光が１つ以上のゲート内にあるかどうかを判定し得る。

次いで、車両のコンピューティングデバイスは、１つ以上のゲートのうちの所与のゲートにおける赤色光および／または青色光のグループと対応する候補緊急車両を識別し得る。赤色光または青色光のグループは、互いに近接している所与のゲート内の複数の赤色光または青色光であり得る。候補緊急車両を識別することは、赤色光または青色光のグループおよび所与のゲートに従って、第１の候補車両ポリゴンを生成することを含み得る。候補緊急車両を識別することはまた、赤色光または青色光が、第１の画像の前および／または後に撮影された１つ以上の追加の画像にあるかどうかを判定することも含み得る。点滅する光を捕捉するために、１つ以上の追加の画像を使用することが含まれ得る。追加の候補車両ポリゴンは、１つ以上の追加の画像の各々についての赤色光および／または青色光に従って生成され得る。

第１の画像における第１の候補車両ポリゴンは、１つ以上の追加の画像のうちの少なくとも１つにおける少なくとも１つの追加候補車両ポリゴンと関連付けられ得る。候補車両ポリゴン間の関連付けは、自律型車両が、関連付けられた候補車両ポリゴンが、同じ候補緊急車両に対応することを判定することを可能にし、また、自律型車両が、候補緊急車両の挙動を経時的に追跡することを可能にする。加えて、関連付けは、経時的に候補緊急車両の点滅する光を捕捉し得る。関連付けは、少なくとも１つの追加の候補車両ポリゴンを、第１の画像に投影することによって生成され得る。

少なくとも１つの追加の候補車両ポリゴンを、第１の画像に投影することは、（ｉ）少なくとも１つの追加の候補車両ポリゴンのサイズおよび位置、および（ｉｉ）第１の画像と、対応する少なくとも１つの追加の画像との間の自律型車両の相対運動に基づいて、第１の画像において、少なくとも１つの追加の候補車両ポリゴンを位置合わせすることを含み得る。類似性の尺度が第２の閾値量を超える場合、少なくとも１つの追加の画像のうちの所与の追加の画像が、第１の画像と関連付けられ得る。類似性の尺度は、第１の候補車両ポリゴンと、第１の画像に投影される少なくとも１つの追加の候補車両ポリゴンのうちの所与の追加の候補車両ポリゴンとの間の物理的交差の量に基づいて判定され得る。

第１の候補車両ポリゴンを、少なくとも１つの追加の候補車両ポリゴンと関連付けた後、車両のコンピューティングデバイスは、候補緊急車両がアクティブな緊急車両であると判定し得る。この判定は、第１の候補車両ポリゴンにおける赤色光または青色光を、少なくとも１つの追加の候補車両ポリゴンにおける赤色光または青色光と比較することを含み得る。光の数、光の強度、または光の位置の相違は、候補緊急車両が、点滅する光を有することの表示であり得る。

いくつかの実施態様では、候補緊急車両がアクティブな緊急車両であると判定することは、可能性のある誤検知を除去することによって、またはアクティブ候補緊急車両の特性を他の検出された物体と照合することによって、アクティブ緊急車両を検証することを含む。誤検知を除去するために、車両のコンピューティングデバイスは、アクティブな緊急車両の特徴ではない特徴、またはアクティブな緊急車両の信頼性の低い指標に基づいて、所与の画像において検出された物体を除外し得る。誤検知を除去する別の例には、所与の画像における候補緊急車両を、自律型車両の知覚システムによって検出された物体と比較することが含まれる。

候補緊急車両がアクティブな緊急車両であると判定した後、車両のコンピューティングデバイスは、アクティブな緊急車両の特性に従って自律型車両を動作させ得る。特性には、アクティブな緊急車両の場所、動き、速度、または予測ルートが含まれ得る。自律型車両を動作させることには、自律型車両がアクティブな緊急車両に道を譲るためのルートを判定すること、自律型車両のシステムを制御して、将来の停止まで減速させること、またはアクティブな緊急車両に適切に対応するための他の動作が含まれ得る。

上記の特徴は、外観が大きく異なり得る緊急車両を、より早い時点で、より遠い距離で、他の機械学習手法よりも少ないデータを使用して、識別することが可能である自律型車両を提供し得る。そのため、自律型車両は、より早い時点で緊急車両に対応する準備を開始し得る。加えて、説明されている特徴は、自律型車両が、その環境内の物体に正確に応答することを可能にする誤検知を識別する方法も提供する。

例示的なシステム
図１に示されるように、本開示の一態様による車両１００は、様々な構成要素を含む。本開示のいくつかの態様は、特定のタイプの車両に関連して特に有用であるが、車両は、自動車、トラック、オートバイ、バス、レクリエーション車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。車両は、１つ以上のプロセッサ１２０、メモリ１３０、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含むコンピューティングデバイス１１０などの１つ以上のコンピューティングデバイスを有し得る。

１つ以上のプロセッサ１２０は、市販されているＣＰＵなどの任意の従来のプロセッサであってもよい。代替的に、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。

メモリ１３０は、１つ以上のプロセッサ１２０によってアクセス可能な情報を記憶し、その情報には、プロセッサ１２０によって実行または別様に使用され得る命令１３２およびデータ１３４が含まれる。メモリ１３０は、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのメモリであってもよく、それらには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、もしくは他の光ディスク、ならびに他の書き込み可能および読み取り専用メモリなどの電子デバイスを用いて読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に記憶される。

命令１３２は、プロセッサによって直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の命令セットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティングデバイスコードとして記憶されてもよい。その点について、「命令」および「プログラム」という用語は、本明細書では、互換的に使用され得る。命令は、プロセッサによる直接処理のための物体コード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされるスクリプトもしくは独立したソースコードモジュールの集合を含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。

データ１３４は、命令１３２に従って、プロセッサ１２０によって検索、記憶、または修正され得る。例えば、特許請求される主題は、いかなる特定のデータ構造にも限定されないが、データは、コンピューティングデバイスレジスタ内に、すなわち、複数の異なるフィールドおよびレコードを有する表、ＸＭＬドキュメント、またはフラットファイルとしてリレーショナルデータベース内に記憶されてもよい。データはまた、任意のコンピューティングデバイス可読形式でフォーマットされてもよい。

図１は、プロセッサ、メモリ、およびコンピューティングデバイス１１０の他の要素を同じブロック内にあるものとして機能的に示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に記憶されてもされなくてもよい、複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができることは、当業者により、理解されるであろう。例えば、メモリは、ハードドライブ、またはコンピューティングデバイス１１０の筐体とは異なる筐体内に位置する他の記憶媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことを理解されたい。

コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力装置１５０（例えば、マウス、キーボード、タッチスクリーン、および／またはマイクロフォン）および様々な電子ディスプレイ（例えば、スクリーンを有するモニタ、または情報を表示するように動作可能である任意の他の電気デバイス）などの、コンピューティングデバイスと接続して通常使用されるすべての構成要素を含み得る。この例では、車両は、情報または視聴覚体験を提供するために、内部電子ディスプレイ１５２、ならびに１つ以上のスピーカ１５４を含む。この点について、内部電子ディスプレイ１５２は、車両１００の車内に位置していてもよく、コンピューティングデバイス１１０によって使用されて、車両１００内の乗客に情報を提供してもよい。

コンピューティングデバイス１１０はまた、以下に詳細に説明するクライアントコンピューティングデバイスおよびサーバコンピューティングデバイスなど他のコンピューティングデバイスとの通信を容易にするために、１つ以上の無線ネットワーク接続１５６を含んでもよい。無線ネットワーク接続には、ブルートゥース、ブルートゥースローエネルギー（ＬＥ）、携帯電話接続などの短距離通信プロトコル、ならびにインターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業専有の通信プロトコルを使用するプライベートネットワーク、イーサネット、Ｗｉ－Ｆｉ、およびＨＴＴＰを含む様々な構成およびプロトコル、ならびにそれらの様々な組み合わせが含まれてもよい。

一例では、コンピューティングデバイス１１０は、車両１００に組み込まれた自律運転コンピューティングシステムであってもよい。自律運転コンピューティングシステムは、完全自律運転モードおよび／または半自律運転モードで車両１００を操縦するために、車両の様々な構成要素と通信することができ得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、メモリ１３０の命令１３２に従って、車両１００の動き、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、シグナリングシステム１６６、ナビゲーションシステム１６８、測位システム１７０、および知覚システム１７２、電源システム１７４（例えば、ガソリンまたはディーゼルモータまたは電気エンジン）など、車両１００の様々な運用システムと通信し得る。この場合も、これらのシステムは、コンピューティングデバイス１１０の外部にあるものとして示されているが、実際には、これらのシステムもまた、車両１００を制御するための自立運転コンピューティングシステムとしてここでも、コンピューティングデバイス１１０の中に組み込まれてもよい。

一例として、コンピューティングデバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２と相互作用してもよい。同様に、ステアリングシステム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用されてもよい。例えば、車両１００が自動車またはトラックのように道路で使用するように構成されている場合、ステアリングシステムは、車輪の角度を制御して、車両の向きを変えるため構成要素を含んでもよい。シグナリングシステム１６６は、例えば、必要に応じて方向指示器またはブレーキ光を点灯させることによって、車両の意図を他の運転手または車両に知らせるために、コンピューティングデバイス１１０によって使用され得る。

ナビゲーションシステム１６８は、ある場所までのルートを判定し、かつ追従するために、コンピューティングデバイス１１０によって使用され得る。例えば、ナビゲーションシステムは、このルートをたどるために、場所間のルートを生成し、車両の軌道をプランニングするように機能し得る。単一のシステムとして描かれているが、ナビゲーションシステムは、実際には、前述のルーティングおよびプランニング機能を達成するために複数のシステムを含み得る。この点について、ナビゲーションシステム１６８および／またはデータ１３４は、詳細な地図情報、例えば、車道の形状および標高、車線境界線、交差点、横断歩道、速度制限、交通信号、建物、標識、リアルタイム交通情報、植生、または他のかかる物体および情報を識別する高精密地図、を記憶し得る。換言すると、この詳細な地図情報は、車道、ならびにそれらの車道の速度制限（法定速度制限）を含む、車両の予想される環境の幾何学形状を画定し得る。具体的には、地図情報には、車線、中央分離帯、縁石、横断歩道などの車道の特徴の幾何学形状を画定する道路グラフが含まれ得る。例として、道路グラフには、前述の車道の特徴の幾何学形状（例えば、サイズ、形状、寸法、および場所）を画定する、相互に接続された複数の点および／または線分が含まれ得る。このような特徴の座標は、地球上のある点を基準にした各車道特徴の横方向、縦方向、および標高情報である幾何学形状にｘ、ｙ、ｚの寸法が含まれるように、ユークリッド座標系で定義し得る。当然のことながら、これらの寸法はＧＰＳ座標または他の座標系で定義され得る。道路グラフにはまた、方向（つまり、各車線の合法的な交通方向）、車線位置、速度などを含む所与の車道を車両がどのように走行すると予想されるかを識別する情報も含まれ得る。例えば、この地図情報には、交通信号機、一時停止標識、譲れの標識などの交通規制に関する情報が含まれ得る。この情報は、知覚システム１７２から受信したリアルタイム情報と併せて、コンピューティングデバイス１１０によって使用されて、どの方向の交通が対向車線であるか、および／または所与の場所で優先権を有するかを判定することができる。

知覚システム１７２はまた、他の車両、車道内の障害物、交通信号、標識、樹木などの車両の外部にある物体を検出するための１つ以上の構成要素を含む。例えば、知覚システム１７２は、可視光カメラ、熱画像システム、レーザおよび無線周波数検出システム（例えば、ＬＩＤＡＲ、ＲＡＤＡＲなど）、ソーナーデバイス、マイク、および／またはコンピューティングデバイス１１０によって処理され得るデータを記録する任意の他の検出デバイスを含む１つ以上の画像センサを含んでもよい。可視光カメラまたは別のタイプの画像捕捉システムは、車両に対して前向きの方向に１つ以上の画像を捕捉するように構成され得る。レーザ検出センサまたは他のタイプのセンサは、範囲制約を有し得る直接距離測定を提供し得る。異なる範囲の制約を有する１つ以上の撮像センサに、短距離センサと長距離センサが存在し得る。例えば、短距離センサの範囲制約は、６０メートル以上またはそれ以下であり得る。長距離センサの範囲制約は、１５０メートルなど、短距離センサの範囲制約よりも大きくなり得る。短距離センサのうちの１つ以上の範囲制約を超える点では、知覚システム１７２は、データを収集するための能力が低下している場合がある。

知覚システム１７２の１つ以上の撮像センサは、物体と、場所、配向、サイズ、形状、タイプ、移動の方向および速度などの物体の特性を検出し得る。センサからの生データおよび／または前述の特性は、定量化されるか、または記述関数もしくはベクトルに配置され、さらなる処理のためにコンピューティングデバイス１１０に送信され得る。例として、コンピューティングデバイス１１０は、車両の位置を判定するために測位システム１７０を使用し、その場所に安全に到着する必要があるときに、物体を検出し、かつ物体に応答するために知覚システム１７２を使用してもよい。

図２は、知覚システム１７２の態様を含む車両１００の例示的な外観図である。例えば、ルーフ上にある筐体２１０およびドーム状筐体２１２は、ＬＩＤＡＲセンサまたはシステム、および様々なカメラおよびレーダーユニットを含んでもよい。加えて、車両１００の前端に位置する筐体２２０、ならびに車両の運転手側および助手席側の筐体２３０、２３２は、各々、ＬＩＤＡＲセンサを記憶してもよい。例えば、筐体２３０は、運転手側のドア２６０の前部に位置している。車両１００はまた、車両１００のルーフ上にさらに位置付けられたレーダーユニットおよび／またはカメラのための筐体２４０、２４２も含む。追加のレーダーユニットおよびカメラ（図示せず）は、車両１００の前端および後端に、ならびに／またはルーフもしくはルーフ上にある筐体２１０に沿った他の位置に位置付けることができる。

例示的な方法
上述し、図に示した動作に加えて、様々な動作を、ここで説明する。以下の動作は、以下に説明する正確な順序で実施される必要がないことを理解されたい。むしろ、様々なステップが、異なる順序で、または同時に処理されてもよく、ステップもまた、追加または省略されてもよい。

知覚システム１７２内の画像捕捉システムを使用して、車両のコンピューティングデバイス１１０は、車両１００の進行方向に対して前向きの方向に画像を捕捉し得る。車両１００の進行方向、または車両１００の姿勢は、捕捉された画像に関連して記憶され得る。例示的な第１の画像３００が図３Ａに示されている。第１の画像３００において捕捉されているのは、車線３０２、３０４、３０６、３１２、３１４、３１６、車線境界線３０８、３１０、３１８、３２０、および中央分離帯３２２を含む複数の車道特徴である。車両１００が走行している第１の車線３０２。第２の車線３０４および第３の車線３０６は、第１の車線３０２と同じ走行方向について第１の画像３００に示されている。破線の車線境界線３０８および３１０は、車線３０２、３０４、および３０６の各々を互いに画定するように示されている。第４の車線３１２、第５の車線３１４、および第６の車線３１６は、第１の車線３０２とは反対の走行方向について示されている。破線の車線境界線３１８および３２０は、車線３１２、３１４、および３１６の各々を互いに画定するように示されている。車線３１２、３１４、および３１６は、中央分離帯３２２によって車線３０２、３０４、および３０６から分離されたものとして、第１の画像３００に示されている。実線の車線、二重車線、道路標識、信号機などのような、上で考察されたもの以外の他の車道特徴も第１の画像において捕捉され得る。

知覚システム１７２の画像捕捉システムによって捕捉された例示的な第２の画像４００が図４Ａに示されている。第２の画像４００で捕捉された複数の車道特徴は、とりわけ、車線４０２、４０４、４０６、４１２、４１４、車線境界線４０８、４１０、４１６、二重車線境界線４２０、交差道路４２４、および信号機４３０、４３２、４３４、４３６などの車道特徴を含む。信号機４３０、４３２、４３４および４３６の停止信号は、図の陰影で示されているように、赤色の光周波数で点灯している。第２の画像４００で捕捉された他の物体には、車両４４０、４４２、４４４、４４６、４４８、４５０、４５２、４５４、４５６、４６０、および４６２も含まれる。車両４４０および４４２のテールライトは、図の陰影で示されているように、赤色の周波数光で点灯している。車両４５４の上部および車両４５４の本体上の光は、図の陰影で示されているように、赤い周波数光で点灯している。車両１００の走行車線は、車線４０２である。車線４０４および４０６は、車線４０２と同じ走行方向のものである。車線４１２および４１４は、車線４０２とは反対の走行方向のものである。交差道路４２４は、車線４０２として走行方向に少なくともほぼ垂直に走っている。車両４４０は、車線４０２にあり、車両４４２は、車線４０４にある。車両４４４、４４６、４５０、４５２、および４５６は、車線４１２にあり、車両４４８および４５４は、車線４１４にある。車両４６０および４６２は、交差道路４２４にある。

車両のコンピューティングデバイス１１０は、地図情報に記憶された車道の幾何学形状に従って、捕捉された画像において１つ以上の領域を選択するように構成され得る。選択された１つ以上の領域は、対向車がいる区域であり得る。捕捉された画像に描かれる車道の幾何学形状は、画像が捕捉されたときの車両１００の姿勢に応じて、道路グラフの車線、縁石中央分離帯などの様々な車道特徴の幾何学形状を、捕捉された画像に投影することによって判定され得る。代替的に、捕捉された画像に描かれている車道の幾何学形状は、捕捉された画像にある車道特徴を検出し、それらを道路グラフに定義されている車道特徴の幾何学形状と比較することによって判定され得る。

図４Ａに戻ると、第２の画像が捕捉されたときの車両の姿勢が与えられると、車両のコンピューティングデバイス１１０は、道路グラフの様々な特徴の幾何学形状を画像に投影することによって、および／または第１の画像において車道特徴を検出し（例えば、様々な画像処理技術を使用して）、それらの特徴を道路グラフの車道特徴の幾何学形状と比較することによって、第１の画像４００に描かれる道路の幾何学形状を判定し得る。これに関して、コンピューティングデバイス１１０は、車線４０２、４０４、４０６、４１２、４１４、車線境界線４０８、４１０、４１６、二重車線境界線４２０、および他の車道特徴を検出し得る得る。

車道特徴は、道路グラフに記憶されたそのような情報に基づいて、車両１００の走行車線と同じ方向の車線および車両の走行車線とは反対の方向の車線を識別するために使用され得る。反対方向の車線は、同じ道路の一部である場合もあれば、異なる道路の一部である場合もある。選択された１つ以上の領域は、反対方向の車線がある画像の区域であり得る。

図３Ａに戻ると、車両のコンピューティングデバイス１１０は、中央分離帯３２２の車道特徴の物理的場所およびタイプ、ならびに／または道路グラフで特定された車線３１２、３１４、３１６の方向と比較した、車線３０２（車両１００が現在走行している）の交通の方向に基づいて、車線３１２、３１４、および３１６が、車両１００が現在走行している車線３０２とは反対方向のものであるか、またはむしろ、対向車線のものであることを判定し得る。したがって、図３Ｂに示されるように、例示的な第１の画像３００の領域３３０は、第１の画像３００の車両のコンピューティングデバイス１１０によって選択され得る。次いで、車両のコンピューティングデバイス１１０は、第１の画像３００において可視である、車線３１２、３１４、および３１６、車線境界線３１８および３２０、ならびに中央分離帯３２２、および／または道路グラフで識別された情報に含む車道特徴に基づいて、領域３３０を画定し得る。結果として、領域３３０は、車線３１２、３１４、および３１６が存在する場所含む、第１の画像３００の区域として選択される。

第２の画像４００の図４Ｂの例に目を向けると、領域４７０は、車両のコンピューティングデバイス１１０によって選択され得る。車両のコンピューティングデバイス１１０は、少なくとも二重車線境界線４２０の車道特徴の場所およびタイプに基づいて、車線４１２および４１４が車両の走行車線４０２反対方向のものまたは対向車線であると判定し得る。次いで、車両のコンピューティングデバイス１１０は、車線４１２、４１４および車線境界線４１６、４２０を含む車道特徴に基づいて、領域４７０を画定し得る。結果として、領域４７０は、車線４１２および４１４が第２の画像において可視である区域を含む第２の画像４００の区域として選択される。

次いで、車両のコンピューティングデバイス１１０は、選択された１つ以上の領域に、１つ以上のゲートまたは関心領域を生成し得る。各ゲートは、車両から特定の距離にある関心領域を表し得る。各ゲートは、車両とは反対方向の車線または対向車線を含む少なくとも１つ以上の道路の幅にまたがっている場合がある。各ゲートの高さは、最も高い緊急車両の平均高さなど、推定される緊急車両サイズに基づき得る。例えば、各ゲートの高さは、３．５メートル、またはそれ以上、またはそれ以下であり得る。各ゲートの高さは、区域における緊急車両の予想される最大高さに基づき得る。１つ以上のゲートは、１５メートルごとなどの一定の距離で生成され得るか、または特定の距離での関心の度合に応じて可変であり得る。これらの距離は、検出された３Ｄ幾何学形状情報を使用して判定されるか、または捕捉された画像の視点に基づいて推定され得る。

１つ以上のゲートは、６０メートル以上または以下など車両の短距離センサの範囲が終了する場所から開始して生成され得る。１つ以上のゲートは、車両とは反対方向の車線が画像において知覚できなくなる距離、または名目上の緊急車両が、捕捉された画像におけるピクセルの第１の閾値量よりも小さくなる距離で終了し得る。代替的に、１つ以上のゲートは、１５０メートルなどの車両の長距離センサの範囲が終了する場所で終了し得る。別の代替例では、１つ以上のゲートは、既知の地図情報を使用して、車両のコンピューティングデバイス１１０またはリモートコンピューティングデバイスによって生成され得る。次いで、１つ以上のゲートは、地図情報の特定の場所における所与の道路に対して生成され得る。各ゲート間の距離は、所与の道路上の設定された道路の長さであり得る。

例えば、図３Ｃに示されるように、例示的な第１の画像３００において最も近い第１のゲート３４０は、車両１００から６０メートルの距離を離れて、選択された領域３３０内に包含される３つの車線３１２、３１４、３１６の幅または横方向の距離にまたがっている場合がある。ゲート３４２、３４４、３４６、３４８、３５０、および３５２などの後続の各ゲートは、前のゲートから１５メートルさらに離れた距離について判定され得る。図３Ｃの第１の画像３００のゲートの各々は、高さが約３メートルであり得る。第１の画像３００における視点から、各後続のゲートは、車両１００からの距離の増加のために、前のゲートよりも短く見え得る。第１の画像３００のゲートは、長距離センサの範囲が終了する１５０メートルまで続いている。

例示的な第２の画像４００について図４Ｃに目を向けると、第１のゲート４８０は、最も近いゲートとして生成され得、車両１００から６０メートル離れて、選択された領域４７０内に包含される２つの車線４１２、４１４の幅または横方向距離にまたがっている場合がある。ゲート４８２、４８４、４８６、４８８、４９０、および４９２などの後続の各ゲートは、前のゲートから１５メートルさらに離れた距離について判定され得る。図４Ｃの第２の画像４００のゲートの各々は、高さが約３メートルであり得る。第２の画像４００における視点から、各後続のゲートは、車両１００からの距離の増加のために、前のゲートよりも短く見え得る。第２の画像４００のゲートは、長距離センサの範囲が終了する１５０メートルまで続いている。

いくつかの実施態様では、車両のコンピューティングデバイス１１０は、緊急車両の検出に関連しない物体と関連付けられたピクセルをマスクすることもできる。例えば、関連しない物体には、信号機、車両１００と同じ方向に走行する車両、または緊急車両と通常関連付けられているが、緊急車両ではない、青色光および／または赤色光または他の光の周波数を備える他の物体が含まれ得る。この画像マスキングは、検出された物体を、関連しない物体として分類し、検出された物体と関連付けられた３Ｄ幾何学形状情報を使用して、検出された物体を捕捉された画像に投影し、検出された物体の投影によってカバーされるピクセルを関連しないとして識別する、またはピクセルを「マスク」することにより、実行され得る。図５に示されるように、第２の画像４００は、信号機、車両と同じ方向に走行するための車線、および同じ方向に走行する車両などの、物体と関連付けられたピクセルをマスクするようにフィルタリングされ得る。具体的に、信号機４３０、４３２、４３４、４３６、車両１００と同じ走行方向のための車線４０２、４０４、４０６、および第２の画像４００のこれらの車線を走行する車両４４０、４４２は、出力画像５００の白い部分５０２、５０４、５０６、５０８、および５１０によって示されるようにマスクされ得る。

１つ以上のゲートが生成された後、車両のコンピューティングデバイス１１０は、任意の赤色光または青色光が１つ以上のゲート内にあるかどうかを判定し得る。赤色光には、約４０５～４８０ＴＨｚの範囲の周波数を有する光が含まれ得る。青色光には、約６２０～６８０ＴＨｚの範囲の周波数を有する光が含まれ得る。任意の赤色光または青色光が１つ以上のゲート内にあるかどうかを判定することは、赤色光周波数または青色光周波数について捕捉された画像をフィルタリングすることを含み得る。本明細書に記載の例示的な方法は、赤色光および／または青色光について考察するが、方法は、緊急車両または車両１００からの特定の応答を必要とし得る他のタイプの車両と関連付けられ得る他の周波数の光に対しても実行され得る。

例えば、図６Ａには、知覚システム１７２の画像捕捉デバイスによって捕捉された第２の画像４００のトリミングされた画像部分６００が示されている。トリミングされた画像部分６００に描かれる物体は、とりわけ、車線４０２、４０４、４１２、４１４、車線境界線４０８、４１６、４２０、交差道路４２４、および信号機４３６などの道路特徴を含む。トリミングされた画像部分６００に描かれる物体はまた、車両４４０、４４８および車両４５０、４５２、４５４、４５６の一部分を含む。

図６Ｂに示されるように、トリミングされた画像部分６００は、出力画像６０２に示されるように、赤色光周波数に基づいてフィルタリングされて、赤色光を識別し得る。出力画像６０２では、車両４５４上またはその周囲にある複数の赤色光６０４が、トリミングされた画像部分６００の残りの部分とは対照的に示されている。複数の赤色光６０４は、光Ａ、Ｂ、Ｃ、Ｄ、およびＥを含み、光Ａ～Ｄは、車両４５４の上部を横切って現れ、光Ｅは、車両４５４の本体上に現れる。図４Ｂに示されるように、信号機４３６がマスクされたので、信号機４３６の赤い光は、出力画像６０２には示されていない。トリミングされた画像部分６００のみが示されているが、フィルタリングプロセスは、画像４００の全体に対して実行され得る。同じフィルタリングプロセスを、青色光周波数に基づいて画像４００に適用して、画像において青色光を識別し得る。

いくつかの例では、捕捉された画像は、中央周囲フィルタを使用して車両のコンピューティングデバイス１１０によってフィルタリングされ、周波数によるフィルタリングの前またはその代わりに、１つ以上のゲートのどこに際立った色のコントラストが存在するかを検出して、着色光が存在し得る場所を識別し得る。加えて、捕捉された画像は、周波数によるフィルタリングの前またはその代わりに、光エネルギーに基づいてフィルタリングされて、明るい光が存在し得る場所を識別し得る。さらに、赤色光または青色光が１つ以上のゲート内にあるかどうかを判定することは、追加的または代替的に、１つ以上のゲート内の赤色光または青色光を識別することまたはラベル付けすることを含み得る。識別することまたはラベル付けすることは、ディープネットワークまたは他のタイプの機械学習方法を使用して実行され得る。

次いで、車両のコンピューティングデバイス１１０は、１つ以上のゲートのうちの所与のゲートにおける赤色光および／または青色光のグループと対応する候補緊急車両を識別し得る。赤色光および／または青色光のグループは、互いに１メートル以上かまたはそれ以下内など、互いに閾値距離にまたは閾値距離内に極めて接近している所与のゲート内の複数の赤色光および／または青色光であり得る。候補緊急車両を識別することは、赤色光および／または青色光のグループおよび所与のゲートに従って、第１の候補車両ポリゴンを生成することを含み得る。第１の候補車両ポリゴンにおいて捕捉された、または５０％を超えて捕捉された車両は、候補緊急車両として識別され得る。第１の候補車両ポリゴンのサイズは、緊急車両の推定された、または平均の幅および高さであり得る。代替的に、幅は、赤色光および／または青色光のグループの幅と同じまたは類似し得、または高さは、所与のゲートの高さと同じまたは類似し得る。加えて、捕捉された画像で生成される第１の候補車両ポリゴンのサイズは、車両からの同じもしくは同様の距離、または所与のゲートと同じもしくは同様の高さを有するなど、所与のゲートの距離または寸法に対応し得る。第１の候補車両ポリゴンの位置はまた、赤色光または青色光のグループの位置にも対応し得る。すなわち、第１の候補車両ポリゴンは、第１の候補車両ポリゴンが赤色光および／または青色光のグループを包含するように位置決めされ得る。追加の候補緊急車両は、同じまたは同様の様式で、捕捉された画像において識別され得る。

図７に示されるように、第１の候補車両ポリゴン７０２（本明細書ではボックスまたは長方形として描かれているが、多かれ少なかれ頂点を備える他のポリゴンが使用され得る）は、出力画像６０２で識別される赤色光のグループに基づいて生成され得る。図６Ｂに示される赤色光Ａ、Ｂ、Ｃ、およびＤは、車両のコンピューティングデバイス１１０によるグループとして、各光が複数の赤色光６０４のうちの少なくとも１つの他の光から１メートル以内にあることに基づいて、グループとして識別され得る。赤色光Ｅは、光Ａ、Ｂ、Ｃ、およびＤの各々から１メートルを超えるため、グループの一部として識別され得ない。第１の候補車両ポリゴン７０２は、赤信号Ａ～Ｄのグループの幅を包含する幅を有し、ゲート４８６の高さと同じである高さを有する。車両４５４は、第１の候補車両ポリゴン７０２において完全に捕捉され、したがって、候補緊急車両として識別される。

候補緊急車両を識別することは、追加の赤色光および／または青色光が、捕捉された画像の前および／または後に撮影された１つ以上の追加の画像にあるかどうかを判定することを追加的に含み得る。点滅する光を捕捉するために、１つ以上の追加の画像を使用することが含まれ得る。１つ以上の追加の画像は、捕捉された画像の１秒以内に撮影され得る。追加の赤色光および／または青色光は、１つ以上の領域を選択し、１つ以上のゲートを生成することを含む、上記と同じまたは同様の方式で１つ以上の追加の画像において判定され得る。１つ以上の追加の画像における追加の赤色光および／または青色光は、車両のコンピューティングデバイス１１０によって使用されて、（ｉ）１つ以上の集約された出力画像を生成して、より正確な候補車両ポリゴンを生成し得、および／または（ｉｉ）第１の候補車両ポリゴンを検証し得る。

いくつかの実施態様では、１つ以上の集約された出力画像は、捕捉された画像および１つ以上の追加の画像を使用して生成されて、検出目的のための光エネルギーの量を増加させるか、または候補車両ポリゴンの場所精度を増加させる。検出可能な光エネルギーの量を増加させると、緊急車両の車両検出スコアがより高くなり得る。例えば、捕捉された画像からの赤色光および／または青色光、ならびに１つ以上の追加の画像のうちの少なくとも１つからの光は、集約された出力画像において組み合わせ得る。第１の期間内に撮影された画像の第１のグループから生成された第１の集約された出力画像、および第１の期間の後の（またはその直後の、またはそれと部分的に重複して）第２の期間で撮影された画像の第２のグループから生成された第２の集約された出力画像などの複数の集約された出力画像が生成され得る。これらの期間の各々は、比較的短い場合があり、例えば、０．５秒以上またはそれ以下程度である場合がある。赤色光および／または青色光のグループは、各集約された出力画像において検出され得、候補緊急車両ボックスは、第１の候補車両ポリゴンに加えて、またはその代わりに、このグループと対応して生成され得る。候補車両ポリゴンは、上記の捕捉された画像の第１の候補車両ポリゴンと同じまたは同様の方式で、各集約された出力画像の候補緊急車両に対して生成され得る。

図８に示されるように、列１は、例示的な第２の画像４００の画像部分６００の透視図を示し、列２は、画像４００の後に撮影された第１の追加の画像の画像部分８０２の透視図を示し、列３は、第１の追加の画像の後に撮影された第２の追加の画像の画像部分８０４の斜視図を示す。例示的な第２の画像４００および第１の追加の画像の捕捉時間は、１０分の１秒以内であり得、第１の追加の画像および第２の追加の画像の捕捉時間は、１０分の１秒以内であり得る。第１および第２の追加の画像の画像部分８０２、８０４は、例示的な第２の画像４００の画像部分６００とほぼ同じ地理的領域を示し得る。特に、画像部分６００、８０２、および８０４の各々は、車両４５４を示し得る。画像部分において捕捉されているように、車両４５４の上部および車両４５４の本体上の光は、異なるパターンで点灯され得る。

図８の行１は、各画像部分の生の入力を示し、行２は、図６Ａおよび６Ｂに関して説明したように取得された各画像のフィルタリングされた赤色光出力を示す。行３は、フィルタリングされた赤色光出力が加算されたときの累積光出力を示す。行３の列１の出力画像は、行２の列１の出力画像と同じである。行３の列２の出力画像は、行２の列１および２の出力画像からの光出力の合計を示す集約された出力画像である。行３の列３の出力画像は、行２の列１、２、および３の出力画像からの光出力の合計を示す集約された出力画像である。行３の列３の集約された出力画像からの赤色光出力を使用して、出力画像６０２の代わりに、上記のように第１の候補車両ポリゴン７０２を生成することができる。

場合によっては、候補車両ポリゴンがアクティブな緊急車両であることを確認するために、各候補車両ポリゴンを検証するか、またはむしろ別の候補車両ポリゴンと比較し得る。第１の候補車両ポリゴンを検証するために、追加の候補車両ポリゴンが、１つ以上の追加の画像の各々についての追加の赤色光および／または青色光に従って生成され得る。捕捉された画像の第１の候補車両ポリゴンは、１つ以上の追加の画像のうちの少なくとも１つにおける少なくとも１つの追加候補車両ポリゴンが、第１の候補車両ポリゴンと同じ候補緊急車両に対応する場合に検証され得る。第１の候補車両ポリゴンおよび追加の候補車両ポリゴンが、同じ候補緊急車両に対応する場合、候補車両ポリゴン間の関連付けは、車両のコンピューティングデバイス１１０によって作成され得る。次いで、車両のコンピューティングデバイス１１０は、関連付けられた候補車両ポリゴンを使用して、候補緊急車両の挙動を経時的に追跡し得る。追跡される挙動には、例えば、点滅する光、進行方向の変化、移動などが含まれ得る。

検証は、少なくとも１つの追加の候補車両ポリゴンを、捕捉された画像に投影することによって実行され得る。少なくとも１つの追加の候補車両ポリゴンを、捕捉された画像に投影することは、（ｉ）少なくとも１つの追加の候補車両ポリゴンのサイズおよび位置、および（ｉｉ）捕捉された画像と、対応する少なくとも１つの追加の画像との間の車両の相対運動に基づいて、捕捉された画像において、少なくとも１つの追加の候補車両ポリゴンを位置合わせすることを含み得る。類似性の尺度が第２の閾値量を超える場合、少なくとも１つの追加の画像のうちの所与の追加の画像が、捕捉された画像と関連付けられ得る。類似性の尺度は、第１の候補車両ポリゴンと、捕捉された画像に投影される少なくとも１つの追加の候補車両ポリゴンのうちの所与の追加の候補車両ポリゴンとの間の物理的交差の量に基づいて判定され得る。例えば、類似性の尺度は、第１の候補車両ポリゴンおよび所与の追加の候補車両ポリゴンについて、ジャッカード係数または交差オーバーユニオンを使用して判定され得る。

図９に示されるように、例示的な第２の画像４００は、図７に関して生成された候補車両ポリゴン７０２に加えて、第２の画像に投影された追加の候補車両ポリゴン９０２を有する。追加の候補車両ポリゴン９０２は、知覚システム１７２の画像捕捉システムによって以前に捕捉された画像に対して生成されている場合がある。以前に捕捉された画像は、第２の画像４００の１０分の１秒以内に捕捉されている場合がある。代替的に、第２の画像４００の１秒前または後のいずれかで捕捉された画像からの他の候補車両ポリゴンを使用し得る。車両のコンピューティングデバイス１１０は、ジャッカード係数を使用して、候補車両ポリゴン７０２と９０２との間の類似性の尺度を判定し得る。候補車両ポリゴン９０２の大部分が候補車両ポリゴン７０２と重なることを考えると、候補車両ポリゴン７０２と９０２との間の類似性の尺度は高い。車両のコンピューティングデバイス１１０は、類似性の尺度が第２の閾値量よりも大きいと判定し、候補車両ポリゴン７０２を検証し得る。車両のコンピューティングデバイス１１０はまた、追跡の目的で、候補車両ポリゴン７０２と候補車両ポリゴン９０２との間に関連付けを作成し得る。

少なくとも１つの追加の候補車両ポリゴンを用いて第１の候補車両ポリゴンを検証した後、車両のコンピューティングデバイス１１０は、候補緊急車両がアクティブな緊急車両であると判定し得る。いくつかの例では、候補緊急車両が、点滅する光を有する場合、候補緊急車両はアクティブであると判定され得る。この判定は、第１の候補車両ポリゴンにおける赤色光および／または青色光を、少なくとも１つの追加の候補車両ポリゴンにおける赤色光および／または青色光と比較することを含み得る。光の数、光の強度、または光の位置の相違は、候補緊急車両が、点滅する光を有することの表示であり得る。

例えば、第１の候補車両ポリゴンおよび少なくとも１つの追加の候補車両ポリゴンは、候補緊急車両のアンカーライトまたは他の部分の位置など、第１の候補車両ポリゴンおよび少なくとも１つの追加の候補車両ポリゴンの特徴に基づいて位置合わせされ得る。候補車両ポリゴン間の絶対差の合計をとるか、または各候補車両ポリゴンの合計光エネルギーの最大値を比較することによってなど、第１の候補車両ポリゴンおよび少なくとも１つの追加の候補車両ポリゴンの光エネルギー間の類似性の尺度を判定し得る。類似性の尺度が第３の閾値量未満である場合、候補緊急車両は、点滅する光を有し、したがってアクティブであると判定され得る。

図１０には、本開示の態様による候補緊急車両を描く一連の画像が示されている。行１の列１は、第１の候補車両ポリゴン７０２内の候補緊急車両４５４を示す例示的な第２の画像４００の部分を示す。行１の列２は、追加の候補車両ポリゴン９０２内の候補緊急車両４５４を示す以前に捕捉された画像の部分を示す。追加の候補車両ポリゴン９０２内の候補緊急車両４５４の上部および本体上の光は、陰影によって示されるように、列１とは異なるパターンで点灯され得る。例示的な第２の画像の部分のフィルタリングされた出力１００２および以前に捕捉された画像のフィルタリングされた出力１０１２は、それぞれ、行２の列１および２に示されている。フィルタリングされた出力は、フィルタリングされた出力画像から取得し得る。例えば、フィルタリングされた出力１００２は、出力画像６０２から取得され得る。車両のコンピューティングデバイス１１０は、フィルタリングされた出力１００２および１０１２を比較し、フィルタリングされた出力１００２の総光エネルギーとフィルタリングされた出力１０１２の総光エネルギーとの間の類似性の尺度が、第３の閾値量を下回ると判定し得る。したがって、車両のコンピューティングデバイス１１０は、候補緊急車両４５４がアクティブな候補緊急車両であると判定し得る。

いくつかの実施態様では、候補緊急車両がアクティブな緊急車両であると判定することはまた、候補緊急車両を検証することもできる。検証には、アクティブな候補緊急車両の特性を他の検出された物体の特性と照合する、および／またはカメラ以外のセンサからのデータを使用して候補緊急車両の場所にある物体の検出を確認するなど、可能性のある誤検知を除去することが含まれ得る。誤検知を除去するために、車両のコンピューティングデバイス１１０は、アクティブな緊急車両の特徴ではない、車両の他のシステム（例えば、知覚システムの異なるセンサおよび／または処理システム）によって検出されるそれらの検出された物体の特徴、またはアクティブな緊急車両の信頼できない指標に基づいて、所与の画像において検出された物体を除去し得る。特徴には、別の検出された物体が、（ｉ）静止している場合、（ｉｉ）車両以外の場合、（ｉｉｉ）１メートル／秒未満で移動している識別できない物体である場合、（ｉｖ）車両から最小距離内にある場合、（ｖ）画像の端で切り取られている場合、または（ｖｉ）車両に対して直接対向する進行方向から６０度を超える進行方向を有する場合が含まれ得る。

次いで、車両のコンピューティングデバイス１１０は、アクティブな緊急車両の特徴ではない候補緊急車両を検証するために使用される検出された物体がある場合、候補緊急車両を誤検知として破棄し得る。例えば、候補緊急車両を検証するために使用される検出された物体が、車両に対して対向していない進行方向を有する場合、候補緊急車両は、誤検知として破棄され得る。例えば、直接対向する進行方向から６０度を超える場合、進行方向は、対向していないと判定され得る。進行方向を使用して、非対向車、特に非対向車両のテールライトが１つ以上のゲート内の検出システムによって捕捉され得る、カーブした道路上の非対向車両を除外する。検出された物体を除外することはまた、以前に撮影された画像で除外される検出された物体の場所を、より最近撮影された画像に投影し、投影された場所にある、より最近撮影された画像における物体を除外することを含み得る。

別の例示的な検証として、候補緊急車両の場所での物体の検出は、カメラ以外のセンサなどからのデータを使用して確認し得る。例えば、レーダーセンサからのデータは、ノイズが多い場合でも使用して、物体までの距離および場所を確認することができる。これにより、ＬＩＤＡＲセンサなど他のセンサの知覚範囲を超えた物体の確認を提供し得る。

他の例では、候補緊急車両を検証することには、検出された物体の検証スコアを判定することが含まれ得る。上記の例のいずれかなど、候補緊急車両がアクティブな緊急車両であることを示す各追加の情報または信号について、その候補緊急車両の検証スコアを増加させ得る。同様に、候補緊急車両がアクティブな緊急車両ではないことを示す各追加の情報または信号について（例えば、上記の例の誤検知特徴のいずれか）、その候補緊急車両の検証スコアを減少させ得る。この例として、場合によっては、風になびくオレンジ色の旗が点滅する光、散発的に遮られているために点滅しているように見える他の車両のテールライトなどのように見えることがある。

候補緊急車両のこの検証スコアは、１つ以上の閾値と比較され得る。例えば、検証スコアが特定の最小値に達した場合にのみ、候補緊急車両が「公開」されるか、または車両を制御する方法を判定するために、ナビゲーションシステム１６８などの車両１００の様々なシステムによって使用される。加えて、または代替的に、スコアは、候補緊急車両を単に無視するかどうかを判定するために、ナビゲーションシステム１６８によって使用され得る。例えば、いくつかの地図特徴に対する場所、車両１００からの距離、速度、予測される将来の軌道によっては、比較的高い検証スコアでさえ無視される場合がある。同時に、これらの同じ考慮事項を考えると、比較的低い検証スコアも、車両１００が応答すべきものとして扱われる場合がある。例えば、候補緊急車両の検証スコアが比較的高い場合でも、第１の画像３００の例のように中央分離帯の場所を考慮すると、候補緊急車両に応答することはそれほど重要ではない場合がある（例えば、候補緊急車両は車線３０２に入る、またはそうでなければ車両１００と直接相互作用する可能性は低い）が、第２の画像４００の例のように、車両１００が候補緊急車両４５４と相互作用する必要がある可能性を考慮すると、候補緊急車両４５４の検証スコアが比較的低くても、交差点に近接する候補緊急車両に対応することがより重要な場合がある。

場合によっては、知覚システムによって検出された物体の特徴は、車両のコンピューティングデバイス１１０によって推定され、候補緊急車両に割り当てられるか、またはそれを特徴付けるために使用され得る。具体的に、物体の場所は、横方向の寸法よりも縦方向の寸法でより信頼できるレーダーセンサなどの知覚システムのノイズの多いセンサを使用して検出され得る。場所は、三次元の誤差楕円などの誤差を計算することによって推定され得る。所与の検出された物体の誤差楕円は、所与の検出された物体の滑らかな座標および対応する共分散推定に基づいて判定され得る。推定された場所は、所与の画像に投影されて、境界ボックスを生成し得る。次いで、車両のコンピューティングデバイス１１０は、候補緊急車両の中心が、所与の検出された物体の境界ボックス内にあるかどうかを判定し得る。中心が境界ボックス内にある場合、所与の検出された物体のスコアを増加させ得る。いくつかの実施態様では、スコアは、中心がバウンディングボックス内にある場合、１つずつ増加する数であり得る。加えて、候補緊急車両が、検出された物体の境界ボックス内にない場合、数は、減少するか、リセットされ得る。他の例では、測定値を生成するために使用される代替センサのノイズ特性を考慮に入れるような、中心が、境界ボックス内に故障するかどうかのより一般的な試験を使用し得る。候補緊急車両に対して最大のスコアを有する検出された物体を使用して、候補緊急車両を特徴付け得る。例えば、最大の検証スコアを有する検出された物体の距離、速度、進行方向、または他の判定または検出された特徴を、候補緊急車両に割り当てることができる。

候補緊急車両がアクティブな緊急車両であると判定した後、車両のコンピューティングデバイス１１０は、アクティブな緊急車両の特性に従って車両を動作させ得る。特性には、アクティブな緊急車両の場所、動き、速度、または予測ルートが含まれ得る。車両のコンピューティングデバイス１１０は、アクティブな緊急車両であると判定された車両に対応する１つ以上の候補車両ポリゴンまたは１つ以上のゲートの特性に基づいて、アクティブな緊急車両の特性を識別し得る。例えば、アクティブな緊急車両４５４の距離および場所は、候補車両ポリゴン７０２または別の最新の候補車両ポリゴンの距離および位置と同じ、車両１００に対する距離および位置であり得る。車両を動作させることには、これらの特性をナビゲーションシステムに提供して、ナビゲーションシステムが、アクティブな緊急車両に道を譲るか、またはそれを回避する軌道を生成することを可能にすること、ステアリングシステムを制御して、アクティブな緊急車両から遠ざけるか、またはそれを避けて通らせること、減速システムを制御して、将来の停止まで減速させること、および／またはアクティブな緊急車両に適切に対応するための他の動作が含まれ得る。

本明細書での例は、対向車線での緊急車両の検出に関するが、緊急車両が同じ走行車線であるが、反対方向に走行する場合がある。例えば、第２の画像４００に描かれる交差点において、候補緊急車両４５４と交差点との間にある車両があった場合、緊急車両の運転者は、他の車両を迂回するために、車線４０２に入ることを決定し得る。これに関して、同様の特徴を使用して、対向していない車線の候補緊急車両（例えば、車両１００が現在走行している車線と同じ一般的な方向に走行しているものを検出することができる。ただし、このような状況では、他の車両のテールライトを区別することが難しい場合があるため、誤検知が大幅に増える可能性がある。

図１１は、本開示の態様による、例示的なフロー図を示す。より具体的には、図１１は、車両のコンピューティングデバイス１１０によって実行される緊急車両を検出するための例示的な方法の流れを示す。代替的に、例示的な方法における１つ以上のステップは、車両１００から離れた１つ以上のコンピューティングデバイスによって実行され得る。

ブロック１１０２で、車両の視点からの環境の複数の画像が受信される。複数の画像は、図４Ａに示される画像４００などの第１の画像、および追加の画像を含み得る。自律型車両の画像捕捉システムを使用して、第１の画像および追加の画像を捕捉し得る。ブロック１１０４で、１つ以上のゲートが複数の画像において生成される。１つ以上のゲートの各々は、車両からそれぞれの距離にある関心領域を表す。例えば、画像４００の場合、図４Ｃに示すように、ゲート４８０、４８２、４８４、４８６、４８８、４９０、および４９２を生成し得る。１つ以上のゲートの各々は、複数の画像の各画像の視点から所与の距離にある関心領域を表す。ブロック１１０６で、１つ以上のゲート内で複数の光が検出される。例えば、赤色光および／または青色光は、１つ以上のゲート内で検出され得る。例えば、図６Ａ～６Ｂに示されるように、赤色光Ａ～Ｅが画像４００において検出され得る。

ブロック１１０８で、検出された複数の光のグループと対応する第１の候補緊急車両は、第１の画像の１つ以上のゲートのうちの所与のゲートにおいて識別される。画像４００において、車両４５４は、候補緊急車両として識別され得る。ブロック１１１０で、検出された複数の光のグループと対応する第２の候補緊急車両は、追加の画像の１つ以上のゲートのうちのゲートにおいて識別される。第２の候補緊急車両は、第１の候補緊急車両と同じ方法を使用して識別され得る。ブロック１１１２で、第１の候補緊急車両および第２の候補車両は、同じ所与の緊急車両であると判定され得る。例えば、画像４００内の車両４５４は、画像４００ならびに以前に捕捉された画像において識別された候補緊急車両であると判定され得る。ブロック１１１４で、所与の緊急車両がアクティブであると判定され得る。ブロック１１１６で、自律型車両の運用システムは、所与の緊急車両がアクティブであるという判定に基づいて運用され得る。例えば、運用システムは、道路交通法および運転のための他のベストプラクティスに従って、アクティブな緊急車両に道を譲るか、またはそうでなければアクティブな緊急車両の移動に適切に応答するように動作され得る。

上記の特徴は、外観が大きく異なり得る緊急車両を、より早い時点で、より遠い距離で、他の機械学習手法よりも少ないデータを使用して、識別することが可能である自律型車両を提供し得る。そのため、自律型車両は、より早い時点で緊急車両に対応する準備を開始し得る。加えて、説明されている特徴は、自律型車両が、その環境内の物体に正確に応答することを可能にする誤検知を識別する方法も提供する。

特段の記述がない限り、前述の代替的な例は、相互に排他的ではないが、独自の有益点を達成するために様々な組み合わせで実施され得る。上で考察された特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示としてみなされるべきである。加えて、本明細書に記載の例、ならびに「など」、「含む」などと表現された語句の提示は、特許請求の範囲の主題を特定の例に限定するものと解釈されるべきではなく、むしろ、例は、多くの可能な実施形態のうちの１つだけを例示することが意図される。さらに、異なる図面の同じ参照符号は、同じまたは類似の要素を特定することができる。

Claims (22)

1. 緊急車両を検出するためのシステムであって、
   車両の運用システムと、
   前記運用システムと通信している１つ以上のコンピューティングデバイスであって、
   前記車両の視点からの環境の複数の画像を受信することであって、前記複数の画像が、第１の画像および追加の画像を含む、受信することと、
   前記複数の画像において１つ以上のゲートを生成することであって、前記１つ以上のゲートの各々が、前記車両からそれぞれの距離にある関心領域を表す、生成することと、
   前記１つ以上のゲート内の複数の光を検出することと、
   前記第１の画像の前記１つ以上のゲートのうちの所与のゲートにおける前記検出された複数の光のグループと対応する第１の候補緊急車両を識別することと、
   前記追加の画像の前記１つ以上のゲートのうちのゲートにおける前記検出された複数の光のグループと対応する第２の候補緊急車両を識別することと、
   前記第１の候補緊急車両および前記第２の候補緊急車両が同じ所与の緊急車両であると判定することと、
   前記所与の緊急車両がアクティブであると判定することと、
   前記所与の緊急車両がアクティブであるという前記判定に基づいて、前記車両の前記運用システムを動作させることと、を行うように構成されている、１つ以上のコンピューティングデバイスと、を含む、システム。
2. 前記１つ以上のコンピューティングデバイスは、前記１つ以上のゲートを生成するための１つ以上の領域を選択するようにさらに構成されている、請求項１に記載のシステム。
3. 前記１つ以上のコンピューティングデバイスは、緊急車両に関連しない、前記環境内の区域と関連付けられた、前記第１の画像におけるピクセルをマスクするようにさらに構成されている、請求項１に記載のシステム。
4. 前記１つ以上のコンピューティングデバイスは、前記第１の画像における前記所与のゲート内の、前記検出された複数の光の前記グループを包含するように生成された第１の候補車両ポリゴンに基づいて、前記第１の候補緊急車両を識別するように構成されている、請求項１に記載のシステム。
5. 前記１つ以上のコンピューティングデバイスは、
   前記追加の画像における、前記検出された複数の光の前記グループおよび前記所与のゲートを包含するように生成された第２の候補車両ポリゴン、および
   前記第１の候補車両ポリゴンと前記第２の候補車両ポリゴンとの間の類似性の尺度に基づいて、前記第１の候補緊急車両および前記第２の候補緊急車両が、同じ所与の緊急車両であると判定するように構成されている、請求項４に記載のシステム。
6. 前記１つ以上のコンピューティングデバイスは、前記第１の候補車両ポリゴンに基づいて、アクティブな緊急車両の特性を識別するようにさらに構成されている、請求項４に記載のシステム。
7. 前記１つ以上のコンピューティングデバイスは、前記第１の候補緊急車両または前記第２の候補緊急車両の検証に基づいて、前記所与の緊急車両がアクティブであると判定するように構成されている、請求項１に記載のシステム。
8. 前記検証は、前記アクティブな候補緊急車両の特性を、他の検出された物体と照合することを含む、請求項６に記載のシステム。
9. 前記検証は、前記１つ以上のゲート内の、検出された物体の誤検知をフィルタリングすることを含む、請求項６に記載のシステム。
10. 前記１つ以上のコンピューティングデバイスは、前記第１の画像の前記１つ以上のゲート、または前記追加の画像の前記１つ以上のゲートに基づいて、アクティブな緊急車両の特性を識別するようにさらに構成されている、請求項１に記載のシステム。
11. 前記車両の前記運用システムは、前記車両の軌道をプランニングするためのナビゲーションシステムである、請求項１に記載のシステム。
12. 前記車両の前記運用システムは、前記車両を減速させて停止させるための減速システムである、請求項１に記載のシステム。
13. 前記車両の前記運用システムは、車輪の角度を制御して、前記車両の向きを変えるためのステアリングシステムである、請求項１に記載のシステム。
14. 前記１つ以上のプロセッサは、特定の周波数範囲内の光を識別することによって、前記複数の光を検出するように構成されている、請求項１に記載のシステム。
15. 前記１つ以上のプロセッサは、特定の周波数範囲外の光をフィルタリングすることによって、前記複数の光を検出するように構成されている、請求項１に記載のシステム。
16. 緊急車両を検出するための方法であって、
    １つ以上のコンピューティングデバイスによって、自律型車両の視点から撮影された複数の画像を受信することであって、前記複数の画像が、第１の画像および追加の画像を含む、受信することと、
    前記１つ以上のコンピューティングデバイスによって、前記複数の画像において１つ以上のゲートを生成することであって、前記１つ以上のゲートの各々が、前記車両からそれぞれの距離にある関心領域を表す、生成することと、
    前記１つ以上のコンピューティングデバイスによって、前記１つ以上のゲート内の複数の光を検出することと、
    前記１つ以上のコンピューティングデバイスによって、前記第１の画像の前記１つ以上のゲートのうちのゲートにおける前記検出された複数の光のグループと対応する第１の候補緊急車両を識別することと、
    前記１つ以上のコンピューティングデバイスによって、前記追加の画像の前記１つ以上のゲートのうちの所与のゲートにおける前記検出された複数の光のグループと対応する第２の候補緊急車両を識別することと、
    前記１つ以上のコンピューティングデバイスによって、前記第１の候補緊急車両および前記第２の候補緊急車両が同じ所与の緊急車両であると判定することと、
    前記１つ以上のコンピューティングデバイスによって、前記所与の緊急車両がアクティブであると判定することと、
    前記１つ以上のコンピューティングデバイスによって、前記所与の緊急車両がアクティブであるという前記判定に基づいて、前記車両の運用システムを動作させることと、を含む、方法。
17. 前記１つ以上のコンピューティングデバイスによって、前記１つ以上のゲートを生成するための１つ以上の領域を選択することをさらに含む、請求項１６に記載の方法。
18. 前記１つ以上のコンピューティングデバイスによって、緊急車両に関連しない物体と関連付けられた、前記第１の画像におけるピクセルをマスクすることをさらに含む、請求項１６に記載の方法。
19. 前記第１の候補緊急車両を識別することは、前記第１の画像における、前記検出された複数の光の前記グループおよび前記所与のゲートを包含するように、第１の候補車両ポリゴンを生成することを含む、請求項１６に記載の方法。
20. 前記第１の候補緊急車両および前記第２の候補緊急車両が同じ所与の緊急車両であると判定することは、
    追加画像における、前記検出された複数の光の前記グループおよび前記所与のゲートを包含するように、第２の候補車両ポリゴンを生成することと、
    前記第２の候補車両ポリゴンを前記第１の画像に投影することと、
    前記第１の候補車両ポリゴンと前記第２の候補車両ポリゴンとの間の類似性の尺度を判定することと、
    前記類似性の量が閾値量よりも大きい場合に、前記第１の候補緊急車両および前記第２の候補緊急車両が前記同じ所与の緊急車両であると判定することと、を含む、請求項１９に記載の方法。
21. 前記所与の緊急車両がアクティブであると判定することは、前記第１の候補緊急車両または前記第２の候補緊急車両を検証することを含む、請求項１６に記載の方法。
22. 前記第１の画像の前記１つ以上のゲート、または前記追加の画像の前記１つ以上のゲートに基づいて、アクティブな緊急車両の特性を識別すること、請求項１６に記載の方法。