JP7321246B2 - ハイブリッド飛行時間型イメージャモジュール - Google Patents

Description

関連出願の相互参照
本出願は、２０１８年７月３１日に出願された米国特許出願第６２／７１２，５８６号および２０１８年１２月２１日に出願された米国特許出願第１６／２２９，１９３号の利益を主張し、その内容は参照により本明細書に組み込まれる。

イメージングセンサは通常、シーンの高品質で高解像度の２次元画像を提供するが、一般的に深度情報を提供しない。飛行時間型（ＴｏＦ）センサは通常、シーンに関する低解像度の深度情報を提供するが、反射率の高いまたは吸収性の高い素材を撮像する場合、迷光の「ブルーミング」の影響を受けたり、不正確な深度情報を提供したりする可能性がある。

本開示は、イメージングセンサおよびＴｏＦセンサの態様を有益に組み合わせて、より正確でより高解像度の深度情報を提供する。

第１の態様では、システムが提供される。システムは、少なくとも１つの飛行時間型（ＴｏＦ）センサおよびイメージングセンサを含む。少なくとも１つのＴｏＦセンサおよびイメージングセンサは、シーンからの光を受光するように構成される。システムはまた、少なくとも１つの光源を含む。システムは、動作を行うコントローラをさらに含む。動作は、少なくとも１つの光源に、照明スケジュールに従ってシーンの少なくとも一部を照明光で照明させることを含む。動作は、少なくとも１つのＴｏＦセンサに、照明光に基づいたシーンの深度マップを示す情報を提供させることを含む。動作はまた、イメージングセンサに、照明光に基づいたシーンの画像を示す情報を提供させることを含む。

第２の態様では、方法が提供される。方法は、少なくとも１つの光源に、照明スケジュールに従ってシーンを照明光で照明させることを含む。方法はまた、飛行時間型（ＴｏＦ）センサに、照明光に基づいたシーンの深度マップを示す情報を提供させることを含む。方法は、イメージングセンサに、照明光に基づいてシーンの画像を示す情報を提供させることをさらに含む。

第３の態様では、方法が提供される。方法は、第１の車両と第２の車両が互いに閾値距離内にあると判定することを含む。第１の車両および第２の車両の各々は、それぞれのハイブリッドイメージングシステムを含む。ハイブリッドイメージングシステムは、少なくとも１つの飛行時間型（ＴｏＦ）センサおよびイメージングセンサを含む。少なくとも１つのＴｏＦセンサおよびイメージングセンサは、シーンからの光を受光するように構成される。ハイブリッドイメージングシステムは、少なくとも１つの光源を含む。方法は、少なくとも１つのＴｏＦセンサ、イメージングセンサ、または少なくとも１つの光源の少なくとも１つの動作パラメータを調整することをさらに含む。

第４の態様では、方法が提供される。方法は、事前情報を提供することを含む。事前情報は、シーンの３次元情報を含む。方法はまた、少なくとも１つの光源に、照明スケジュールに従ってシーンを照明光で照明させることを含む。方法は、飛行時間型（ＴｏＦ）センサに、照明光に基づいたシーンの深度マップを示す情報を提供させることをさらに含む。方法はまた、イメージングセンサに、照明光に基づいたシーンの画像を示す情報を提供させることを含む。

他の態様、実施形態、および実装は、添付図面の適切な箇所を参照して、以下の詳細な説明を読み取ることによって、当業者には明らかになるであろう。

図１は、例示的な実施形態によるシステムを示している。 図２は、例示的な実施形態によるシステムの動作シナリオを示している。 図３Ａは、例示的な実施形態による車両を示している。 図３Ｂは、例示的な実施形態によるセンサユニットを示している。 図３Ｃは、例示的な実施形態による光源を示している。 図４Ａは、例示的な実施形態による感知シナリオを示している。 図４Ｂは、例示的な実施形態による感知シナリオを示している。 図５は、例示的な実施形態による方法を示している。 図６は、例示的な実施形態による方法を示している。 図７は、例示的な実施形態による方法を示している。

例示的な方法、デバイス、およびシステムが、本明細書に記載されている。「例」および「例示的」という語は、本明細書においては、「例、事例、または例示としての役割を果たす」ことを意味するために使用されることを理解されたい。本明細書において「例」または「例示的」であるとして説明されるいずれの実施形態または特徴も、他の実施形態または特徴よりも好ましい、または有利であると必ずしも解釈されるべきではない。本明細書に提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。

したがって、本明細書に記載される例示的な実施形態は、限定的であることを意味するものではない。本明細書において概略説明され、図に示される本開示の態様は、多種多様な異なる構成で配置、置換、組合わせ、分離、および設計が可能であり、これらの構成のすべてが、本明細で検討されている。

さらに、文脈上特段の示唆がある場合を除き、各図に示された特徴を、互いに組み合わせて使用することができる。このように、図は一般に、例示されるすべての特徴が実施形態ごとに必要である訳ではないという理解の下に、１つ以上の概略実施形態の構成態様として考えられるべきである。
Ｉ． 概要

ハイブリッドイメージングシステムは、１）少なくとも１つのＴｏＦセンサと、２）イメージングセンサと、３）連続照明光、パルス照明光、または非周期照明光を使用してシーンを照明するための少なくとも１つの光源と、４）コンピュータ、プロセッサ、および／またはディープニューラルネットを含んでもよいコントローラと、を含むことができる。ＴｏＦセンサおよびイメージングセンサは、互いに空間的に登録されてもよく、同じ光路の重なり合う部分を利用してもよい。

そのようなハイブリッドイメージングシステムの、複数のセンサユニットの各センサユニットは、車両の各側面（または各コーナー）に取り付けることができる。それぞれのセンサユニットは、車両のさまざまな場所にある１つまたは複数の回転プラットフォームに取り付けることもできる。例示的な実施形態では、各センサユニットは、車両の周囲のシーンに関する１８０度の視野を含んでいてもよい。いくつかの実施形態では、センサユニットは、車両の周囲の環境に関する視野が部分的に重なるように車両上に配置することができる。

例示的な実施形態では、ブルーミングまたは他の深度情報アーチファクトを回避するために、複数のＴｏＦセンサを、所与のセンサユニット内の１つまたは複数のイメージセンサに関連付けることができる。鏡面反射やその他の明るい光源からのブルーミングの影響を減らすために、それぞれのＴｏＦセンサを分散させる（例えば、１０ｃｍ以上離す）ことができる。いくつかの実施形態では、ＴｏＦセンサは、１０～１００ＭＨｚの間で動作することができるが、他の動作周波数も検討されており可能である。いくつかの実施形態では、それぞれのＴｏＦセンサの動作周波数は、所望の最大深度感知範囲に基づいて調整されてもよい。例えば、ＴｏＦセンサは、約７．５メートルの所望の深度検知範囲（例えば、明確な範囲）に対して２０ＭＨｚで動作させることができる。いくつかの実施形態では、ＴｏＦセンサは、１００メートル以上の所望の最大深度感知範囲を有することができる。

いくつかの実施形態では、ＴｏＦセンサは、ＣＭＯＳまたはＣＣＤ受光素子（例えば、シリコンＰＩＮダイオード）を含むことができる。しかしながら、他のタイプのＴｏＦセンサおよびＴｏＦセンサ素子も検討されている。場合によっては、さまざまな位相シフトモード（例えば、２倍または４倍の位相シフト）を使用して、ＴｏＦセンサを操作することができる。

いくつかの実施形態では、イメージングセンサは、メガピクセルタイプのカメラセンサなどのＲＧＢイメージングセンサを含むことができる。イメージングセンサは、複数のＣＭＯＳまたはＣＣＤ受光素子を含むことができる。

いくつかの例では、１つまたは複数の光源を使用して、シーン（またはシーンのそれぞれの部分）を照明することができる。そのようなシナリオでは、光源を変調して、深度情報を提供するＴｏＦセンサと組み合わせて使用可能な所定の光パルス（または一連の光パルス）を提供することができる。追加的にまたは代替的に、イメージングセンサに所望の露出を提供するために、一連の光パルス（例えば、パルス繰り返し率、パルス持続時間、および／またはデューティサイクル）を選択することができる。

１つまたは複数の光源は、車両の一部分に沿って配置されたライトストリップを含むことができる。追加的または代替的に、１つまたは複数の光源は、ライトパネルのグリッドを含むことができ、ライトパネルの各セグメントは、個別に異なる光パルスを提供することができる。またさらに、１つまたは複数の光源は、点ごとにおよび／またはスキャン方式で移動可能な１つまたは複数の光線を、提供することができる。

１つまたは複数の光源は、連続波（ＣＷ）および／またはパルス（例えば、正弦波、鋸歯状波、または方形波）動作モードで動作させることができる。制限なしに、１つまたは複数の光源は、レーザーダイオード、発光ダイオード、プラズマ光源、ストロボ、固体レーザー、ファイバーレーザー、または他のタイプの光源のうちの少なくとも１つを含むことができる。１つまたは複数の光源は、赤外線波長範囲（例えば、８５０、９０５、および／または９４０ナノメートル）の光を放射するように構成することができる。いくつかの実施形態では、複数の照明光波長を使用して、複数の光源などを明確にすることができる。追加または代替として、照明波長を、環境内の周囲光の量および／または時刻に基づいて調整することができる。

コントローラは、それぞれのセンサの出力を組合わせるように（例えば、センサ融合の使用）、および／または車両の周囲の３次元シーンについて推論するように、動作可能にできる。例えば、コントローラは、車両の周囲のグレースケールまたは色強度マップを提供するために推論を行ってもよい。推論は、追加的にまたは代替的に、車両の環境内のオブジェクトに関する情報を提供してもよい。例示的な実施形態では、６０Ｈｚまたは１２０Ｈｚのリフレッシュレートで、オブジェクト情報を提供することができる。しかしながら、他のリフレッシュレートも可能であり検討されている。

例示的な実施形態では、システムは、１つまたは複数のディープニューラルネットワークを含むことができる。ディープニューラルネットワークを利用して、トレーニングデータおよび／または車両の動作コンテキストに基づいた推論を提供することができる。場合によっては、低解像度の深度情報と画像情報がディープニューラルネットワークに提供されてもよい。その後、ディープニューラルネットワークは、受信した情報に基づいて推論すること、および／または高解像度の出力深度マップ（例えば、点群）を提供することができる。

いくつかの実施形態では、ＴｏＦセンサ、イメージセンサ、光源、およびコントローラのうちの２つ以上を同じ基板に結合することができる。すなわち、システムは、より小さなセンサパッケージを提供するために、および／または他の性能改善を提供するために、モノリシックチップまたは基板を含むことができる。
ＩＩ． 例示的なシステム

図１は、例示的な実施形態によるシステム１００を示している。システム１００は、少なくとも１つの飛行時間型（ＴｏＦ）センサ１１０、またはＴｏＦカメラを含む。例示的な実施形態では、少なくとも１つのＴｏＦセンサ１１０は、複数の相補型金属酸化膜半導体（ＣＭＯＳ）または電荷結合素子（ＣＣＤ）の感光性素子（例えば、シリコンＰＩＮダイオード）を含むことができる。他のタイプの感光性素子も、ＴｏＦセンサ１１０は利用することができる。

いくつかの実施形態では、少なくとも１つのＴｏＦセンサ１１０を、光速に基づいてそれぞれの視野内の環境的特徴までの距離を能動的に推定するように構成することができる。すなわち、ＴｏＦセンサ１１０は、光源（例えば、光源１３０）とシーン内のオブジェクトとの間を伝播する際の光信号（例えば、光パルス）の飛行時間を測定することができる。シーン内の複数の場所から届く光パルスの飛行時間を推定することにより、距離画像または深度マップを、ＴｏＦセンサの視野に基づいて構築することができる。距離の解像度は１センチメートル以下にすることができるが、横方向の解像度が標準の２Ｄイメージングカメラと比較して低くなる可能性がある。

いくつかの実施形態では、ＴｏＦセンサ１１０は、１２０Ｈｚ以上で画像を取得することができる。制限なしに、ＴｏＦセンサ１１０は、レンジゲートイメージャまたは直接飛行時間型イメージャを含むことができる。

システム１００はまた、少なくとも１つのイメージングセンサ１２０も含む。例示的な実施形態では、イメージングセンサ１２０は、複数の感光性素子を含むことができる。そのようなシナリオでは、複数の感光性素子は、少なくとも１００万個の感光性素子を含むことができる。少なくとも１つのＴｏＦセンサ１１０および少なくとも１つのイメージングセンサ１２０は、シーンからの光を受光するように構成される。

システム１００はまた、少なくとも１つの光源１３０を含む。例示的な実施形態では、少なくとも１つの光源１３０は、レーザーダイオード、発光ダイオード、プラズマ光源、ストロボライト、固体レーザー、またはファイバーレーザーのうちの少なくとも１つを含むことができる。他のタイプの光源も、本開示で可能であり検討されている。１つまたは複数の光源１３０は、（例えば、車両の一部分に沿って配置された）ライトストリップを含むことができる。追加的または代替的に、少なくとも１つの光源１３０は、例えば、ライトパネルのグリッドを含むことができ、ライトパネルの各セグメントは、個別に異なる光パルスを提供することができる。またさらに、少なくとも１つの光源１３０は、点ごとにおよび／またはスキャン方式で移動可能な１つまたは複数の光線を、提供することができる。少なくとも１つの光源１３０は、連続波（ＣＷ）モードおよび／またはパルス（例えば、正弦波、鋸歯状波、または方形波）動作モードで動作させることができる。

例示的な実施形態では、少なくとも１つの光源１３０は、赤外光（例えば、９００～１６００ナノメートル）を放射するように構成することができる。しかしながら、他の光の波長も可能であり検討されている。

少なくとも１つの光源１３０およびＴｏＦイメージャ１１０は、時間的に同期させることができる。すなわち、光源１３０に光を放射させるトリガー信号を、時間基準信号としてＴｏＦイメージャ１１０に提供することもできる。したがって、ＴｏＦイメージャ１１０は、光源１３０から放射された光の実際の開始の時間に関する情報を持つことができる。追加的または代替的に、ＴｏＦイメージャ１１０から既知の距離にある基準ターゲットに基づいて、ＴｏＦイメージャ１１０を較正することができる。

複数の光源および／または複数のＴｏＦイメージャを使用するシナリオでは、複数の光源は、さまざまな光源から所与のＴｏＦイメージャによって取得された飛行時間情報（光パルス）を明確するために、時分割多重化または他のタイプの信号多重化（例えば、周波数またはコード多重化）を利用することができる。

いくつかの実施形態では、光源１３０は、所望の解像度を提供するために、それぞれの目標位置に向かって複数の放射ベクトルに沿って環境内に光を放射するように構成することができる。そのようなシナリオでは、少なくとも１つの光源１３０は、放射した光をシステム１００の外部環境と相互作用させるために、複数の放射ベクトルに沿って光を放射するように動作可能にできる。

例示的な実施形態では、それぞれの放射ベクトルは、車両（例えば、図３Ａを参照して図示および説明される車両３００）の方位または場所に対する方位角および／または仰角（および／または対応する角度レンジ）を含むことができる。いくつかの実施形態では、少なくとも１つの光源１３０によって放射される光は、可動マウントおよび／または可動ミラーを調整することによって、それぞれの放射ベクトルに沿わせることができる。

例えば、少なくとも１つの光源１３０は、可動ミラーに向かって光を放射することができる。可動ミラーの向きを調整することによって、光の放射ベクトルを制御可能に修正することができる。多くの異なる物理的および光学的技術を使用して、光を所与の目標位置に向けられることが理解されよう。光の放射ベクトルを調整するためのすべてのそのような物理的および光学的技術が、本明細書で検討されている。

システム１００は、任意に複数のセンサ１４０を含んでもよい。他のセンサ１４０は、ＬＩＤＡＲセンサ、レーダーセンサ、または他のタイプのセンサを含んでもよい。例えば、システム１００は、グローバルポジショニングシステム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、温度センサ、速度センサ、カメラ、またはマイクロフォンを含むことができる。そのようなシナリオでは、本明細書に記載の動作シナリオおよび／または方法のいずれかは、他のセンサ１４０から情報を受信し、少なくとも部分的に他のセンサ１４０から受信した情報に基づいて他の動作または方法ステップを実行することを含むことができる。

例示的な実施形態では、少なくとも１つのＴｏＦセンサ１１０、イメージングセンサ１２０、および少なくとも１つの光源１３０のうちの少なくとも２つを共通の基板に結合することができる。例えば、少なくとも１つのＴｏＦセンサ１１０、イメージングセンサ１２０、および少なくとも１つの光源１３０を車両に結合することができる。すなわち、システム１００の一部または全部の要素は、車両のオブジェクト検出能力および／またはナビゲーション能力の少なくとも一部を提供することができる。例示的な実施形態では、車両は、半自律型または完全自律型の車両（例えば、自動運転車）とすることができる。例えば、システム１００は、図３Ａ、４Ａ、および４Ｂを参照して図示および説明される車両３００に組み込むことができる。

いくつかの実施形態では、システム１００を、車両３００を取り巻く環境内の他の特徴の中でもとりわけ、近くの車両、道路境界、気象条件、交通標識および交通信号、および歩行者を検出して場合によっては識別するために利用される車両制御システムの一部にすることができる。例えば、車両制御システムは、深度マップ情報を使用して、自律または半自律ナビゲーション用制御戦略の決定を支援してもよい。いくつかの実施形態では、深度マップ情報は、車両制御システムが障害物を回避するのを支援してもよいが、ナビゲーション用の適切な経路の決定を支援してもよい。

本明細書で説明されるいくつかの例は、車両に組み込まれるものとしてシステム１００を含むが、他の用途が可能であることが理解されよう。例えば、システム１００は、ロボットシステム、航空機、スマートホームデバイス、スマートインフラストラクチャシステムなどを含むことも、それらに組み込むこともできる。

システム１００は、コントローラ１５０を含む。いくつかの実施形態では、コントローラ１５０は、車両搭載コンピュータ、外部コンピュータ、またはスマートフォン、タブレットデバイス、パーソナルコンピュータ、ウェアラブルデバイスなどの移動計算プラットフォームを含むことができる。追加的にまたは代替的に、コントローラ１５０は、クラウドサーバネットワークなどの遠隔に位置するコンピュータシステムを含むことも、それに接続することもできる。例示的な実施形態では、コントローラ１５０は、本明細書において説明される、動作、方法ブロック、またはステップの一部または全部を行うように構成されてもよい。制限なしに、コントローラ１５０は、追加的または代替的に、少なくとも１つのディープニューラルネットワーク、他のタイプの機械学習システム、および／または人工知能システムを含むことができる。

コントローラ１５０は、１つ以上のプロセッサ１５２および少なくとも１つのメモリ１５４を含んでもよい。プロセッサ１５２は、例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含んでもよい。ソフトウェア命令を行うように構成された、他のタイプのプロセッサ、回路、コンピュータ、または電子デバイスが、本明細書で検討されている。

メモリ１５４は、以下に限定されないが、読み出し専用メモリ（ＲＯＭ）、プログラム可能読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、不揮発性ランダムアクセスメモリ（例えば、フラッシュメモリ）、半導体ドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、読み取り／書き込み（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなどの非一過性コンピュータ可読媒体を含んでもよい。

コントローラ１５０の１つ以上のプロセッサ１５２は、本明細書に記載されるさまざまな動作および方法ステップ／ブロックを行うために、メモリ１５４に格納された命令を実行するように構成されてもよい。命令は、永続的または一時的な方法でメモリ１５４に格納されてもよい。

図２は、例示的な実施形態によるシステム１００の動作シナリオ２００を示している。動作シナリオ２００は、ある動作またはブロックがある順序になっていること、およびシステム１００のある要素によって実行されることを示しているが、他の機能、動作の順序、および／またはタイミング構成も、本明細書で検討されていることが理解されよう。

ブロック２１０は、コントローラ１５０が少なくとも１つの光源１３０に照明スケジュールに従ってシーンの少なくとも一部を照明光で照明させることを含む。照明スケジュールは、例えば、所定の光パルス繰り返し率、所定の光パルス持続時間、所定の光パルス強度、または所定の光パルスデューティサイクルのうちの少なくとも１つを含むことができる。照明光の所望の態様を伝達する他の方法も、本明細書で検討されている。

例示的な実施形態では、命令２１２は、例えば、時間ｔ_０におけるコントローラ１５０から光源１３０への信号を含むことができる。命令２１２は、他の例の中でもとりわけ、照明スケジュール、照明レベル、または照明方向または照明区域を示すことができる。

命令２１２を受信することに応答して、光源１３０は、ブロック２１４を行って、照明スケジュールに従ってシーンを照明することができる。一例として、光源１３０は、１つまたは複数の発光素子を照明することができ、これは、発光ダイオード（ＬＥＤ）、レーザー、ストロボ光、または他のタイプの光源であり得る。そのような発光素子は、照明スケジュール（例えば、所望の時間照明する、所望の周波数およびデューティサイクルで照明するなど）に従って点灯することができる。

ブロック２２０は、少なくとも１つのＴｏＦセンサ１１０に、照明光に基づいたシーンの深度マップを示す情報を提供させることを含む。例えば、時間ｔ_１において、ブロック２２０は、コントローラ１５０からＴｏＦセンサ１１０に命令２２２を提供することを含むことができる。命令２２２は、ＴｏＦセンサ１１０の深度マッピング機能をトリガーするための信号を含むことができる。追加的または代替的に、命令２２２は、スキャンのための所望の視野、スキャンのための所望の範囲、所望の解像度、および／または深度マップおよび／またはＴｏＦセンサスキャンの他の所望の態様を示す情報を含むことができる。

ブロック２２４は、光源１３０からのシーンの照明に少なくとも部分的に基づいて深度マップを取得するＴｏＦセンサ１１０を含むことができる。すなわち、命令２２２の受信に応答して、ＴｏＦセンサ１１０は、シーンの視野の深度マッピングスキャンを行うことができる。例示的な実施例では、ＴｏＦセンサ１１０は、１０～１００ＭＨｚの間で動作することができるが、他の動作周波数も可能である。いくつかの実施形態では、ＴｏＦセンサ１１０の動作周波数は、所望の最大深度感知範囲に基づいて調整されてもよい。例えば、ＴｏＦセンサ１１０は、約７．５メートルの所望の深度検知範囲に対して２０ＭＨｚで動作させることができる。いくつかの実施形態では、ＴｏＦセンサ１１０は、１００メートル以上の所望の最大深度感知範囲を有することができる。複数のＴｏＦセンサを含むいくつかの実施形態では、シーンの異なる視野および／または異なる距離範囲にわたって深度マッピングスキャンを行うように、ＴｏＦセンサを構成および／または指示することができる。

時間ｔ_２において、ブロック２２４に従って深度マップを取得すると、ＴｏＦセンサ１１０は、情報２２６をコントローラ１５０に提供することができる。情報２２６は、シーンの深度マップを示してもよい。例えば、情報２２６は、シーンの距離ベースのポイントマップを含むことができる。追加的または代替的に、情報２２６は、シーン内で決定されたオブジェクトの表面マップを含むことができる。他のタイプの情報２２６も可能であり検討されている。

ブロック２３０、イメージングセンサ１２０に、光源１３０によって提供された照明光に基づいたシーンの画像を示す情報を提供させることを含む。一例として、時間ｔ_３において、コントローラ１５０は、イメージングセンサ１２０に命令２３２を提供することができる。命令２３２は、イメージングセンサ１２０の画像キャプチャ機能をトリガーするための信号を含むことができる。さらに、命令２３２は、所望の露出、周囲照明レベル、周囲照明色温度、時刻などに関する情報を含むことができる。ｔ_１およびｔ_３は、異なるものとして図２に示されているが、いくつかの実施形態では、時間ｔ_１およびｔ_３は、類似または同一であり得る。すなわち、いくつかの実施形態では、深度マッピングおよび画像キャプチャプロセスの少なくともいくつかの部分を、並行にトリガーして実行することができる。

ブロック２３４は、命令２３２の受信に応答して、シーンの画像を取得するイメージングセンサ１２０を含む。言い換えれば、命令２３２は、画像キャプチャプロセスを開始するために、物理的シャッター機構またはデジタルシャッターをトリガーすることができる。

画像をキャプチャすると、時間ｔ_４で、イメージセンサ１２０は、情報２３６をコントローラ１５０に提供することができる。情報２３６は、例えば、キャプチャされた画像、ならびにキャプチャされた画像に関するメタデータ（例えば、露光時間、絞り設定、イメージャ感度（ＩＳＯ）、視野範囲など）などの他の情報を含むことができる。いくつかの実施形態では、情報２３６は、ＲＡＷ画像データを含むことができるが、他の非圧縮画像データフォーマットおよび圧縮画像データフォーマット（ＢＭＰ、ＪＰＥＧ、ＧＩＦ、ＰＧＮ、ＴＩＦＦなど）も可能であり検討されている。

ブロック２４０は、シーンの深度マップ（例えば、情報２２６）およびシーンの画像（例えば、情報２３６）に基づいて、シーンの高解像度深度マップを決定することを含むことができる。例示的な実施形態では、深度マップ情報２２６および画像情報２３６は、さまざまな画像処理アルゴリズムを使用して比較および／または相関させることができる。このようなアルゴリズムは、制限なしに、テクスチャ合成、画像リサンプリングアルゴリズム、補間アルゴリズム、画像先鋭化アルゴリズム、エッジ検出アルゴリズム、画像ぼかしアルゴリズムなどを含んでもよい。したがって、高解像度深度マップはシーンに関する深度情報を含むことができ、これはＴｏＦセンサ１１０によって得られた深度マップよりも高い空間分解能を有する。いくつかの実施形態では、空間解像度を、システム１００から離れた所与の距離における目標解像度に関連付けることができる。他の空間解像度として、二次元表面に沿ったものと三次元空間内のものとの両方が、本明細書で可能であり検討されている。一例として、ＴｏＦセンサ１１０によって取得された深度マップは、２０メートルの範囲で、隣接するサンプリングポイントの間に１０センチメートルの空間分解能を提供することができる。高解像度の深度マップは、２０メートルの範囲で５センチメートル未満の空間解像度を提供することができる。

ブロック２５０は、シーンの深度マップおよびシーンの画像に基づいて、シーンに関する少なくとも１つの推論を決定することを含んでもよい。例えば、コントローラ１５０は、ブロック２４０で決定された高解像度深度マップに基づいて、シーンに関する少なくとも１つの推論を決定することができる。そのようなシナリオでは、少なくとも１つの推論は、車両の環境または車両の動作状況における１つまたは複数のオブジェクトに関する情報を含んでもよい。コントローラ１５０がディープニューラルネットワークを含むシナリオでは、ブロック２５０を、少なくとも部分的に、ディープニューラルネットワークによって実行することができる。

動作シナリオ２００は、コントローラ１５０によって実行されるものとしてさまざまな動作またはブロック２１０、２２０、２３０、２４０、および２５０を説明しているが、動作シナリオ２００の動作の少なくともいくつかは、１つ以上の他のコンピューティングデバイスによって実行できることが理解されよう。

動作シナリオ２００はさまざまな動作を説明しているが、より多くの動作とより少ない動作も検討されていることが理解されよう。例えば、動作は、イメージングセンサ１２０に所望の露出を提供するために、複数の可能な照明スケジュールの中から照明スケジュールを選択することをさらに含むことができる。

図３Ａ、３Ｂ、および３Ｃは、システム１００およびシステム１００の要素のさまざまな実施形態を示している。図３Ａは、例示的な実施形態による車両３００を示している。車両３００は、１つ以上のセンサシステム３０２、３０４、３０６、３０８、３１０、３５４ａ～３５４ｄ、および３５６ａ～３５６ｄを含んでもよい。いくつかの実施形態では、１つ以上のセンサシステム３０２、３０４、３０６、３０８、および３１０は、ＬＩＤＡＲセンサユニットおよび／またはレーダーセンサユニットを含むことができる。センサシステム３０２、３０４、３０６、３０８、および３１０のうちの１つ以上は、車両３００の周囲の環境を光パルスおよび／またはレーダーエネルギーで照明するために、所与の平面に垂直な軸（例えば、ｚ軸）の周りを回転するように構成されてもよい。追加的にまたは代替的に、センサシステム３０２、３０４、３０６、３０８、および３１０のうちの１つ以上は、放射された光パルスおよび／またはレーダーエネルギーを車両３００の環境内に向けるために、可動ミラーを含むことができる。ＬＩＤＡＲベースのセンサの場合、反射光パルスのさまざまな側面（例えば、経過した飛行時間、偏光など）を決定することで、本明細書で説明する環境に関する情報を提供してもよい。同様に、レーダーベースのセンサは、レーダーエネルギーが環境とどのように相互作用するかに基づいて、特定のシーンに関する情報を決定してもよい。

例示的な実施形態では、センサシステム３０２、３０４、３０６、３０８、および３１０は、車両３００の環境内の物理的オブジェクトに関連付けられ得るそれぞれの点群情報またはその他のタイプの情報（例えば、マップ、オブジェクトデータベースなど）を提供するように構成されてもよい。車両３００、ならびにセンサシステム３０２および３０４は、特定の特徴を含むものとして図示されているが、他のタイプのセンサも、本開示の範囲内で検討されていることが理解されよう。

図３Ｂは、例示的な実施形態による、センサユニット３５０の正面図を示している。センサユニット３５０は、ハウジング３５２を含むことができる。いくつかの実施形態では、ハウジング３５２は、車両３００に結合することも、車両３００に統合することもできる。例示的な実施形態では、センサユニット３５０は、図１を参照して図示および説明されるイメージングセンサ１２０と類似または同一であり得るイメージングセンサ３５４を含んでもよい。さらに、センサユニット３５０は、図１を参照して図示および説明されるＴｏＦセンサ１１０と類似または同一であり得るＴｏＦセンサ３５６を含むことができる。図３Ｂは、共通のハウジング３５２内に配置されたイメージングセンサ３５４およびＴｏＦセンサ３５６を示しているが、イメージングセンサ３５４およびＴｏＦセンサ３５６を、異なる場所に配置することもできる。そのような要素の他の配置も、本明細書で可能であり検討されていることが理解されよう。

図３Ｃは、例示的な実施形態による光源３７０を示している。光源３７０は、ハウジング３７２を含むことができる。いくつかの実施形態では、ハウジング３７２は、車両３００に結合することも、車両３００に統合することもできる。例示的な実施形態では、光源３７０は、図１を参照して図示および説明される光源１３０と類似または同一であり得る複数の発光素子３７４ａ～３７４ｈを含んでもよい。発光素子３７４ａ～３７４ｈは、アレイまたは他の空間配置で配置することができる。例示的な実施形態では、発光素子３７４ａ～３７４ｈは、発光ダイオード（ＬＥＤ）またはレーザーダイオードであり得る。他のタイプの光源も可能であり検討されている。

発光要素３７４ａ～３７４ｈは、赤外線（例えば、７００～１０５０ｎｍの近赤外線）波長範囲の光を放射するように構成することができる。しかしながら、いくつかの実施形態では、他の光の波長も検討されている。いくつかの実施形態では、発光素子３７４ａ～３７４ｈは、互いに異なる波長の光を放射するように構成することができる。すなわち、発光素子３７４ａ～３７４ｈは、８つの異なる波長の光を放射するように構成することができる。そのようなシナリオでは、システム１００および／または車両３００は、個別の発光素子によって放射される光信号を（または異なる光源３７０を）、その波長に基づいて明確にするように構成することができる。いくつかの実施形態では、多色光を、多色イメージングセンサおよび／または多色ＴｏＦセンサによって受信することができる。

いくつかの実施形態では、発光素子３７４ａ～３７４ｈは、発光要素３７４ａ～３７４ｈから放射された光と相互作用するように構成された１つまたは複数の光学素子を含むことができる。制限なしに、１つまたは複数の光学素子を、放射された光を方向転換、成形、減衰、増幅、またはその他の方法で調整するように構成することができる。例えば、１つまたは複数の光学素子は、ミラー、光ファイバー、回折光学素子、非球面レンズ、シリンドリカルレンズ、または球面レンズを含むことができる。他のタイプの光学素子も可能であり検討されている。

いくつかの例示的な実施形態では、発光素子３７４ａ～３７４ｈは、車両３００の周りの環境の異なる空間セクタ（例えば、異なる方位角範囲および／または仰角範囲を含む）に向かって光を放射するために、動作可能にできる。さらに、いくつかの実施形態では、発光素子３７４ａ～３７４ｈは、所与の期間中の異なる時間に光を放射するように動作可能にできる。すなわち、発光素子３７４ａ～３７４ｈのそれぞれは、所与の期間にわたるそれぞれの期間中に光を放射するように制御することができる。例えば、発光素子３７４ａ～３７４ｈは、連続パターン（例えば、ある発光素子が他の発光素子に続いて「追跡」パターンで点灯）で光を放射することができる。追加的または代替的に、１つまたは複数の発光素子３７４ａ～３７４ｈは、並列様式で光を放射（例えば、いくつかの発光素子が同時に光を放射）することができる。

図３Ａに戻ると、車両３００は、図３Ｂを参照して図示および説明されるセンサユニット３５０と類似または同一であり得る複数のセンサユニットを含むことができる。さらに、それぞれのセンサユニットは、各々、イメージングセンサ３５４ａ～３５４ｄおよびＴｏＦセンサ３５６ａ～３５４ｄを含むことができる。図示したように、イメージングセンサ３５４ａ～３５４ｄおよびＴｏＦセンサ３５６ａ～３５６ｄのそれぞれの対は、車両３００の前部、右側部、左側部、および後部に結合または統合することができる。イメージングセンサ３５４ａ～３５４ｄおよびＴｏＦセンサ３５６ａ～３５６ｄについては、他の取り付けタイプおよび取り付け位置も検討されている。例えば、いくつかの実施形態では、イメージングセンサ３５４ａ～３５４ｄおよびＴｏＦセンサ３５６ａ～３５６ｄは、車両３００の周囲の環境から撮像情報およびＴｏＦ情報を取得するために、ｚ軸を中心に回転するように構成された回転可能なマウントに配置することができる。

センサシステム３５４ａ／３５６ａ、３５４ｂ／３５６ｂ、３５４ｃ／３５６ｃ、および３５４ｄ／３５６ｄは並んでいるように図示されているが、他のセンサ配置も可能であり検討されていることが理解されよう。さらに、センサシステムの特定の場所および数が図３Ａ～３Ｃに示されているが、さまざまなセンサシステムの異なる取り付け場所および／または異なる数も検討されていることが理解されよう。

車両３００は、図１を参照して図示および説明される光源１３０と類似または同一であり得る複数の光源３７０ａ～３７０ｄを含むことができる。図示したように、光源３７０ａ～３７０ｄは、車両３００の前部、右側部、左側部、および後部に結合または統合することができる。複数の光源３７０ａ～３７０ｄについては、他の取り付けタイプおよび取り付け位置が検討されている。例えば、いくつかの実施形態では、光源３７０は、制御可能な方位角範囲に向かって光を放射するために、ｚ軸の周りを回転するように構成された回転可能なマウントに配置することができる。

図４Ａ、４Ｂは、さまざまな感知シナリオ４００および４２０を示している。各々の場合において、明確にするために、感知シナリオ４００および４２０は、可能性のある空間セクタおよびセンサプロファイル／センサレンジのサブセットのみを例示してもよい。他の空間セクタも、本開示の範囲内で可能であり検討されていることが理解されよう。さらに、感知シナリオ４００および４２０が、時間における単一の「スナップショット」のみを例示してもよいことと、空間セクタおよびセンサプロファイル／センサレンジが、他の要因の中でもとりわけ、車両３００の動的変化動作状況に基づいて周期的にまたは連続的に変化するために、動的に調整されてもよいことが、理解されよう。

図４Ａは、例示的な実施形態による、感知シナリオ４００における車両３００の俯瞰図／上面図を示している。感知シナリオ４００は、車両３００の環境の前方セクタを照明光４０２で照明することを含む。すなわち、光源３７０ａは、車両３００の前方セクタを照らすために、１つまたは複数の発光素子から光を放射することができる。

パルス照明スケジュールまたは連続波照明スケジュールに従って、照明光４０２を提供することができる。他のタイプの照明スケジュールも検討されている。例えば、コントローラ１５０から「オンデマンド」で、または車両３００の動作状況に基づいて、照明光４０２を提供することができる。一例として、暗い状態（例えば、夜間）で、または車両３００の環境内のオブジェクトを決定することに応答して、照明光４０２を提供することができる。非限定的な例として、車両３００の他のセンサシステムは、車両３００の前方にある不明瞭なまたは未知の物体（図示せず）を識別することができる。不明瞭なまたは未知の物体は、さらなる分析のために識別することができる。そのようなシナリオでは、コントローラ１５０は、光源３７０ａに、照明光４０２を前方セクタに提供させることができる。

図４Ａは、照明された状態の前方セクタを示しているが、いくつかの実施形態では、光源３７０ａは、照明光４０２の指示方向を調整するように構成されてもよい。他の光源３７０ｂ～３７０ｄは、それぞれの位置に対応するさまざまな空間セクタに同様の照明光を提供できることも理解されよう。例えば、光源３７０ｄは、後方空間セクタに照明光を放射することができる。

図４Ａ、４Ｂでは、照明光４０２および空間セクタは２次元であるように見えるが、３次元空間ボリュームも検討されていることが理解されよう。例えば、照明光４０２および／または空間セクタは、方位角範囲の間として定義することができるとともに、最大仰角と最小仰角の間として定義することができる。

図４Ｂは、例示的な実施形態による、感知シナリオ４２０における車両３００の俯瞰図／上面図を示している。感知シナリオ４２０は、視野４０４から光を取得するイメージングセンサ３５４ａを含むことができる。イメージングセンサ３５４ａによって得られる光の少なくとも一部は、車両３００の環境との相互作用による照明光４０２からのものであり得る。すなわち、シーン４０４は、光学システム３００の前方空間セクタを含むことができる。いくつかの実施形態では、イメージングセンサ３５４ａの視野４０４は、照明光４０２によって照らされたボリュームと部分的または完全に重なることができる。視野４０４から得られた光に基づいて、イメージングセンサ３５４ａは、少なくとも部分的に照明光４０２に基づくシーンの画像を提供することができる。

感知シナリオ４２０はまた、視野４０６から光を取得するイメージングセンサ３５６ａを例示する。ＴｏＦセンサ３５６ａによって得られる光の少なくとも一部は、車両３００の環境と相互作用した照明光４０２からのものであり得る。すなわち、シーン４０６は、光学システム３００の前方空間セクタを含むことができる。いくつかの実施形態では、ＴｏＦセンサ３５６ａの視野４０６は、照明光４０２によって照らされたボリュームと部分的または完全に重なることができる。視野４０６から得られた光に基づいて、ＴｏＦセンサ３５６ａは、少なくとも部分的に照明光４０２に基づくシーンの深度マップを提供することができる。
ＩＩＩ． 例示的な方法

図５は、例示的な実施形態による方法５００を示している。方法５００は、本明細書に明示的に示されているかまたは他の方法で開示されているものよりも少ないまたは多くのステップまたはブロックを含んでもよいことが理解されよう。さらに、方法５００のそれぞれのステップまたはブロックは、任意の順序で実行されてもよく、各ステップまたはブロックは、１回以上実行されてもよい。いくつかの実施形態では、方法５００のブロックまたはステップの一部または全部は、システム１００の要素によって行われてもよい。例えば、方法５００の一部または全部は、図１に関連して図示され、説明されるように、コントローラ１５０、ＴｏＦセンサ１１０、および／またはイメージングセンサ１２０によって行うことができる。さらに、方法５００は、図２に関連して図示されるように、少なくとも部分的に動作シナリオ２００によって説明さてもよい。またさらに、方法５００は、図３Ａに関連して図示され、説明されるように、少なくとも部分的に車両３００によって行われてもよい。方法５００は、図４Ａ、４Ｂに関連して図示され、説明されるように、シナリオ４００と同様または同一のシナリオで行われてもよい。他のシナリオも、本開示の文脈内で可能であり検討されていることが理解されよう。

ブロック５０２は、少なくとも１つの光源に、照明スケジュールに従ってシーンを照明光で照明させることを含む。例示的な実施形態では、照明スケジュールは、所定の光パルス繰り返し率、所定の光パルス持続時間、所定の光パルス強度、または所定の光パルスデューティサイクルのうちの少なくとも１つを含むことができる。

ブロック５０４は、飛行時間型（ＴｏＦ）センサに、照明光に基づいたシーンの深度マップを示す情報を提供させることを含む。例示的な実施形態では、コントローラ１５０は、ＴｏＦセンサに、照明光に基づいて深度スキャンを開始させることができる。いくつかの実施形態では、クロック信号またはトリガー信号をＴｏＦセンサに提供して、環境に放射される１つまたは複数の光パルスと同期させることができる。深度マップ情報を取得すると、ＴｏＦセンサは、深度マップを示す情報をコントローラ１５０またはシステム１００の他の要素に提供することができる。

ブロック５０６は、イメージングセンサに、照明光に基づいたシーンの画像を示す情報を提供させることを含む。いくつかの実施形態では、コントローラ１５０は、イメージングセンサのメカニカルシャッターまたは電子シャッターをトリガーして開放し、シーンの画像を取得することができる。追加的または代替的に、コントローラ１５０は、シーンに関する情報（例えば、周囲光レベル、関心のある特定のセクタ、所望の解像度、時刻など）を提供することができる。さらに、コントローラ１５０または光源１３０は、イメージングセンサと光源を同期させるために、クロック信号またはトリガー信号を提供することができる。シーンの画像を取得すると、イメージングセンサは、画像を示す情報をコントローラ１５０またはシステム１００の他の要素に提供することができる。

追加的または代替的に、方法５００は、イメージングセンサに所望の露出を提供するために、複数の可能な照明スケジュールの中から照明スケジュールを選択することを含むことができる。照明スケジュールは、外光レベル、他の光源、太陽の角度などを含むいくつかの変数に基づくことができる。したがって、方法５００は、周囲光の量（例えば、周囲光センサから測定される）、時刻、および／または気象条件に基づいて、照明スケジュールを調整することを含むことができる。

さらに、方法５００は、シーンの深度マップおよびシーンの画像に基づいて、シーンの高解像度深度マップを決定することを含むことができる。

またさらに、方法５００は、シーンの深度マップおよびシーンの画像に基づいて、シーンに関する少なくとも１つの推論を決定することを含んでもよい。いくつかの実施形態では、少なくとも１つの推論は、車両の環境または車両の動作状況における１つまたは複数のオブジェクトに関する情報を含むことができる。

例示的な実施形態では、少なくとも１つの推論を決定することは、少なくとも１つのディープニューラルネットワークによって実行することができる。追加的または代替的に、方法５００の一部または全部のブロックは、他のタイプの人工知能ベースのアルゴリズムを実装するコンピューティングシステムによって行うことができる。

本明細書に記載のシステムおよび方法は、車両に搭載された単一のハイブリッドイメージングシステムに関連してもよいが、複数のハイブリッドイメージングシステムを単一の車両に搭載できることが理解されよう。さらに、それぞれが１つまたは複数のそれぞれのハイブリッドイメージングシステムを有する複数の車両を含む実施形態も、本開示の文脈内で検討されており可能である。すなわち、いくつかの実施形態では、各ハイブリッドイメージングシステムは、互いに接近しているとき（例えば、互いに２００メートル以内またはより接近しているとき）に互いに干渉を最小限にするために、異なる変調周波数および／または時間オフセットを有することができる。

図６は、例示的な実施形態による方法６００を示している。方法６００は、図５および７を参照して図示および説明される方法５００または７００の対応する要素に類似または同一であるブロックまたは要素を含むことができる。

ブロック６０２は、第１の車両と第２の車両が互いに閾値距離内にあると判定することを含む。そのようなシナリオでは、第１の車両および第２の車両の各々は、それぞれのハイブリッドイメージングシステムを含む。ハイブリッドイメージングシステムは、図１を参照して図示および説明されるシステム１００と同様または同一であり得る。すなわち、ハイブリッドイメージングシステムはそれぞれ、少なくとも１つの飛行時間型（ＴｏＦ）センサ、イメージングセンサ、および少なくとも１つの光源を含むことができる。少なくとも１つのＴｏＦセンサおよびイメージングセンサは、シーンからの光を受光するように構成される。

ブロック６０４は、少なくとも１つのＴｏＦセンサ、イメージングセンサ、または少なくとも１つの光源の少なくとも１つの動作パラメータを調整することを含む。

追加的または代替的に、セントラルサーバまたはローカルサーバは、近接するハイブリッドイメージングシステム間の干渉を回避するために、それぞれの変調周波数および／または時間オフセットを割り当ておよび／または調整することができる。いくつかの実施形態では、セントラルサーバまたはローカルサーバは、ハイブリッドイメージングシステムの１つまたは複数の動作パラメータ（例えば、変調周波数、時間オフセット、クロストーク振幅など）および／またはハイブリッドイメージングシステムに関連付けられたそれぞれの車両の位置を監視することができる。２つのハイブリッドイメージングシステムおよび／またはそれらのそれぞれの車両が互いに閾値距離内に接近することに応答して、セントラルサーバまたはローカルサーバは、クロストーク干渉の可能性を低減または排除するために、ハイブリッドイメージングシステムの一方または両方に、変調周波数および／または時間オフセットを変更するように指示することができる。追加的または代替的に、セントラルサーバまたはローカルサーバは、各ハイブリッドイメージングシステムに関連付けられた識別子および各ハイブリッドイメージングシステムに関連付けられた少なくとも１つの動作パラメータ（例えば、変調周波数および／または時間オフセット）を含むデータベースを保守することができる。いくつかの実施形態では、２つのハイブリッドイメージングシステムおよび／またはそれらのそれぞれの車両が互いに閾値距離内に接近することに応答して、セントラルサーバまたはローカルサーバはデータベースを比較し、クロストーク干渉のおそれがある場合は、１つまたは複数のハイブリッドイメージングシステムにそれらの動作条件を調整するように指示だけをする。

セントラルサーバまたはローカルサーバは上で説明されているが、クロストークを回避するための他の分散型システムおよび方法も検討されていることが理解されよう。例えば、ハイブリッドイメージングシステムが閾値振幅を超えるクロストーク干渉を検出した場合、ハイブリッドイメージングシステムはそれ自体の変調周波数および／または時間オフセットを自動的に変更することができる。追加的または代替的に、ハイブリッドイメージングシステムおよび／またはそのそれぞれの車両は、クロストーク干渉を最小化または排除するために、変調周波数および／または時間オフセットの局所使用を交渉しようとしている近くの車両および／またはそれらのハイブリッドイメージングシステムと、通信することができる。アクティブなセンサシステム間の干渉を軽減する他の方法も、本開示の文脈内で検討されており可能であることが理解されよう。

本明細書に記載のシステムおよび方法は、ＴｏＦセンサを単独で利用するのと比べて複数のＴｏＦセンサおよび複数のイメージングセンサを使用して距離測定を改善することができる方法に関連し得ることが理解されよう。例えば、イメージングセンサからの１つまたは複数の画像を初期深度マップと比較して、ＴｏＦデータ内の範囲エイリアスアーチファクトを決定することができる。すなわち、そのような比較に基づいて、更新された深度マップが提供されてもよく、それは初期深度マップよりも範囲エイリアスアーチファクトが少ない可能性がある。

追加的または代替的に、ＴｏＦセンサおよび／または照明光のさまざまな動作パラメータは、イメージングセンサからの１つまたは複数の画像に基づいて制御することができる。例えば、画像は、関心領域を示す情報を提供してもよい。例えば、関心領域には、他の車両、歩行者、障害物、道路標識、道路標示などが含まれる。画像内の関心領域に基づいて、ＴｏＦセンサの動作パラメータおよび／または、照明光を調整することができる。例えば、関心領域に横断歩道内の歩行者が含まれる場合、関心領域のより正確な深度マップを提供するために、ＴｏＦセンサおよび／または照明光の動作パラメータ（変調周波数、照明強度、リフレッシュレートなど）を最適化または調整することができる。そのようなシナリオでは、横断歩道内の歩行者の推定距離、または距離範囲などに対応するように動作パラメータを調整することができる。

本明細書に記載のシステムおよび方法は、環境に関する事前情報を含んでもよい。そのような事前情報は、車両の局所環境の、および／またはイメージセンサまたはＴｏＦセンサのシーン内の忠実度の高い３次元モデルを含むことができる。そのようなシナリオでは、事前情報は、少なくとも部分的に、車両および／またはセントラルサーバまたはローカルサーバに置くことができる。

いくつかの実施形態では、事前情報を画像情報および／またはＴｏＦ情報／深度マップと組み合わせて利用して、センサをより良く較正し、および／または車両をよりよく位置特定することができる。すなわち、事前情報と少なくとも１つの画像または少なくとも１つの深度マップとの比較は、イメージセンサおよび／またはＴｏＦセンサの内的および外的特徴の決定を補助することができる。このようなシナリオでは、決定された内的および／または外的特徴を使用して、イメージセンサおよび／またはＴｏＦセンサを較正することができる。追加的または代替的に、事前情報と少なくとも１つの画像または少なくとも１つの深度マップとの比較は、事前情報を少なくとも１つの画像または少なくとも１つの深度マップと整列または登録することを含むことができる。そうすることで、整列／登録プロセスは、車両のより正確な絶対位置、進行方向、速度、またはその他の特性、および／またはその環境の他の観点の決定を補助することができる。言い換えれば、事前情報を少なくとも１つの画像および／または少なくとも１つの深度マップと組み合わせて利用することで、単独で取得されたセンサ情報よりも車両に関するより正確な情報を提供することができる。このようなシナリオでは、事前情報は、その中で車両の位置特定が可能な参照フレームを表すことができる。

図７は、例示的な実施形態による方法７００を示している。方法７００のブロックおよび／または要素は、図５および６を参照して図示および説明される方法５００または６００の対応する要素と類似または同一であり得る。

ブロック７０２は、シーンの３次元情報を含む事前情報を提供することを含む。

ブロック７０４は、少なくとも１つの光源に、照明スケジュールに従ってシーンを照明光で照明させることを含む。

ブロック７０６は、飛行時間型（ＴｏＦ）センサに、照明光に基づいたシーンの深度マップを示す情報を提供させることを含む。

ブロック７０８は、イメージングセンサに、照明光に基づいたシーンの画像を示す情報を提供させることを含む。

追加的または代替的に、事前情報を利用して深度推定を改善することができる。そのようなシナリオでは、事前情報を、画像および／または深度マップに投影することができる。さまざまな方法（例えば、レイトレーシング、主成分序列化（ＰＣｏＡ）、非計量多次元尺度構成法（ＮＭＤＳ）、またはその他の方法）を使用して、画像または深度マップへの３次元事前情報の投影を実行することができ、それらは本明細書で検討されている。事前情報を画像または深度マップに投影することにより、深度情報をより正確にダブルチェック、較正、検証、および／または推定することができる。

またさらに、事前情報を利用して、背景差分を実行することができる。そのようなシナリオでは、事前情報は、関連するセンサ深度外にある（例えば、車両から遠く離れた）オブジェクトに関する情報を含むことができる。そのような状況では、関連するセンサ深度外にあるオブジェクトに対応する画像情報および／または深度マップ情報を、無視したり、考慮から外したり、削除したり、および／または環境の他のより関連性のある領域よりも低い解像度で処理したりすることができる。

さらに、事前情報を少なくとも部分的に使用して、再帰反射オブジェクトが所与の環境内のどこにあるかを決定することができる。車両（およびそのハイブリッドイメージングシステム）がそのような環境に入ると、再帰反射オブジェクトの影響を軽減するために、ハイブリッドイメージングシステムの動作を調整することができる。例えば、ハイブリッドイメージングシステムは、環境の他の領域と比較して、より低い強度レベルで既知の再帰反射オブジェクトに対応する環境を照らすことができる。そのようなシナリオでは、ハイブリッドイメージングシステムは、再帰反射オブジェクトが原因で発生する可能性のある「ブルーミング」効果または「ブラインド」効果を回避することができる。追加的または代替的に、ハイブリッドイメージングシステムは、異なる変調周波数で動作し、および／または異なる速度で照明源を点灯することができる。再帰反射の影響を軽減する他の方法も、本明細書で可能であり検討されている。

いくつかの実施形態では、イメージセンサからの複数の画像フレームを利用して、シーンに関する情報を取得することができ、これは、本開示に記載される他の情報と併用することができる。たとえば、「オプティカルフロー」は、２つの連続する画像フレーム間のオブジェクトの見かけの動きのパターンによって取得することができる。オプティカルフローは、例えば、第１の画像フレームと第２の画像フレームとの間のシーン内の対応するオブジェクトの変位を含む２次元ベクトル場を含むことができる。オプティカルフローに基づいて、オブジェクトまでの距離を推測および／または予測することができる。オプティカルフローからのそのような距離情報は、画像情報とＴｏＦ情報を組合わせるときに推定される深度範囲を制限するために利用することができる。すなわち、オプティカルフローは、所与のシーン内のオブジェクトの深度に関する大まかな情報を提供することができる。大まかな深度情報を使用して、ＴｏＦセンサおよび／または照明源の動作パラメータを決定することができる。追加的または代替的に、大まかな深度情報を使用して、ハイブリッドイメージングシステムによって使用される動作パラメータのセットをより一般的に制限または制約することができる。

図に示されている特定の配置を、限定とみなすべきではない。他の実施形態が、所与の図に示される各要素をより多く、またはより少なく含んでもよいことを理解されたい。また、図示の要素のうちのいくつかを、組み合わせても、省いてもよい。さらにまた、例示的な実施形態は、図示されていない要素を含んでもよい。

情報の処理を表すステップまたはブロックは、本明細書に記載の方法または技法の特定の論理機能を果たすように構成することができる回路に対応し得る。代替的にまたは追加的に、情報の処理を表すステップまたはブロックは、モジュール、セグメント、物理コンピュータ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向け集積回路（ＡＳＩＣ））、またはプログラムコードの一部分（関連データを含む）に対応し得る。プログラムコードは、特定の論理機能または論理動作を方法または技法において実装するための、プロセッサにより実行可能な１つ以上の命令を含み得る。プログラムコードおよび／または関連データは、ディスク、ハードドライブ、または他の記憶媒体を含む、記憶デバイスなどの任意のタイプのコンピュータ可読媒体に格納することができる。

コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ（ＲＡＭ）のような、データを短期間格納するコンピュータ可読媒体などの非一時的コンピュータ可読媒体も含み得る。コンピュータ可読媒体は、プログラムコードおよび／またはデータを長期間にわたって格納する非一時的コンピュータ可読媒体も含み得る。このように、コンピュータ可読媒体は、例えば、読み取り専用メモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）のような二次的なまたは長期永続的記憶装置を含み得る。コンピュータ可読媒体は、任意の他の揮発性または不揮発性の記憶システムとすることもできる。コンピュータ可読媒体は、例えばコンピュータ可読記憶媒体、または有形の記憶デバイスと考えることができる。

種々の態様および実施形態が本明細書において開示されているが、当業者には、その他の態様および実施形態が明らかとなるであろう。したがって、本開示の実施形態は、以下に列挙される付番実施例（ＥＥＥ：Ｅｎｕｍｅｒａｔｅｄ Ｅｘａｍｐｌｅ Ｅｍｂｏｄｉｍｅｎｔ）のうちの１つに関係し得る。

ＥＥＥ１は、

少なくとも１つの飛行時間型（ＴｏＦ）センサと、

イメージングセンサと、を備え、ここで前記少なくとも１つのＴｏＦセンサと前記イメージングセンサはシーンからの光を受光するように構成されており、さらに

少なくとも１つの光源と、

動作を行うコントローラと、を備え、前記動作は、

前記少なくとも１つの光源に、照明スケジュールに従って前記シーンの少なくとも一部を照明光で照明させることと、

前記少なくとも１つのＴｏＦセンサに、前記照明光に基づいた前記シーンの深度マップを示す情報を提供させることと、

前記イメージングセンサに、前記照明光に基づいた前記シーンの画像を示す情報を提供させることと、を含むシステムである。

ＥＥＥ２は、前記少なくとも１つのＴｏＦセンサは、複数の相補型金属酸化膜半導体（ＣＭＯＳ）または電荷結合素子（ＣＣＤ）の感光性素子を含む、ＥＥＥ１のシステムである。

ＥＥＥ３は、前記イメージングセンサが、複数の感光性素子を含み、前記複数の感光性素子が、少なくとも１００万個の感光性素子を含む、ＥＥＥ１のシステムである。

ＥＥＥ４は、前記照明スケジュールは、所定の光パルス繰り返し率、所定の光パルス持続時間、所定の光パルス強度、または所定の光パルスデューティサイクルのうちの少なくとも１つを含む、ＥＥＥ１のシステムである。

ＥＥＥ５は、前記少なくとも１つの光源が、レーザーダイオード、発光ダイオード、プラズマ光源、ストロボライト、固体レーザー、またはファイバーレーザーのうちの少なくとも１つを含む、ＥＥＥ１のシステムである。

ＥＥＥ６は、前記動作は、前記イメージングセンサに所望の露出を提供するために、複数の可能な照明スケジュールの中から照明スケジュールを選択することをさらに含む、ＥＥＥ１のシステムである。

ＥＥＥ７は、前記動作は、前記シーンの深度マップおよび前記シーンの画像に基づいて、前記シーンの高解像度深度マップを決定することをさらに含む、ＥＥＥ１のシステムである。

ＥＥＥ８は、前記少なくとも１つのＴｏＦセンサ、前記イメージングセンサ、および前記少なくとも１つの光源を共通の基板に結合した、ＥＥＥ１のシステムである。

ＥＥＥ９は、前記少なくとも１つのＴｏＦセンサ、前記イメージングセンサ、および前記少なくとも１つの光源を車両に結合した、ＥＥＥ１のシステムである。

ＥＥＥ１０は、前記動作は、前記シーンの前記深度マップおよび前記シーンの前記画像に基づいて、前記シーンに関する少なくとも１つの推論を決定することをさらに含む、ＥＥＥ１のシステムである。

ＥＥＥ１１は、前記少なくとも１つの推論は、車両の環境または前記車両の動作状況における１つまたは複数のオブジェクトに関する情報を含む、ＥＥＥ１０のシステムである。

ＥＥＥ１２は、前記コントローラは、少なくとも１つのディープニューラルネットワークを含み、前記少なくとも１つの推論の決定は、前記少なくとも１つのディープニューラルネットワークによって実行される、ＥＥＥ１０のシステムである。

ＥＥＥ１３は、

少なくとも１つの光源に、照明スケジュールに従ってシーンを照明光で照明させることと、

飛行時間型（ＴｏＦ）センサに、前記照明光に基づいた前記シーンの深度マップを示す情報を提供させることと、

イメージングセンサに、前記照明光に基づいた前記シーンの画像を示す情報を提供させることと、を含む方法である。

ＥＥＥ１４は、前記照明スケジュールは、所定の光パルス繰り返し率、所定の光パルス持続時間、所定の光パルス強度、または所定の光パルスデューティサイクルのうちの少なくとも１つを含む、ＥＥＥ１３の方法である。

ＥＥＥ１５は、前記イメージングセンサに所望の露出を提供するために、複数の可能な照明スケジュールの中から前記照明スケジュールを選択することをさらに含む、ＥＥＥ１３の方法である。

ＥＥＥ１６は、前記シーンの前記深度マップおよび前記シーンの前記画像に基づいて、前記シーンの高解像度深度マップを決定することをさらに含む、ＥＥＥ１３のシステムである。

ＥＥＥ１７は、前記シーンの前記深度マップおよび前記シーンの前記画像に基づいて、前記シーンに関する少なくとも１つの推論を決定することをさらに含む、ＥＥＥ１３の方法である。

ＥＥＥ１８は、前記少なくとも１つの推論は、車両の環境または前記車両の動作状況における１つまたは複数のオブジェクトに関する情報を含む、ＥＥＥ１７の方法である。

ＥＥＥ１９は、前記少なくとも１つの推論の決定は、少なくとも１つのディープニューラルネットワークによって実行される、ＥＥＥ１７の方法である。

ＥＥＥ２０は、周囲光の量または時刻に基づいて前記照明スケジュールを調整することをさらに含む、ＥＥＥ１３の方法である。

ＥＥＥ２１は、

前記シーンの前記画像と前記深度マップとを比較することと、

前記比較に基づいて、前記深度マップ内の少なくとも１つの範囲エイリアスアーチファクトを決定することと、

前記決定された少なくとも１つの範囲エイリアスアーチファクトに基づいて更新された深度マップを提供することと、を含むＥＥＥ１３の方法である。

ＥＥＥ２２は、

前記シーンの画像に基づいて、関心領域を決定することと、

前記関心領域内のオブジェクトに基づいて、前記ＴｏＦセンサの少なくとも１つの動作パラメータを調整することと、をさらに含むＥＥＥ１３の方法である。

ＥＥＥ２３は、

前記シーンの複数の画像に基づいて、前記シーンのオプティカルフロー表現を決定することと、

前記シーンの前記オプティカルフロー表現に基づいて、前記ＴｏＦセンサまたは前記照明光の少なくとも１つの動作パラメータを調整することと、をさらに含むＥＥＥ１３の方法である。

ＥＥＥ２４は、

第１の車両と第２の車両が互いに閾値距離内にあると判定することを含み、ここで、前記第１の車両および前記第２の車両は各々、それぞれのハイブリッドイメージングシステムを含み、前記ハイブリッドイメージングシステムは、

少なくとも１つの飛行時間型（ＴｏＦ）センサと、

イメージングセンサと、を備え、ここで前記少なくとも１つのＴｏＦセンサと前記イメージングセンサはシーンからの光を受光するように構成されており、さらに

少なくとも１つの光源と、

前記少なくとも１つのＴｏＦセンサ、前記イメージングセンサ、または前記少なくとも１つの光源の少なくとも１つの動作パラメータを調整することと、を含む方法である。

ＥＥＥ２５は、前記少なくとも１つの動作パラメータを調整することが、それぞれのハイブリッドイメージングシステム間のクロストークを低減するために、サーバが少なくとも１つのＴｏＦセンサの変調周波数を調整すること、または、前記少なくとも１つのＴｏＦセンサの時間オフセットを調整すること、を含むＥＥＥ２４の方法である。

ＥＥＥ２６は、前記サーバが、所与の領域内のそれぞれの車両に関連付けられた各ハイブリッドイメージングシステムの少なくとも１つの動作パラメータのデータベースを保守する、ＥＥＥ２５の方法である。

ＥＥＥ２７は、

シーンの３次元情報を含む事前情報を提供することと、

少なくとも１つの光源に、照明スケジュールに従って前記シーンを照明光で照明させることと、

飛行時間型（ＴｏＦ）センサに、前記照明光に基づいた前記シーンの深度マップを示す情報を提供させることと、

イメージングセンサに、前記照明光に基づいた前記シーンの画像を示す情報を提供させることと、を含む方法である。

ＥＥＥ２８は、

前記事前情報と、前記シーンの前記深度マップまたは前記シーンの前記画像の少なくとも１つと、を比較することと、

前記比較に基づいて、車両の局所的な位置を決定することと、をさらに含むＥＥＥ２７の方法である。

ＥＥＥ２９は、

前記事前情報と、前記シーンの前記深度マップまたは前記シーンの前記画像の少なくとも１つと、を比較することと、

前記比較に基づいて、前記イメージセンサまたは前記ＴｏＦセンサの較正条件を決定することと、をさらに含むＥＥＥ２７の方法である。

ＥＥＥ３０は、

前記事前情報を、前記シーンの前記深度マップまたは前記シーンの前記画像の少なくとも１つに投影することと、

前記投影に基づいて、車両の局所的な位置を決定することと、をさらに含むＥＥＥ２７の方法である。

ＥＥＥ３１は、

前記事前情報の背景部分を決定することと、

前記背景部分に対応する前記シーンの前記深度マップまたは前記シーンの前記画像の少なくとも一部を減算または無視することと、をさらに含むＥＥＥ２７の方法である。

ＥＥＥ３２は、

前記事前情報に基づいて少なくとも１つの再帰反射オブジェクトを決定することと、

前記少なくとも１つの再帰反射物体に対応する前記シーンの一部をスキャンしながら、前記ＴｏＦセンサまたは前記イメージセンサの少なくとも１つの動作パラメータを調整することと、をさらに含むＥＥＥ２７の方法である。

さまざまな開示された態様および実施形態は、例示の目的のためであり、限定することを意図するものではなく、その真の範囲は、以下の特許請求の範囲により示される。

Claims (18)

1. システムであって、
   少なくとも１つの飛行時間型（ＴｏＦ）センサと、
   イメージングセンサと、を備え、前記少なくとも１つのＴｏＦセンサと前記イメージングセンサはシーンからの光を受光するように構成されており、さらに
   少なくとも１つの光源と、
   動作を行うコントローラと、を備え、前記動作は、
   前記イメージングセンサに所望の露出を提供するために、複数の可能な照明スケジュールの中から照明スケジュールを選択することと、
   前記少なくとも１つのＴｏＦセンサ、前記イメージングセンサ、および前記少なくとも１つの光源が結合された車両の周りの環境に関する事前情報と、周囲光の量または時刻とに基づいて前記選択した照明スケジュールを調整することと、
   前記少なくとも１つの光源に、前記調整した照明スケジュールに従って前記シーンの少なくとも一部を照明光で照明させることと、
   前記少なくとも１つのＴｏＦセンサに、前記照明光に基づいた前記シーンの深度マップを示す情報を提供させることと、
   前記イメージングセンサに、前記照明光に基づいた前記シーンの画像を示す情報を提供させることと、を含むシステム。
2. システムであって、
   少なくとも１つの飛行時間型（ＴｏＦ）センサと、
   イメージングセンサと、を備え、前記少なくとも１つのＴｏＦセンサと前記イメージングセンサはシーンからの光を受光するように構成されており、さらに
   少なくとも１つの光源と、
   動作を行うコントローラと、を備え、前記動作は、
   前記イメージングセンサに所望の露出を提供するために、複数の可能な照明スケジュールの中から照明スケジュールを選択することと、
   前記少なくとも１つの光源に、前記照明スケジュールに従って前記シーンの少なくとも一部を照明光で照明させることと、
   前記少なくとも１つのＴｏＦセンサに、前記照明光に基づいた前記シーンの深度マップを示す情報を提供させることと、
   前記イメージングセンサに、前記照明光に基づいた前記シーンの画像を示す情報を提供させることと、
   前記シーンの画像に基づいて、関心領域を決定することと、
   前記関心領域内のオブジェクトに基づいて、前記ＴｏＦセンサの少なくとも１つの動作パラメータを調整することと、を含むシステム。
3. システムであって、
   少なくとも１つの飛行時間型（ＴｏＦ）センサと、
   イメージングセンサと、を備え、前記少なくとも１つのＴｏＦセンサと前記イメージングセンサはシーンからの光を受光するように構成されており、さらに
   少なくとも１つの光源と、
   動作を行うコントローラと、を備え、前記動作は、
   前記イメージングセンサに所望の露出を提供するために、複数の可能な照明スケジュールの中から照明スケジュールを選択することと、
   前記少なくとも１つの光源に、前記照明スケジュールに従って前記シーンの少なくとも一部を照明光で照明させることと、
   前記少なくとも１つのＴｏＦセンサに、前記照明光に基づいた前記シーンの深度マップを示す情報を提供させることと、
   前記イメージングセンサに、前記照明光に基づいた前記シーンの画像を示す情報を提供させることと、
   前記シーンの複数の画像に基づいて、前記シーンのオプティカルフロー表現を決定することと、
   前記シーンの前記オプティカルフロー表現に基づいて、前記ＴｏＦセンサまたは前記照明光の少なくとも１つの動作パラメータを調整することと、を含むシステム。
4. 前記照明スケジュールは、所定の光パルス繰り返し率、所定の光パルス持続時間、所定の光パルス強度、または所定の光パルスデューティサイクルのうちの少なくとも１つを含む、請求項１～３のいずれか１項に記載のシステム。
5. 前記動作は、前記シーンの深度マップおよび前記シーンの画像に基づいて、前記シーンの高解像度深度マップを決定することをさらに含む、請求項１～３のいずれか１項に記載のシステム。
6. 前記少なくとも１つのＴｏＦセンサ、前記イメージングセンサ、および前記少なくとも１つの光源を共通の基板に結合した、請求項１～３のいずれか１項に記載のシステム。
7. 前記少なくとも１つのＴｏＦセンサ、前記イメージングセンサ、および前記少なくとも１つの光源を車両に結合した、請求項２または３に記載のシステム。
8. 前記動作は、前記シーンの深度マップおよび前記シーンの画像に基づいて、前記シーンについての少なくとも１つの推論を決定することをさらに含む、請求項１～３のいずれか１項に記載のシステム。
9. 前記少なくとも１つの推論は、車両の環境または前記車両の動作状況における１つまたは複数のオブジェクトに関する情報を含む、請求項８に記載のシステム。
10. 前記コントローラは、少なくとも１つのディープニューラルネットワークを含み、前記少なくとも１つの推論の決定は、前記少なくとも１つのディープニューラルネットワークによって実行される、請求項８に記載のシステム。
11. イメージングセンサに所望の露出を提供するために、複数の可能な照明スケジュールの中から照明スケジュールを選択することと、
    車両の周りの環境に関する事前情報と、周囲光の量または時刻とに基づいて前記選択した照明スケジュールを調整することと、
    少なくとも１つの光源に、前記調整した照明スケジュールに従ってシーンを照明光で照明させることと、
    飛行時間型（ＴｏＦ）センサに、前記照明光に基づいた前記シーンの深度マップを示す情報を提供させることと、
    前記イメージングセンサに、前記照明光に基づいた前記シーンの画像を示す情報を提供させることと、
    を含み、前記ＴｏＦセンサ、前記イメージングセンサ、および前記少なくとも１つの光源は、前記車両に結合されている、方法。
12. イメージングセンサに所望の露出を提供するために、複数の可能な照明スケジュールの中から照明スケジュールを選択することと、
    少なくとも１つの光源に、前記照明スケジュールに従ってシーンを照明光で照明させることと、
    飛行時間型（ＴｏＦ）センサに、前記照明光に基づいた前記シーンの深度マップを示す情報を提供させることと、
    前記イメージングセンサに、前記照明光に基づいた前記シーンの画像を示す情報を提供させることと、
    前記シーンの画像に基づいて、関心領域を決定することと、
    前記関心領域内のオブジェクトに基づいて、前記ＴｏＦセンサの少なくとも１つの動作パラメータを調整することと、を含む方法。
13. イメージングセンサに所望の露出を提供するために、複数の可能な照明スケジュールの中から照明スケジュールを選択することと、
    少なくとも１つの光源に、前記照明スケジュールに従ってシーンを照明光で照明させることと、
    飛行時間型（ＴｏＦ）センサに、前記照明光に基づいた前記シーンの深度マップを示す情報を提供させることと、
    前記イメージングセンサに、前記照明光に基づいた前記シーンの画像を示す情報を提供させることと、
    前記シーンの複数の画像に基づいて、前記シーンのオプティカルフロー表現を決定することと、
    前記シーンの前記オプティカルフロー表現に基づいて、前記ＴｏＦセンサまたは前記照明光の少なくとも１つの動作パラメータを調整することと、を含む方法。
14. 前記照明スケジュールは、所定の光パルス繰り返し率、所定の光パルス持続時間、所定の光パルス強度、または所定の光パルスデューティサイクルのうちの少なくとも１つを含む、請求項１１～１３のいずれか１項に記載の方法。
15. 前記シーンの前記深度マップおよび前記シーンの前記画像に基づいて、前記シーンの高解像度深度マップを決定することをさらに含む、請求項１１～１３のいずれか１項に記載の方法。
16. 前記シーンの前記深度マップおよび前記シーンの前記画像に基づいて、前記シーンに関する少なくとも１つの推論を決定することをさらに含む、請求項１１～１３のいずれか１項に記載の方法。
17. 前記少なくとも１つの推論は、車両の環境または前記車両の動作状況における１つまたは複数のオブジェクトに関する情報を含む、請求項１６に記載の方法。
18. 前記少なくとも１つの推論の決定は、少なくとも１つのディープニューラルネットワークによって実行される、請求項１６に記載の方法。

Images