JP7140474B2 - ステレオ三角測量のためのシステム - Google Patents

Description

本発明は、距離測定に関し、より詳細には、ステレオ三角測量（ｓｔｅｒｅｏ ｔｒｉａｎｇｕｌａｔｉｏｎ）のためのシステムに関する。

距離を測定し、３次元イメージングのためのステレオビジョンシステムに対する多様な努力が行われているが、このような努力は多い時間を消耗し、高価な装置を必要とする。

従来の典型的なアプローチの多様な制限及び短所は、図面を参照して本明細書の以下の部分で開示するように、本発明の実施形態のようなシステムの比較を通じて当業者によって明確になる。

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ステレオ三角測量のためのシステムを提供することにある。

上記目的を達成するためになされた本発明の一態様による客体を検出するシステムは、ソース光を出力する平行なスキャニング光ソースと、前記客体から反射されたソース光である第１反射光を受信する第１カメラと、前記第１カメラから空間的に離隔され、前記客体から反射されたソース光である第２反射光を受信する第２カメラと、前記スキャニング光ソース、前記第１カメラ、及び前記第２カメラを制御し、前記第１反射光及び前記第２反射光を処理して前記客体を検出する１つ以上のプロセッサと、を備える。

上記目的を達成するためになされた本発明の一態様による客体を検出する方法は、平行なスキャニング光ソースによってソース光を出力する段階と、第１カメラによって前記客体から反射されたソース光である第１反射光を受信する段階と、前記第１カメラと空間的に離隔された第２カメラによって前記客体から反射されたソース光である第２反射光を受信する段階と、１つ以上のプロセッサによって前記スキャニング光ソース、前記第１カメラ、及び前記第２カメラを制御する段階と、前記１つ以上のプロセッサによって前記第１反射光及び前記第２反射光の中の１つ又は両方を処理して前記客体を検出する段階と、を有する。

上記目的を達成するためになされた本発明の他の態様による客体を検出するシステムは、平行な少なくとも２つの区分された光を含むソース光を出力するスキャニング光ソースと、ローリングシャッターカメラプロセスを使用して、前記客体から反射されたソース光である第１反射光を受信する第１カメラと、前記ローリングシャッターカメラプロセスを使用して、前記第１カメラから空間的に離隔され、前記客体から反射されたソース光である第２反射光を受信する第２カメラと、前記スキャニング光ソース、前記第１カメラ、及び前記第２カメラを制御し、前記第１反射光及び前記第２反射光を１回に１ピクセルの行ずつ処理して前記客体を検出する１つ以上のプロセッサと、を備える。

ステレオ三角測量のためのシステム及び／又は方法は、少なくとも１つの図面に関連して説明し、図示する。
本発明のみならず、それらの開示する実施形態の詳細な説明の多様な長所、様相、及び新しい特徴は、以下の詳細な説明及び図面からより良く理解される。
本発明の特徴及び長所は図面に連結されて以下の詳細な説明からより明確になる。

本発明によれば、向上させた性能を有するステレオ三角測量のためのシステム及び方法を提供することができる。

本発明の一実施形態によるステレオ三角測量の図である。 本発明の一実施形態による自動車プラットフォーム上のステレオ三角測量の図である。 本発明の一実施形態による自動車プラットフォームのステレオ三角測量のハイレベルブロック図である。 本発明の一実施形態によるステレオ三角測量で使用されるＲＧＢスキャナーの図である。 グローバル露出カメラに対する処理スケジュールのグラフである。 本発明の一実施形態によるローリングシャッターカメラに対する処理スケジュールのグラフである。

本発明の実施形態は本明細書に開示する詳細な説明に制限されるものと理解してはならない。更に正確に言うと、本明細書が当業者に本発明の実施形態の様相を完全に理解させ、実施させ、伝達することができるように、このような実施形態を例として提供する。特許請求の範囲は本発明の実施形態の一部を示す。

詳細な説明の全般に亘って、類似な参照符号は類似な要素を示す。記述するか、又は技術的な用語を含む全ての用語は、当業者によって自明な意味を有するものと理解すべきである。用語が言語の進化、判例、又は新しい技術の登場によって曖昧な意味を含む場合、本明細書で使用する用語の意味は、本明細書におけるその使用及び／又は定義によって先ず明確にならなければならない。その後に、用語は当業者が本明細書における用語を理解できるように明確にならなければならない。

部分（ｐａｒｔ）が要素を“含む（ｉｎｃｌｕｄｅ ｏｒ ｃｏｍｐｒｉｓｅ）”場合、それに対する特定の説明が無い限り、部分は他の要素を更に含む。本発明の実施形態で“ユニット（ｕｎｉｔ）”の用語は、特定機能を遂行するハードウェア構成又はソフトウェア構成を意味する。ハードウェア構成は、例えばＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）又はＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）を含む。

ソフトウェア又はソフトウェア構成は、実行可能なコード及び／又はアドレス指定可能な格納媒体で実行可能なコードによって使用されるデータを指称する。即ち、ソフトウェアは、例えばオブジェクト指向型ソフトウェア構成、クラス構成、及び作業構成であり、プロセス、機能、属性、手続、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、アプリケーションプログラム、マイクロコード／回路、データ、データベース、データ構造、テーブル、アレイ、又は多様なものを含む。

“ユニット（ｕｎｉｔ）”によって提供される機能は追加的な構成及び“ユニット（ｕｎｉｔ）”に分割される。

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。これに対して、本発明の実施形態は他の形態を含むことができ、本明細書に開示する詳細な説明に制限されるものと理解してはならない。

以下の説明で、広く公知された機能又は構成は、不必要な説明で実施形態が曖昧にならないように詳細に説明しない。

図１Ａは、本発明の一実施形態によるステレオ三角測量の図である。図１Ａを参照すると、カメラ（１１０、１１２）を具備するプラットフォーム１００、客体を露出するためのソース光（ｓｏｕｒｃｅ ｌｉｇｈｔ）を提供するスキャナー１２０、及び記録される客体１３０（ｏｂｊｅｃｔ）を図示する。カメラ（１１０、１１２）は、例えばＣＭＯＳカメラを含む適切なカメラの形態である。スキャナー１２０は、例えば一連の水平ラインにレーザー光を出力するスキャニングＭＥＭＳ技法を使用する光スキャナーのようなラスタ方法（ｒａｓｔｅｒ ｍｅｔｈｏｄ）で領域を照らす適切な光ソースの形態である。従って、一実施形態で、スキャナー１２０はフレーム当たり１０８０個の水平ラインを出力する。本発明の多様な実施形態で、スキャナー１２０は、放出された光の分散（ｄｉｓｐｅｒｓｉｏｎ）を最小化する実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）平行な光（ｃｏｌｌｉｍａｔｅｄ ｌｉｇｈｔ）を提供する。本発明の多様な実施形態は、放出された光のためのポイントソース（ｐｏｉｎｔ ｓｏｕｒｃｅ）であるスキャナー１２０を含む。

多様な実施形態は、特定の目的のために異なる水平及び／又は垂直解像度（ｒｅｓｏｌｕｔｉｏｎ）を提供する。例えば、一部の実施形態は、ライン当たり１９２０個のピクセルを有する１０８０個のラインを含む。本明細書で多様な説明を容易にするために、フレーム当たり１０８０個のライン及びライン当たり１９２０個のピクセルであることを仮定するが、このような事項が本発明の思想をフレーム当たり特定数のライン及びライン当たり特定数のピクセルに制限しないことを理解すべきである。

また、カメラ（１１０、１１２）とスキャナー１２０との間の距離が知られているため、各カメラからの対応するピクセルは各カメラからの距離情報を提供することに応えることができ、それによって、３次元形状化（３－Ｄ ｉｍａｇｅｒｙ）が可能になる。また、スキャナー１２０及びカメラ（１１０、１１２）の構成に対して、可能な３つの分離された三角測量が存在する。第１三角形は、頂点としてカメラ１１０、スキャナー１２０、及び客体１３０で構成される。第２三角形は、頂点としてカメラ１１２、スキャナー１２０、及び客体１３０で構成される。第３三角形は、頂点としてカメラ１１０、カメラ１１２、及び客体１３０で構成される。１つ以上の三角形から受信された情報は、多様な形態のイメージ生成を最適化するために処理される。

３次元イメージングを含む一般的なイメージングに対して、例えばｄｅ Ｂｒｕｉｊｉｎシークェンスのような構造化光シークェンス（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ｓｅｑｕｅｎｃｅ）はイメージキャプチャを最適化するのに使用される。しかし、本発明の多様な実施形態は、構造化光シークェンスを使用することに制限されない。更に、本発明の多様な実施形態は、スキャナー１２０がその出力強度を変化させるようにする。これは、例えばカメラ（１１０、１１２）が遠く離れたところからイメージをキャプチャすることを許容するものである。

多様な実施形態は、またスキャナー１２０の水平移動１２１を制御する。例えば、スキャンに対するより詳細な内容を獲得するために、スキャナー１２０は同一時間の間の正常スキャンよりもより短い水平移動１２１に対して制御される。これは、より小さなイメージ領域をより多く照らしてより詳細な内容を獲得するようにする。他の場合において、スキャナー１２０は同一時間の間の正常スキャンよりもより長い水平移動１２１に対して制御される。これは、より少ない詳細な可能性があるより大きなイメージ領域をカバーするようにする。スキャナー１２０は、またスキャンされた水平ラインの数に対して制御される。

また、スキャナー１２０は、スキャンされた垂直位置（ｖｅｒｔｉｃａｌ ｐｏｓｉｔｉｏｎ）のみならず、スキャンされた水平位置（ｈｏｒｉｚｏｎｔａｌ ｐｏｓｉｔｉｏｎ）に対して制御される。例えば、スキャンされた水平位置は、水平開始位置及び水平終了位置を示し、客体又は環境の特定領域に対してより詳細な構成を獲得する。同様に、スキャンされた垂直位置に対して、開始ライン及び終了ラインの指標（ｉｎｄｉｃａｔｉｏｎｓ）が存在する。このような方式において、スキャンされた領域は狭く、これによって、ズーム効果（ｚｏｏｍ ｅｆｆｅｃｔ）を提供する。スキャナー１２０の更なる制御は、正常時間内に又は正常スキャン速度で減少領域をスキャンするか否かに対するビーム出力の強度を含むが、フレームがより小さいため、秒当たりより多くの“フレーム（ｆｒａｍｅｓ）”を効率的に含む。

このような方式において、本発明の多様な実施形態は、水平スイープ（ｈｏｒｉｚｏｎｔａｌ ｓｗｅｅｐ）の開始及び水平スイープ範囲を特定することを許容する。同様に、垂直スイープ（ｖｅｒｔｉｃａｌ ｓｗｅｅｐ）の開始のみならず、垂直スイープ範囲が特定される。

カメラ（１１０、１１２）は、ピクセルの一部ライン（行）を露出させてスキャナー１２０に同期化させることによって、特定水平ライン（行）を読み出すように制御される。スキャナー１２０は、カメラ（１１０、１１２）のピクセルの行数とは異なる数のラインをスキャンする。一部の実施形態は、カメラ（１１０又は１１２）が行から読み出される開始ピクセル及び終了ピクセルを特定して、更にスキャナー１２０と同期化されるようにする。これは、フレームの所望の部分からピクセルを読み出して処理することを許容する。

更に、一部の実施形態は、カメラがある量だけ回転（ｓｗｉｖｅｌ）するように制御されることを許容する。これは、例えば各個別カメラ（１１０、１１２）が異なる領域のイメージをキャプチャすることを許容する。従って、カメラ（１１０、１１２）は３次元イメージである客体１３０のイメージを提供するように制御されるか、或いは各カメラ（１１０、１１２）は重畳領域又は非重畳領域のイメージを提供する。従って、カメラ（１１０、１１２）はカメラ１１０の前面領域の左側及びカメラ１１２の前面領域の右側の個別イメージを提供するように構成される。更に、カメラ（１１０、１１２）の中の１つが非活性化されるか、又はカメラ（１１０、１１２）の中の１つに対する処理回路／ソフトウェアが非活性化された場合に、カメラ（１１０、１１２）の中の他の１つはスキャナー１２０によって照らされる前面領域のモノイメージ（ｍｏｎｏ ｉｍａｇｅｓ）を提供することに使用される。一部の場合に、残りのカメラ（１１０又は１１２）は水平及び／又は垂直に回転（ｓｗｉｖｅｌ）してより広い視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を与える。

本発明の多様な実施形態は、スキャナー１２０が回転するように制御されることを許容する。例えば、これは、回転されるカメラ（１１０及び／又は１１２）に対してよりよい光パターンを提供するためである。スキャナー１２０の回転は、スキャナー１２０及び／又はスキャナー１２０の個別部分を制御する適切な技法を使用する。放出光（ｅｍｉｔｔｅｄ ｌｉｇｈｔ）の経路の方向は、スキャナー１２０内で又はスキャナー１２０の外部で制御される。経路の方向は、例えば光学レンズ（ｏｐｔｉｃａｌ ｌｅｎｓｅｓ）を使用して制御される。

図１Ａはカメラ（１１０、１１２）間の中間に位置するスキャナー１２０を示すが、本発明はこれに制限される必要はない。例えば、スキャナー１２０はカメラ（１１０又は１１２）の中の１つの方向にスキューされるか、或いはスキャナー１２０は両方のカメラ（１１０、１１２）の右側又は両方のカメラ（１１０、１１２）の左側に位置する。

また、カメラ（１１０、１１２）及びスキャナー１２０は、可視光線（ｖｉｓｉｂｌｅ ｌｉｇｈｔ）、赤外線（ｉｎｆｒａｒｅｄ ｌｉｇｈｔ）等のような光スペクトル（ｌｉｇｈｔ ｓｐｅｃｔｒｕｍ）の異なる部分を使用する。カメラ（１１０、１１２）は同じタイプを使用するが、本発明の多様な実施形態はこれに制限される必要はない。例えば、カメラ１１０はＲＧＢスペクトルに敏感であるが、カメラ１１２は赤外線スペクトルに敏感である。使用される他のタイプのカメラは、例えば可視光線及び赤外線に敏感である。従って、本発明は、実施形態で使用されるカメラを任意の特定の電磁界スペクトルに制限しない。各カメラ（１１０、１１２）は、カメラ（１１０、１１２）に対する類似な受信ピクセル範囲及びスキャナー１２０の水平／垂直スキャン範囲の特定からの効率的なズーム機能及びソフトウェアズーム機能に追加的に光学ズーム機能を有する。

更に、スキャナー１２０は、互いに水平且つ平行なラスタ出力ライン（ｒａｓｔｅｒ ｏｕｔｐｕｔ ｌｉｎｅｓ）を提供するものとして説明するが、本発明の多様な実施形態は、スキャナー１２０の制御が異なる光パターンを使用することを許容する。従って、光は、平行、水平ラインを含まないパターンで出力される。例えば、平行な対角ライン、異なる角度で出力される多様なライン等のような多様なパターンが使用される。また平行ラインは右側から開始するか、或いは平行ラインは垂直なラインに出力される。従って、スキャナー１２０は、ラインが必ずしも左側で開始しないか、又は平行、垂直ラインではない光のラインを出力するように制御されることが可能である。

本発明の多様な実施形態は、エピポーラ平面（ｅｐｉｐｏｌａｒ ｐｌａｎｅ）上に位置するスキャナー１２０及びカメラ（１１０、１１２）を提供する。

図１Ｂは、本発明の一実施形態による自動車プラットフォーム上のステレオ三角測量の図である。図１Ｂを参照すると、図１のプラットフォーム１００である自動車プラットフォーム１５０を図示する。従って、自動車プラットフォーム１００はカメラ（１１０、１１２）及びスキャナー１２０を有する。上述したように、カメラ（１１０、１１２）の中の１つが非活性化されても、自動車プラットフォーム１５０は依然として前方の環境を見ることができる。

また、上述したように、カメラ（１１０、１１２）は、一般的に前面の３次元イメージングを放棄することによって、カメラ（１１０、１１２）で前方の右側領域及び前方の左側領域をそれぞれより詳細に見ることで失敗する他のセンサーの機能をある程度補完することを可能にする。これは、スキャナー１２０によってスキャン領域を調整することのみならず、カメラ（１１０、１１２）の角度を調整する可能性を伴う。一部の実施形態は、このような状況でも自動車プラットフォーム１５０の中央前方に近接した制限された３次元イメージングを提供するように構成される。

多様な実施形態は、ヘッドライト内にスキャナー１２０を有し、ヘッドライトによって放出された全光がヘッドライトを統制する地域規制を超えないように、スキャンされた光がヘッドライトによって出力される。例えば、米国内の使用のための装置は米国規制（ＵＳ ｒｅｇｕｌａｔｉｏｎｓ）が適用され、ＥＵ内の使用のための装置はＥＵ規制が適用され、中国内の使用のための装置は中国規制が適用される。スキャナー１２０がヘッドライトに位置するか、自動車の他の部分に位置するか、又は特定帯域（可視光線、赤外線等）に対して放出される全光はこのような帯域を統制する多様な規制に適合するように制御される。

従って、カメラ（１１０、１１２）は、前方の道路（ｒｏａｄ ａｈｅａｄ）を照らす光の波長よりもヘッドライト内のスキャナー１２０によって出力されるスキャン光の波長に対してより敏感である。ヘッドライトのスキャナー１２０からの光は、上述したように、構造化（パターン化）されるか又は構造化されないこともある。また、ヘッドライトの両方に又はより多くの光にスキャナー１２０が存在し、各スキャナー１２０は、非構造化された光（ｎｏｎ－ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）を提供するか又は構造化された光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）を提供する。従って、カメラは、１つのカメラからの構造化された光又は多数のカメラからの構造化された光を使用する能力を有する。

スキャナー１２０は水平ディテールに対するより良い識別力を許容する構造化された光を投影するように調整され、他のスキャナー１２０は垂直ディテールに対するより良い識別力を許容する構造化された光を投影するように調整される。スキャナー１２０は、また放出光の構造化をターンオン／ターンオフすることのみならず、水平識別力又は垂直識別力のための構造化された光を提供するように制御される。一実施形態は、垂直識別力のための構造化された光を提供する１つのスキャナー１２０及び水平識別力のための構造化された光を提供する他の１つのスキャナー１２０を含む。１つ以上のカメラは、１つ以上のスキャナーと同期化されて、構造化された光であるか否かに拘らず、光を受信する。

ヘッドライトのスキャナーを自動車プラットフォームに関連して説明したが、本発明の多様な実施形態は、任意の運送手段（陸上、空中、水中、宇宙等）のヘッドライトの実施形態のスキャナー、及び人の受信カメラに同期させたフラッシュ光のような他の形態の光を共に使用する。当業者に認識されるように、本発明の実施形態は多様な他のシナリオと共に使用される。

図２は、本発明の一実施形態による自動車プラットフォームのステレオ三角測量のハイレベルブロック図である。図２を参照すると、プラットフォーム１００又は自動車プラットフォーム１５０と類似なプラットフォーム２００を図示する。プラットフォーム２００は、プロセッサ２１０、メモリ２２０、及びセンサー２３０を含む。プロセッサ２１０は命令語を実行することが可能な１つ以上の任意のタイプのプロセッサである。メモリ２２０は、揮発性メモリ２２２、不揮発性メモリ２２４、及び／又は大容量ストレージ２２６を含む。大容量ストレージ２２６は、例えば磁気ハードドライブ、光学媒体、フラッシュメモリ等を含む。データ及び実行可能な命令語はメモリ２２０に格納される。センサー２３０は、カメラ２３２及びスキャナー２３４のみならず、プラットフォーム２００によって使用される他のセンサーを含む。例えば、プラットフォーム２００が自動車プラットフォームである場合、他のセンサーは、レーダー（ｒａｄａｒ）、光線レーダー（ｌｉｄａｒ）、音波探知器（ｓｏｎａｒ）等を含む。

プロセッサ２１０は、センサー２３０に対して独立的であるか又は他の部品と集積されたプロセッサである。例えば、プロセッサ２１０は、カメラ２３２及びスキャナー２３４を論理的に含むか、又は論理的にセンサー２３０の一部であるプロセッサであるビジョンモジュール（ｖｉｓｉｏｎ ｍｏｄｕｌｅ）と集積され、従って、センサー２３０を制御し、センサー２３０に対するデータを処理する。プロセッサ２１０は、センサー２３０の一部であるプロセッサを含む１つ以上のプロセッサに関連するか、センサー２３０からのデータを独立的に処理するか、又は多様なセンサー２３０を制御するように作動する独立的なプロセッサである。

プロセッサ２１０は、上述したように、カメラ２３２及びスキャナー２３４を制御して、例えば３次元イメージを生成するか、又は他のセンサーの中の１つ以上の損失を補償するように共に動作させる。プロセッサ２１０は、また異なる距離、分解能、カバーされた異なるイメージ領域、及び／又は近接撮影で、イメージングのためにカメラ２３２及びスキャナー２３４を制御する。プロセッサ２１０は、またカメラ２３２から受信された情報を処理する単一プロセッサであるが、多様な実施形態は、１つ以上のプロセッサ２１０がカメラ２３２からの情報を処理するマルチプロセッサ２１０を有する。

図３は、本発明の一実施形態によるステレオ三角測量で使用されるＲＧＢスキャナーの図である。図３を参照すると、レッド、グリーン、及びブルー（ＲＧＢ）の３つの異なる照明光（ｉｌｌｕｍｉｎａｔｉｎｇ ｌｉｇｈｔｓ）を出力するように構成されたスキャナー３００を図示する。ＲＧＢは共通的に使用され、それによって費用－効率的であるが、また他のカラーが他の実施形態で使用される。ＲＧＢ光を出力するスキャナー３００を使用することによって、例えばカメラ（１１０、１１２）のような受信カメラは、例えば自動車プラットフォーム１５０における運転者及び／又は乗客に表示するためのフルカラーイメージを生成することを可能にする。

２つのカメラからのデータが互いに相対的に近接するため、２つのカメラ（１１０、１１２）を使用することは、単一カメラを使用することよりもより正確且つ可能な実カラーを提供する。例えば、単一カメラで投影された光シークェンスが単一カメラで受信された光シークェンスと比較される。受信された光シークェンス強度は客体の反射率及び距離の関数である。従って、受信された光強度は、投影された光強度に対して非常に異なるため、それほど堅牢でない比較をもたらす。しかし、２つのカメラの場合に、同様の強度のシークェンスが比較され、これはより堅牢である。更に、深度、ディテール、及び／又はカラー正確性／強度の判別が遮蔽（ｏｃｃｌｕｓｉｏｎ）又は他の効果によって１つのカメラで受信された一部の光によって反対に影響を受けるが、そうであるか又は同じ方式で第２カメラに対する光はあまり影響を受けないことがある。従って、データの個別的なセットが処理され、関連して、単に１つのカメラを使用する場合よりもより正確なイメージを形成する。

本発明は、単一スキャナーと共に使用されるカメラの数、スキャナーに対するカメラの比率、又は与えられたプラットフォームで使用されるスキャナー／カメラ構成の数を制限しない。スキャナー／カメラの構成は、独立的に、又は環境の同様の客体若しくは環境の領域を処理するために使用される。例えば、１つ以上のスキャナー／カメラの構成は３６０°（又はそれ以下）の３次元出力を生成することに使用される。一部の場合に出力は２次元である。

スキャナー３００及びカメラ（１１０、１１２）が３つのカラーを使用するものとして説明したが、多様な実施形態は、３つ以上のカラーを使用し、使用されるカラーは、レッド、グリーン、及び／又はブルー、或いはレッド、グリーン、及びブルーではない多数の異なるカラーを含む。

図４Ａは、グローバル露出カメラ（ｇｌｏｂａｌ ｅｘｐｏｓｕｒｅ ｃａｍｅｒａ）に対する処理スケジュールのグラフである。図４Ａを参照すると、縦軸にピクセル行、横軸にピクセル行をキャプチャして処理する時間のグラフを図示する。図示したように、イメージデータ４０２の全体フレームはデータの任意の処理が遂行される前にキャプチャされる。全てのピクセルが同一の時間Ｔの間に光を受信するため、ピクセルの単一行がより短い時間Ｔ’の間に入射光を受信する場合よりもより多くの入力光露出が存在する可能性がある。また、受信されたピクセルの処理は、時間区間Ｔが経過する時まで開始することができないため、ピクセルの遅延された読出し４０４によってより長いレイテンシを招来する。露出時間（ｅｘｐｏｓｕｒｅ ｔｉｍｅ）がフレーム当たり１ｍｓに制限された場合、５０Ｈｚフレーム率で周辺光の減少が２０倍になる。

図４Ｂは、本発明の一実施形態によるローリングシャッターカメラ（ｒｏｌｌｉｎｇ ｓｈｕｔｔｅｒ ｃａｍｅｒａ）に対する処理スケジュールのグラフである。図４Ｂを参照すると、縦軸にピクセル行、横軸にピクセル行をキャプチャして処理する時間のグラフを図示する。ローリングシャッターカメラ処理を使用し、１回でイメージデータの１つのラインのみをキャプチャする。単一ラインに対するイメージデータをキャプチャするための時間Ｔ’が全体フレームに対するイメージデータをキャプチャすることに要求される時間よりも短いため、露出されたラインに対するイメージデータは、図４Ａに示したようにフルフレーム露出に対するイメージデータを読出すことよりも先に読み出される。イメージデータが読出されて処理される間に次のラインが露出されるため、ローリングシャッターカメラプロセスはより速いイメージデータの処理をもたらす。また、露出時間がライン当たり２０μｓに制限された場合、５０Ｈｚのフレーム率で、周辺光の減少が１０００倍になり、より少ない雑音を有するイメージキャプチャを招来する。これは、図４Ａで説明したグローバル露出カメラよりも５０倍の周辺光減少をもたらす。

これは、例えば、カメラ（１１０、１１２）によるより高いフレーム率及び低照度性能の向上が可能になる。更に、例えばカメラ（１１０、１１２）に対してローリングシャッター方式を使用するスキャナー１２０からのスキャン光を整列させ同期化することによって、３次元イメージングを含むイメージ処理に対して関連するデータがより少なくなる。行は行単位（ｒｏｗｂｙ ｒｏｗ）に読出され、３次元データは１回に１つの行又は１回に制限された数の行に対する三角測量（ｔｒｉａｎｇｕｌａｔｉｏｎ）を使用して生成される。これは、例えばピクセルの１つの行が１回で露出される場合、処理されたピクセルが１回に１つの行のためのより小さい数のピクセルのみを処理することによって、カメラ（１１０、１１２）からのデータの処理を単純化する。

ローリングシャッターカメラプロセスは、例えばスキャナー１２０によるカラーコーディングを使用してピクセル処理を容易にする。

更に、例えばＲＧＢレーザー光を出力するスキャナー１２０及びＲＧＢ光を検出することが可能なカメラ（１１０、１１２）を使用することによって、複雑な処理及びデータ衝突の潜在的なソースを単純化する２次元センサー及び３次元センサーのセンサー結合が要求されない。

上述した説明は１回で処理されるピクセルの行に対するローリングシャッターカメラプロセスを参照するが、本発明の多様な実施形態はこれに制限される必要がない。例えば、より小さい数のピクセルが１回で露出される。露出されたピクセルの数は例えば１回に１つのピクセルである。従って、ピクセル単位（ｐｉｘｅｌ ｂｙ ｐｉｘｅｌ）でイメージを処理する場合、ピクセルに対する周辺光入力が更に減少されることが分かる。例えば、各ピクセル又はピクセルのグループを制御して適切な時間に光を受信することを含む光に露出されたピクセルを制御する多様な方法が存在する。スキャナー（１２０、２３４、３００）は客体に放出される光ビーム（又は光子）の密集性（ｔｉｇｈｔｎｅｓｓ）に対して制御される。例えば、光ビームが密集するほど、光ビームを反射する客体の領域はより小さくなる。与えられた時間に露出されるピクセルの数は、例えば周辺光、個別的な光検出器（ピクセル）の敏感度、ピクセル情報の処理に使用されるプロセッサ、スキャナーによって出力される光等のような多様な変数に依存する。

しかし、２つのカメラに対してピクセルの減少された数から情報を関連させることがより難しくなる場合、ピクセルの数は、周期的に、又は必要に応じて異なるカメラから受信された情報を同期化させるために増加される。

ピクセルが１回に１つずつ処理される場合、それは、時間コーディングが各ボクセル（ｖｏｘｅｌ）に深度の３次元を提供するボクセルであると看做される。各ボクセルに対する時間コーディングによって伴われるエンコーディング又はデコーディングが存在しないため、処理は単純化される。従って、処理によるレイテンシは緩和される。

従って、本発明の一実施形態はステレオ三角測量のためのシステム及び方法に関し、これは、次の行が光に露出される間にその行の露出時間が終了した後に各行から読み出されるＲＧＢ行データを有するローリング露出ＲＧＢカメラ（ｒｏｌｌｉｎｇ ｅｘｐｏｓｕｒｅ ＲＧＢ ｃａｍｅｒａｓ）、及びＲＧＢ行データを読み出した後にＲＧＢ行データを処理することを含む環境の３次元マッピングに対して使用される。上述したように、与えられた時間に露出されたピクセルの数は行よりも小さい。従って、ローリング露出（又はローリングシャッター）プロセスは、カメラが１つ、又は２つ、又はそれ以上であることに拘らず、使用されるカメラの数に対する大幅な長所を提供することが分かる。

スキャナーの使用はカメラによって受信されたイメージに対する処理負担を大幅に減少させ、ローリング露出方法の使用はライン単位（ｌｉｎｅ ｂｙ ｌｉｎｅ）で三角測量データを読み出すことによる極めて低いレイテンシを許容する。ピクセルがボクセル（ｖｏｘｅｌｓ）として時間コーディングされた各ピクセルと共に１回に１つずつ（又は１回に幾つかのピクセルずつ）読出される場合、処理レイテンシは著しく減少されるか、又は除去される。従って、スキャナー及び／又はローリング露出が使用されない場合に、必要な処理の一部で３次元イメージが生成される。

多様な実施形態を本発明の機能的な使用のために説明したが、このような使用が単純に記載した例示に制限されないものと理解されなければならない。また、ローリング露出カメラが１回で単一行を露出するものとして説明したが、多様な実施形態は１回で１つ以上の行を露出する。例えば、１つ以上の行が１回で露出されるか、又はラインのピクセルのサブセットが１回で露出される。サブセットは多様な設計及び／又は環境条件に応じて唯１つのピクセル又は１つ以上のピクセルで構成される。

また、ここまで本発明は１つ以上のカメラと共に使用されるスキャナーを説明したが、他の実施形態は、例えばレーダー、光線レーダー、音波探知器等のような他の装置を具備するスキャナー／カメラシステムを使用する。従って、多様な実施形態は、構造化されたシークェンスであるか又はそうでない信号を送信する１つ以上の送信機、信号を受信する１つ以上の受信機、及び受信された信号を処理するプロセッサの各々を含む。一部の場合に、送信機及び受信機は分離された装置である。他の場合に、送信機及び受信機は、例えば信号を伝送してその信号の反射波を受信するレーダーアンテナのように同じ装置の一部である。

このような多様な実施形態は、任意のプラットフォームによって使用されてそれらの周辺環境に気付く。従って、ローカル又は遠隔の運転者／オペレータ、半自律（ｓｅｍｉ－ａｕｔｏｎｏｍｏｕｓ）、又は完全自律の完全制御下にあるか否かに拘らず、任意の運送手段は本明細書に開示した多様な実施形態を使用する。運送手段は、例えば自動車、ボート、飛行機、宇宙船、航空、陸上、及び／又は海上基盤のドローン、ロボット等であり、ロボット真空掃除機、ロボット芝刈り機等を含む。

更に、任意の固定型プラットフォーム（ｓｔａｔｉｏｎａｒｙ ｐｌａｔｆｏｒｍ）は多様な実施形態を利用する。例えば、灯台（ｌｉｇｈｔ ｈｏｕｓｅ）が１つ以上の多様な実施形態を使用して交通（航空交通、陸上交通、及び／又は海上交通）を追跡し、制御することのみならず、信号灯（光、電子、又は音等）を提供して船舶又は他の形態の運送手段に危険を警告する。また、航空交通制御システム及び／又は交通制御システムは本発明の多様な実施形態を使用する。

更に、本発明の多様な実施形態は他の目的のために使用される。例えば、実施形態は、周辺客体（ゲームディスプレイの一部として挿入されたゲームプレーヤー等）を検出するゲームに対して、或いは本発明の多様な実施形態を含む装置を着用した個人によって使用される。使用者が着用する装置の例は、例えば拡張現実ヘッドセット（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｈｅａｄｓｅｔｓ）、仮想現実ヘッドセット（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｈｅａｄｓｅｔｓ）等である。本発明の多様な実施形態は視覚障害者の案内に使用される。その点については、非視覚障害者が移動（道歩／ジョギング／ランニング、サイクリング、ローラーブレード、セグウェイに乗るなど等）するか、或いは停止している間にそれらの環境に注意を払っていない場合、非視覚障害者はそれらに障害物、危険等を警告するように本発明の実施形態を含む装置を着用することができる。従って、本発明の多様な実施形態は領域の地図を作るか又は客体を検出することに必要な多様な装置及び使用者着用装置（ヘッドセット、ゴーグル等）、並びに運送手段の全ての形態に対して使用されることが分かる。本発明は多様な実施形態を特定の使用で制限しない。

従って、本発明の多様な実施形態は、多様なアプリケーションで使用されて周辺領域を感知し、感知された信号を分析し、必要に応じて応答（ｒｅｓｐｏｎｓｅｓ）を生成することが分かる。例えば、応答は、回避措置を取ること、他のプラットフォーム／装置／人々に何かが感知／分析／応答されたかを知らせることのみならず、他の人から類似な情報を受信することである。即ち、感知／分析／応答方式で保護される効率的な領域は、少なくとも１つの他のプラットフォームと情報を共有することによって単一プラットフォームで達成されることよりも大幅に増加される。多様な情報は直接的に又は第３のプラットフォーム若しくはインターネット／クラウド（Ｉｎｔｅｒｎｅｔ／ｃｌｏｕｄ）を通じて共有される。従って、多様な客体（移動及び停止）、道路の条件、道路上、上空、及び／又は水中での交通は全ての時間で追跡され、正確な応答が必要に応じて生成される。

本発明の一実施形態は客体を検出するシステムであって、システムはソース光（ｓｏｕｒｃｅ ｌｉｇｈｔ）を出力するように構成された実質的に平行なスキャニング光ソース（ｓｕｂｓｔａｎｔｉａｌｌｙ ｃｏｌｌｉｍａｔｅｄ ｓｃａｎｎｉｎｇ ｌｉｇｈｔ ｓｏｕｒｃｅ）を含む。第１カメラは第１反射光を受信するように構成され、第１反射光は客体から第１カメラに反射されたソース光である。第２カメラは第２反射光を受信するように構成され、第２反射光は客体から第２カメラに反射されたソース光であり、第２カメラは第１カメラから空間的に離隔される。１つ以上のプロセッサは平行なスキャニング光ソース、第１カメラ、及び第２カメラを制御し、第１反射光及び第２反射光を処理して客体を検出するように構成される。第１カメラ、第２カメラ、及び平行なスキャニング光ソースは、エピポーラ平面（ｅｐｉｐｏｌａｒ ｐｌａｎｅ）上に位置するように構成される。

平行なスキャニング光ソースは、その水平的なスイープ範囲（ｈｏｒｉｚｏｎｔａｌ ｓｗｅｅｐ ｒａｎｇｅ）及び／又は水平的なスイープ範囲（ｖｅｒｔｉｃａｌ ｓｗｅｅｐ ｒａｎｇｅ）を変化させるように構成される。第１カメラ及び／又は第２カメラは水平及び／又は垂直に回転（ｓｗｉｖｅｌ）可能である。平行なスキャニング光ソースはソース光の強度を変化させるように構成される。平行なスキャニング光ソースはソース光をラスタ出力（ｒａｓｔｅｒｏｕｔｐｕｔ）として出力するように構成される。

本発明の他の実施形態は客体を検出する方法であって、方法は、実質的に平行なスキャニング光ソースによってソース光を出力する段階と、第１カメラによって第１反射光を受信する段階と、第２カメラによって第２反射光を受信する段階と、を有し、第１反射光は客体から第１カメラに反射されたソース光であり、第２反射光は客体から第２カメラに反射されたソース光であり、第２カメラは第１カメラと空間的に離隔される。少なくとも１つのプロセッサは平行なスキャニング光ソース、第１カメラ、及び第２カメラを制御し、第１反射光及び第２反射光の中の１つ又は両方を制御して客体を検出する。第１カメラ、第２カメラ、及び平行なスキャニング光ソースは、エピポーラ平面（ｅｐｉｐｏｌａｒ ｐｌａｎｅ）上に位置する。平行なスキャニング光ソーススイープ範囲は水平及び／又は垂直に変化させ、また平行なスキャニング光ソースのソース光の強度を変化させる。

第１カメラ及び第２カメラはローリングシャッターカメラプロセスによって第１反射光及び第２反射光をそれぞれ受信する。少なくとも１つのプロセッサは第１カメラ及び／又は第２カメラから１回でピクセルの行の一部（単一ピクセルを含む）或いは１回でピクセルの行を処理する。ピクセルが１回で単一ピクセルとして処理された場合、各ピクセルは時間コーディング（ｔｉｍｅ－ｃｏｄｅｄ）される。客体は、客体、第１カメラ、及び第２カメラの頂点を有する三角形を使用することによって三角測量（ｔｒｉａｎｇｕｌａｔｅ）される。

本発明の他の実施形態は客体を検出するシステムであって、システムは、ソース光を出力するように構成された実質的に平行なスキャニング光ソース（ｓｕｂｓｔａｎｔｉａｌｌｙ ｃｏｌｌｉｍａｔｅｄ ｓｃａｎｎｉｎｇ ｓｏｕｒｃｅ ｌｉｇｈｔ）を備え、ソース光はレッド、グリーン、及びブルーの３つの区分された光を含む。第１カメラはローリングシャッターカメラプロセス（ｒｏｌｌｉｎｇ ｓｈｕｔｔｅｒ ｃａｍｅｒａ ｐｒｏｃｅｓｓ）を使用して第１反射光を受信するように構成され、第１反射光は客体から第１カメラに反射されたソース光である。第２カメラはローリングシャッターカメラプロセスを使用して第２反射光を受信するように構成され、第２反射光は客体から第２カメラに反射されたソース光であり、第２カメラは第１カメラから空間的に離隔される。少なくとも１つのプロセッサは、平行なスキャニング光ソース、第１カメラ、及び第２カメラを制御し、第１反射光及び第２反射光を処理して客体を検出するように構成される。

第１カメラ、第２カメラ、及び平行なスキャニング光ソースは、エピポーラ平面（ｅｐｉｐｏｌａｒ ｐｌａｎｅ）上に位置する。第１カメラ及び／又は第２カメラはローリングシャッターカメラプロセスによって第１反射光及び第２反射光をそれぞれ受信する。少なくとも１つのプロセッサは第１カメラ及び第２カメラの中の１つ又は両方から１回でピクセルの行又はピクセルの行の一部（１つのピクセルを含む）を処理するように構成される。１回に１つのピクセルを処理する場合、各ピクセルは時間コーディングされる。少なくとも１つのプロセッサは客体、第１カメラ、及び第２カメラを三角形の頂点として使用することによって、客体を三角測量する。

第１カメラ及び／又は第２カメラはローリングシャッターカメラプロセスによって第１反射光及び第２反射光をそれぞれ受信するように構成される。少なくとも１つのプロセッサは第１カメラ及び／又は第２カメラから１回で（単一ピクセルを含む）ピクセルの行の一部又は１回でピクセルの行を処理するように構成される。処理が１回に単一ピクセルに対することである場合、各ピクセルは時間コーディングされる。

客体は、客体、第１カメラ、及び第２カメラの頂点を有する三角形を使用することによって、三角測量される。

本発明の多様な実施形態の多様な部分はコンピュータプログラムで書き込まれ、非一時的なコンピュータ読み取り可能な記録媒体を使用してプログラムを実行するプロセッサで具現される。

非一時的なコンピュータ読み取り可能な記録媒体は、例えば磁気格納媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク等）、光学記録媒体（例えば、ＣＤ－ＲＯＭ又はＤＶＤ）、フラッシュドライブ等を含む。

以上、本発明の多様な実施形態について図面を参照しながら説明したが、細部事項及び形態の多様な変化が、本発明の思想及び範囲から逸脱せずに、特許請求の範囲によって定義されるように行われることが当業者によって理解される。従って、上述した実施形態及びそれらの全ての思想は単に例示的なものであって、これらに制限されるものではない。

１００、２００ プラットフォーム
１１０、１１２、２３２ カメラ
１２０、２３４ スキャナー
１３０ 客体
１５０ 自動車プラットフォーム
２１０ プロセッサ
２２０ メモリ
２２２ 揮発性メモリ
２２４ 不揮発性メモリ
２２６ 大容量ストレージ
２３０ センサー
３００ （ＲＧＢ）スキャナー

Claims (5)

1. 客体を検出するシステムであって、
   レッド、グリーン、及びブルーの中の少なくとも２つの区分された平行な光（ｃｏｌｌｉｍａｔｅｄ ｌｉｇｈｔ）を含むソース光を出力するスキャニング光ソースと、
   前記客体から反射されたソース光である第１反射光を受信する第１カメラと、
   前記第１カメラから空間的に離隔され、前記客体から反射されたソース光である第２反射光を受信する第２カメラと、
   前記スキャニング光ソース、前記第１カメラ、及び前記第２カメラを制御し、前記第１反射光及び前記第２反射光を処理して前記客体を検出する１つ以上のプロセッサと、を備え、
   前記スキャニング光ソースは、前記ソース光の強度を変化させ、
   前記プロセッサは、前記客体、前記第１カメラ、及び前記第２カメラを三角形の頂点として使用することによって、前記客体の三角測量（ｔｒｉａｎｇｕｌａｔｉｏｎ）を遂行し、
   前記第１カメラ及び前記第２カメラの各々は、水平方向及び垂直方向の一方又は両方に回転して、重ならない領域の画像を提供することを特徴とするシステム。
2. 前記第１カメラ、前記第２カメラ、及び前記スキャニング光ソースは、エピポーラ平面（ｅｐｉｐｏｌａｒ ｐｌａｎｅ）上に位置することを特徴とする請求項１に記載のシステム。
3. 前記スキャニング光ソースは、水平及び垂直の一方又は両方にスイープ範囲を変化させることを特徴とする請求項１に記載のシステム。
4. 前記スキャニング光ソースは、ラスタ出力（ｒａｓｔｅｒ ｏｕｔｐｕｔ）として前記ソース光を出力することを特徴とする請求項１に記載のシステム。
5. 客体を検出するシステムであって、
   レッド、グリーン、及びブルーの中の少なくとも２つの区分された平行な光（ｃｏｌｌｉｍａｔｅｄ ｌｉｇｈｔ）を含むソース光を出力するスキャニング光ソースと、
   ローリングシャッターカメラプロセスを使用して、前記客体から反射されたソース光である第１反射光を受信する第１カメラと、
   前記ローリングシャッターカメラプロセスを使用して、前記第１カメラから空間的に離隔され、前記客体から反射されたソース光である第２反射光を受信する第２カメラと、
   前記スキャニング光ソース、前記第１カメラ、及び前記第２カメラを制御し、前記第１反射光及び前記第２反射光を１回に１ピクセルの行ずつ処理して前記客体を検出する１つ以上のプロセッサと、を備え、
   前記スキャニング光ソースは、前記ソース光の強度を変化させ、
   前記１つ以上のプロセッサの中の少なくとも１つは、前記客体、前記第１カメラ、及び前記第２カメラを三角形の頂点として使用することによって、前記客体の三角測量（ｔｒｉａｎｇｕｌａｔｉｏｎ）を遂行し、
   前記第１カメラ及び前記第２カメラの各々は、水平方向及び垂直方向の一方又は両方に回転して、重ならない領域の画像を提供することを特徴とするシステム。
   

Images