JP6700482B2 - プロペラの羽根に統合された撮像装置を用いたステレオ距離情報の判定 - Google Patents

Description

飛行機、ヘリコプターまたは他の飛行船などの多くの航空機は、航空機が空間における１つの点（例えば、地上の点または、代替として、水上のもしくは空上の点）から別の点に、地球の少なくとも一部の上を移動することによって移動する前方飛行モード（または実質的に水平な飛行モード）を含む２つ以上の飛行モードで運航するように構成される。航空機はまた、航空機が、地表に実質的に垂直に、１つの高度から別の高度に垂直方向にもしくは実質的に垂直方向に（例えば、地上、水上または空中の第１の点から空中の第２の点に、またはその逆で、上方にまたは下方に）移動する、または、水平位置もしくは横方向位置の変化をごくわずかなものとしてホバリングする（例えば、実質的に一定の高度を保つ）垂直飛行モードに携わるようにも構成され得る。航空機は、さらに、例えば航空機の位置が水平方向及び垂直方向の両方で変化するハイブリッドモードといった、前方垂直両飛行モードに携わるように構成され得る。揚力及び推力は、一般に、１つまたは複数のプロペラ、または航空機の運航中、数千の毎分回転数の角速度で回転し得る、ハブの周りに取り付けられ原動機のシャフトまたは他の構成要素に結合される羽根を有するデバイスを用いて航空機に加えられる。

航空機（具体的には無人航空機すなわちＵＡＶを含む）には、しばしば、航空機の誘導もしくは自律運航を支援するために、航空機が所与の場所に到着したもしくは通過したときを、または、１つもしくは複数の構造物、地物、対象物もしくは人間（もしくは他の動物）の範囲内にあるときを判定するために、監視もしくはモニタリング動作を行うために、または、任意の他の目的のために用いられ得るデジタルカメラなどの１つまたは複数の撮像装置が備えられる。１つまたは複数の撮像装置を航空機に装備することは、通常、ハウジング、タレット、または撮像装置がそれらによって航空機に取り付けられ得る他の構造物もしくは機構の設置を必要とする。そのような構造物または機構は、航空機の重量を増やし、飛行中に直面する抗力の量または程度を増大させ得、それによって、撮像装置が提供し得る多くの利益と引き換えに、航空機に運航コストを強いる。

ステレオ測距（またはステレオ三角測量）とは、対象物までの隔たりまたは距離が、一定の距離離れているデジタルカメラなどの撮像措置を用いてキャプチャされるそのような対象物を描いているデジタル画像から判定され得るプロセスである。例えば、撮像措置によってキャプチャされる環境の画像の対を処理することによって、画像の両方に表現される点（限定されるものではないが、特定の対象物に関連する点を含む）までの距離が、撮像装置のそれぞれのレンズまたはセンサから各画像内のそのような点の表現に延在する線の対の仮想交点を発見することによって判定され得る。環境の画像の各々が実質的に同時にキャプチャされる場合、または、画像の各々がキャプチャされるときの環境の条件が実質的に変化しない場合、所与の時間における環境内の単一の点までの距離は、そのような画像及び視差をキャプチャした撮像装置のレンズまたはセンサ間の基線距離、または、画像が互いに重ね合わせられるとき両方の画像内に表現される空間における単一の点の対応する表現間の距離に基づいて判定され得る。そのようなプロセスは、画像両方に表現される３次元空間における任意の数の点に対して完了され得、そのような点のモデル、例えば点群、デプスマップまたはデプスモデルは、適切に規定され得る。そのような点のモデルは、画像の対がその後キャプチャされ処理されてそのような点までの距離を判定すると更新され得る。

本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムのブロック図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのプロセスの流れ図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのプロセスの流れ図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、ステレオ距離情報を判定する、内部に撮像装置が統合されたプロペラの羽根の図である。 本開示の実施形態による、ステレオ距離情報を判定する、内部に撮像装置が統合されたプロペラの羽根の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。 本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図である。

以下でより詳細に説明するように、本開示は、飛行中の航空機から１つまたは複数の対象物までの距離または隔たりを判定することを対象とする。より具体的には、本明細書中に開示されるシステム及び方法は、１つまたは複数の動作するプロペラの羽根に統合されている撮像装置（例えばデジタルカメラ）を用いてステレオ距離情報を判定することを対象とする。撮像装置は、デジタルカメラ（例えば、白黒、グレースケールまたはカラーカメラ）または１つもしくは複数の対象物から反射する光を捉え解釈する任意の他の装置であり得る。一部の実施形態では、撮像装置は、揚力または推力を航空機に提供するプロペラの羽根の表面に、プロペラのハブから所定距離（例えば固定半径）において設けられた状態で埋め込まれ得る、設置され得る、またはそれ以外の方法で統合され得る。プロペラの羽根が、例えば数千以上の毎分回転数といった動作角速度で回転中に、第１の画像は、プロペラの羽根が第１の角度方位にある状態で、撮像装置を用いてキャプチャされ得、第２の画像は、プロペラの羽根が第２の角度方位にある状態でキャプチャされ得る。第１の画像及び第２の画像は、互いに対して位置合わせされ得、画像の各々に表現される対象物までの距離は、１つまたは複数のステレオ測距アルゴリズムまたは技術にしたがって判定され得る。

プロペラの羽根の動作角速度が十分に高速である場合、プロペラの羽根に統合された単一の撮像装置は、ほんの一瞬での空間における第１の位置から空間における第２の位置への移動によって、２つの撮像装置として機能し得、第１の位置で撮像装置によってキャプチャされた第１の画像及び第２の位置で撮像装置によってキャプチャされた第２の画像は、実質的に同時にキャプチャされていると判定され得る。例えば、プロペラの羽根の第１の角度方位及び羽根の第２の角度方位が、例えば反対方向角度といった約１８０度（１８０°）離れている場合、プロペラのハブと羽根に統合された撮像装置の間の所定距離または半径の２倍に等しい基線距離または分離を用いて、画像の各々に表現される対象物までの距離を計算し得る。他の実施形態では、撮像装置は、ハブから等しいまたは異なる半径において、プロペラの同じ羽根に、または、プロペラの羽根のうち２つ以上に統合され得る。そのようなプロペラの回転中にそのようなデバイスによってキャプチャされた画像は、互いに対して位置合わせされ得、そのような画像の各々に表現される対象物までの距離は、ステレオ三角測量を用いて、例えば１つまたは複数のコンピュータベースのステレオ測距アルゴリズムまたは技術を用いて判定され得る。

図１Ａ〜図１Ｅを参照すると、本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定するシステムが示される。図１Ａに示すように、航空機１１０は、制御センター１２０、複数のモータ１３０−１、１３０−２、１３０−３、１３０−４及び複数のプロペラ１４０−１、１４０−２、１４０−３、１４０−４を含み、プロペラ１４０−１、１４０−２、１４０−３、１４０−４の各々は、モータ１３０−１、１３０−２、１３０−３、１３０−４の１つに回転可能に結合される。プロペラ１４０−４は、ハブ１４２−４、第１の羽根１４４−４及び第２の羽根１４６−４を含み、撮像装置１５０が、第１の羽根１４４−４の裏面に、ハブ１４２−４から半径ｒにおいて統合される。図１Ａに示すように、第１の羽根１４４−４は、時間ｔ_１において、角度θ_１に位置合わせされる。

図１Ｂに示すように、例えばモータ１３０−４の動力下で、撮像装置１５０が時間ｔ_１において実質的に下方に配向された状態で、第１の羽根１４４−４が角度θ_１に位置合わせされるとき、航空機１１０は、プロペラ１４０−４が回転しながら、画像１０−１をキャプチャする。例えば、撮像装置１５０は、撮像装置１５０が飛行する領域の地上ベースの地物（例えば、構造物、乗物または他の機械、植物または動物生命体）または航空機１１０に接近し得るまたは近傍に位置し得る空中の要素（例えば、鳥、他の航空機、または任意の他の空中の対象物）のカラー画像またはグレースケール画像をキャプチャするように構成され得る。

図１Ｃに示すように、第１の羽根１４４−４は、半回転を完了し、時間ｔ_２において角度θ_２に位置合わせされる。例えば、プロペラ１４０−４が約３０００の毎分回転数（３０００ｒｍｐ）の動作角速度で回転している場合、第１の羽根１４４−４は、１分の６０００分の１（１／６０００分）すなわち１秒の１００分の１（０．０１秒）の経過時間（例えば、ｔ_２−ｔ_１）で、角度θ_１から角度θ_２に回転するであろう。図１Ｄに示すように、プロペラ１４０−４が回転しながら、かつ、第１の羽根１４４−４が角度θ_２に位置合わせされる状態で、航空機１１０は、時間ｔ_２において、撮像装置１５０が実質的に下方に配向された状態で、画像１０−２をキャプチャする。画像１０−１と一致する、回転された画像１０−２’は、画像１０−２を、角度θ_２と角度θ_１の差Δθすなわちθ_２−θ_１回転させることによって取得され得る。

先に論じたように、プロペラの表面に統合された１つまたは複数の撮像装置によってキャプチャされる画像の対は、画像の両方に表現される任意の数の点までの距離を判定するために、共に位置合わせされ、１つまたは複数のステレオ測距分析をされ得る。例えば、画像の各々に出現する環境内の複数の点までの距離は組み合わされて、点群、デプスマップまたは環境の３次元形状の別の表現を形成し得る。図１Ｅに示すように、画像１０−１及び回転された画像１０−２’は、処理のためにコンピュータデバイス１１２に提供され得る。コンピュータデバイス１１２は、航空機１１０に、または、１つもしくは複数のサーバもしくは他のコンピュータデバイスを有する地上ベースのもしくは「クラウド」ベースの設備、１つもしくは複数の他の航空機（図示せず）に搭載される設備、または任意の他の場所における設備を含む１つもしくは複数の外部の場所に存在し得る。コンピュータデバイス１１２は、ほんの一瞬異なる時間であるｔ_１及びｔ_２において撮像装置１５０によってキャプチャされた画像１０−１、１０−２’の特徴を融合し、画像１０−１に表現されるどの点が、回転された画像１０−２’に表現される点に対応するかを判定し得る。そのような特徴に対応する点までの隔たりは、ステレオ測距アルゴリズムまたは技術にしたがって判定され得、１つまたは複数のデータストアに格納され得、または、限定されるものではないが、ナビゲーション、案内、監視もしくは衝突回避を含む任意の目的のために用いられ得る。

例えば、図１Ｅに示すように、画像１０−１及び回転された画像１０−２’の両方に表現される、航空機１１０下部の特徴に対応する領域までの平均的なまたは基準距離及びそのような距離に関連する公差のデプスマップ１５が生成され、１つまたは複数のデータストアに格納され得る。図１Ｅのデプスマップ１５は、第１の自動車に対応する領域１５−１までの距離（例えば、約１１９フィート）、第１の自動車が移動する道に対応する領域１５−２までの距離（例えば、約１２２．５フィート）、道の上の第２の自動車に対応する領域１５−３までの距離（例えば、約１１８フィート）、住居に対応する領域１５−４までの距離（例えば、約１０１フィート）、木に対応する領域１５−５までの距離（例えば、約８６フィート）、ペットに対応する領域１５−６までの距離（例えば、約１２２フィート）及び住居、木またはペットが占有していないまたはそれらに覆われていない地上領域全般に対応する領域１５−７までの距離（例えば、約１２４フィート）を含む。デプスマップ１５は、限定されるものではないが、航空機１１０の１つまたは複数の寸法を収容し得る適切に大きな、平坦な、かつ頑丈な着陸場所を識別することを含む任意の目的のために用いられ得る。

したがって、本開示のシステム及び方法は、飛行中の航空機のプロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定することを対象とする。プロペラは、モータに関連するトランスミッションのマストまたはシャフトを受けるように、かつ、航空機に揚力または推力を提供するために所望の角速度でモータによってマストまたはシャフトの周りを回転されるように構成されているハブの周りに取り付けられた任意の数の羽根（例えば、図１Ａ〜図１Ｄのプロペラ１４０−４などの２つの羽根、ならびに３つ、４つまたはそれ以上の羽根）を含み得る。任意の数の羽根は、例えば図１Ａ〜図１Ｄの羽根１４４−４に埋め込まれた単一の撮像装置１５０といった、内部に統合された任意の数の撮像装置、または任意の数の他の撮像装置を含み得る。

本開示によれば、動作プロペラの羽根に統合された撮像装置、及びそのような撮像装置によってキャプチャされた画像を用いて、任意の数のステレオ測距アルゴリズムまたは技術にしたがって、ステレオ距離情報を判定し得る。そのようなアルゴリズムまたは技術からの出力は、任意の形式で生成または格納され得、任意の目的のために用いられ得る。例えば、一部の実施形態では、ステレオ測距アルゴリズムまたは技術にしたがって判定された、環境における対象物または特徴までの隔たりはまとめられ、そのような対象物または特徴までの基準のまたは平均の隔たり及びそのような隔たりに関連する公差を識別または表現する、図１Ｅのデプスマップ１５などのデプスマップを形成し得る。

一部の他の実施形態では、環境の点群または他の３次元表現が生成され、１つまたは複数のデータファイルに格納され得る。点群は、対の画像の両方に出現する点の各々の位置を、画素レベルの解像度で表現し得る。回転しているプロペラの羽根の高速で確実な反復性により、そのような点までの距離に関してデータを高い速度率でキャプチャすることが可能になり、それによって、そのような位置に関連する公差または信頼水準を、いくつかの画像をキャプチャしただけで、短い期間にかなり狭めることが可能になる。

撮像装置は、任意の手法で、例えば本開示にしたがって、撮像装置を羽根に埋め込むことによって、または、撮像装置を羽根の表面に接着することによって、プロペラの羽根に統合され得る。そのような羽根に統合された撮像装置は、そのような羽根の表面に垂直なまたは任意の他の角度または方位に位置合わせされた視野または方位軸を有し得る。一部の実施形態では、撮像装置は、例えば撮像装置の焦点距離または角度方位のいずれかを調整するための１つまたは複数の作動されたまたは動力化された機能による、調整可能な視野または方位軸を有し得る。追加して、撮像装置は、プロペラのハブから任意の半径において、プロペラの羽根に統合され得る。同様に、１つまたは複数の撮像装置がプロペラに統合された航空機は、方位が固定されている航空機の一部に、例えば航空機の機体または他の非回転部分に統合された１つまたは複数の追加の撮像装置をさらに含み得、そういった撮像装置は、測距用途において、統合された撮像装置と協動して用いられ得る。

撮像データ（例えば視覚撮像データ）は、デジタルカメラなどの１つまたは複数の撮像装置を用いてキャプチャされ得る。そのような装置は、一般に、対象物から反射される光を捕捉することにより、そしてその後に、例えば画素といった、反射された光の様相に、１つまたは複数の定量的な値を計算しまたは割り当て、そのような値に基づく出力を生成し、それらの値を１つまたは複数のデータストア内に格納することにより、作動し得る。デジタルカメラは、１つまたは複数のフィルタを伴って有する１つまたは複数のセンサを含み得、そのようなセンサは、反射された光の１色以上の基本色（例えば、赤色、緑色または青色）に対応する反射された光の任意の数の画素の様相についての情報を検出し得る。そのようなセンサは、そのような情報、例えばデジタル画像を含むデータファイルを生成し、１つまたは複数のオンボードデータストアもしくはアクセス可能なデータストア（例えば、ハードドライブまたは他の同様のコンポーネント）内に、ならびに１つまたは複数のリムーバブルデータストア（例えば、フラッシュメモリデバイス）内に、そのようなデータファイルを格納し、または、１つもしくは複数のブロードキャストもしくは閉回路テレビネットワークに、もしくはインターネットのようなコンピュータネットワークを介して表示し得る。

デジタル画像は、シーンの１つもしくは複数の対象物、背景または他の特徴の光学的に形成された複製を規定する、通常アレイ状に配置された画素の集合であり、データファイルに格納され得る。視覚画像において、画素の各々は、そのような対象物、背景または特徴の一部に関連する色または他の光条件を表現または識別する。例えば、白黒の視覚画像は、画素の光条件をバイナリに（例えば白か黒のいずれか）表現する単一ビットを含み、グレースケール視覚画像は、光条件を複数ビット（例えば白と黒のパーセンテージまたは分担率の点からグレーのトーンを画定する２〜８ビット）で表現し得、カラー視覚画像は、複数の基本色（例えば赤、緑または青）の各々に対応するビット群を含み得、ビット群は、画素に関連する色を集合的に表現し得る。デプス画像もまた、シーンの１つもしくは複数の対象物、背景または他の特徴の光学的に形成された複製を規定する画素の集合であり、やはりデータファイルに格納され得る。しかしながら、視覚映像の画素とは異なり、デプス画像の画素の各々は、そのような対象物、背景または特徴の光条件または色ではなく、対象物、背景または特徴までの隔たりを表現または識別する。例えば、デプス画像の画素は、デプス画像をキャプチャした撮像装置のセンサ（例えば、デプスカメラまたは距離センサ）と画素が対応するそれぞれの対象物、背景または特徴の間の隔たりを表現し得る。

１つまたは複数のデータストア内に格納された撮像データファイルは、紙に印刷される、１つまたは複数のコンピュータディスプレイ上に提示される、または、そこに表現されるアイテムを識別するなどのために、１つもしくは複数の分析を受け得る。そのようなデータファイルは、限定されるものではないが、.ＪＰＥＧもしくは.ＪＰＧファイル、またはグラフィックスインターチェンジフォーマット（すなわち「．ＧＩＦ」）、ビットマップ（すなわち「．ＢＭＰ」）、ポータブルネットワークグラフィックス（すなわち「．ＰＮＧ」）、タグ付き画像ファイルフォーマット（すなわち「．ＴＩＦＦ」）ファイル、オーディオビデオインタリーブ（すなわち「．ＡＶＩ」）、ＱｕｉｃｋＴｉｍｅ（すなわち「．ＭＯＶ」）、ムービングピクチャエクスパーツグループ（すなわち「．ＭＰＧ」、「．ＭＰＥＧ」もしくは「．ＭＰ４」）もしくはＷｉｎｄｏｗｓ Ｍｅｄｉａビデオ（すなわち「．ＷＭＶ」）ファイルを含み得る任意の数のフォーマットで格納され得る。

反射された光は、装置内のセンサとレンズの間の距離、すなわち焦点距離、ならびに装置の場所及び装置のレンズの角度方位に応じて定義される、デバイスの視野内に在る場合に、反射された光は撮像装置によって捕捉され得る、または検出され得る。それに応じて、対象物が被写界深度内に、すなわち視野内で明瞭度及び焦点が十分に鮮明であるの距離内に出現する場合に、撮像装置は、その１つまたは複数のセンサを使用して十分に高解像度に任意の種類の対象物から反射される光を捕捉し、反射された光についての情報を１つまたは複数のデータファイル内に格納し得る。

多くの撮像装置はまた、それらのそれぞれの視野または方位を修正する手動のまたは自動の機能も含む。例えば、デジタルカメラは、固定位置に、または固定焦点距離（例えば、固定焦点レンズ）もしくは角度方位をもって構成され得る。代替として、撮像装置は、センサとレンズの間の距離における変化（例えば、光学ズームレンズまたはデジタルズームレンズ）、撮像装置の場所における変化、または角度方位を定義する角度のうちの１つまたは複数における変化を生じさせることにより、撮像装置の位置を調整するための、または、焦点距離（例えば、撮像装置をズームする）もしくは角度方位（例えば、ロール角、ピッチ角またはヨー角）のいずれかを調整するための、１つまたは複数の作動されたまたは動力化された機能を含み得る。

例えば、撮像装置は、１軸、２軸または３軸に関して固定された構成または角度に装置を維持する支持体またはマウンティングにハードマウントされ得る。代替として、しかしながら、撮像装置は、構成要素のうちの１つまたは複数を手動でもしくは自動で動作させるための、または装置の軸もしくは方向を再配向するための（すなわち、この装置をパンする、または傾けることによる）、１つまたは複数のモータ及び／またはコントローラを提供し得る。撮像装置をパンすることは、水平面内の、または垂直軸（例えば、ヨー）周りの回転を引き起こし得、撮像装置を傾けることは、垂直面内の、または水平軸（例えば、ピッチ）周りの回転を引き起こし得る。加えて、撮像装置は、その回転軸周りに、かつ、この回転軸に垂直でありこの装置の視野に実質的に平行である平面内で、ロールされ得、すなわち回転され得る。

いくつかの最新式の撮像装置は、１つまたは複数の物理的制約及び動作上の制約に従い、視野内に識別される画像をデジタル方式でまたは電子的に調整し得る。例えば、デジタルカメラは、デジタルカメラの視野に合焦するまたはこの視野を広げるために、画像の画素を仮想的に伸縮し、または凝縮し得、また視野内の画像の１つまたは複数の部分を並進させ得る。光学的に調整可能な焦点距離または方位の軸を有する撮像装置は、パンチルトズーム（すなわち「ＰＴＺ」）撮像装置と一般に称され、デジタル方式でまたは電子的に調整可能なズームまたは並進機能を有する撮像装置は、電子ＰＴＺ（すなわち「ｅＰＴＺ」）撮像装置と一般に称される。

特徴または対象物の色、テクスチャまたは輪郭を含む、撮像データ内に表現される特徴または対象物についての情報及び／またはデータは、任意の数の方式でデータから抽出され得る。例えば、デジタル画像内の、画素の色、または画素のグループの色は、画素内の赤色、緑色または青色の部分を０から２５５の値内の範囲の３つの対応する数値で表現するＲＧＢ（「赤−緑−青」）色モデル、または画素の色を６文字コードに表現し、その中で各文字が１６の範囲を有することができる１６進数モデルなどの、１つまたは複数の規格にしたがい決定され、定量化され得る。また色は、６文字１６進数モデル、すなわち♯ＮＮＮＮＮＮにしたがい、表現され得、そこで各文字Ｎは、１６桁（すなわち、０から９の数字、及びＡからＦの文字）の範囲を有する。１６進数モデルの最初の２文字ＮＮは、この色の中に含まれる赤色の部分を指し、二番目の２文字ＮＮは、この色の中に含まれる緑色の部分を指し、三番目の２文字ＮＮは、この色の中に含まれる青色の部分を指す。例えば、白色及び黒色は、１６進数モデルに従い♯ＦＦＦＦＦＦ及び♯００００００とそれぞれ表現され、キャンディアップルレッドの色は、♯３１３１４Ａと表現される。画像または写真内の色またはカラースキームを定量化するための任意の手段またはモデルが、本開示にしたがい利用され得る。さらに、デジタル画像に表現される対象物のテクスチャまたは特徴は、画像の領域またはセクタ内の強度における変化を識別することによる、または特定の表面に対応する画像の領域を画定することによるような、１つまたは複数のコンピュータベースの方法を使用して識別され得る。

さらに、デジタル静止画またはデジタル動画に表現される、対象物または対象物の部分のエッジ、コンター、輪郭、色、テクスチャ、シルエット、形状または他の特徴は、１つまたは複数のアルゴリズムまたは機械学習ツールを使用して識別され得る。対象物、または対象物の部分は、静止している、または動いていることができ、単一の、有限の期間に、または１つまたは複数の期間もしくは持続時間にわたり識別され得る。そのようなアルゴリズムまたはツールは、可能な限り密接にデジタル画像内に、かつノイズ及び途絶を最小にして偽の遷移を作成しない方式において、遷移（例えば、対象物またはその部分のエッジ、コンター、輪郭、色、テクスチャ、シルエット、形状または他の特徴）を認識し、マーク付けすることを対象とし得る。本開示によってデジタル画像内の対象物またはその部分の特徴を認識するために利用され得るいくつかの検出アルゴリズムまたは技術は、限定されるものではないが、Ｃａｎｎｙエッジ検出器またはアルゴリズムか、Ｓｏｂｅｌ演算子、アルゴリズムまたはフィルタか、Ｋａｙｙａｌｉ演算子か、Ｒｏｂｅｒｔｓエッジ検出アルゴリズムか、Ｐｒｅｗｉｔｔ演算子か、Ｆｒｅｉ−Ｃｈｅｎ方法か、当業者に知られている可能性がある任意の他のアルゴリズムまたは技術を含む。

先に論じたように、本開示のシステム及び方法は、飛行中の航空機のプロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定することを対象とする。そのような撮像装置によってキャプチャされた画像は、１つまたは複数のステレオ測距アルゴリズムまたは技術にしたがって処理され得る。そのようなアルゴリズムまたは技術を用いることによって動的環境からデプス情報を判定することは、通常、基線距離離れている少なくとも２つの撮像装置の使用、及びそのような撮像装置からの実質的に同時の撮像データのキャプチャを必要とするが、本開示のシステム及び方法は、一部の実施形態では、ステレオ測距のために、プロペラの羽根に埋め込まれた単一の撮像装置によってキャプチャされた撮像データを用い得る。撮像装置は、プロペラの羽根が異なる方位にある状態で撮像データをキャプチャし得、それによって、航空機のプロペラの高い回転速度に通常依存して、撮像装置を２つの場所に一度に効果的に配置する。

例えば、１秒当たり数百フレーム（ｆｐｓ）程度のフレームレートで画像をキャプチャし得、数千程度の毎分回転数（ｒｐｍ）の角速度で回転しているプロペラの羽根の表面に埋め込まれた撮像装置は、プロペラが異なる方位にある状態で鮮明な画像をキャプチャし得、そのような画像を処理して、画像の両方に表現される任意の対象物に関するデプス判定を行い得る。具体的には、撮像装置が、プロペラが約１８０度すなわち１８０°互いから離れたすなわち反対の方位にある状態で画像をキャプチャするように構成され得る場合、基線距離または分離（例えば、プロペラのハブからの撮像装置の半径の２倍）、視差（例えば、画像の各々における共通点の隔たり）、撮像装置の焦点距離及びそれぞれの画像の内容が処理されて、２つの画像に表現される対象物の各々までの距離を判定し得、環境のデプスマップ、デプスモデルまたは別のデプス画像をそれに従って画定し得る。

少なくとも部分的に重畳する視野を有する撮像装置（例えばデジタルカメラ）によってキャプチャされた一対のステレオ画像に表現される対象物までの隔たり（またはデプスまたは距離）。画像の両方に出現する各対象物の各点に対して、それぞれの撮像装置のそれぞれのレンズ、レンズモジュールまたは他のセンサから画像の各々における対象物の点の表現を通って延在する線は、３次元空間において、その点の実際の位置に対応する場所で仮想的に交差するであろう。従来の幾何学的な原理及び特性、例えば相似三角形の特性、ならびに撮像装置間の基線距離または分離などの既知のまたは知り得る変数、それぞれの画像内の点の間の視差及びそれぞれの撮像装置の焦点距離を用いることによって、交点の座標が適切に判定され得る。

航空機のプロペラは、通常、数千の毎分回転数の角速度で回転するので、単一の撮像装置をプロペラの羽根に、例えばプロペラの表面に埋め込むことにより、ステレオ画像が、既知の位置でかつ所与の時間に単一の撮像装置によってキャプチャされることが可能になる。一対の画像からステレオ距離情報を判定するために、画像のうちの第１の画像内に可視の各面の点が画像のうちの第２の画像において識別されなければならず、画像の各々がキャプチャされたときの撮像装置の幾何学的位置が把握されなければならない。２つのステレオ画像内の共通点の表現は、エピポール、またはそのようなエピポールの共役対と称されることがあり、視差は、２つの画像が重畳されたときのエピポールの共役対間の距離として定義される。

空間における点が例えばエピポールとして２つの画像に出現する場合、画像内のそれぞれのエピポールの位置及び空間における点の実際の位置によって画定される平面は、エピポーラ平面と称される。画像は、次いで、それらの内容に基づいて、例えば、それぞれの画像平面とのエピポーラ平面の交点に対応する線、すなわちそれらのそれぞれのエピポーラ線に沿って共に位置合わせされ得る。画像がそれらの内容に基づいて位置合わせされた後で、対象物の実際の位置は、撮像装置のレンズ、レンズモジュールまたは他のセンサから結像面内のそれぞれの画像における点の表現を通って延在する三角測量線によって判定され得る。そのような線の交点は、点の実際の位置に対応し、点までの距離は、この実際の位置に基づいて、それに従い判定され得る。ステレオ測距アルゴリズムまたは技術を用いて、画像の両方に出現する点の各々までの距離または隔たりを判定し得、そのような距離または隔たりを用いて、対象物が提供される環境の点群、デプスマップまたは別の３次元モデルを規定し得る。デプスモデルは、データファイル（例えばデプス画像）に格納され得、または、限定されるものではないが、ナビゲーション、案内、監視または衝突回避を含む任意の目的のために利用され得る。

かくして、ステレオ測距アルゴリズムまたは技術は、対の画像の各々のエピポールの対応を判定することを必要とし、エピポールの各々は、３次元空間における共通点に対応するものである。エピポールの複数の対応が、シーンの一対の画像の各々から識別されると、エピポールの共役対の各々に対する視差が判定され得、シーンの３次元構造を再現するそのような視差のマップが、シーンの様相、例えば基線距離または分離などの幾何学的パラメータ、撮像装置の焦点距離などに関する情報が既知の場合、適切に再構築され得る。

シーンの対の画像に表現される点の、現実世界での位置を判定するための、そして、そのような位置に基づくそのようなシーンのデプスマップ、点群または他の３次元表現を生成するためのいくつかのコンピュータベースのステレオ測距アルゴリズム及び技術が在る。そのようなアルゴリズムまたは技術は、較正の、対応の及び／または再構築の機能の実施を支援し得る。例えば、Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（すなわち「ＯｐｅｎＣＶ」）ライブラリは、対の画像から隔たりまたは距離を判定することを対象とするいくつかのコンピュータベースのアルゴリズムまたは他のプログラミング機能を含む。同様に、ＭＡＴＬＡＢ言語でプログラミングされているいくつかの他のステレオ測距アルゴリズムまたは技術が公的に利用可能である。また、いくつかの他のソースからコンピュータベースのアルゴリズムまたは技術が利用可能である。

撮像装置は、水平にまたは垂直に、例えば前方方位もしくは後方方位に、または、上方方位もしくは下方方位に、または、相対的であってもよくまたは絶対的であってもよい任意の他の方位にもしくは角度に位置合わせされるプロペラに統合され得る。一部の実施形態では、２つ以上のデジタルカメラが、同一の羽根または別々の羽根のいずれかにおいて、プロペラに統合され得る。デジタルカメラは、均質であってもよく（例えば機能的に同等すなわち同一の性能を有する）、または、代替として、不均質であってもよく（例えば異なる性能を有する）、デプスを判定するためにそのようなカメラによってキャプチャされたステレオ画像は、複数の計算において処理され得る。一部の実施形態では、航空機は、回転プロペラの羽根に統合された、及び航空機の非回転機構にやはり取り付けられた１つまたは複数の撮像装置を含み得る。撮像装置の各々によってキャプチャされた画像は、例えばそのような撮像装置間の基線距離または分離、そのような画像内の対象物の視差、それぞれの撮像装置の焦点距離を判定することによって、ステレオ測距目的のために用いられ得る。

図２を参照すると、本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステム２００のブロック図が示される。図２のシステム２００は、全体的にまたは部分的にインターネットを含み得るネットワーク２８０経由で相互と接続される航空機２１０及びデータ処理システム２７０を含む。別段に記述される場合を除き、図２に示される数字「２」に続く参照番号は、図１Ａから１Ｅに示される数字「１」に続く参照番号を有する構成要素または特徴に類似する構成要素または特徴を示す。

航空機２１０は、プロセッサ２１２、メモリ２１４及びトランシーバ２１６を含む。航空機２１０は、さらに、制御システム２２０、複数の推進モータ２３０−１、２３０−２．．．２３０−ｎ、複数のプロペラ２４０−１、２４０−２．．．２４０−ｎ及び複数の撮像装置２５０−１、２５０−２．．．２５０−ｎを含む。

プロセッサ２１２は、限定されるものではないが、１つまたは複数の機械学習アルゴリズムまたは技術の実行を含む任意の種類または形式の計算機能を実行するように構成されてもよい。例えば、プロセッサ２１２は、航空機２１０、ならびに、限定されるものではないが、推進モータ２３０−１、２３０−２．．．２３０−ｎ、プロペラ２４０−１、２４０−２．．．２４０−ｎ及び撮像装置２５０−１、２５０−２．．．２５０−ｎを含む１つまたは複数のコンピュータベースの構成要素の動作の任意の側面を制御し得る。例えば、プロセッサ２１２は、推進モータ２３０−１、２３０−２．．．２３０−ｎ、プロペラ２４０−１、２４０−２．．．２４０−ｎ及び撮像装置２５０−１、２５０−２．．．２５０−ｎのうち１つまたは複数の動作を実行する命令を生成するために、制御システム２２０などの１つまたは複数の制御システムまたはモジュールの動作を制御し得る。そのような制御システムまたはモジュールは、１つまたは複数の他のコンピューティングデバイスまたは機械と関連付けられ得、データ処理システム２７０または１つもしくは複数の他のコンピュータデバイス（図示せず）とネットワーク２８０を経由して、デジタルデータの送信及び受信を介して通信し得る。

プロセッサ２１２は、１つのプロセッサを含むユニプロセッサシステム、またはいくつかのプロセッサ（例えば、２つ、４つ、８つまたは別の適切な数）を含むマルチプロセッサシステムであってもよく、命令を実行することが可能であり得る。例えば、一部の実施形態では、プロセッサ２１２は、ｘ８６、ＰｏｗｅｒＰＣ、ＳＰＡＲＣ、もしくはＭＩＰＳ ＩＳＡ、または任意の他の適切なＩＳＡなどの、いくつかの命令セットアーキテクチャ（ＩＳＡ）のいずれかを実装する、汎用または組み込みプロセッサであり得る。プロセッサ２１２がマルチプロセッサシステムである場合、マルチプロセッサシステム内の各プロセッサは、同一のＩＳＡ、または異なるＩＳＡを動作させ得る。

追加して、航空機２１０は、例えば航空機２１０を動作させるための命令といった情報もしくはデータ、または、航空機２１０の動作中に捕捉される情報もしくはデータの任意のタイプを格納するための１つもしくは複数のメモリまたはストレージ構成要素２１４（データベースまたはデータストアなど）をさらに含む。メモリ２１４は、プロセッサ２１２により、またはこのプロセッサにアクセス可能な、実行可能な命令、飛行経路、飛行制御パラメータ及び／または他のデータアイテムを格納するように構成され得る。メモリ２１４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または任意の他のタイプのメモリなど、任意の適切なメモリ技術を使用して実装されてもよい。一部の実施形態では、プログラム命令、飛行経路、飛行制御パラメータ及び／または他のデータアイテムは、例えば、有線及び／または無線リンクなどの通信媒体を介して搬送され得る、電気、電磁またはデジタル信号などの伝送媒体または信号により、トランシーバ２１６を介して受信され得る、または送信され得る。

トランシーバ２１６は、例えば、ユニバーサルシリアルバス（すなわち「ＵＳＢ」）もしくは光ファイバケーブルなどの有線技術、またはＢｌｕｅｔｏｏｔｈ（登録商標）もしくは任意のワイヤレスフィデリティー（すなわち「ＷｉＦｉ」）プロトコルなどの標準無線プロトコルといった１つまたは複数の有線または無線手段を介して、例えば、ネットワーク２８０を介して、または直接的に航空機２１０が通信することを可能にするように構成され得る。トランシーバ２１６は、１つまたは複数の入力／出力（すなわち「Ｉ／Ｏ」）インターフェース、ネットワークインタフェース及び／または入力／出力デバイスをさらに含み得、またはこれらと通信し得、情報もしくはデータを航空機２１０の構成要素のうちの１つまたは複数の間で、または１つもしくは複数の他のコンピュータデバイスもしくはシステム（例えば、示されない、他の航空機）へネットワーク２８０経由で交換することを可能にするように構成され得る。例えば、一部の実施形態では、トランシーバ２１６は、プロセッサ２１２と１つまたは複数のオンボードまたは外部のコンピュータデバイスまたは構成要素との間のＩ／Ｏトラフィックを調整するように構成され得る。トランシーバ２１６は、データ信号を一つの構成要素による使用に適切である第１のフォーマットから別の構成要素による使用に適切である第２のフォーマットに変換するために、任意の必要なプロトコル、タイミングまたは他のデータ変換を実行し得る。一部の実施形態では、トランシーバ２１６は、例えば、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス規格、またはユニバーサルシリアルバス（ＵＳＢ）規格の異形などの様々なタイプのペリフェラルバスを通じて取設されるデバイスに対するサポートを含んでもよい。一部の他の実施形態では、トランシーバ２１６の機能は、２つ以上の別々の構成要素に分割され得る、またはプロセッサ２１２と統合され得る。

制御システム２２０は、１つまたは複数の電子速度コントロール、電源、ナビゲーションシステム及び／または要望通りに航空機２１０の動作を制御するためのかつアイテムと係合するまたは解放するためのペイロード係合コントローラを含み得る。例えば、制御システム２２０は、推進モータ２３０−１、２３０−２．．．２３０−ｎ、プロペラ２４０−１、２４０−２．．．２４０−ｎ及び撮像装置２５０−１、２５０−２．．．２５０−ｎのうち１つまたは複数の動作を生じさせるまたは制御するように構成され得、例えば、航空機２１０を、判定されたまたは要求された飛行路に沿って案内するために、推進モータ２３０−１、２３０−２．．．２３０−ｎのうち１つまたは複数にプロペラ２４０−１、２４０−２．．．２４０−ｎを所望速度で回転させる、撮像装置２５０−１、２５０−２．．．２５０−ｎのうち１つまたは複数に任意の撮像データ（例えば静止画または動画）ならびに任意の関連する音声データ及び／またはメタデータをキャプチャさせるといったことを行う。制御システム２２０は、さらに、限定されるものではないが、翼、ラダー、補助翼、エレベータ、フラップ、ブレーキ、スラットもしくは他の機能などの１つもしくは複数の制御面（図示せず）の所望の範囲内での動作、または、１つもしくは複数の係合システム（図示せず）による１つもしくは複数のアイテムの施行または取り外しを含む、航空機２１０の他の側面を制御し得る。一部の実施形態では、制御システム２２０は、プロセッサ２１２、メモリ２１４及び／またはトランシーバ２１６のうち１つまたは複数と統合され得る。

推進モータ２３０−１、２３０−２．．．２３０−ｎは、１つもしくは複数のプロペラまたは他の構成要素の十分な回転速度を生じさせて、揚力及び／または推力を航空機２１０及び任意の係合されたペイロードに与えることにより、係合されたペイロードを空中輸送することが可能である、任意のタイプまたは形態のモータ（例えば、電気の、ガソリン動力の、または任意の他のタイプのモータ）であり得る。例えば、推進モータ２３０−１、２３０−２．．．２３０−ｎのうち１つまたは複数は、アウトランナーブラシレスモータまたはインランナーブラシレスモータなどのブラシレス直流（ＤＣ）モータであり得る。

航空機２１０は、任意の種類の任意の数のそのような推進モータ２３０−１、２３０−２．．．２３０−ｎを含み得る。例えば、推進モータ２３０−１、２３０−２．．．２３０−ｎのうち１つまたは複数は、専ら揚力を航空機２１０に与えるように位置合わせされ得または構成され得、推進モータ２３０−１、２３０−２．．．２３０−ｎのうち１つまたは複数は、専ら推力を航空機２１０に与えるように位置合わせされ得または構成され得る。代替として、推進モータ２３０−１、２３０−２．．．２３０−ｎのうち１つまたは複数は、必要に応じて、航空機２１０に揚力及び推力を与えるように位置合わせされ得または構成され得る。例えば、推進モータ２３０−１、２３０−２．．．２３０−ｎは、航空機２１０上でのそれらの方位は固定され得る、または、例えばティルトローター航空機といった、それらのそれぞれの方位は変化するように構成され得る。さらに、推進モータ２３０−１、２３０−２．．．２３０−ｎは、異なる性能もしくは定格によって、もしくは異なる速度において作動するように位置合わせされ得もしくは構成され得る、または、異なるサイズ及び形状を有するプロペラに結合され得る。

プロペラ２４０−１、２４０−２．．．２４０−ｎは、複数の成形された羽根がハブまたはボスに結合された任意のロータまたは回転可能なシステムであり得る。プロペラ２４０−１、２４０−２．．．２４０−ｎの各々は、推進モータ２３０−１、２３０−２．．．２３０−ｎのそれぞれに伴うマストまたはシャフトに回転可能に取り付けられ、流体内で回転されると推力を生成するように構成される。プロペラ２４０−１、２４０−２．．．２４０−ｎの各々は、任意の数の羽根を含み得、固定ピッチ、調整可能ピッチまたは可変ピッチという性質であり得る。さらに、プロペラ２４０−１、２４０−２．．．２４０−ｎのうち１つまたは複数は、任意の手法で縞模様がつけられ得または保護され得る。一部の実施形態では、プロペラ２４０−１、２４０−２．．．２４０−ｎのうち１つまたは複数は、垂直軸の周りを回転するように、及び、それに従って推力を垂直方向（例えば上方に）に提供するように構成され得る。一部の実施形態では、プロペラ２４０−１、２４０−２．．．２４０−ｎのうち１つまたは複数は、水平軸の周りを回転するように、及び、それに従って推力を水平方向に（例えば前方に）に提供するように構成され得る。さらに他の実施形態では、プロペラ２４０−１、２４０−２．．．２４０−ｎのうち１つまたは複数は、水平でもなく垂直でもない軸の周りを回転するように、及び、それに従って推力をそのような軸に対応する方向に提供するように構成され得る。

撮像装置２５０−１、２５０−２．．．２５０−ｎは、それぞれのプロペラ２４０−１、２４０−２．．．２４０−ｎの表面に埋め込まれた任意の形式の光学記録装置であり得、構造物、施設、地域もしくは航空機２１０の飛行中に遭遇する任意の他の要素の撮像データを撮影またはそれ以外の方法で記録するために、または、任意の他の目的のために用いられ得る。撮像装置２５０−１、２５０−２．．．２５０−ｎは、１つもしくは複数のセンサ、メモリまたは記憶コンポーネント及びプロセッサを含み得、そのようなセンサ、メモリコンポーネントまたはプロセッサは、さらに、１つまたは複数の感光面、フィルタ、チップ、電極、クロック、基板、タイマーまたは任意の他の関連する機能部品（図示せず）を含み得る。そのような撮像装置２５０−１、２５０−２．．．２５０−ｎは、任意の種類または形式の１つまたは複数の静止画または動画の形式で撮像データ、ならびに任意の関連音声信号、または、限定されるものではないが、そのような撮像装置２５０−１、２５０−２．．．２５０−ｎが内部で統合されたプロペラ２４０−１、２４０−２．．．２４０−ｎのうち１つまたは複数が作動速度で回転するときを含む航空機２１０の飛行中における他の情報をキャプチャし得る。

撮像装置２５０−１、２５０−２．．．２５０−ｎは、プロセッサ２１２及び／もしくは制御システム２２０と、または互いに、内部ネットワーク（図示せず）の全てまたは一部に専用であってもよくまたは内部ネットワーク（図示せず）の全てまたは一部を備えてもよい有線または無線接続で通信し得る。追加して、撮像装置２５０−１、２５０−２．．．２５０−ｎは、ネットワーク２８０によって、データ処理システム２７０と通信するようになされ得るまたは構成され得る。図２のプロペラ２４０−１、２４０−２．．．２４０−ｎの各々は、撮像装置２５０−１、２５０−２．．．２５０−ｎの１つに対応する単一のボックスを含むが、当業者は、限定されるものではないが、デジタルカメラ、デプスセンサまたは距離カメラ、赤外線カメラ、放射線カメラまたは他の光学センサを含む任意の数または種類の撮像装置が、本開示にしたがってプロペラ２４０−１、２４０−２．．．２４０−ｎの任意の数の羽根に提供され得ることを理解するであろう。

撮像装置２５０−１、２５０−２．．．２５０−ｎに加えて、航空機２１０はまた、外的情報もしくはデータ、または内的情報もしくはデータを含む、航空機２１０が作動している、または作動することを予期され得る環境の１つまたは複数の属性を決定するために、限定されるものではないが、１つまたは複数の環境または動作センサを含む、航空機２１０の動作における制御または支援のための任意の数の他のセンサ、構成要素または他の特徴も含み得る。例えば、航空機２１０は、１つまたは複数の全地球測位システム（「ＧＰＳ」）受信器もしくはセンサ、コンパス、速度計、高度計、温度計、気圧計、湿度計、ジャイロスコープ、空気監視センサ（例えば、酸素、オゾン、水素、一酸化炭素または二酸化炭素のセンサ）、オゾンモニタ、ｐＨセンサ、磁気異常検出器、金属探知器、放射線センサ（例えば、ガイガーカウンタ、中性子検出器、アルファ検出器）、姿勢指示器、深度計、加速度計、または音センサ（例えば、１つまたは複数の方向からの音響エネルギーを検出し、記録するための、マイクロホン、圧電センサ、振動センサまたは他のトランスデューサ）を含み得る。

データ処理システム２７０は、１つまたは複数のコンピュータプロセッサ２７４及びそれらに伴う任意の数のデータストア２７６（例えばデータベース）を有し、ならびに任意の特定または汎用目的で提供される１つまたは複数の物理コンピュータサーバ２７２を含む。例えば、図２のデータ処理システム２７０は、航空機２１０から受信する、撮像データ、または他の情報もしくはデータを受信する、分析する、または格納する専用の目的のために独立して設けられ得、または代替として、このような撮像データ、または他の情報もしくはデータ、及び１つまたは複数の他の機能を受信する、分析する、もしくは格納するように構成される１つまたは複数の物理的または仮想サービスと関連して設けられ得る。サーバ２７２は、プロセッサ２７４及び、限定されるものではないが、音声信号、撮像データに関する情報もしくはデータ、または環境条件に関する情報もしくはデータ、動作特性、または位置を含む任意の種類の情報またはデータを任意の目的のために格納し得るデータストア２７６と接続またはそれ以外の方法で通信し得る。サーバ２７２及び／またはコンピュータプロセッサ２７４はまた、デジタルデータを送信する及び受信することを通じて、線２７８によって示されるように、ネットワーク２８０に接続またはそれ以外の方法で通信してもよい。例えば、データ処理システム２７０は、例えばネットワーク２８０を介して航空機２１０から、または互いから、または１つもしくは複数の他の外部コンピュータシステム（図示せず）から受信されたメディアファイルといったメディアファイルなどの情報またはデータを受信し、１つまたは複数のデータストアに記憶する能力または容量を有する任意の施設、ステーション、または場所を含んでもよい。一部の実施形態では、データ処理システム２７０は、物理的な場所に設けられてもよい。他のそのような実施形態では、データ処理システム２７０は、例えば「クラウド」ベースの環境といった１つまたは複数の代替のまたは仮想の場所に設けられてもよい。さらに他の実施形態では、データ処理システム２７０は、航空機２１０を含むが、これに限定されるものではない１つまたは複数の航空機に搭載されて設けられてよい。

ネットワーク２８０は、任意の有線ネットワーク、無線ネットワーク、またはその組み合わせであってもよく、全体的にまたは部分的にインターネットを含んでもよい。さらに、ネットワーク２８０は、パーソナルエリアネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、ケーブルネットワーク、衛星ネットワーク、携帯電話ネットワーク、またはその組み合わせであってもよい。ネットワーク２８０はまた、インターネットなどのさまざまな異なる当事者らによって運用される可能性がある、リンクされたネットワークの公共的にアクセス可能なネットワークであってもよい。一部の実施形態では、ネットワーク２８０は、企業または大学のイントラネットなどのプライベートまたはセミプライベートネットワークであってもよい。ネットワーク２８０は、グローバルシステムフォーモバイルコミュニケーションズネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、またはいくつかの他の種類の無線ネットワークなどの１つまたは複数の無線ネットワークを含んでもよい。インターネットまたは他の前述のタイプの通信ネットワークのいずれかを介して通信するためのプロトコル及び構成要素は、コンピュータ通信の当業者に周知であり、したがって、本明細書により詳細に記載される必要はない。

本明細書で説明されるコンピュータ、サーバ、装置などは、必要な電子機器、ソフトウェア、メモリ、ストレージ、データベース、ファームウェア、ロジック／ステートマシン、マイクロプロセッサ、通信リンク、ディスプレイまたは他のビジュアルもしくはオーディオユーザインタフェース、印刷装置、及び本明細書に記載された機能またはサービスのいずれかを提供する、かつ／または本明細書に記載の結果を達成するための任意の他の入力／出力インターフェースを有する。また、当業者であれば、係るコンピュータ、サーバ、装置などのユーザが、コンピュータ、サーバ、装置などと対話するために、または本開示のアイテム、リンク、ノード、ハブもしくは任意の他の態様を「選択」するために、キーボード、キーパッド、マウス、スタイラス、タッチスクリーン、または他の装置（図示せず）もしくは方法を操作し得ることを認識するだろう。

航空機２１０及び／またはデータ処理システム２７０は、ウェブによって有効化される任意のインターネットのアプリケーションもしくは機能、あるいはＥメールまたは他のメッセージング技術を含む任意の他のクライアント／サーバアプリケーションまたは機能を使用してネットワーク２８０に接続し得る、またはショートメッセージングサービスもしくはマルチメディアメッセージングサービス（ＳＭＳもしくはＭＭＳ）のテキストメッセージを介してなどで互いに通信し得る。例えば、航空機２１０は、ネットワーク２８０を介して、リアルタイムもしくはほぼリアルタイムで、または１つもしくは複数のオフラインプロセスで、データ処理システム２７０に、または任意の他のコンピュータデバイスに（例えば、１機以上の他の航空機に）、同期メッセージまたは非同期メッセージの形で情報またはデータを送信するように適合されてよい。当業者であれば、航空機２１０またはデータ処理システム２７０が以下に限定するものではないがセットトップボックス、パーソナルデジタルアシスタント、デジタルメディアプレーヤー、ウェブパッド、ラップトップコンピュータ、デスクトップコンピュータ、電子書籍リーダなどを含む、ネットワークを介して通信することができる多数のコンピューティングデバイスのいずれかを操作し得る、またはこれらのいずれかにより操作され得ることを認識するであろう。係る装置間で通信を提供するためのプロトコル及び構成要素は、コンピュータ通信の当業者には周知であり、本明細書でより詳細に説明される必要はない。

本明細書で説明されるデータ及び／またはコンピュータ実行可能命令、プログラム、ファームウェア、ソフトウェアなど（本明細書では「コンピュータ実行可能」構成要素とも呼ばれる）は、コンピュータまたはコンピュータ構成要素の中にあるか、コンピュータまたはコンピュータ構成要素によってアクセス可能なコンピュータ可読媒体に記憶されてよく、例えば、プロセッサ２１２もしくはプロセッサ２７４などのコンピュータまたはコンピュータ構成要素、または任意の他のコンピュータもしくは制御システムは、航空機２１０またはデータ処理システム２７０によって（例えば、１機以上の他の航空機によって）利用され、プロセッサ（例えば、中央処理装置、すなわち「ＣＰＵ」）による実行時に、プロセッサに本明細書に記載された機能、サービス及び／または方法のすべてまたは一部分を実行させる命令シーケンスを有する。係るコンピュータ実行可能命令、プログラム、ソフトウェアなどは、フロッピードライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭドライブなどのコンピュータ可読媒体に関連付けられたドライブ機構、ネットワークインタフェースなどを使用し、または外部接続を介して１つまたは複数のコンピュータのメモリにロードされ得る。

本開示のシステム及び方法のいくつかの実施形態はまた、本明細書中に記載されたプロセスまたは方法を実行するようにコンピュータ（または他の電子機器）をプログラムするのに用いられ得る命令（圧縮形式で、または非圧縮形式で）を格納する非一時的な機械可読記憶媒体を含むコンピュータ実行可能プログラム製品として提供されてもよい。本開示の機械可読記憶媒体は、ハードドライブ、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ、ＲＡＭ、消去可能プログラマブルＲＯＭ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブルＲＯＭ（「ＥＥＰＲＯＭ」）、フラッシュメモリ、磁気カードもしくは光カード、ソリッドステートメモリデバイス、または電子命令を記憶するのに適し得る他の種類の媒体／機械可読媒体を含んでよいが、これに限定されるものではない。さらに、実施形態はまた、一時的な機械可読信号（圧縮形式で、または非圧縮形式で）を含むコンピュータ実行可能プログラム製品として提供されてもよい。機械可読信号の例としては、搬送波を使用して変調されるか否かに関わらず、限定されるものではないが、コンピュータプログラムをホスティングまたは実行するコンピュータシステムまたは機械がアクセスするように構成され得る信号、またはインターネットもしくは他のネットワークを介してダウンロードされ得る信号を含む信号が挙げられ得る。

先に論じたように、航空機は、航空機の回転プロペラの１つまたは複数の羽根内に埋め込まれたまたはそれ以外の方法で統合された撮像装置を含み得る。撮像装置によってキャプチャされた画像は、ステレオ測距アルゴリズムまたは技術によって処理されて、画像の各々に表現される任意の対象物までの距離を判定し得る。図３を参照すると、本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのプロセスの流れ図３００が示される。

ボックス３１０では、デジタルカメラが回転プロペラの表面に埋め込まれた航空機が、目的地への移動のために起点から出発する。航空機は、例えば、起点から目的地までペイロードを運搬するといった任意の任務を行うようにプログラミングされ得、デジタルカメラが埋め込まれた回転プロペラは、推力、揚力または推揚力を生成するために提供され得る。

ボックス３２０では、航空機は、時間ｔ_１においてプロペラが方位角θ_１にある状態で、デジタルカメラを用いて第１の画像をキャプチャする。デジタルカメラは、航空機が所与の場所に到着した際、または航空機が所与の速度または所与の高度に到達した際、または１つもしくは複数の対象物を近傍に感知した際（例えば衝突の危険性）、または任意の所定の環境もしくは動作条件を検出した際、または任意の他の理由で、１つまたは複数の画像のキャプチャを自動的に開始するようにプログラミングされ得る。ボックス３３０では、航空機は、時間ｔ_２においてプロペラが方位角θ_２にある状態で、デジタルカメラを用いて第２の画像をキャプチャする。デジタルカメラは、所定時間に、または任意の他の理由で、プロペラの角度方位または位置に基づいて別の画像をキャプチャするようにプログラミングされ得る。例えば、一部の実施形態では、デジタルカメラは、プロペラの方位の角度が、第１の画像がキャプチャされたときのプロペラの方位の角度より１８０度（１８０°）大きいまたは小さいときに第２の画像をキャプチャするように構成され得る。さらに別の例として、一部の実施形態では、デジタルカメラは、第１の画像のキャプチャに続き所定の時間が経過した後、第２の画像をキャプチャするように構成され得る。

ボックス３４０では、第１の画像及び第２の画像は、方位の角度θ_２とθ_１の差Δθ、すなわちθ_２−θ_１に基づいて互いに対して配向される。例えば、第１の画像は、第２の画像に対して再配向され得、または、第２の画像は、第１の画像に対して再配向され得る。代替として、第１の画像及び第２の画像の各々は、共通基準角に対して独立して配向され得る。

ボックス３５０では、第１の画像及び第２の画像は、内容ベースの分析を受ける。例えば、第１の画像及び第２の画像の各々は評価されて、第１の画像及び第２の画像のいずれかまたは両方に表現される、限定されるものではないが、１つまたは複数のアルゴリズムまたは機械学習ツールを用いて内部に表現される対象物のまたは対象物の一部の任意の数のエッジ、コンター、輪郭、色、テクスチャ、シルエット、形状、または他の特徴を含む任意の点の属性を識別し得る。いくつかのそのようなアルゴリズムまたはツールとして、限定されるものではないが、Ｃａｎｎｙエッジ検出器またはアルゴリズム；Ｓｏｂｅｌ演算子、アルゴリズムまたはフィルタ；Ｋａｙｙａｌｉ演算子；Ｒｏｂｅｒｔｓエッジ検出アルゴリズム；Ｐｒｅｗｉｔｔ演算子；Ｆｒｅｉ−Ｃｈｅｎ方法；または当業者に既知であり得る任意の他のアルゴリズムまたは技術が挙げられ得る。

ボックス３６０では、第１の画像及び第２の画像の各々において対象物が識別される。例えば、対象物は、画像の一方で識別され得、画像の他方において対象物に対して検索が行われ得る。一部の実施形態では、それぞれの画像のエピポーラ線は、エピポーラ線を画像のスキャン線と位置合わせするために、１つまたは複数の変換を用いて修正され得、それによって、画像の一方において識別された対象物に対する、画像の他方での検索を容易にする。その後、対象物が識別されるまで、１つの画像における対象物の点に対応する画素が、例えばそれぞれの画像間で画素を整合させることによって画像の他方において識別され得る。

ボックス３７０では、対象物までの距離データは、１つまたは複数のステレオアルゴリズム及び／または技術にしたがって、第１の画像及び第２の画像内の対象物の視差、時間ｔ_１及びｔ_２におけるデジタルカメラの基線分離及びデジタルカメラの焦点距離に基づいて判定される。先に記述したように、視差は、同一シーンの２つの画像間の所与の点の分離として規定され、基線分離は、第１の画像がキャプチャされたときの（例えば時間ｔ_１における）デジタルカメラの位置と第２の画像がキャプチャされたときの（例えば時間ｔ_２における）デジタルカメラの第２の位置の間の距離であり、デジタルカメラの焦点距離は、デジタルカメラ内のセンサとレンズの間の距離である。ステレオ測距アルゴリズムまたは技術は、対象物までの距離もしくは隔たり、または対象物の１つもしくは複数の様相までの距離もしくは隔たりを判定するために、視差、基線分離及び焦点距離を用い得る。ボックス３８０では、距離データは、１つまたは複数のデータストアに格納され、プロセスは終了する。距離データは、例えばナビゲーション、案内、監視、衝突回避といった任意の目的のために、または任意の他の目的のために利用され得る。

図４Ａ、図４Ｂ及び図４Ｃを参照すると、本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステム４００の態様の図が示される。別段に記述される場合を除き、図４Ａ、図４Ｂまたは図４Ｃに示される数字「４」に続く参照番号は、図２に示される数字「２」に続く、または図１Ａから１Ｅに示される数字「１」に続く参照番号を含む構成要素または特徴に類似する構成要素または特徴を示す。

図４Ａに示すように、裏面に撮像装置４５０が埋め込まれたプロペラ４４０を有する航空機４１０が示される。航空機４１０は、１つまたは複数の構造物、障害物及び／または他の対象物（例えば、家及び自転車）を有するシーン内の空間における点Ｐ（ｘ、ｙ、ｚ）に接近しているところが示される。点Ｐ（ｘ、ｙ、ｚ）は、プロペラ４４０が角度θ_１及びθ_２に位置合わせされるとき、時間ｔ_１及びｔ_２において撮像装置４５０の視野内にある。図４Ａにやはり示すように、プロペラ４４０が角度θ_１に位置合わせされた状態で、時間ｔ_１においてキャプチャされた画像４０−１は、点Ｐ（ｘ、ｙ、ｚ）の投影Ｕ_１を含む。時間ｔ_２にキャプチャされかつプロペラ４４０が角度θ_２に位置合わせされた状態の反転画像４０−２’は、点Ｐ（ｘ、ｙ、ｚ）の投影Ｕ_２を含む。角度θ_２と角度θ_２が１８０度（１８０°）離れている場合、反転画像４０−２’は、時間ｔ_２においてキャプチャされた画像を１８０度（１８０°）回転させることによって誘導され得る。時間ｔ_１における撮像装置４５０の位置と時間ｔ_２における撮像装置４５０の位置との基線分離は、約２ｒ、すなわち、プロペラ４４０のハブから撮像装置４５０までの隔たりの半径ｒの２倍である。

空間における点Ｐ（ｘ、ｙ、ｚ）までの、または、画像４０−１及び反転画像４０−２’の両方内に表現される１つもしくは複数の他の点までの距離または隔たりは、画像４０−１、４０−２’を仮想的に重畳させ、画像４０−１、４０−２’の両方に示される各点の投影間の視差を判定することによって判定され得る。図４Ｂに示すように、画像４０−１及び反転画像４０−２’が互いに重畳された場合、画像４０−１、４０−２’内の空間における点Ｐ（ｘ、ｙ、ｚ）の投影Ｕ_１、Ｕ_２の間の視差は明白である。

図４Ｃに示すように、点Ｐ（ｘ、ｙ、ｚ）までの距離ｚは、既知の基線分離２ｒ、焦点距離ｆ、画像４０−１及び回転された画像４０−２’内の点Ｐ（ｘ、ｙ、ｚ）の投影Ｕ_１、Ｕ_２を用いて、ステレオ測距によって判定され得る。ステレオ測距アルゴリズム及び技術は、時間ｔ_１及び時間ｔ_２における撮像装置４５０の位置、焦点距離ｆを用いた投影Ｕ_１、Ｕ_２及び基線分離２ｒを三角測量することによって、点Ｐ（ｘ、ｙ、ｚ）の位置、ひいては点Ｐ（ｘ、ｙ、ｚ）までの距離ｚを自動的に判定し得る。

図４Ａ、４Ｂ及び４Ｃは空間における単一の点Ｐ（ｘ、ｙ、ｚ）の位置及び／またはそれまでの距離を判定することを描写するが、本開示のシステム及び方法はそれに限定されておらず、同じステレオ測距アルゴリズムもしくは技術、または１つもしくは複数の他のアルゴリズムもしくは技術にしたがって、画像４０−１、４０−２’の両方に出現する点（複数）の各々の位置及び／またはそれまでの距離を判定するのに用いられ得る。そのような位置または距離を用いて、限定されるものではないが、画像４０−１、４０−２’の両方に出現する点の各々の画素レベルの位置を表現する点群、またはデプスマップ、例えば、シーン内の対象物の１つまたは複数までの平均的なまたは基準距離を、そのような距離の正確さまたは精密さを表す１つまたは複数の公差または信頼レベルとともに示す図１Ｅのデプスマップ１５を含む、シーン及び／または構造物、対象物または他の特徴の任意の形式の3次元表現が構築され得る。図４Ａの航空機４１０のプロペラ４４０は通常、数千の毎分回転数の角速度で回転するので、撮像装置４５０は、同時に２つの場所に効果的に出現する（例えば、ほんの一瞬のうちに）。したがって、単一の撮像装置４５０によってキャプチャされた画像は、プロペラ４４０から、そのような画像のうち２つ以上に表現される１つまたは複数の対象物までの距離を判定するのに利用され得る。

先に記述したように、プロペラ表面に統合された撮像装置によってキャプチャされた画像は、１つの画像を別の画像に対して再配向することによって、または、画像の各々を共通基準に対して再配向することによってなどで、任意の基準で互いに対して配向され得る。図５Ａ〜図５Ｃを参照すると、本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図が示される。別段に記述される場合を除き、図５Ａ、図５Ｂまたは図５Ｃに示される数字「５」に続く参照番号は、図４Ａ，図４Ｂまたは図４Ｃに示される数字「４」に続く、図２に示される数字「２」に続く、または図１Ａから１Ｅに示される数字「１」に続く参照番号を含む構成要素または特徴に類似する構成要素または特徴を示す。

図５Ａを参照すると、プロペラに埋め込まれた撮像装置によってキャプチャされた２つの画像５０Ａ−１、５０Ａ−２が示される。画像５０Ａ−１は、プロペラがゼロ度（０°）の角度θ_１にある状態でキャプチャされたものであり、画像５０Ａ−２は、プロペラがゼロ度より大きい角度θ_２にある状態でキャプチャされたものである。したがって、画像５０Ａ−１、５０Ａ−２を互いに対して適切に配向するために、画像５０Ａ−２は、反対方向に角度θ_２で回転されて、画像５０Ａ−２’を形成し得、それによって、画像５０Ａ−１、５０Ａ−２’が互いに対して適切に位置合わせされることを確保し、それぞれの画像５０Ａ−１、５０Ａ−２へのプロペラの方位の影響を打ち消す。画像５０Ａ−１、５０Ａ−２’が互いに対して適切に位置合わせされた状態で、画像５０Ａ−１、５０Ａ−２’の各々に出現する対象物に対応する点が識別され得、そのような対象物までの隔たり（または距離）は、例えばステレオ測距アルゴリズムまたは技術によって判定され得る。

逆に、図５Ｂを参照すると、プロペラに埋め込まれた撮像装置によってキャプチャされた２つの画像５０Ｂ−１、５０Ｂ−２が示される。画像５０Ｂ−１は、プロペラがゼロ度（０°）より小さい角度θ_１にある状態でキャプチャされたものであり、画像５０Ｂ−２は、プロペラがゼロ度と等しい角度θ_２にある状態でキャプチャされたものである。したがって、画像５０Ｂ−１、５０Ｂ−２を互いに対して適切に配向するために、画像５０Ｂ−１は、反対方向に角度θ_１回転されて、画像５０Ｂ−１’を形成し得、それによって、画像５０Ｂ−１’、５０Ｂ−２が互いに対して適切に位置合わせされることを確保し、それぞれの画像５０Ｂ−１、５０Ｂ−２へのプロペラの方位の影響を打ち消す。

画像はまた、画像のいずれかの方位の角度ではなく、基準の方位の角度に対して再配向され得る。図５Ｃを参照すると、プロペラに埋め込まれた撮像装置によってキャプチャされた２つの画像５０Ｃ−１、５０Ｃ−２が示される。画像５０Ｃ−１は、プロペラがゼロ度（０°）より大きい角度θ_１にある状態でキャプチャされたものであり、画像５０Ｃ−２は、プロペラがゼロ度より小さい角度θ_２にある状態でキャプチャされたものである。したがって、画像５０Ｃ−１、５０Ｃ−２を互いに対して適切に配向するために、基準の方位の角度θ_ＳＴＤにおいて、画像５０Ｃ−１は、反対方向に角度（θ_１−θ_ＳＴＤ）回転されて、画像５０Ｃ−１’を形成し得、画像５０Ｃ−２は、反対方向に角度（θ_ＳＴＤ−θ_２）回転されて、画像５０Ｃ−２’を形成し得、それによって、基準の方位の角度θ_ＳＴＤにおいて、画像５０Ｃ−１’、５０Ｃ−２’が互いに対して適切に位置合わせされることを確保し、それぞれの画像５０Ｃ−１、５０Ｃ−２へのプロペラの方位の影響を打ち消す。

先に論じたように、本開示のシステム及び方法は、航空機の回転プロペラの羽根に統合された撮像装置によってまたは航空機に設けられた任意の数の他の撮像装置によってキャプチャされたシーンの２つ以上の画像に出現する任意の数の点の位置（またはそのような点までの距離もしくは隔たり）を判定するのに用いられ得る。そのような位置（またはそれまでの距離もしくは隔たり）を用いて、シーンの点群、デプスマップまたは地理的または地形的レイアウトを表現する任意の他の仮想構造を含むシーンの３次元表現は構築され得る。図６を参照すると、本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのプロセスの流れ図６００が示される。ボックス６１０では、航空機は、少なくとも１つの撮像装置が少なくとも１つのプロペラ表面に埋め込まれた状態で作動する。航空機は、図１Ａ〜図１Ｄのプロペラ１４０−４の第１の羽根１４４−４に埋め込まれた撮像装置１５０といった１つのプロペラの単一の羽根に埋め込まれた単一の撮像装置、または、複数のプロペラの複数の羽根の表面に埋め込まれた複数の撮像装置を含み得る。

ボックス６２０では、航空機は、測距動作を開始し、その動作においては、航空機は、航空機が任意の理由で着陸するのに適した場所を探索するときなどに、航空機下部に存在する任意の数の点（例えば、構造物または対象物の表面に対応する点）までの距離または隔たりを判定するように構成されている。代替として、航空機は、測距動作を行って、航空機の上部、前方、後方、左または右にある、または航空機に対して任意の他の方向にあり、かつ、動作プロペラに統合された撮像装置によってキャプチャされた２つ以上の画像に出現している点までの距離または隔たりを判定し得る。

ボックス６３０では、撮像装置は、プロペラの羽根が第１の選択された角度方位にある状態で画像をキャプチャする。羽根は、航空機に対して任意の角度で、例えば移動方向に対して横方向に、移動方向に沿って、または任意の他の方位で位置合わせされ得る。ボックス６３５では、撮像装置は、第１の画像を、オンボードメモリに、例えば１つもしくは複数のデータベース、データストアまたは航空機に搭載され設けられている他のコンポーネントに格納する。代替として、一部の実施形態では、航空機は、第１の画像を地上ベースもしくは「クラウド」ベースの処理設備に、または、そのような設備の１つもしくは複数に、１つもしくは複数のトランシーバを用いて送信し得る。第１の画像は、同期プロセスまたは非同期プロセスにおいて、例えばリアルタイムでまたはほとんどリアルタイムで、及び単独でまたはバッチプロセスの一部としてのいずれかで、そのような設備の１つまたは複数に送信され得る。代替として、第１の画像及び任意の数の他の画像は、任務が完了すると、例えば撮像装置によってキャプチャされた画像に表現される任意の表面特徴の法医学的分析のために別の設備に送信され得る。

ボックス６４０では、撮像装置は、第１の画像内の複数の点を認識する。例えば、そのような点は、１つまたは複数のアルゴリズムまたは機械学習ツールを用いて内部で識別され得る、第１の画像に示される対象物またはそのような対象物の一部の１つまたは複数のエッジ、コンター、輪郭、色、テクスチャ、シルエット、形状、または他の特徴に対応し得る。代替として、点は、地上ベースもしくは「クラウド」ベースの処理設備にまたはそのような設備の１つもしくは複数に設けられたコンピュータデバイスによって、例えばリアルタイムで、またはほとんどリアルタイムで、または任意の後の時点で認識され得る。

ボックス６５０では、撮像装置は、プロペラの羽根が次の選択された角度方位にある状態で次の画像をキャプチャする。例えば、撮像装置は、所定時間に、または、プロペラの羽根が所定方位に到達したときに、次の画像をキャプチャするように構成され得る。一部の実施形態では、所定時間または所定方位は、プロペラのまたはプロペラが回転可能に結合されたモータの動作速度（例えば角速度）に基づいて選択され得る。ボックス６５５では、撮像装置は、次の画像をオンボードメモリに格納し、ボックス６６０では、撮像装置は、次の画像において、以前に認識された複数の点のうち少なくともいくつかを認識する。代替として、先に論じたように、撮像装置は、次の画像を、地上ベースもしくは「クラウド」ベースの処理設備に、またはそのような設備の１つもしくは複数に、格納または処理のために、例えばリアルタイムで、またはほとんどリアルタイムで、または任意の後の時点で送信し得る。

ボックス６７０では、撮像装置は、最新の画像内のそのような点の視差、最新の画像の各々がキャプチャされたときの撮像装置の基線分離及び／または最新の画像がキャプチャされたときの撮像装置の焦点距離に基づいて、認識された点までの距離を判定する。例えば、先に論じたように、画像は、互いに対して（例えばその内容に対して）再位置合わせされ得、２つの最新の画像の各々の内部で認識される点の投影が、その内部で識別され得る。次いで、そのような投影間の視差が判定され得、視差、基線分離及び撮像装置の焦点距離を用いて、認識された点までの距離が、１つまたは複数のステレオ測距アルゴリズムまたは技術にしたがって判定され得る。ボックス６８０では、最新の画像の時点での認識された点までの距離が、オンボードメモリにまたは代替として１つもしくは複数の地上ベースもしくは「クラウド」ベースの設備に格納され、任意の目的のために用いられ得る。例えば、距離を用いて、所与の領域の点群またはデプスマップを規定し得、点群またはデプスマップは、航空機が着陸するための具体的な場所を識別するために、または、測距動作がボックス６２０で開始された任意の他の理由のために利用され得る。

ボックス６９０では、測距動作が完了したかどうかが判定される。例えば、動作の測距の目標が完了している場合（例えば、着陸現場もしくは場所の識別、または、適切な解像度もしくは精度を有する点群もしくはデプスマップの構築）、プロセスは終了する。しかしながら、測距動作が完了していない場合、プロセスはボックス６５０に戻り、撮像装置は、次の画像を、プロペラの羽根が次の選択された角度方位にある状態、例えば所定時間に、またはプロペラの羽根が選択された角度方位に到達したときに、キャプチャし、プロセスは、測距動作が完了したと判定されるまで、繰り返される。航空機（例えばＵＡＶ）に搭載されたプロペラの動作中に通常観察される高い角速度を考えると、そのような点群またはデプスマップの精度は、高頻度でキャプチャされた対の画像に基づいて迅速にかつ精密に改良され得る。

先に論じたように、本開示のシステム及び方法は、限定されるものではないが、所与の領域のデプスマップの構築を含む、航空機を用いた任意の測距動作を行うのに利用され得る。図７を参照すると、本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステム７００の態様の図が示される。別段に記述される場合を除き、図７に示される数字「７」に続く参照番号は、図５Ａ、図５Ｂまたは図５Ｃに示される数字「５」に続く、図４Ａ、図４Ｂまたは図４Ｃに示される数字「４」に続く、図２に示される数字「２」に続く、または図１Ａから１Ｅに示される数字「１」に続く参照番号を含む構成要素または特徴に類似する構成要素または特徴を示す。

図７に示すように、ハブ７４２の周りに取り付けられた第１の羽根７４４及び第２の羽根７４６を有するプロペラ７４０が示される。第１の羽根７４４は、その一表面に埋め込まれた撮像装置７５０を含む。プロペラ７４０は、例えばハブ７４２に結合された１つまたは複数のモータ（図示せず）によって、動力下でハブ７４２の周りを回転するように構成される。

撮像装置７５０は、任意の数の画像を一定の角度間隔でキャプチャするように、及び、そのような画像を、デプスマップまたはデプスもしくは距離情報の他の表現を規定することに利用するように構成され得る。図７に示すように、撮像装置７５０は、第１の羽根７４４がハブ７４２に対してそれぞれ角度θ及び−θで位置合わせされた状態で、画像７０−１、７０−２、７０−３、７０−４等々をキャプチャする。次いで、画像７０−１、７０−２、７０−３、７０−４は、１つまたは複数のステレオ測距アルゴリズムまたは技術にしたがって、その内部の１つまたは複数の対象物を認識するために分析され得、そのような対象物までの距離またはそのような対象物に対応する画像の領域までの距離を判定するために処理され得る。画像７０−１、７０−２、７０−３、７０−４の分析に基づいて判定された距離は、まとめられて、複数のデプスマップ７５−１、７５−２、７５−３等々を形成し得、それらは、そのような対象物または領域までの距離が変更されたかどうか及びどの程度まで変更されたかを判定するために、連続的にキャプチャされた画像を用いて反復的に更新され得、それによって、経時的に変化する、航空機が飛行するシーンの動的な点群、デプスマップまたは他の３次元モデルを効果的に構築する。画像７０−１、７０−２、７０−３、７０−４は、そのような画像を互いに対して分析する前に、または、その内部の１つもしくは複数の対象物の探索の前に、必要に応じて、回転され得またはそれ以外の方法で再位置合わせされ得る。

したがって、本開示によって、動的な距離マップは、測距情報が回転プロペラの羽根の表面に埋め込まれたまたはそれ以外方法で統合された撮像装置を用いてキャプチャされた画像を用いて判定されると、必要に応じて生成かつ更新され得る。プロペラが十分に高い角速度、例えば数千程度の毎分回転数（ｒｐｍ）で回転している場合、プロペラの羽根に埋め込まれた撮像装置は、一度に２つの場所に効果的に存在し得、異なる場所の撮像装置によってキャプチャされた画像は、その距離情報を導出するために、１つまたは複数のステレオ測距アルゴリズムまたは技術にしたがって分析され得る。距離は、限定されるものではないが、航空機の着陸する現場または場所（例えば、航空機の１つまたは複数の寸法を収容し得る十分に大きく、平坦な、耐久性のある面）を識別すること、航空機をナビゲートすること（例えば、ナビゲーション目的で地域または等高線を識別するために）、または１つもしくは複数の空中もしくは地上ベースの対象物を探索することもしくは回避することを含む、任意の理由のために判定され得る。

本開示によれば、任意の数のプロペラの羽根は、内部に統合された任意の数の撮像装置を含み得、そのような撮像装置は、プロペラの羽根が取り付けられたハブに対して異なる半径において統合され得る。図８Ａ及び図８Ｂを参照すると、本開示の実施形態による、ステレオ距離情報を判定するための撮像装置が内部に統合されたプロペラの羽根８４０Ａ、８４０Ｂの図が示される。別段に記述される場合を除き、図８Ａまたは８Ｂに示される数字「８」に続く参照番号は、図７に示される数字「７」に続く、図５Ａ、図５Ｂまたは図５Ｃに示される数字「５」に続く、図４Ａ、図４Ｂまたは図４Ｃに示される数字「４」に続く、図２に示される数字「２」に続く、または図１Ａから１Ｅに示される数字「１」に続く参照番号を含む構成要素または特徴に類似する構成要素または特徴を示す。

図８Ａに示すように、プロペラ８４０Ａは、ハブ８４２Ａ及び一対の羽根８４４Ａ−１、８４４Ａ−２を含む。羽根８４４Ａ−１は、ハブ８４２Ａから距離ｒ_Ａ−１において内部に埋め込まれた撮像装置８５０Ａ−１を含む。羽根８４４Ａ−２は、ハブ８４２Ａから距離ｒ_Ａ−２において内部に埋め込まれた撮像装置８５０Ａ−２を含む。

プロペラ８４０Ａは、デプス情報を任意のモードまたは形式でキャプチャするのに利用され得る。例えば、撮像装置８５０Ａ−１、８５０Ａ−２は、例えば距離ｒ_Ａ−１、ｒ_Ａ−２の和といった互いから一定の基線距離に配置されるので、撮像装置８５０Ａ−１、８５０Ａ−２は、互いに連携して画像をキャプチャし得、そのような画像は、例えば１つまたは複数のステレオ測距アルゴリズムまたは技術にしたがって評価されてそれから距離情報を判定し得る。代替として、撮像装置８５０Ａ−１、８５０Ａ−２は、任意の数の点（例えば、１つまたは複数の対象物の表面に対応する点）までの距離情報を判定するために分析かつ処理され得る画像を独立してキャプチャするのに用いられ得る。例えば、撮像装置８５０Ａ−１は、羽根８４４Ａ−１が１つもしくは複数の所定方位にまたは１つもしくは複数の所定時間に位置合わせされるとき画像をキャプチャするように構成され得、撮像装置８５０Ａ−２は、羽根８４４Ａ−２が１つもしくは複数の所定方位にまたは１つもしくは複数の所定時間に位置合わせされるとき画像をキャプチャするように別に構成され得る。それぞれの撮像装置８５０Ａ−１、８５０Ａ−２によって別々にキャプチャされた画像は、それぞれの羽根８４４Ａ−１、８４４Ａ−２から１つまたは複数の点までの距離に関するデプス情報を判定するのに用いられ得る。隔たりｒ_Ａ−１、ｒ_Ａ−２は、互いと等しい必要はなく、撮像装置８５０Ａ−１、８５０Ａ−２の各々は、異なる能力、仕様または定格が組み込まれ得、そのような撮像装置は、異なる目的のために適切に利用される。

図８Ｂに示すように、プロペラ８４０Ｂは、３つの羽根８４４Ｂ−１、８４４Ｂ−２、８４４Ｂ−３を有するハブ８４２３Ｂを含む。羽根８４４Ｂ−１は、ハブ８４２Ｂから距離ｒ_Ｂ−１の距離において内部に埋め込まれた撮像装置８５０Ｂ−１を含む。羽根８４４４Ｂ−２は、ハブ８４２Ｂから距離ｒ_Ｂ−２において内部に埋め込まれた撮像装置８５０Ｂ−２を含む。羽根８４４Ｂ−３は、ハブ８４２Ｂから距離ｒ_Ｂ−３において内部に埋め込まれた撮像装置８５０Ｂ−３を含む。図８Ａのプロペラ８４０Ａ及び撮像装置８５０Ａ−１、８５０Ａ−２に関して先に論じたように、撮像装置８５０Ｂ−１、８５０Ｂ−２、８５０Ｂ−３は、画像を、互いと連携してキャプチャし得、そのような画像は、例えば１つまたは複数のステレオ測距アルゴリズムまたは技術にしたがって評価されてそれから距離情報を判定し得る。撮像装置８５０Ｂ−１、８５０Ｂ−２、８５０Ｂ−３のうちの任意の２つの間の基線距離は、三角形の特性及び／または従来の三角関数にしたがって判定され得る。代替として、撮像装置８５０Ｂ−１、８５０Ｂ−２、８５０Ｂ−３は、例えば羽根８４４Ｂ−１、８４４Ｂ−２、８４４Ｂ−３が所定方位にまたは所定時間に位置合わせされるときに、独立して画像をキャプチャするのに用いられ得、そのような画像は、空間における１つまたは複数の点までの距離情報を判定するために分析かつ処理され得る。距離ｒ_Ｂ−１、ｒ_Ｂ−２、ｒ_Ｂ−３は、互いに等しい必要はない。撮像装置８５０Ｂ−１、８５０Ｂ−２、８５０Ｂ−３の各々は、異なる能力、仕様または定格が組み込まれ得、そのような撮像装置は、異なる目的のために適切に利用される。

本開示にしたがって、航空機に搭載されたプロペラの羽根に統合された撮像装置によってキャプチャされた画像を用いたデプス情報の判定は、フレーム、機体、制御面または１つもしくは複数の他のコンポーネントまたはその表面といった、航空機の非回転部分に統合された撮像装置を用いてキャプチャされた画像によって向上させられ得る。図９Ａ〜図９Ｄを参照すると、本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図が示される。別段に記述される場合を除き、図９Ａ、図９Ｂ、図９Ｃまたは図９Ｄに示される数字「９」に続く参照番号は、図８Ａまたは図８Ｂに示される数字「８」に続く、図７に示される数字「７」に続く、図５Ａ、図５Ｂまたは図５Ｃに示される数字「５」に続く、図４Ａ、図４Ｂまたは図４Ｃに示される数字「４」に続く、図２に示される数字「２」に続く、または図１Ａから１Ｅに示される数字「１」に続く参照番号を含む構成要素または特徴に類似する構成要素または特徴を示す。

図９Ａを参照すると、航空機９１０は、制御センター９２０、複数のモータ９３０−１、９３０−２、９３０−３、９３０−４及び複数のプロペラ９４０−１、９４０−２、９４０−３、９４０−４を含み、プロペラ９４０−１、９４０−２、９４０−３、９４０−４の各々は、モータ９３０−１、９３０−２、９３０−３、９３０−４の１つと回転可能に結合される。航空機９１０は、さらに、複数の撮像装置９５０−１、９５０−２、９５０−３、９５０−４、９５０−５を含み、撮像装置９５０−１、９５０−２、９５０−３、９５０−４の各々は、プロペラ９４０−１、９４０−２、９４０−３、９４０−４のうちの１つのプロペラの羽根に取り付けられ、撮像装置９５０−５は、例えば制御センター９２０下部の、航空機９１０のフレームに取り付けられている。

非回転の撮像装置９５０−５によってキャプチャされた画像は、回転撮像装置９５０−１、９５０−２、９５０−３、９５０−４のうち１つまたは複数によってキャプチャされた画像と連携して用いられて、航空機９１０下部の点までの隔たりまたは距離に関する情報を判定し得る。例えば、図９Ｂに示すように、プロペラ９４０−４は、モータ９３０−４に結合されたハブ９４２−４に取り付けられた第１の羽根９４４−４及び第２の羽根９４６−４を含み、第１の羽根９４４−４には、撮像装置９５０−４がハブ９４２−４から距離ｒにおいて内部に埋め込まれている。モータ９３０−４及びハブ９４２−４は、非回転撮像装置９５０−５から距離ｌにおいて配置される。かくして、第１の羽根９４４ー４が図９Ｂに示す角度θ_１に配向されているときの非回転撮像装置９５０−５と回転撮像装置９５０−４の間の基線分離は、ｌ＋ｒに等しい。図９Ｃに示すように、第１の羽根９４４−４が図９Ｃに示す角度θ_２に配向されているときの非回転撮像装置９５０−５と回転撮像装置９５０−４の間の基線分離は、ｌ−ｒに等しい。任意の数の他の基線分離が、第１の羽根９４４−４の方位の角度に基づいて、三角形の特性及び／または従来の三角関数にしたがって判定され得る。

したがって、非回転撮像装置９５０−５及び回転撮像装置９５０−４、または他の回転撮像装置９５０−１、９５０−２、９５０−３のいずれかを用いてキャプチャされた画像は、例えばステレオ測距アルゴリズムまたは技術によって、航空機９１０下部の１つまたは複数の点までのデプス情報の独立した判定を行うのに用いられ得る。そのような判定は、航空機９１０に関連する利用可能なデプス情報またはそれから生成される任意のデプスマップもしくはデプスモデルの精度を高め得、撮像装置９５０−１、９５０−２、９５０−３、９５０−４、９５０−５のいずれか１つによってキャプチャされた画像を用いてステレオ測距アルゴリズムまたは技術によって判定される外れまたは不正確な結果を除去し得る。

さらに、撮像装置９５０−１、９５０−２、９５０−３、９５０−４、９５０−５のいずれも、撮像データを同時にキャプチャするように構成され得、そのような撮像データのいずれも、限定されるものではないが、航空機９１０下部の１つまたは複数の点までのステレオ距離情報を判定することを含む任意の目的のために処理され得る。図９Ｄに示すように、航空機９１０及び／または制御センター９２０は、撮像装置９５０−１、９５０−２、９５０−３、９５０−４、９５０−５を別々にまたは連携して作動させて、撮像装置９５０−１、９５０−２、９５０−３、９５０−４、９５０−５のうち１つまたは複数によってキャプチャされた２つ以上の画像に出現する、航空機９１０下部の任意の数の点に関する静止画または動画、及び任意の関連する音声情報またはメタデータをキャプチャし得る。

羽根に統合された撮像装置を有するプロペラまたはそのようなプロペラを軸周りに回転させるモータは、さらに、軸に沿って位置合わせされた撮像装置を含み得、それぞれの撮像装置によってキャプチャされた画像を用いて、１つまたは複数のステレオ測距アルゴリズムまたは技術にしたがって、点までの距離または隔たりを判定し得る。図１０Ａ〜図１０Ｃを参照すると、本開示の実施形態による、プロペラの羽根に統合された撮像装置を用いてステレオ距離情報を判定する１つのシステムの態様の図が示される。別段に記述される場合を除き、図１０Ａ、図１０Ｂまたは図１０Ｃに示される数字「１０」に続く参照番号は、図９Ａ、図９Ｂ、図９Ｃまたは図９Ｄに示される数字「９」がに続く、図８Ａまたは図８Ｂに示される数字「８」に続く、図７に示される数字「７」に続く、図５Ａ、図５Ｂまたは図５Ｃに示される数字「５」に続く、図４Ａ、図４Ｂまたは図４Ｃに示される数字「４」に続く、図２に示される数字「２」に続く、または図１Ａから１Ｅに示される数字「１」に続く参照番号を含む構成要素または特徴に類似する構成要素または特徴を示す。

図１０Ａ〜図１０Ｃに示すように、モータ１０３０は、それに回転可能に結合されたプロペラ１０４０を含む。プロペラ１０４０は、第１の羽根１０４４及び第２の羽根１０４６を含み、撮像装置１０５０−１は、第１の羽根１０４４の裏面に統合される。追加して、撮像装置１０５０−２も、モータ１０３０の裏面に統合される。撮像装置１０５０−１及び撮像装置１０５０−２は、それらのそれぞれの方位の軸が互いに対して平行になるように位置合わせされ、それぞれの撮像装置１０５０−１、１０５０−２の視野は、かなりの程度まで交差し重なり、その交差及び重なりは、モータ１０３０の下で基準距離から始まる。

モータ１０３０は、プロペラ１０４０を、撮像装置１０５０−２の方位の軸と一致する軸の周りに回転させるように構成されている。したがって、撮像装置１０５０−１は、プロペラ１０４０のハブまたはボスから距離ｒにおいて第１の羽根１０４４の裏面に統合されるので、撮像装置１０５０−１及び撮像装置１０５０−２は、第１の羽根１０４４の方位の角度にかかわらず、互いから固定距離ｒを保つ。例えば、図１０Ａ、図１０Ｂ及び図１０Ｃに示すように、第１の羽根１０４４は、第１の角度θ_１か第２の角度θ_２か第３の角度θ_３に位置合わせされるかである。かくして、プロペラ１０４０及びモータ１０３０、ならびにそれら上に設けられた撮像装置１０５０−１、１０５０−２は、第１の羽根１０４４が任意の角度方位に、例えば、第１の角度θ_１、第２の角度θ_２もしくは第３の角度θ_３の１つもしくは複数に、または任意の中間角度にある際、撮像装置１０５０−１、１０５０−２の両方の視野内の点までのステレオ距離情報を判定するのに利用され得る。さらに、撮像装置１０５０−２はシーンの画像を高い速度率で連続してまたは実質的に連続してキャプチャするのに用いられ得るので、撮像装置１０５０−２は、様々な視点からシーンの画像をキャプチャし得、それによって、そのような画像を用いて判定される任意のステレオ距離情報の精度を高め、ステレオ距離情報から生成される任意の点群、デプスモデルまたは他の表現の解像度を向上させる。

本明細書中に開示される実装例は、フレームと；第１のシャフトを、第１のシャフトによって画定される第１の軸周りに回転させるように構成された、フレームに取り付けられた第１の推進モータと；第１のシャフトに回転可能に結合された、第１の複数の羽根を有する第１のプロペラと；第１の複数の羽根の第１の羽根の裏面に埋め込まれた第１のデジタルカメラと；少なくとも１つのコンピュータプロセッサとを含む、無人航空機を含み得る。少なくとも１つのコンピュータプロセッサは、少なくとも、第１の推進モータに、第１のプロペラを第１の所定速度で回転させ；第１のデジタルカメラに、第１のデジタル画像を第１の時間にキャプチャさせ、第１のデジタルカメラが内部に埋め込まれた第１の羽根は、第１の時間において、第１の角度方位に位置合わせされ；第１のデジタルカメラに、第２のデジタル画像を第２の時間にキャプチャさせ、第１のデジタルカメラが内部に埋め込まれた第１の羽根は、第２の時間において、第２の角度方位に位置合わせされ；第１の時間における第１のデジタルカメラの第１の位置と第２の時間における第１のデジタルカメラの第２の位置の間の基線距離を判定し；第１の画像の少なくとも一部内の、無人航空機下部の対象物の一部の第１の表現を認識し；第２の画像の少なくとも一部内の、無人航空機下部の対象物の一部の第２の表現を認識し；対象物の一部の第１の位置を、基線距離、第１のデジタルカメラの焦点距離、第１の表現及び第２の表現に少なくとも部分的に基づいて判定し；第１の位置に少なくとも部分的に基づいて無人航空機下部の対象物の一部までの第１の距離を判定するように構成され得る。

任意選択的に、無人航空機の少なくとも１つのコンピュータプロセッサは、さらに、少なくとも、撮像装置の第１の位置から対象物の一部の第１の表現を通って延在する第１の線を画定し；撮像装置の第２の位置から対象物の一部の第２の表現を通って延在する第２の線を画定し；第１の線と第２の線の交点を識別し、対象物の一部の第１の位置は、第１の線と第２の線の交点に少なくとも部分的に基づいて判定されるように構成され得る。任意選択的に、無人航空機の少なくとも１つのコンピュータプロセッサは、さらに、少なくとも、第１の所定速度に少なくとも部分的に基づいて、第２の角度方位または第２の時間の少なくとも１つを選択するように構成され得る。任意選択的に、無人航空機は、さらに、フレームに取り付けられた第２の推進モータであって、第２の推進モータは第２のシャフトを、第２のシャフトによって画定される第２の軸の周りを回転させるように構成された、第２の推進モータと；第２のシャフトに回転可能に結合されている、第２の複数の羽根を有する第２のプロペラと；第２の複数の羽根のうち第２の羽根の裏面に埋め込まれた第２のデジタルカメラとを含み得る。

本明細書中に開示される実装例は、第１の時間において第１の撮像装置によってシーンの少なくとも一部の第１の画像をキャプチャすることであって、第１の撮像装置は、第１の航空機の第１のプロペラの第１の羽根の第１の表面に、第１のプロペラの第１のハブから第１の半径において統合され得、第１のプロペラは、第１の角速度で回転していてもよい、キャプチャすることと；第２の時間において第１の撮像装置によってシーンの少なくとも一部の第２の画像をキャプチャすることと；第１の画像におけるシーンの少なくとも一つの点を少なくとも１つのコンピュータプロセッサによって認識することと；第２の画像におけるシーンの少なくとも１つの点を少なくとも１つのコンピュータプロセッサによって認識することと；シーンの少なくとも１つの点までの第１の距離を、第１の画像及び第２の画像に少なくとも部分的に基づいて少なくとも１つのコンピュータプロセッサによって判定することとを含む方法を有し得る。

任意選択的に、方法はまた、第１の時間における第１の撮像装置の第１の位置を判定することと；第２の時間における第１の撮像装置の第２の位置を判定することと；第１の位置と第２の位置の間の基線距離を判定することとを含み得、シーンの少なくとも１つの点までの第１の距離は、基線距離に少なくとも部分的に基づいて判定され得る。任意選択的に、第１の羽根は、第１の時間において第１の角度方位にあり得、第２の時間において第２の角度方位にあり得、第２の角度方位は、第１の角度方位から約１８０度離れており、基線距離は、第１の半径の約２倍である。任意選択的に、方法はまた、第１の画像におけるシーンの少なくとも１つの点の第１の表現を少なくとも１つのコンピュータプロセッサによって識別することと；第２の画像におけるシーンの少なくとも１つの点の第２の表現を少なくとも１つのコンピュータプロセッサによって識別することと；第１の位置から第１の表現を通る第１のエピポーラ線を少なくとも１つのコンピュータプロセッサによって画定することと；第２の位置から第２の表現を通る第２のエピポーラ線を少なくとも１つのコンピュータプロセッサによって画定することと；第１のエピポーラ線と第２のエピポーラ線の交点の位置を少なくとも１つのコンピュータプロセッサによって判定することと；対象物までの第１の距離を、第１のエピポーラ線と第２のエピポーラ線の交点の位置に少なくとも部分的に基づいて、少なくとも１つのコンピュータプロセッサによって判定することとを含み得る。

任意選択的に、方法はまた、第１の時間における第１の羽根の第１の角度方位を判定することと；第２の時間における第１の羽根の第２の角度方位を判定することと；第１の角度方位と第２の角度方位の差に基づいて、第１の画像及び第２の画像を互いに対して位置合わせすることとを含み得る。

任意選択的に、方法はまた、第１の画像の複数の点を少なくとも１つのコンピュータプロセッサによって認識することと；第２の画像における複数の対象物の少なくともいくつかの部分を少なくとも１つのコンピュータプロセッサによって認識することと；シーンの複数の点のうち少なくともいくつかまでの距離を、第１の画像及び第２の画像に少なくとも部分的に基づいて、少なくとも１つのコンピュータプロセッサによって判定することであって、第１の距離は、距離のうちの１つであり得る、判定することと；シーンに対する点群を、距離に少なくとも部分的に基づいて画定することとを含み得、デプスマップは、複数の領域の各々までの隔たりを表現し、デプスマップの領域の各々は、複数の対象物のうち少なくともいくつかの部分のうちの１つに対応する。任意選択的に、方法はまた、航空機の着陸地点を、少なくとも１つのコンピュータプロセッサによって、点群に少なくとも部分的に基づいて選択することを含み得る。

任意選択的に、方法はまた、第１の時間または第２の時間において第２の撮像装置によってシーンの少なくとも一部の第３の画像をキャプチャすることであって、第２の撮像装置は、第１のプロペラの第２の羽根の第２の表面に、第１のハブから第２の半径において統合され得る、キャプチャすることと；第３の画像におけるシーンの少なくとも１つの点を、少なくとも１つのコンピュータプロセッサによって認識することと；シーンの少なくとも１つの点までの第２の距離を、第３の画像、及び第１の画像または第２の画像の一方に少なくとも部分的に基づいて、少なくとも１つのコンピュータプロセッサによって判定することとを含み得る。任意選択的に、方法はまた、シーンの少なくとも一部の第３の画像を、第１の時間または第２の時間において第２の撮像装置によってキャプチャすることであって、第２の撮像装置は、第１の航空機のフレームまたは第１のプロペラに回転可能に結合されている第１のモータのうち少なくとも一方の第２の表面に統合され得る、キャプチャすることと；第３の画像におけるシーンの少なくとも１つの点を、少なくとも１つのコンピュータプロセッサによって認識することと；シーンの少なくとも１つの点までの第２の距離を、第３の画像、及び第１の画像または第２の画像の一方に少なくとも部分的に基づいて判定することとを含み得る。

任意選択的に、方法はまた、シーンの少なくとも一部の第３の画像を、第１の時間または第２の時間の一方において第２の撮像装置によってキャプチャすることであって、第２の撮像装置は、第１の航空機の第２のプロペラの第２の羽根の第２の表面に、第２のプロペラの第２のハブから第２の半径において統合され得、第２のプロペラは、第２の角速度で回転中であり得る、キャプチャすることと；第３の画像におけるシーンの少なくとも１つの点を、少なくとも１つのコンピュータプロセッサによって認識することと；シーンの少なくとも１つの点までの第２の距離を、第３の画像、及び第１の画像または第２の画像のうちの一方に少なくとも部分的に基づいて判定することとを含み得る。任意選択的に、第１の時間と第２の時間の差は、約１００分の１秒であり得る。任意選択的に、第１の角速度は、少なくとも３０００の毎分回転数であり得る。

本明細書中に開示される実装例は、推進モータのシャフトに取り付けるように構成されたハブを含むプロペラであって、シャフトは回転の軸を画定する、プロペラと；ハブに結合された第１の羽根と；第１の羽根の第１の表面内に、ハブから第１の半径において組み込まれた第１の撮像装置であって、シャフトによって画定された回転の軸に実質的に平行に位置合わせされた第１の方位の軸を有する第１のレンズを備える、第１の撮像装置とを含み得る。任意選択的に、プロペラはまた、推進モータのシャフトに回転可能に取り付けられ得、第１の撮像装置は、第１の時間においてすなわち第１の羽根が第１の角度方位に位置合わせされた状態で、第１の画像をキャプチャするように構成され得、かつ、第２の時間においてすなわち第１の羽根が第２の角度方位に位置合わせされた状態で、第２の画像をキャプチャするように構成され得る。任意選択的に、第１の方位は、第２の方位から１８０度にあり得る。

任意選択的に、プロペラはまた、ハブに結合された第２の羽根と；第２の羽根の第２の表面内に、ハブから第２の半径において埋め込まれた第２の撮像装置とを含み得、第２の撮像装置は、シャフトによって画定される回転の軸に実質的に平行に位置合わせされた第２の方位の軸を有する第２のレンズを含み得る。

本開示は、本開示のシステム及び方法を実施するための例示的な技術、構成要素、及び／またはプロセスを使用して本明細書に記載されているが、当業者であれば、本明細書に記載された同一の機能（複数可）及び／または結果（複数可）を達成し、かつ本開示の範囲内に含まれる、他の技術、構成要素、及び／またはプロセス、または本明細書に記載の技術、構成要素、及び／またはプロセスの他の組み合わせ及びシーケンスが使用または実行され得ることを理解すべきである。

本明細書中で用いる「前方」飛行または「水平」飛行という用語は、地面（すなわち海面）に実質的に平行な方向における飛行を指す。本明細書で用いる「垂直」飛行という用語は、地心から実質的に半径方向外側に拡張する方向における飛行を指す。当業者は、飛行軌跡が「前方」飛行すなわち「水平」飛行及び「垂直」飛行のベクトルの両方の成分を含み得ることを認識するであろう。

本明細書中に開示する実施形態のいくつかは、倉庫または他の同様の設備から顧客にペイロードを配達するための無人航空機の使用を参照するが、当業者は、本明細書に開示されるシステム及び方法はそのように限定されず、任意の意図された工業的用途、商業的用途、娯楽的用途または他の用途のために固定翼または回転翼を有する任意の種類または形の航空機（例えば、有人または無人）と関連して利用され得ることを認識するであろう。

本明細書中に明示的にまたは黙示的に別段の指示がない限り、本明細書中で特定の実施形態に関して記載された特徴、特性、代替物または変形のいずれも、本明細書中に記載された任意の他の実施形態にも適用、使用、または組み込み得ること、及び本開示の図面と詳細な説明は、添付の特許請求の範囲によって定義される様々な実施形態に対する全ての変形、等価物及び代替物を網羅することを意図することが理解されるべきである。さらに、図３または６の流れ図に表現されるプロセスを含むが、これらに限定されない、本明細書に記載される本開示の１つまたは複数の方法またはプロセスに関して、そのような方法またはプロセスが提示される順番は、特許請求された発明に対する制限として解釈されることを意図しておらず、本明細書に記載される任意の数の方法またはプロセスステップまたはボックスは、本明細書に記載された方法またはプロセスを実現するために、任意の順番において、及び／または並列して組み合わされることが可能である。また、本明細書の図面は縮尺通りに描かれていない。

特に断りのない限り、または使用されている文脈の中でそれ以外に理解されない限り、とりわけ、「できる」、「場合がある」、「可能性がある」または「してよい」等の条件付き言語は、概して、特定の実施形態が特定の特徴、要素、及び／またはステップを含む場合がある、または含む可能性があるが、特定の特徴、要素、及び／またはステップを要求しないまたは必要としないことを許容的に伝達することを意図する。同様に、「ｉｎｃｌｕｄｅ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含んでいる）」及び「ｉｎｃｌｕｄｅｓ（含む）」などの用語は、一般に、「含むがこれに限定するものではない」ことを意味することが意図される。したがって、そのような条件付き言語は、一般に、特徴、要素及び／もしくはステップが１つもしくは複数の実施形態にいずれにせよ必要とされること、または、１つもしくは複数の実施形態が、これらの特徴、要素及び／もしくはステップが任意の特定の実施形態に含まれているまたは実行されるかどうかを、ユーザ入力またはプロンプトを用いてまたは用いずに、決定する論理を必ず含むことを黙示することを意図しない。

特に明記しない限り、「Ｘ、ＹまたはＺのうちの少なくとも１つ」または「Ｘ、Ｙ及びＺのうちの少なくとも１つ」という句などの選言的な言葉は、そうでなければ項目、用語等がＸ、ＹもしくはＺまたはそのいずれかの組み合わせ（例えば、Ｘ、Ｙ及び／またはＺ）であってよいことを示すために一般的に用いられるとして文脈の中で理解される。ゆえに、このような選言的言語は、特定の実施形態がＸの少なくとも１つ、Ｙの少なくとも１つ、またはＺの少なくとも１つがそれぞれ存在することを必要とすることを黙示することを一般的に意図しておらず、意図するべきではない。

特に明記しない限り、「ａ」または「ａｎ」などの冠詞は、一般に、1つまたは複数の記載された項目を含むと解釈すべきである。したがって、「ａ ｄｅｖｉｃｅ ｃｏｎｆｉｇｕｒｅｄ ｔｏ（〜するように構成された装置）」等の句は、１つまたは複数の列挙された装置を含むことを意図する。そのような１つまたは複数の列挙された装置は、記載された列挙を実行するように集合的に構成されることもできる。例えば、「列挙Ａ、Ｂ及びＣを実行するように構成されたプロセッサ」は、列挙Ｂ及びＣを実行するように構成された第２のプロセッサと連動して機能し、列挙Ａを実行するように構成された第１のプロセッサを含む場合がある。

本明細書中で使用される「約」、「およそ」、「概して」、「ほぼ」または「実質的に」という用語のような本明細書中で使用される程度の言語は、記載された値、量、または依然として所望の機能を果たすかもしくは所望の結果を達成する特性に近似の値、量または特性を示す。例えば、用語「約」、「およそ」、「概して」、「ほぼ」または「実質的に」という用語は、記載された量の１０％未満の範囲内、５％未満の範囲内、１％未満の範囲内、０．１％未満の範囲内、及び０．０１％未満の範囲内である量を指してよい。

本発明をその例示的な実施形態に関して説明し示したが、前述の、及び様々な他の追加及び省略が、本開示の趣旨及び範囲から逸脱することなく、その中で、及びそれになされ得る。

Claims (14)

1. 無人航空機であって、
   フレームと、
   前記フレームに取り付けられた第１の推進モータであって、第１のシャフトを前記第１のシャフトによって画定された第１の軸周りに回転させるように構成されている、前記第１の推進モータと、
   前記第１のシャフトに回転可能に結合されている、第１の複数の羽根を有する第１のプロペラと、
   前記第１の複数の羽根のうちの第１の羽根の裏面に埋め込まれた第１のデジタルカメラと、
   少なくとも１つのコンピュータプロセッサとを備え、
   前記少なくとも１つのコンピュータプロセッサは、少なくとも、
   前記第１の推進モータに、前記第１のプロペラを第１の所定速度で回転させ、
   前記第１のデジタルカメラに、第１の時間において第１のデジタル画像をキャプチャさせ、前記第１のデジタルカメラが内部に埋め込まれた前記第１の羽根は、前記第１の時間において第１の角度方位に位置合わせされており、
   前記第１のデジタルカメラに、第２の時間において第２のデジタル画像をキャプチャさせ、前記第１のデジタルカメラが内部に埋め込まれた前記第１の羽根は、前記第２の時間において第２の角度方位に位置合わせされており、
   前記第１の時間における前記第１のデジタルカメラの第１の位置と前記第２の時間における前記第１のデジタルカメラの第２の位置の間の基線距離を判定し、
   前記第１の画像の少なくとも一部内の、前記無人航空機下部の対象物の一部の第１の表現を認識し、
   前記第２の画像の少なくとも一部内の、前記無人航空機下部の前記対象物の前記一部の第２の表現を認識し、
   前記基線距離、前記第１のデジタルカメラの焦点距離、前記第１の表現及び前記第２の表現に基づいて、前記対象物の前記一部の第１の位置を判定し、
   前記第１の位置に基づいて、前記無人航空機下部の前記対象物の前記一部までの第１の距離を判定するように構成されている、前記無人航空機。
2. 前記少なくとも１つのコンピュータプロセッサが、さらに、少なくとも、
   前記撮像装置の前記第１の位置から前記対象物の前記一部の前記第１の表現を通って延在する第１の線を画定し、
   前記撮像装置の前記第２の位置から前記対象物の前記一部の前記第２の表現を通って延在する第２の線を画定し、
   前記第１の線と前記第２の線の交点を識別するように構成され、
   前記対象物の前記一部の前記第１の位置は、前記第１の線と前記第２の線の前記交点に基づいて判定される、請求項１に記載の無人航空機。
3. 前記少なくとも１つのコンピュータプロセッサが、さらに、少なくとも、
   前記第２の角度方位または前記第２の時間のうち少なくとも一方を、前記第１の所定速度に基づいて選択するように構成されている、請求項１に記載の無人航空機。
4. シーンの少なくとも一部の第１の画像を、第１の時間において第１の撮像装置によってキャプチャすることであって、前記第１の撮像装置は、第１の航空機の第１のプロペラの第１の羽根の第１の表面に、前記第１のプロペラの第１のハブから第１の半径において統合され、前記第１のプロペラは、第１の角速度で回転中である、前記キャプチャすることと、
   前記シーンの少なくとも前記一部の第２の画像を第２の時間において前記第１の撮像装置によってキャプチャすることと、
   前記第１の画像における前記シーンの少なくとも１つの点を、少なくとも１つのコンピュータプロセッサによって認識することと、
   前記第２の画像における前記シーンの前記少なくとも１つの点を、前記少なくとも１つのコンピュータプロセッサによって認識することと、
   前記第１の時間における前記第１の撮像装置の第１の位置を判定することと、
   前記第２の時間における前記第１の撮像装置の第２の位置を判定することと、
   前記第１の位置と前記第２の位置の間の基線距離を判定することと、
   前記シーンの前記少なくとも１つの点までの第１の距離を、前記少なくとも１つのコンピュータプロセッサによって、前記基線距離、前記第１の画像及び前記第２の画像に基づいて判定することと、を含む、方法。
5. 前記第１の羽根が、前記第１の時間において第１の角度方位にあり、
   前記第１の羽根が、前記第２の時間において第２の角度方位にあり、
   前記第２の角度方位は、前記第１の角度方位から約１８０度離れており、
   前記基線距離は、前記第１の半径の約２倍である、請求項４に記載の方法。
6. 前記第１の画像における前記シーンの前記少なくとも１つの点を認識することが、
   前記第１の画像における前記シーンの前記少なくとも１つの点の第１の表現を、前記少なくとも１つのコンピュータプロセッサによって識別することを含み、
   前記第２の画像における前記シーンの前記少なくとも１つの点を認識することが、
   前記第２の画像における前記シーンの前記少なくとも１つの点の第２の表現を、前記少なくとも１つのコンピュータプロセッサによって識別することを含み、
   前記対象物の前記一部までの前記第１の距離を判定することが、
   前記第１の位置から前記第１の表現を通る第１のエピポーラ線を、前記少なくとも１つのコンピュータプロセッサによって画定することと、
   前記第２の位置から前記第２の表現を通る第２のエピポーラ線を、前記少なくとも１つのコンピュータプロセッサによって画定することと、
   前記第１のエピポーラ線と前記第２のエピポーラ線の交点の位置を、前記少なくとも１つのコンピュータプロセッサによって判定することと、
   前記対象物までの前記第１の距離を、前記第１のエピポーラ線と前記第２のエピポーラ線の前記交点の前記位置に基づいて、前記少なくとも１つのコンピュータプロセッサによって判定することとを含む、請求項４に記載の方法。
7. 前記第１の時間における前記第１の羽根の第１の角度方位を判定することと、
   前記第２の時間における前記第１の羽根の第２の角度方位を判定することとをさらに含み、
   前記シーンの前記少なくとも１つの点までの前記第１の距離を、前記第１の画像及び前記第２の画像に基づいて判定することが、
   前記第１の画像及び前記第２の画像を、前記第１の角度方位と前記第２の角度方位の差に基づいて互いに対して位置合わせすることを含む、請求項４に記載の方法。
8. 前記第１の画像における前記シーンの前記少なくとも１つの点を認識することが、
   前記第１の画像の複数の点を前記少なくとも１つのコンピュータプロセッサによって認識することを含み、
   前記第２の画像における前記シーンの前記少なくとも１つの点を認識することが、
   前記第２の画像における前記複数の対象物のうち少なくともいくつかの一部を、前記少なくとも１つのコンピュータプロセッサによって認識することを含み、
   前記シーンの前記少なくとも１つの点までの前記第１の距離を判定することが、
   前記シーンの前記複数の点のうち少なくともいくつかまでの距離を、前記第１の画像及び前記第２の画像に基づいて、前記少なくとも１つのコンピュータプロセッサによって判定することであって、前記第１の距離は、前記距離のうちの１つである、判定することと、
   前記シーンに対する点群を、前記距離に基づいて画定することとを含み、前記デプスマップは、複数の領域の各々までの距離を表現し、前記デプスマップの前記領域の各々は、前記複数の対象物のうち前記少なくともいくつかの前記一部のうち１つに対応する、請求項４に記載の方法。
9. 前記シーンの少なくとも前記一部の第３の画像を、前記第１の時間または前記第２の時間において第２の撮像装置によってキャプチャすることであって、前記第２の撮像装置は、前記第１のプロペラの第２の羽根の第２の表面に、前記第１のハブから第２の半径において統合されている、前記キャプチャすることと、
   前記第３の画像における前記シーンの前記少なくとも１つの点を、前記少なくとも１つのコンピュータプロセッサによって認識することと、
   前記シーンの前記少なくとも１つの点までの第２の距離を、前記少なくとも１つのコンピュータプロセッサによって、前記第３の画像、及び前記第１の画像または前記第２の画像の一方に基づいて判定することとをさらに含む、請求項４に記載の方法。
10. 前記シーンの少なくとも前記一部の第３の画像を、前記第１の時間または前記第２の時間において第２の撮像装置によってキャプチャすることであって、前記第２の撮像装置は、前記第１の航空機のフレームまたは前記第１のプロペラに回転可能に結合されている第１のモータの少なくとも一方の第２の表面に統合されている、前記キャプチャすることと、
    前記第３の画像における前記シーンの前記少なくとも１つの点を、前記少なくとも１つのコンピュータプロセッサによって認識することと、
    前記シーンの前記少なくとも１つの点までの第２の距離を、前記第３の画像、及び前記第１の画像または前記第２の画像のうち一方に基づいて判定することとをさらに含む、請求項４に記載の方法。
11. 前記シーンの少なくとも前記一部の第３の画像を、前記第１の時間または前記第２の時間の一方において第２の撮像装置によってキャプチャすることであって、前記第２の撮像装置は、前記第１の航空機の第２のプロペラの第２の羽根の第２の表面に、前記第２のプロペラの第２のハブから第２の半径において統合され、前記第２のプロペラは、第２の角速度で回転中である、前記キャプチャすることと、
    前記第３の画像における前記シーンの前記少なくとも１つの点を、前記少なくとも１つのコンピュータプロセッサによって認識することと、
    前記シーンの前記少なくとも１つの点までの第２の距離を、前記第３の画像、及び前記第１の画像または前記第２の画像のうち一方に基づいて判定することとをさらに含む、請求項４に記載の方法。
12. プロペラであって、
    回転の軸を画定し前記プロペラが回転可能に取り付けられる、推進モータのシャフトに取り付けるように構成されたハブと、
    前記ハブに結合された第１の羽根と、
    前記第１の羽根の第１の表面内に、前記ハブから第１の半径において埋め込まれた第１の撮像装置と、を備え、
    前記第１の撮像装置は、前記シャフトによって画定された回転の前記軸に実質的に平行に位置合わせされた第１の方位の軸を有する第１のレンズを有し、
    前記第１の撮像装置は、第１の時間に又は前記第１の羽根が第１の角度方位に位置合わせされた状態で、第１の画像をキャプチャするように構成され、
    前記第１の撮像装置は、第２の時間に又は前記第１の羽根が第２の角度方位に位置合わせされた状態で、第２の画像をキャプチャするように構成されている、プロペラ。
13. 前記第１の方位は、前記第２の方位から１８０度にある請求項１２に記載のプロペラ。
14. 前記ハブに結合された第２の羽根と、
    前記第２の羽根の第２の表面内に、前記ハブから第２の半径において埋め込まれた第２の撮像装置とをさらに備え、
    前記第２の撮像装置は、前記シャフトによって画定された回転の前記軸に実質的に平行に位置合わせされた第２の方位の軸を有する第２のレンズを備える、請求項１２に記載のプロペラ。