JP6275887B2 - センサ較正方法及びセンサ較正装置 - Google Patents

センサ較正方法及びセンサ較正装置 Download PDF

Info

Publication number
JP6275887B2
JP6275887B2 JP2017000575A JP2017000575A JP6275887B2 JP 6275887 B2 JP6275887 B2 JP 6275887B2 JP 2017000575 A JP2017000575 A JP 2017000575A JP 2017000575 A JP2017000575 A JP 2017000575A JP 6275887 B2 JP6275887 B2 JP 6275887B2
Authority
JP
Japan
Prior art keywords
sensors
uav
sensor
item
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017000575A
Other languages
English (en)
Other versions
JP2017102942A (ja
Inventor
タン、ケタン
ザオ、ヨンジアン
リ、ビン
ゾウ、グユエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2017000575A priority Critical patent/JP6275887B2/ja
Publication of JP2017102942A publication Critical patent/JP2017102942A/ja
Application granted granted Critical
Publication of JP6275887B2 publication Critical patent/JP6275887B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

近年の複数の無人航空機(UAV)は、その小さい寸法及び柔軟性により、監視及び追跡、リモートセンシング、捜索及び救出活動、科学的調査、娯楽及び趣味等のような様々な複数の大衆向け用途に幅広く用いられるようになっている。複数のUAVは、一般的には、複数の通信リンクを介して、遠隔制御機器と搭載された制御プログラムいずれの一つによって、無線制御され、そのような複数の通信リンクの性能は、複数のUAVのミッションの安全性及び有効性に直接的な影響を有することがある。複数のセンサが初期構成から偏差した場合、UAVのミッション中に複数の問題が生じることがある。
無人航空機(UAV)が複数のセンサを備える場合、UAVの1つの有用な用途は、大量のデータを収集することである。複数の非限定的な例は、ある領域の地形の複数の写真撮影、音声データ記録、大気汚染レベル測定、及び大気質のモニタリングを含む。UAVが離陸する前に、一般的には、データ収集の不足を補うために較正が行われる。UAVが動作中(限定的ではないが、UAVが飛行中である場合を含む)の場合、較正は、複数の無線通信を介して遠隔で行われてもよい。それにも関わらず、多くの場合、UAVは、複数の無線通信の範囲外に移動することがあるため、遠隔による較正は非実用的である。UAVは、複数のセンサのための内部構成または複数のパラメータのセットを有するセンサ装置を有してもよい。装置の設定が初期または最適構成から偏差する場合、収集されたデータは信頼できないまたは正確性の低いものとなる。この困難を克服するために、本明細書に記載された主題は、複数のUAV及び複数のセンサを自動的に較正するための複数の搭載システム及び方法を開示する。自動較正は、UAVの飛行中に行われてもよく(例えば、インライン較正)、データ収集プロセスをストリームライン化してもよい。特に、不要データの収集を回避し、または、データの質を向上させることは、コストを大幅に削減し得る。
一態様において、本明細書では、センサ較正方法が開示される。方法は、無人航空機(UAV)に接続された複数の異なるタイプの複数のセンサから、UAVの飛行中にセンサデータを取得する段階であって、複数のセンサは、互いに対する初期空間構成を有する段階と、プロセッサを介して、複数のセンサの互いに対する初期空間構成から次の空間構成への空間構成における変化を、センサデータに基づいて検出する段階と、次の空間構成を決定する段階と、複数のセンサのうち少なくとも1つからのデータを、次の空間構成に基づいて、UAVの飛行中に調整する段階とを備える。
他の態様において、本明細書では、インラインセンサの較正装置が開示され、装置は、(a)(i)無人航空機(UAV)と接続され、かつ、(ii)UAVの飛行中にセンサデータを与えるように構成される複数の異なるタイプの複数のセンサであって、互いに対する初期空間構成を有する複数のセンサと、(b)個別にまたは集合的に、(i)センサデータに基づいて、複数のセンサの、互いに対する初期空間構成から次の空間構成への、空間構成における変化を検出し、(ii)次の空間構成を決定し、(iii)UAVの飛行中に、次の空間構成に基づいて、複数のセンサのうち少なくとも1つからのデータを調整するように構成される、1つまたは複数のプロセッサとを備える。
他の態様において、本明細書では、センサ較正方法が開示され、方法は、無人航空機(UAV)と接続された複数の異なるタイプの複数のセンサからセンサデータを取得する段階と、基準座標系を選択する段階と、プロセッサを介して、複数のセンサ間の予測される空間関係に基づいて、複数のセンサからのセンサデータを基準座標系に表す段階と、プロセッサを介して、複数のセンサ間におけるセンサデータの不一致を検出する段階であって、不一致は、複数のセンサ間の予測される空間関係におけるエラーを示す、段階と、(e)実際の空間構成を決定する段階と、(f)実際の空間構成に基づいて、複数のセンサのうち少なくとも1つからのデータを調整する段階とを備える。
他の態様において、本明細書では、センサ較正装置が開示され、装置は、(a)(i)無人航空機(UAV)と接続され、かつ、(ii)センサデータを与えるように構成される複数の異なるタイプの複数のセンサと、(b)個別にまたは集合的に、(i)基準座標系を選択し、(ii)複数のセンサ間の予測される空間関係に基づいて、複数のセンサからのセンサデータを基準座標系に表し、(iii)複数のセンサ間におけるセンサデータの不一致であって、複数のセンサ間の予測される空間関係におけるエラーを示す不一致を検出し、(iv)実際の空間構成を決定し、(v)実際の空間構成に基づいて、複数のセンサのうち少なくとも1つからのデータを調整するように構成される、1つまたは複数のプロセッサとを備える。
他の態様において、本明細書では、センサ較正方法が開示され、方法は、無人航空機(UAV)と接続された複数の異なるタイプの複数のセンサからセンサデータを取得する段階と、プロセッサを介して、複数のセンサを複数のサブセットにグループ化する段階であって、各サブセットは、(i)少なくとも2つのセンサと、(ii)複数のセンサの異なる組み合わせとを有する段階と、プロセッサを介して、センサデータに基づいて、各サブセットにおける少なくとも2つのセンサ間の予測される空間関係を算出する段階と、予測される空間関係に基づいて、各サブセットにおける少なくとも2つのセンサ間の実際の空間関係を決定する段階と、プロセッサを介して、少なくとも2つのセンサ間の実際の空間関係に基づいて、各サブセットにおける複数のセンサの、互いに対する空間構成を算出する段階とを備える。
他の態様において、本明細書では、センサ較正装置が開示され、装置は、(a)(i)無人航空機(UAV)と接続され、かつ、(ii)センサデータを与えるように構成される複数の異なるタイプの複数のセンサと、(b)個別にまたは集合的に、(i)複数のセンサを、複数のサブセットであって、各サブセットは、(i)少なくとも2つのセンサと、(ii)複数のセンサの異なる組み合わせとを有する複数のサブセットにグループ化し、(ii)センサデータに基づいて、各サブセットにおける少なくとも2つのセンサ間の予測される空間関係を算出し、(iii)予測される空間関係に基づいて、各サブセットにおける少なくとも2つのセンサ間の実際の空間関係を決定し、(iv)少なくとも2つのセンサ間の実際の空間関係に基づいて、各サブセットにおける複数のセンサの、互いに対する空間構成を算出するように構成される、1つまたは複数のプロセッサとを備える。
他の態様において、本明細書では、センサ較正方法が開示され、方法は、複数の異なるタイプの複数のセンサからセンサデータを取得する段階と、プロセッサを介して、複数のセンサを複数のサブセットにグループ化する段階であって、各サブセットは、(i)基準センサと1つまたは複数の測定センサとを備える少なくとも2つのセンサ、及び(ii)複数のセンサの異なる組み合わせを有し、複数のサブセットの少なくとも2つは、複数の異なる基準センサを有する段階と、プロセッサを介して、センサデータに基づいて、サブセット当たり少なくとも1つのカルマンフィルタを用いて、各サブセットにおける少なくとも2つのセンサ間の実際の空間関係を決定する段階と、プロセッサを介して、少なくとも2つのセンサ間の実際の空間関係に基づいて、各サブセットにおける複数のセンサの、互いに対する空間構成を算出する段階とを備える。
他の態様において、本明細書では、センサ較正装置が開示され、装置は、(a)センサデータを与えるように構成される複数の異なるタイプの複数のセンサと、(b)個別にまたは集合的に、(1)複数のセンサを、複数のサブセットであって、各サブセットは、(i)基準センサと1つまたは複数の測定センサとを備える少なくとも2つのセンサ、及び(ii)複数のセンサの異なる組み合わせを有し、複数のサブセットの少なくとも2つは、複数の異なる基準センサを有する、複数のサブセットにグループ化し、(2)センサデータに基づいて、サブセット当たり少なくとも1つのカルマンフィルタを用いて、各サブセットにおける少なくとも2つのセンサ間の実際の空間関係を決定し、(3)少なくとも2つのセンサ間の実際の空間関係に基づいて、各サブセットにおける複数のセンサの、互いに対する空間構成を算出するように構成される、1つまたは複数のプロセッサとを備える。
複数のシステム及び複数の方法のいくつかまたは全ては、複数の異なるタイプの複数のセンサを含む。複数の異なるタイプの複数のセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを備える。複数のセンサのうち少なくとも1つは、慣性センサであり、複数のセンサからのセンサデータは、慣性センサと関連付けられる座標系に与えられる。
いくつかの実施形態では、複数のシステム及び複数の方法の初期空間構成は、複数のセンサの各々に対して、互いに対する初期位置及び初期方向を備える。空間構成における変化は、複数のセンサのうち少なくとも1つの、複数のセンサのうちの他の複数のセンサに対する、初期位置及び/または初期方向における変化を備える。
いくつかの実施形態では、複数のシステム及び複数の方法の初期空間構成は、UAVの離陸に先立って与えられる。代替的に、初期空間構成は、UAVの飛行中に与えられる。
いくつかの実施形態では、複数のシステム及び複数の方法の空間構成における変化は、UAVの動きによって生じる。追加的な複数の実施形態において、空間構成における変化は、UAVの振動によって生じる。
いくつかの例において、1つまたは複数のプロセッサは、複数のカルマンフィルタを用いて次の空間構成を決定し、複数のカルマンフィルタは、1つまたは複数の拡張カルマンフィルタ及び/またはアンセンテッドカルマンフィルタを備える。
いくつかの実施形態では、複数のシステム及び複数の方法の1つまたは複数のプロセッサは、UAVに搭載される。代替的に、1つまたは複数のプロセッサは、UAVの外部デバイスにあり、UAVの飛行中に、UAVと通信を行う。
いくつかの実施形態では、複数のシステム及び複数の方法の複数の異なるタイプの複数のセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを備える。複数のセンサのうち少なくとも1つは、慣性センサである。特定の複数の例では、基準座標系は、慣性センサと関連付けられる座標系である。
いくつかの実施形態では、複数のセンサ間の予測される空間関係は、複数のセンサの各々に対して、互いに対する、初期位置及び初期方向を備える複数のセンサの初期空間構成からの、構成における予測される空間変化に基づく。追加的な複数の実施形態において、初期空間構成は、UAVの離陸に先立って、またはUAVの飛行中に与えられる。
いくつかの実施形態では、複数のセンサの互いに対する空間位置及び相対的空間方向を備える。
いくつかの用途において、複数のセンサの実際の空間構成は、UAVの動作中に決定される。複数のセンサの実際の空間構成は、UAVの飛行中に決定される。いくつかの例において、複数のセンサのうち少なくとも1つからのデータは、UAVの動作中に調整される。
複数の特定の実施形態では、実際の空間構成に基づいて調整されたデータは、ビジョンセンサによって記録された画像データである。
様々な複数の例において、各サブセットは、基準センサ及び1つまたは複数の測定センサを有する。各サブセットに対する基準センサは、同じまたは異なる。
いくつかの実施形態では、複数のシステム及び複数の方法は、空間構成に基づいて、複数のセンサのうち少なくとも1つからのデータを調整する段階をさらに備える。さらに、実際の空間構成に基づいて調整されたデータは、ビジョンセンサによって記録された画像データである。
複数の様々な実施形態では、各サブセットにおける複数のセンサ間の予測される空間関係は、複数のセンサの各々に対して、互いに対する、初期位置及び初期方向を備える複数のセンサの初期空間構成からの、構成における予測される空間変化に基づく。複数のさらなる実施形態では、初期空間構成は、UAVの離陸に先立って、またはUAVの飛行中に与えられる。
複数のシステム及び/または複数の方法のいくつかまたは全ては、複数のセンサの、互いに対する相対的空間位置及び相対的空間方向を含む、複数のセンサ間の予測される空間関係を備える。
いくつかの実施形態では、複数のシステム及び/または複数の方法は、複数のセンサを複数のサブセットにグループ化する。さらに、複数のシステム及び/または複数の方法は、センサデータに基づいて、各サブセットにおける少なくとも2つのセンサ間の予測される空間関係を算出し、カルマンフィルタは、予測される空間関係に基づいて、実際の空間関係を決定する。
本発明の複数の異なる態様は、個別に、集合的にまたは互いとの組み合わせで認識され得ることが、理解されるべきである。本明細書に記載された本発明の複数の様々な態様は、後述される特定の複数の用途またはあらゆる種類の移動可能な及び/または固定の複数のオブジェクト間におけるデータ通信のいずれに対しても適用可能である。
本発明の他の複数の目的及び複数の特徴は、明細書、特許請求の範囲及び添付された複数の図面を参照することによって明らかになろう。
[組み込みによる参照]
本明細書に記載される複数の文献、複数の特許及び複数の特許出願の全ては、各個別の文献、特許または特許出願が参照により組み込まれるべく詳細にかつ個別に示されたものと同程度に、参照により本明細書に組み込まれる。
本発明の新規な複数の特徴は、添付の特許請求の範囲において詳細に記載される。本発明の複数の特徴及び複数の利点に対するより深い理解は、本発明の複数の原理が用いられる例示的な複数の実施形態を記載する以下の詳細な説明及び添付の複数の図面の参照により得られる。
本発明の実施形態に係る複数の搭載されたセンサを有するUAVの例である。
本発明の実施形態に係る基準フレーム変換の例である。
本発明の実施形態に係る第1及び第2のカメラを有するステレオビジョンカメラからの画像の例である。
自動化されたエラー検出及びインライン較正処理の全体を示すフローチャートである。
本発明の実施形態に係るセンサエラー検出方法のフローチャートである。
本発明の実施形態に係るインライン較正方法を示すフローチャートである。
本発明の実施形態に係る均一な基準センサを有するシステムアーキテクチャの例である。
本発明の実施形態に係る複数の基準センサを有するシステムアーキテクチャの例である。
本発明の実施形態に係る無人航空機を示す。
本発明の実施形態に係る支持機構及び積載物を含む可動オブジェクトを示す。
本発明の実施形態に係る可動オブジェクトを制御するためのシステムのブロック図による模式図である。
本発明のシステム、デバイス及び方法は、無人航空機(UAV)に搭載された複数のセンサ及びUAVに搭載されたセンサを較正する方法を提供する。UAVの説明は、あらゆる種類の無人輸送体またはあらゆる種類の可動オブジェクトに適用可能である。輸送体の説明は、UAVに搭載されている状態のあらゆるセンサに適用可能である。UAVに搭載された複数のセンサの例は、複数のビジョンセンサ、GPSまたはIMUを含む。
本発明のシステム、デバイス及び方法は、無人航空機(UAV)に搭載された複数のセンサ及びUAVに搭載された複数のセンサを較正する複数の方法を提供する。記載された開示の複数の様々な態様は、複数のセンサを備える任意の複数の輸送体に加えて、ここで特定される複数の用途のいずれかに適用可能である。本発明の異なる態様は、個別に、集合的にまたは互いとの組み合わせで認識され得ることが、理解されるべきである。
図1は、無人航空機(UAV)の例を示す。本明細書におけるUAV101のあらゆる説明は、任意の種類の可動オブジェクトに適用可能である。UAVの説明は、(例えば、空中、陸上、水中または宇宙を横断可能な)任意の種類の無人可動オブジェクトに適用可能である。UAVは、リモートコントローラからの複数のコマンドに応答可能であってもよい。リモートコントローラは、UAVに接続されていなくてもよく、リモートコントローラは、離れた位置からUAVと無線通信を行ってもよい。いくつかの例において、UAVは、自主的にまたは半自主的に動作可能であってもよい。UAVは、事前にプログラムされた複数の命令のセットに従うことが可能であってもよい。いくつかの例において、UAVは、リモートコントローラからの1つまたは複数のコマンドに応答することによって半自主的に動作してもよく、または自主的に動作してもよい。例えば、リモートコントローラからの1つまたは複数のコマンドは、UAVによる一連の自主的または半自主的な動作を、1つまたは複数のパラメータに従って開始させてもよい。
UAV101は、航空機であってもよい。UAV101は、UAV101が空中を動き回ることを可能にし得る1つまたは複数の推進ユニット102を有してもよい。1つまたは複数の推進ユニット102は、UAV101が、1つまたは複数、2つまたはそれより多く、3つまたはそれより多く、4つまたはそれより多く、5つまたはそれより多く、6つまたはそれより多くの自由度で動き回ることを可能にしてもよい。いくつかの例において、UAV101は、1、2、3またはそれより多くの回転軸の周りを回転可能であってもよい。複数の回転軸は、互いに直交していてもよい。複数の回転軸は、UAVの飛行コース全体にわたって、互いに直交した状態を維持してもよい。複数の回転軸は、ピッチ軸、ロール軸及び/またはヨー軸を含んでもよい。UAV101は、1つまたは複数の次元に沿って移動可能であってもよい。例えば、UAV101は、1つまたは複数の回転翼によって生成された揚力によって、上方に移動可能であってもよい。いくつかの例において、UAVは、Z軸(UAVの方向に対して、上向きであってもよい)、X軸及び/またはY軸(側方に向かってもよい)に沿って移動可能であってもよい。UAVは、互いに直交し得る1、2または3つの軸に沿って移動可能であってもよい。
UAV101は、回転翼機であってもよい。いくつかの例において、UAV101は、複数の回転翼を含み得るマルチ回転翼機であってもよい。複数の回転翼は、UAVに対して揚力を生成するべく、回転可能であってもよい。複数の回転翼は、UAVが自由に空中を動き回ることを可能にし得る複数の推進ユニットであってもよい。複数の回転翼は、同じ速度で回転してもよく、及び/または同じ量の揚力または推力を生成してもよい。複数の回転翼は、任意に、異なる速度で回転してもよく、これは、異なる量の揚力または推力を生成し、及び/またはUAVの回転を可能にし得る。いくつかの例において、1、2、3、4、5、6、7、8、9、10またはそれより多くの回転翼が、UAVに与えられてもよい。複数の回転翼は、これらの複数の回転軸が互いに平行となるように構成されてもよい。いくつかの例において、複数の回転翼は、互いに対して任意の角度をなす複数の回転軸を有してもよく、これは、UAVの動きに影響を与え得る。
UAV101は、UAVの動作中にデータを収集する複数の搭載されたセンサを有してもよい。複数のセンサは、初期構成を有してもよい。複数のセンサの初期構成は、初期及び/または最適な設定から偏差してもよい。従って、UAVが飛行中の場合における複数のセンサの自動インライン較正は、有益であり、いくつかの場合には、収集されたデータの質及び信頼性確保のために必要となり得る。本明細書に記載された主題は、UAV及びセンサを自動的に較正するための搭載システム及び方法を開示する。複数の自動インライン較正システム及び方法は、データ収集プロセスを容易にし得る。
UAV101は、複数のビジョンセンサを備えてもよく、例えば、イメージセンサは、単眼カメラ、ステレオビジョンカメラ、レーダ、ソナーまたは赤外線カメラであってもよい。UAV101は、複数の位置センサ、例えば、GPS、IMUまたはLIDARをさらに備えてもよい。UAVに搭載された複数のセンサは、UAVの位置、他の複数のオブジェクトの位置、UAV101の方向または環境情報のような情報を収集してもよい。単一のセンサが、上述された複数のパラメータのいずれか1つを完全に決定可能であってもよく、または複数のセンサのグループが、列挙された複数のパラメータのうち1つを決定するために連携してもよい。複数のセンサは、位置のマッピング、複数の位置間のナビゲーション、複数の障害物の検出またはターゲットの検出のために用いられてもよい。
複数のセンサは、UAVに搭載されまたは非搭載の状態で配置されてもよい。複数の搭載されたセンサは、UAV101の本体に配置されてもよい。複数のセンサ103は、UAV101の本体外部に取り付けられてもよく、及び/またはセンサ104は、UAV101の本体内部に取り付けられてもよい。複数のセンサは、本体の単一領域の中央に配置されてもよい。代替的に、複数のセンサは、本体の複数の異なる位置に配置されてもよい。複数のセンサは、永久的にまたは着脱可能に、UAV101に取り付けられてもよい。UAV101は、積載物を運搬する支持機構105を有してもよい。複数のセンサは、支持機構106に取り付けられてもよい。
複数のセンサは、1つまたは複数のセンサの複数のパラメータによって特徴づけられてもよい。複数のセンサパラメータは、複数の内部または外部パラメータであってもよい。内部パラメータは、センサの内部構成に関するものであってもよい。複数の内部パラメータの例は、焦点距離、倍率、複数の径方向歪み係数及び複数の接線歪み係数を含んでもよい。内部パラメータは、複数のハードウェア構成に依存する任意の複数のパラメータであってもよく、いくつかの場合には、複数の内部パラメータは、センサに対する工場設定によって設定されてもよい。複数の外部パラメータは、任意の2つまたはそれより多くのセンサ間の空間関係に関するものであってもよい。各センサは、UAVに搭載された他の複数のセンサに依存しない相対座標系を有してもよい。複数の外部特性は、UAVの複数の異なる位置における複数のセンサからのデータを組み合わせるセンサフュージョンにとって重要な場合がある。センサフュージョンは、他のセンサの基準フレームと一致するように、所与のセンサの複数の相対座標を変換する処理を伴ってもよい。
図2は、所与のセンサの複数の相対座標を、他のセンサの基準フレームと一致するように変換処理を説明する。図2は、センサ1の座標系202においてセンサ1から見た立方体201と、センサ2の座標系204においてセンサ2から見た立方体203とを示す。変換は、センサ2の座標系204が、センサ1の座標系202と一致するように回転させられるように行われてもよい。変換は、変換行列によって数学的に説明されてもよい。
複数の内部特性は、センサに固有であってもよく、まれに異なってもよい。複数の内部特性の再較正は、UAVが動作していない間、定期的に行われてもよい。複数の内部特性を再較正することは、UAV101の動作中、必須でなくてもよい。なぜなら、これらの複数の特性は、UAV101の動作中、複数の外部特性と比べ、比較的一貫した状態で維持されるからである。複数の内部特性は、公知の較正基準またはターゲットの画像を解釈することによって、較正されてもよい。較正基準またはターゲット上における複数の線または複数の点の消去は、焦点距離及び歪みのような複数の内部特性を較正するために用いられてもよい。
複数の外部特性は、複数の内部特性と比べてより高い頻度で変化してもよい。UAVの着陸及び離陸中におけるシフト、振動及び熱ドリフトは、複数のセンサの複数の外部特性における複数の変化を引き起こすことがある。例えば、カメラ位置は、飛行中のUAVの振動によって、シフトすることがある。複数の外部特性は、UAVの動作中にこれらの初期構成から偏差することがある。そのため、UAVの動作中に、複数の外部特性の再較正を実行することが好ましいことがある。UAV101の動作中における複数の外部特性の再較正は、複数の演算リソースを必要としてもよく、複数の演算リソースは、UAV101に搭載または非搭載であってもよい。複数の外部特性の再較正は、設定された時間頻度で行われてもよく、例えば、複数の外部特性は、1分、5分、10分、20分、30分、40分、50分、1時間、2時間、3時間、4時間、5時間、10時間、12時間おきに、または毎日1回再較正されてもよい。代替的に、複数の外部特性の再較正は、設定された距離頻度で行われてもよく、例えば、再較正は、UAV101が初期開始位置からさらに0.5マイル、1マイル、2マイル、3マイル、4マイル、5マイル、10マイル、15マイル、20マイル、25マイル、30マイル、35マイル、40マイル、45マイル、50マイルまたは100マイル移動する度に、行われてもよい。搭載された複数の外部特性の較正頻度は、入手可能な複数の演算リソース、燃料またはパワー要件、または複数の飛行条件に基づいて、決定されてもよい。いくつかの飛行条件は、複数の外部センサの較正において期待される偏差を増減させることがある。例えば、UAVが低速飛行している場合、UAV本体の振動が少なくなり、そのため複数の外部センサの較正における偏差が少なくなり得る。
複数の外部パラメータは、初期較正を有してもよい。複数の外部パラメータの初期較正は、複数のセンサ間の相対的な複数の差異、例えば、2つまたはそれより多くのセンサの相対的な複数の位置、複数の回転及び/または複数の変位を説明してもよい。複数のパラメータは、複数のセンサへの複数の経時的変化、例えば、特定の時刻及び次の時刻の間における複数のセンサの複数の変位を含んでもよい。複数の変位は、並進変位及び/または回転変位を含んでもよい。並進変位は、3つの軸のうち1つまたは複数に沿って行われてもよい。同様に、回転変位は、3つの軸のうち1つまたは複数において行われてもよい。概して、較正は、フィルタリング処理によって実現される。複数の非限定的な例は、様々な種類の複数のカルマンフィルタを含む。
複数の外部パラメータの較正は、UAV101の動作中(例えば、飛行中)に調整されてもよい。複数の外部パラメータを較正する方法は、プロセッサを介して、2つまたはそれより多くのセンサの互いに対する、初期空間構成から次の空間構成への空間構成における変化を検出する段階を備えてもよい。複数のさらなる実施形態では、方法は、複数のカルマンフィルタのような複数のフィルタを用いて、次の空間構成を決定する。最終的に、方法は、UAVの飛行中に、次の空間構成に基づいて、複数のセンサのうち少なくとも1つからのデータを調整する段階を含んでもよい。
UAVは、1つまたは複数の搭載されたプロセッサを有してもよい。複数のプロセッサは、個別にまたは集合的に、(i)センサデータに基づいて、1つまたは複数のセンサの互いに対する、初期空間構成から次の空間構成への空間構成における変化を検出し、(ii)複数のカルマンフィルタを用いて、次の空間構成を決定し、(iii)UAVの飛行中に、次の空間構成に基づいて、複数のセンサのうち少なくとも1つからのデータを調整するように構成されてもよい。代替的に、プロセッサまたは複数のプロセッサは、UAVに非搭載であってもよい。UAVは、所与のセンサの空間構成についての情報を、非搭載プロセッサに送信してもよく、非搭載プロセッサは、上述された複数の段階(i)−(iii)を実行し、情報を逆にUAVに送信するように構成されてもよい。
[複数のカメラの較正]
いくつかの実施形態では、複数のシステム、デバイス及び方法は、複数のセンサを含んでもよい。複数のセンサの較正は、センサデータの積算を備えてもよい。図3を参照すると、1つのカメラが、301に示される画像を撮影してもよく、他のカメラが、異なる変位及び異なる方向で第2の画像302を撮影してもよい。そのため、2つのカメラは、較正される必要があり、較正は、第1のカメラによって撮影された画像301及び第2のカメラによって撮影された第2の画像302の双方を用いてもよい。以下、複数の較正の数学的公式を開示する。
実施形態において、2つまたはそれより多くの複数のカメラは、組み立てられてステレオカメラシステムをなす。2つまたはそれより多くの複数のカメラの較正は、以下の通りである。第1に、各カメラは、画像を撮影する。次に、特定システムは、
個の特徴を選択する。数学的公式では、
及び
は、2つのカメラを表す。これら複数の画像において特定された複数の特徴は、複数のベクトル
及び
によって表され、ここで、
である。複数の特徴
及び
は、複数のカメラの複数の座標系
及び
によって各々決定される。忠実なマッピングのために、複数の特徴は、同じ基準座標系
で分析される必要がある。複数の特徴
及び
と基準座標系
との間の関係は、射影
及び
によって記述されてもよく、ここで、
及び
は、標準化された複数の座標、すなわち
及び
において記述された複数の特徴である。
及び
は、各々、複数のカメラ
及び
の複数の射影であり、これらは、複数の内部パラメータ
及び複数の外部パラメータ(例えば、回転
及び並進
及び
によって決定されてもよい。一度複数の射影
及び
が算出され、複数の内部パラメータ
及び
が既知になると、複数の外部パラメータ
及びTは、算出されてもよい。
複数のパラメータR及びTが得られた場合、較正は完了である。
一般的には、複数の内部パラメータ
及び
は変化しない。これらが変化した場合であっても、変化量は小さい。そのため、複数の内部パラメータは、オフラインで較正されてもよい。すなわち、いくつかの用途において、複数の内部パラメータは、UAVの離陸前に決定されてもよい。複数の例において、複数の内部パラメータ
及び
は、飛行中、固定された状態で維持されるため、較正は、
及び
に対して複数の最適解を算出することである。ある例は、複数の解を見出すために、複数の射影エラーの最小化を用いる。
この問題は、非線形最適化問題である。様々な複数の解法が、複数の実施形態に含まれてもよい。いくつかの用途において、複数の解は、バンドル調整方法によって実現される。バンドル調整方法では、複数の射影
及び
は、複数の所与の初期値である。必須行列
を得るためにエピポーラ拘束を用い、次に、
を取得するために分解(例えば、特異値分解)を行い、ここで、
は、歪み対象行列
である。
この解は、これらの複数の特徴と、他のカメラによって撮影された他の画像における複数の特徴との間で、対応するマッピングを見出す。
いくつかの実施形態では、ステレオカメラシステムを形成する2つのカメラα及びβの空間構成は、1つのカメラを左側に、他方を右側に構成する。
[カメラ及びIMUの較正]
いくつかの実施形態では、複数のシステム及び複数の方法は、カメラ及びIMUの較正を含む。この較正の原理は、複数の画像をカメラによって経時的に得ること、及び自己の複数の位置変化をカメラによって予測することに基づく。いくつかの例において、自己較正方法は、2つのカメラ
及び
によって異なる複数の時刻
及び
に撮影されたカメラの2つの画像を検討して、2つの差し迫ったカメラを較正することと同様である。同様に、自己較正スキームは、IMUに適用されてもよい。
及び
に各々、カメラ及びIMUの自己座標の複数の変化を表現させる。複数の添え字
を配置することにより、時刻
における複数の座標系マッピング
及び
を表現させる。その結果、時刻1に関連する時刻2における複数のマッピングは、
及び
となる。
にカメラ及びIMU間のマッピングを表現させることにより、視覚及び手の較正式は
となり、ここで、
は、以下の形で標準化されたマッピングである。


さらに、
及び
である。これらの方程式に従って、かつ、複数の回転行列の複数の特性を考慮すると、
及び
の複数の解法が存在する。一意の解を保証するためには、n≧3の要件が満たされなければならない。
いくつかの実施形態では、較正は、ステレオカメラシステム及びIMUの間で実行される。較正は、システム内の1つのカメラをIMUで較正することによって実現される。
UAVは、センサが再較正を必要とするか否かを判断するために、センサデータを解釈する装置を備えてもよい。装置は、リアルタイムにセンサデータを解釈してもよい。装置は、UAVに搭載された複数のセンサのいずれかまたは全てからのセンサデータを解釈してもよい。装置は、UAVと接続され得る1つまたは複数のセンサを備えてもよい。複数のセンサは、環境、付近の複数のオブジェクト、UAVの位置についての情報、及び/または付近の複数のオブジェクトまたは複数の障害物についての情報を、UAVに与えてもよい。複数のセンサは、複数の内部及び外部特性を含み得る公知の初期構成を有してもよい。初期構成は、少なくとも1つの他のセンサに対するセンサの初期位置及び方向を備えてもよい。複数のセンサの初期構成は、UAVの離陸に先立ち、またはUAVの飛行中に、搭載されたまたは非搭載のプロセッサに伝達されてもよい。プロセッサは、複数のセンサの構成が変化した場合にインラインセンサの較正を実行するために、UAVの動きまたは振動の結果として生じ得る、複数のセンサの構成における複数の変化をモニタリングしてもよい。
UAVに搭載されたまたは非搭載のプロセッサは、継続的に、または別個の時間間隔で、センサデータを取得してもよい。図4は、インラインセンサの較正を実行するにあたって、プロセッサによって実行される複数の段階を説明するフローチャートを示す。第1に、プロセッサは、センサデータを取得してもよい(401)。複数のセンサは、互いに対する初期空間構成を有してもよい。複数のセンサの初期空間構成は、経験的に公知であってもよい。初期空間構成は、UAVの離陸に先立ってまたはその後に、UAVに搭載されたメモリ位置に記録及び格納されてもよい。初期構成は、UAVに搭載された他の複数のセンサに対するセンサの初期位置及び初期方向であってもよい。プロセッサによって受信されたセンサデータに基づいて、プロセッサは、1つまたは複数のセンサの空間構成における変化を検出してもよい(402)。複数のセンサのうち1つまたは複数についての空間構成における変化は、公知の初期構成に対する変化であってもよい。次に、プロセッサは、初期空間構成に対する新たな空間構成の偏差を決定してもよい(403)。プロセッサは、初期空間構成に対する新たな空間構成の偏差を決定するために、1つまたは複数のカルマンフィルタを用いてもよい。複数のカルマンフィルタは、複数の拡張カルマンフィルタまたは複数のアンセンテッドカルマンフィルタであってもよい。複数のカルマンフィルタは、全て同じタイプであってもよく、または、これらは、複数のフィルタの一部が拡張、残りの一部が複数のアンセンテッドカルマンフィルタとなり得るように、異なっていてもよい。偏差が決定された後、プロセッサは、互いに対して新たに決定された複数のセンサの位置を反映するように、複数のセンサからのデータを訂正または調整してもよい(404)。データの調整は、UAVの動作中(例えば、UAVの飛行中)に行われてもよい。図4に記載された複数の段階は、複数のセンサ及び複数のプロセッサを含む装置によって実行されてもよい。装置は、UAVに接続されていてもよい。
プロセッサまたは複数のプロセッサシステムは、UAVに搭載され、またはUAVに非搭載の位置にあって無線または有線でUAVと通信を行うが、1つまたは複数のセンサの空間構成の初期空間構成に対する偏差を検出するように構成されてもよい。空間構成の偏差の検出は、1つまたは複数の統計的方法のセンサデータに対する適用を伴ってもよい。空間構成の偏差検出のために使用可能な統計的方法の一例は、マハラノビス距離法である。
プロセッサは、図5に示される方法を用いて、1つまたは複数のセンサの空間構成における不一致を検出してもよい。プロセッサは、UAVに搭載された1つまたは複数のセンサから、データを受信してもよい(501)。複数のセンサは、各センサからのデータが異なる相対座標系を有し得るように、互いに対して異なる複数の空間方向を有してもよい。データ解釈のために、データを一貫性のある統一基準座標系に変換することが好ましいことがある。基準座標系は、任意の座標系であってもよく、または、これは、複数のセンサのうちの1つの相対座標系、例えば、慣性測定ユニット(IMU)の座標系であってもよい。プロセッサは、データ解釈の前にデータを変換するために、基準座標系を選択してもよい(502)。基準座標系は、UAVの離陸前に選択されてもよく、または、これは、飛行中に選択されてもよい。基準座標系は、UAVの動作時を通して一貫していてもよく、または、これは、経時的に異なってもよい。いくつかの場合には、IMUの相対座標系は、基準座標系として選択されてもよい。プロセッサは、センサデータを収集し、全てのデータを統一基準座標系で表現してもよい(503)。データが統一基準座標系に変換された後、データは、1つまたは複数のセンサの空間構成における複数の不一致を検出するために、分析されてもよい(504)。不一致は、1つまたは複数のセンサ間に期待または予測される空間関係におけるエラーを示してもよい。検出された複数の不一致は、センサまたは複数のセンサが再較正を必要とすることを示してもよい。
1つまたは複数のセンサの空間構成における複数の不一致の検出は、1つまたは複数の統計的方法を用いて実行されてもよい。ある例では、1つまたは複数のセンサの空間構成における複数の不一致の検出は、マハラノビス距離法を用いてもよい。マハラノビス距離法は、複数の測定値が統一基準座標系に変換された後で、複数の異なるセンサからの複数の測定値を比較してもよい。プロセッサは、マハラノビス距離法を用いて、統一基準座標系において、複数の異なるセンサからの複数の測定値間の共分散行列を生成することによって、複数の不一致を検出してもよい。プロセッサが複数のセンサから測定データを受信するため、共分散行列は、リアルタイムに更新されてもよい。プロセッサは、統一基準座標系において、複数の異なるセンサからの複数の測定値間のマハラノビス距離を算出してもよい。マハラノビス距離が予め設定された閾値を超える場合、マハラノビス距離は、複数のセンサがその初期較正から偏差したことを示しながらセンサ異常を示してもよい。エラーを示すためにマハラノビス距離に対して予め設定された閾値は、少なくとも1、2、3、4、5、6、7、8、9、10、15または20であってもよい。閾値は、複数のセンサの全てに対して均一な値であってもよく、または、値は、各センサに対して異なってもよい。閾値は、固定されていてもよく、または、これは、独立した変数、例えば、UAVの移動時間または距離に対して異なってもよい。
マハラノビス距離の算出によって示された不一致が予め定められた閾値より大きいことを検出した場合、検出された不一致を有するセンサの再較正が開始されてもよい。不一致の検出は、センサの初期方向から離れて新たな空間方向に向かうセンサの動きの結果であってもよい。複数のセンサは、UAVの離陸及び着陸の間、UAVの振動の結果として飛行中に、または他のオブジェクトとのやり取り(例えば、動物または昆虫とのやり取り、地勢とのやり取り(例えば、木、崖、滝)または他のUAVとのやり取り)の結果として飛行中に、移動してもよい。
センサの再較正は、センサの新たな空間方向を決定する段階を必要としてもよい。センサの新たな空間方向は、1つまたは複数のカルマンフィルタを用いて決定されてもよい。複数のカルマンフィルタは、複数の拡張カルマンフィルタまたは複数のアンセンテッドカルマンフィルタであってもよい。複数のカルマンフィルタによって決定された新たな空間方向は、検出された不一致を有するセンサまたは複数のセンサの空間方向に対応し得る1つまたは複数のセンサの複数の外部特性を更新するために用いられてもよい。更新された複数の外部特性は、複数のセンサまたは複数のセンサからのデータを調整するために用いられてもよい。
複数のカルマンフィルタは、反復的な方法を用いて、センサ較正を継続的に更新してもよい。複数のカルマンフィルタは、複数のセンサからの測定データ及び測定データ間の制約を測定式として用いてもよい。
複数のセンサの全ては、較正を実行するために、単一のカルマンフィルタを用いてもよい。代替的に、較正は、複数のカルマンフィルタを互いに平行に接続することによって実現されてもよい。平行なアーキテクチャにある複数のカルマンフィルタの各々は、複数のフィルタの残りから独立していてもよい。各カルマンフィルタは、1つまたは複数のセンサに対して較正を実行してもよい。カルマンフィルタが1つよりも多くのセンサの較正を担う場合、カルマンフィルタによって較正される複数のセンサは、関連していてもよい。複数の平行カルマンフィルタは、システムの拡張性を向上させることができる。さらに、複数の平行カルマンフィルタは、複数のセンサの較正に必要な演算リソースを減少させつつ、システムのスケーラビリティを向上させることができ、さらにレスポンス速度を向上させることができる。
本明細書に記載されたシステムによって実行可能なセンサ較正方法の例が、図6に示される。方法の第1段階は、UAVに搭載された1つまたは複数のセンサからデータを取得することであってもよい(601)。データは、プロセッサによって収集されてもよく、プロセッサは、UAVに搭載されていてもよく、またはUAVに非搭載の位置にあってもよく、この場合、非搭載の位置は、無線でまたは有線の接続を介してUAVと通信可能であってもよい。プロセッサは、各サブセットが少なくとも2つのセンサを有するように、複数のセンサを1つまたは複数のサブセットにグループ化してもよい(602)。各サブセットは、複数の測定センサのグループを含んでもよい。サブセットは、基準センサをさらに有してもよく、基準センサは、各サブセットに対して同じであってもよく、または、各サブセットは、固有の複数の基準センサを有してもよい。複数のセンサのサブセットは、複数のセンサと関連付けられてもよく、例えば、これらは、関連する機能を有する複数のセンサであってもよい。各サブセットは、各サブセットが別個のであり、複数の測定値サブセット間で重複がないように、複数の測定センサの異なるサブセットを備えてもよい。例えば、5つのセンサA、B、C、D及びEがある場合、これらの複数のセンサを用いて、2つのサブセットが生成されてもよい。サブセット1は、複数のセンサA及びBを備えてもよく、サブセット2は、複数のセンサC、D及びEを備えてもよい。サブセット1がA、B及びCを備え、サブセット2がA、D及びEを備えるグループ化は、センサAが双方のサブセットに含まれているため許容されない。複数のセンサが複数のサブセットにグループ化された後、次の段階は、複数のセンサからのデータに基づいて、複数のセンサ間に期待される空間関係を算出することであってもよい(603)。次に、複数のセンサ間における実際の空間関係は、少なくとも1つのカルマンフィルタを用いて判断されてもよい(604)。各サブセットは、センサデータを用いて複数の計算を実行するために、少なくとも1つのカルマンフィルタを有してもよい。最後の段階において、1つまたは複数のセンサの空間構成は、プロセッサを用いて算出されてもよい(605)。複数のセンサの空間構成の算出は、1つまたは複数のカルマンフィルタによって決定されるように、サブセット内の複数のセンサ間における実際の空間関係に基づいてもよい。
UAVは、異なるタイプのセンサを備えてもよい。複数のセンサは、複数のセンサまたは複数のサブセットのグループにさらに構成されてもよい。各サブセットは、基準センサと1つまたは複数の測定センサとを備える少なくとも2つのセンサを含んでもよい。各サブセットは、各サブセットが別個であり、複数のサブセット間で重複がないように、複数の測定センサの異なるサブセットを備えてもよい。複数のサブセットの全ては、単一の均一な基準センサを有してもよい。例えば、複数のサブセットの全ては、基準センサとして選択可能なIMUに対して分析されてもよい。代替的に、各サブセットは、異なる基準センサを有してもよい。各サブセット当たり少なくとも1つのカルマンフィルタは、センサデータに基づいて、各サブセットにおける少なくとも2つのセンサ間の実際の空間関係を決定してもよい。複数のカルマンフィルタは、複数のサブセット内の複数のセンサ間における実際の空間関係を決定するために、平行に機能してもよい。さらなる算出は、各サブセットにおいて、複数のセンサの互いに対する、少なくとも2つのセンサ間の実際の空間関係に基づいて、空間構成を決定するために実行されてもよい。
図7は、適用可能なシステムアーキテクチャの例を視覚的に説明する。最も上のレベルにおいて、システムは、複数のセンサまたは複数のセンサのサブセットのシステム701を備えてもよい。複数のセンサのうちの1つは、基準センサ701aとして指定されてもよい。残りの複数の測定センサ701bは、基準センサ701aの相対座標系と異なる複数の相対座標系において、データを収集してもよい。複数の測定センサ701bからの複数の測定値702は、レベル703において、基準センサ701aの座標系に変換されてもよい。変換後、各サブセットからのデータは、カルマンフィルタ704に置換されてもよい。複数のフィルタの各サブセットは、データを異なるカルマンフィルタ704に置換してもよい。複数のカルマンフィルタは、サブセット705における複数のセンサの正確な空間関係を、次に、システム706における複数のセンサの正確な関係を、決定してもよい。複数のカルマンフィルタは、並列に接続されてもよい。
センサは、カルマンフィルタによって、第1に、システムの動きを記述するための動的な式と、選択されたセンサ及び基準センサ間の変換式とを確立することにより、較正されてもよい。システムの動きに対する動的な式は、システムの加速度及び角加速度を含む、主にIMUからのデータによって異なってもよい。次に、カルマンフィルタの初期状態は、例えば、複数の工場設定から決定されてもよい。初期状態は、状態可変ベクトル及び共分散行列によって記述されてもよい。複数の内受容性センサ(例えば、IMU)に対して、測定されたデータは、直接的に読み出されてもよく、複数の外受容性センサ(例えば、カメラ)に対して、測定されたデータは、前回の段階におけるセンサの複数の外的パラメータに基づいて、適切な観測スポットを選択することによって得られてもよい。最後の段階において、カルマンフィルタのステータスは、測定されたデータをカルマンフィルタにおける更新式に置換することによって、更新してもよい。更新式は、カルマンフィルタ(例えば、拡張またはアンセンテッド)の種類によって異なってもよい。
可能なシステムアーキテクチャの代替例が、図8において視覚的に示される。システムは、複数のサブセットにグループ化され得る複数のセンサを有してもよい。複数のサブセットの各々は、基準センサを有してもよい。基準センサは、1つまたは複数のサブセットに対して用いられてもよい。図8に示される例では、左のカメラ801及びIMU802が、複数の基準センサであってもよい。残りの複数のセンサ(例えば、右のカメラ、GPS及び超音波)は、測定センサ803であってもよい。図7で説明された処理と同様に、センサ複数の測定値の各々は、関連する基準座標系804に変換されてもよい。変換され複数の測定値は、段階805において、カルマンフィルタを用いて較正されてもよい。複数のカルマンフィルタは、アンセンテッドまたは複数の拡張カルマンフィルタであってもよい。複数のカルマンフィルタは、サブセット806における複数のセンサの正確な空間関係、次に、システム807における複数のセンサの正確な関係を決定してもよい。
本明細書に記載された複数のシステム、複数のデバイス及び複数の方法は、広範かつ様々な複数の可動オブジェクトに適用されてもよい。前述したように、本明細書におけるUAVのような航空機についてのあらゆる説明は、任意の可動オブジェクトに適用可能であり、これに対して用いることができる。航空機についての本明細書におけるあらゆる説明は、詳細には、複数のUAVに適用可能である。本発明の可動オブジェクトは、任意の適した環境、例えば、空中(例えば、固定翼航空機、回転翼航空機、または固定翼または回転翼のいずれも有さない航空機)、水中(例えば、船または潜水艦)、地上(例えば、乗用車のような自動車、トラック、バス、バン、オートバイ、自転車、または電車)、地下(例えば、地下鉄)、宇宙(例えば、宇宙飛行機、衛星またはプローブ)、またはこれらの複数の環境のあらゆる組み合わせの中を、移動するように構成されてもよい。可動オブジェクトは、輸送体、例えば、本明細書の他の箇所で記載された輸送体であってもよい。いくつかの実施形態では、可動オブジェクトは、人間または動物のような生きた対象物によって運搬されてもよく、または、生きた対象物から離陸してもよい。適切な複数の動物は、鳥類、イヌ、ネコ、ウマ、ウシ、ヒツジ、ブタ、イルカ、齧歯動物または昆虫を含んでもよい。
可動オブジェクトは、6の自由度(例えば、並進において3の自由度、回転において3の自由度)について環境内を自由に移動可能であってもよい。代替的に、可動オブジェクトの動きは、例えば、予め定められた経路、軌道または方向によって、1つまたは複数の自由度について拘束されてもよい。動きは、任意の適切な駆動メカニズム、例えば、エンジンまたはモーターによって、駆動されてもよい。可動オブジェクトの駆動メカニズムは、任意の適切なエネルギー源、例えば、電気的エネルギー、磁気エネルギー、太陽エネルギー、風カエネルギー、重力エネルギー、化学エネルギー、核エネルギーまたはこれらの任意の適切な組み合わせによってパワーを与えられてもよい。可動オブジェクトは、本明細書の他の箇所に記載されたように、推進システムを介して自己推進してもよい。推進システムは、任意に、エネルギー源、例えば、電気的エネルギー、磁気エネルギー、太陽エネルギー、風カエネルギー、重力エネルギー、化学エネルギー、核エネルギーまたはこれらの任意の適切な組み合わせによって動作してもよい。代替的に、可動オブジェクトは、生物によって運搬されてもよい。
いくつかの例において、可動オブジェクトは、航空機であってもよい。例えば、複数の航空機は、固定翼航空機(例えば、飛行機、グライダ)、回転翼航空機(例えば、ヘリコプタ、回転翼機)、固定翼及び回転翼双方を有する航空機、またはこのいずれも有さない航空機(例えば、飛行船、熱気球)であってもよい。航空機は、例えば、空中を自己推進するように、自己推進してもよい。自己推進航空機は、推進システム、例えば、1つまたは複数のエンジン、モーター、ホイール、車軸、磁石、回転翼、プロペラ、ブレード、ノズルまたはこれらの任意の適切な組み合わせを含む推進システムを用いてもよい。いくつかの例において、可動オブジェクトが、面から離陸し、面に着陸し、その現在位置及び/または方向を維持し(例えば、ホバリング)、方向を変更し、及び/または位置を変更することを可能にするために、推進システムが用いられてもよい。
可動オブジェクトは、ユーザによって遠隔制御されてもよく、または、可動オブジェクト内または上の乗員によって現地で制御されてもよい。可動オブジェクトは、別の輸送体の乗員を介して遠隔制御されてもよい。いくつかの実施形態では、可動オブジェクト、UAVのような無人可動オブジェクトである。UAVのような無人可動オブジェクトは、可動オブジェクトに乗員が搭乗しないことがある。可動オブジェクトは、人間または自主的制御システム(例えば、コンピュータ制御システム)またはこれらの任意の適切な組み合わせによって制御されてもよい。可動オブジェクトは、自主的または半自主的ロボット、例えば、人工知能を有するように構成されるロボットであってもよい。
可動オブジェクトは、任意の適切なサイズ及び/または寸法を有してもよい。いくつかの実施形態では、可動オブジェクトは、搭乗員が輸送体内または上に搭乗可能なサイズ及び/または寸法であってもよい。代替的に、可動オブジェクトは、搭乗員が輸送体内または上に搭乗可能なサイズ及び/または寸法より小さくてもよい。可動オブジェクトは、人間による持ち上げまたは運搬に適したサイズ及び/または寸法であってもよい。代替的に、可動オブジェクトは、人間による持ち上げまたは運搬に適したサイズ及び/または寸法より大きくてもよい。いくつかの例において、可動オブジェクトは、約2cm、5cm、10cm、50cm、1m、2m、5mまたは10m以下の最大寸法(例えば、長さ、幅、高さ、径、対角線)を有してもよい。最大寸法は、約2cm、5cm、10cm、50cm、1m、2m、5mまたは10m以上であってもよい。例えば、可動オブジェクトの複数の対向する回転翼の複数のシャフト間の距離は、約2cm、5cm、10cm、50cm、1m、2m、5mまたは10m以下であってもよい。代替的に、複数の対向する回転翼の複数のシャフト間の距離は、約2cm、5cm、10cm、50cm、1m、2m、5mまたは10m以上であってもよい。
いくつかの実施形態では、可動オブジェクトは、100cm×100cm×100cm未満、50cm×50cm×30cm未満、または5cm×5cm×3cm未満の体積を有してもよい。可動オブジェクトの全体積は、約1cm、2cm、5cm、10cm、20cm、30cm、40cm、50cm、60cm、70cm、80cm、90cm、100cm、150cm、200cm、300cm、500cm、750cm、1000cm、5000cm、10,000cm、100,000cm、1mまたは10m以下であってもよい。逆に、可動オブジェクトの全体積は、約1cm、2cm、5cm、10cm、20cm、30cm、40cm、50cm、60cm、70cm、80cm、90cm、100cm、150cm、200cm、300cm、500cm、750cm、1000cm、5000cm、10,000cm、100,000cm、1mまたは10m以上であってもよい。
いくつかの実施形態では、可動オブジェクトの設置面積(可動オブジェクトによって覆われる側方断面積を指すことがある)は、約32,000cm、20,000cm、10,000cm、1,000cm、500cm、100cm、50cm、10cmまたは5cm以下であってもよい。逆に、設置面積は、約32,000cm、20,000cm、10,000cm、1,000cm、500cm、100cm、50cm、10cmまたは5cm以上であってもよい。
いくつかの例において、可動オブジェクトの重量は、1000kg以下であってもよい。可動オブジェクトの重量は、約1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kgまたは0.01kg以下であってもよい。逆に、重量は、約1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kgまたは0.01kg以上であってもよい。
いくつかの実施形態では、可動オブジェクトは、可動オブジェクトによって運搬される積載物に対して小さくてもよい。積載物は、本明細書の他の箇所にさらに詳細に記載されるように、積載物及び/または支持機構を含んでもよい。いくつかの例において、可動オブジェクトの重量と負荷荷重との比は、約1:1より大きくてもよく、これより小さくてもよく、またはこれと等しくてもよい。いくつかの例において、可動オブジェクトの重量と負荷荷重との比は、約1:1より大きくてもよく、これより小さくてもよく、またはこれと等しくてもよい。任意に、支持機構重量と負荷荷重との比は、約1:1より大きくてもよく、これより小さくてもよく、またはこれと等しくてもよい。所望の場合には、可動オブジェクトの重量と負荷荷重との比は、1:2、1:3、1:4、1:5、1:10以下、またはさらに小さくてもよい。逆に、可動オブジェクトの重量と負荷荷重との比も、2:1、3:1、4:1、5:1、10:1以上、またはさらに大きくてもよい。
いくつかの実施形態では、可動オブジェクトは、低エネルギー消費であってもよい。例えば、可動オブジェクトの使用は、約5W/h、4W/h、3W/h、2W/h、1W/h未満またはそれより少なくてもよい。いくつかの例において、可動オブジェクトの支持機構は、低エネルギー消費であってもよい。例えば、支持機構の使用は、約5W/h、4W/h、3W/h、2W/h、1W/h未満またはそれより少なくてもよい。任意に、可動オブジェクトの積載物は、例えば、約5W/h、4W/h、3W/h、2W/h、1W/h未満またはそれより少ない低エネルギー消費であってもよい。
図9は、本発明の複数の実施形態に係る無人航空機(UAV)900を示す。UAVは、本明細書に記載されたように、可動オブジェクトの例であってもよい。UAV900は、4つの回転翼902、904、906および908を有する推進システムを含んでもよい。任意の数の(例えば、1、2、3、4、5、6またはそれより多くの)回転翼が、与えられてもよい。無人航空機の複数の回転翼、複数の回転翼部品または他の複数の推進システムは、無人航空機がホバリング/位置を維持し、方向を変更し、及び/または位置を変更することを可能とする。複数の対向する回転翼の複数のシャフト間の距離は、任意の適切な長さ910であってもよい。例えば、長さ910は、2m以下であってもよく、または5m以下であってもよい。いくつかの実施形態では、長さ910は、40cmから1m、10cmから2mまたは5cmから5mの範囲内にあってもよい。UAVについての本明細書におけるあらゆる説明は、可動オブジェクト、例えば、異なるタイプの可動オブジェクトに適用可能であり、逆もまた同様である。UAVは、本明細書に記載されたように、補助装置付き離陸システムまたは方法を用いてもよい。
いくつかの実施形態では、可動オブジェクトは、積載物を運搬するように構成されてもよい。積載物は、1つまたは複数の乗客、貨物、機器、器具等を含んでもよい。積載物は、ハウジング内に与えられてもよい。ハウジングは、可動オブジェクトのハウジングと別個に、または可動オブジェクトのハウジングの一部であってもよい。代替的に、可動オブジェクトがハウジングを有さず、積載物が、ハウジングと共に与えられてもよい。代替的に、積載物の一部または積載物全体は、ハウジングなしで与えられてもよい。積載物は、可動オブジェクトに対して強固に固定されてもよい。任意に、積載物は、可動オブジェクトに対して可動(例えば、可動オブジェクトに対して並進可能または回転可能)であってもよい。積載物は、本明細書の他の箇所に記載されたように、積載物及び/または支持機構を含んでもよい。
いくつかの実施形態では、固定された基準フレーム(例えば、周囲の環境)及び/または互いに対する可動オブジェクト、支持機構及び積載物の動きは、端末によって制御されてもよい。端末は、可動オブジェクト、支持機構及び/または積載物から離れた位置にある遠隔制御デバイスであってもよい。端末は、サポート基盤に配置または固定されてもよい。代替的に、端末は、ハンドヘルドまたはウェアラブルデバイスであってもよい。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、手袋、ヘルメット、マイクロフォンまたは適切なこれらの組み合わせを含んでもよい。端末は、キーボード、マウス、ジョイスティック、タッチスクリーンまたはディスプレイのようなユーザインタフェースを含んでもよい。任意の適したユーザ入力、例えば、(例えば、端末の動き、位置またはティルトを介して)手動入力された複数のコマンド、音声制御、ジェスチャ制御または位置制御が、端末とのやり取りのために用いられてもよい。
端末は、可動オブジェクト、支持機構及び/または積載物の任意の適した状態を制御するために用いられてもよい。例えば、端末は、可動オブジェクト、支持機構及び/または積載物の位置及び/または方向を、固定された基準及び/または互いに対して制御するために用いられてもよい。いくつかの実施形態では、端末は、可動オブジェクト、支持機構及び/または積載物の個々の複数の要素、例えば、支持機構の駆動部品、積載物のセンサまたは積載物のエミッタを制御するために用いられてもよい。端末は、可動オブジェクト、支持機構または積載物のうち1つまたは複数と通信を行うように構成される無線通信デバイスを含んでもよい。
端末は、可動オブジェクト、支持機構及び/または積載物の情報を見るために適した表示ユニットを含んでもよい。例えば、端末は、位置、並進速度、並進加速度、方向、角速度、角加速度または任意の適したこれらの組み合わせに関して、可動オブジェクト、支持機構及び/または積載物情報を表示するように構成されてもよい。いくつかの実施形態では、端末は、積載物によって与えられた情報、例えば、機能的な積載物(例えば、カメラまたは他の画像記録デバイスによって記録された複数の画像)によって与えられたデータを表示してもよい。
任意に、同じ端末で、可動オブジェクト、支持機構及び/または積載物からの情報を受信及び/または表示するとともに、可動オブジェクト、支持機構及び/または積載物、または可動オブジェクト、支持機構及び/または積載物の状態の双方を制御してもよい。例えば、端末は、積載物によって記録された画像データ、または積載物の位置についての情報を表示しつつ、環境に対する積載物の位置取りを制御してもよい。代替的に、異なる複数の機能に対して、異なる複数の端末が用いられてもよい。例えば、第1の端末は、可動オブジェクト、支持機構及び/または積載物の動きまたは状態を制御してもよく、第2の端末は、可動オブジェクト、支持機構及び/または積載物からの情報を、受信及び/または表示してもよい。例えば、第1の端末は、積載物の位置取りを環境に対して制御するために用いられてもよく、第2の端末は、積載物によって記録された画像データを表示する。可動オブジェクトと、可動オブジェクトの制御及びデータ受信の双方を行う統合端末との間で、または、可動オブジェクトと、可動オブジェクトの制御及びデータ受信の双方を行う複数の端末との間で、様々な複数の通信モードが用いられてもよい。例えば、可動オブジェクトと、可動オブジェクトの制御及び可動オブジェクトからのデータ受信の双方を行う端末との間で、少なくとも2つの異なる通信モードが形成されてもよい。
図10は、複数の実施形態に係る支持機構1002及び積載物1004を含む可動オブジェクト1000を示す。可動オブジェクト1000は航空機として示されるが、この表示は、限定を意図するものではなく、本明細書において前述されたように、あらゆる適した種類の可動オブジェクトが用いられてもよい。当業者であれば、複数の航空機システムに関して本明細書に記載された複数の実施形態のいずれも、任意の適した可動オブジェクト(例えば、UAV)に適用可能であることを理解するであろう。いくつかの例において、積載物1004は、支持機構1002を必要とすることなく、可動オブジェクト1000に与えられてもよい。可動オブジェクト1000は、複数の推進メカニズム1006、検知システム1008及び通信システム1010を含んでもよい。
複数の推進メカニズム1006は、前述されたように、複数の回転翼、プロペラ、ブレード、エンジン、モーター、ホイール、車軸、磁石またはノズルのうち1つまたは複数を含んでもよい。可動オブジェクトは、1つまたは複数、2つまたはそれより多く、3つまたはそれより多くの、または4つまたはそれより多くの推進メカニズムを有してもよい。複数の推進メカニズムは、全て同じタイプであってもよい。代替的に、1つまたは複数の複数の推進メカニズムは、複数の異なるタイプの複数の推進メカニズムであってもよい。複数の推進メカニズム1006は、本明細書の他の箇所に記載されたように、サポート要素(例えば、駆動シャフト)のような任意の適した手段を用いて、可動オブジェクト1000に搭載されてもよい。複数の推進メカニズム1006は、可動オブジェクト1000の任意の適した部分、例えば上面、底面、前面、背面、側面または適切なこれらの組み合わせに、搭載されてもよい。
いくつかの実施形態では、複数の推進メカニズム1006は、可動オブジェクト1000のあらゆる水平方向の動きを必要とすることなく(例えば、滑走路を下りることなく)可動オブジェクト1000が面から垂直に離陸し、または面に対して垂直に着陸することを可能としてもよい。任意に、複数の推進メカニズム1006は、可動オブジェクト1000が特定の位置及び/または方向において空中をホバリングすることを可能とするように動作可能であってもよい。複数の推進メカニズム1000のうち1つまたは複数は、他の複数の推進メカニズムから独立して制御されてもよい。代替的に、複数の推進メカニズム1000は、同時に制御されるように構成されてもよい。例えば、可動オブジェクト1000は、複数の水平に方向付けられた、可動オブジェクトに揚力及び/または推力を与え得る回転翼を有してもよい。複数の水平に方向付けられた回転翼は、垂直離陸、垂直着陸及びホバリング性能を可動オブジェクト1000に与えるために、駆動されてもよい。いくつかの実施形態では、水平方向に方向付けられた複数の回転翼のうち1つまたは複数は、時計回り方向に回転してもよく、水平方向の複数の回転翼のうち1つまたは複数は、反時計回り方向に回転してもよい。例えば、時計回りの回転翼の数は、反時計回りの回転翼の数と等しくてもよい。水平方向に方向付けられた複数の回転翼の各々の回転速度は、各回転翼によって生成された揚力及び/または推力を制御するために独立して異なってもよく、それにより、可動オブジェクト1000の空間配置、速度及び/または加速度を(例えば、並進の最大3度及び回転の最大3度に対して)調整する。
検知システム1008は、可動オブジェクト1000の空間配置、速度及び/または加速度を(例えば、並進の最大3度及び回転の最大3度に対して)検知可能な1つまたは複数のセンサを含んでもよい。1つまたは複数のセンサは、複数のグローバルポジショニングシステム(GPS)センサ、複数のモーションセンサ、複数の慣性センサ、複数の近接センサまたは複数のイメージセンサを含んでもよい。検知システム1008によって与えられた検知データは、可動オブジェクト1000の空間配置、速度及び/または方向を(例えば、後述するように、適切なプロセッシングユニット及び/または制御モジュールを用いて)制御するために、用いられてもよい。代替的に、検知システム1008は、可動オブジェクトの周囲環境に関するデータ、例えば、複数の気象条件、複数の潜在的障害物への近さ、複数の地理的特徴の位置、複数の人工構造物の位置等を与えるために、用いられてもよい。
通信システム1010は、通信システム1014を有する端末1012との複数の無線信号1016を介しての通信を可能にする。通信システム1010、1014は、任意の数の送信機、受信機及び/または無線通信に適した送受信機を含んでもよい。通信は、データが1つの方向のみに送信可能なように1方向通信であってもよい。例えば、1方向通信は、データを端末1012に送信する可動オブジェクト1000のみを伴ってもよく、逆もまた同様である。データは、通信システム1010の1つまたは複数の送信機から通信システム1012の1つまたは複数の受信機に送信されてもよく、逆もまた同様である。代替的に、通信は、データが可動オブジェクト1000及び端末1012の間で双方向に送信可能なように、2方向通信であってもよい。2方向通信は、通信システム1010の1つまたは複数の送信機から通信システム1014の1つまたは複数の受信機へのデータ送信を伴ってもよく、逆もまた同様である。
いくつかの実施形態では、端末1012は、可動オブジェクト1000、支持機構1002及び積載物1004の1つまたは複数に制御データを与え、可動オブジェクト1000、支持機構1002及び積載物1004の1つまたは複数から情報(例えば、可動オブジェクト、支持機構または積載物の位置及び/または動作情報、積載物カメラによって記録された画像データのような、積載物によって検知されたデータ)を受信してもよい。いくつかの例において、端末からの制御データは、可動オブジェクト、支持機構及び/または積載物の相対的な複数の位置、複数の動き、複数の駆動または複数の制御に対する複数の命令を含んでもよい。例えば、制御データは、可動オブジェクトの位置及び/または方向の変更(例えば、複数の推進メカニズム1006の制御を介して)または可動オブジェクトに対する積載物の動き(例えば、支持機構1002の制御を介して)をもたらしてもよい。端末からの制御データは、積載物の制御、例えば、カメラまたは他の画像記録デバイスの動作の制御(例えば、静止画または動画の撮影、ズームインまたはアウト、電源オンまたはオフ、複数の撮像モードの切り替え、画像解像度の変更、焦点の変更、被写界深度の変更、露出時間の変更、視野角または視野の変更)をもたらしてもよい。いくつかの例において、可動オブジェクト、支持機構及び/または積載物からの複数の通信は、(例えば、検知システム1008または積載物1004の)1つまたは複数のセンサからの情報を含んでもよい。複数の通信は、1つまたは複数の異なるタイプの複数のセンサ(例えば、複数のGPSセンサ、複数のモーションセンサ、慣性センサ、複数の近接センサまたは複数のイメージセンサ)から検知された情報を含んでもよい。そのような情報は、可動オブジェクト、支持機構及び/または積載物の位置(例えば、位置、方向)、動きまたは加速度に関するものであってもよい。積載物からのそのような情報は、積載物によって記録されたデータまたは積載物の検知された状態を含んでもよい。端末1012によって送信されて与えられた制御データは、可動オブジェクト1000、支持機構1002または積載物1004の1つまたは複数の状態を制御するように構成されてもよい。代替的に、または組み合わせで、端末が可動オブジェクト1000、支持機構1002及び積載物1004の各々と独立して通信を行い、かつ、これらを制御できるように、支持機構1002及び積載物1004は、各々、端末1012と通信を行うように構成される通信モジュールをさらに含んでもよい。
いくつかの実施形態では、可動オブジェクト1000は、端末1012に加えて、または端末1012の代わりに、他の遠隔デバイスと通信を行うように構成されてもよい。端末1012は、可動オブジェクト1000のみならず、他の遠隔デバイスとも通信を行うように構成されてもよい。例えば、可動オブジェクト1000及び/または端末1012は、他の可動オブジェクトまたは他の可動オブジェクトの支持機構もしくは積載物と通信を行ってもよい。所望の場合には、遠隔デバイスは、第2の端末または他のコンピューティングデバイス(例えば、コンピュータ、ラップトップ、タブレット、スマートフォンまたは他のモバイルデバイス)であってもよい。遠隔デバイスは、データを可動オブジェクト1000に送信し、可動オブジェクト1000からデータを受信し、データを端末1012に送信し、及び/または端末1012からデータを受信するように構成されてもよい。任意に、遠隔デバイスは、可動オブジェクト1000及び/または端末1012から受信されたデータがウェブサイトまたはサーバにアップロード可能なように、インターネットまたは他の通信ネットワークに接続されてもよい。
図11は、可動オブジェクトを制御するための、複数の実施形態に係るシステム1100のブロック図による模式図である。システム1100は、本明細書において開示された複数のシステム、複数のデバイス及び複数の方法の任意の適した実施形態との組み合わせで用いられてもよい。システム1100は、検知モジュール1102、プロセッシングユニット1104、非一時的コンピュータ可読媒体1106、制御モジュール1108及び通信モジュール1110を含んでもよい。
検知モジュール1102は、複数の可動オブジェクトに関する情報を異なる複数の態様で収集する複数の異なるタイプの複数のセンサを用いてもよい。複数の異なるタイプの複数のセンサは、複数の異なるタイプの信号または異なる複数のソースからの複数の信号を検知してもよい。例えば、複数のセンサは、複数の慣性センサ、複数のGPSセンサ、複数の近接センサ(例えば、ライダ)または複数のビジョン/イメージセンサ(例えば、カメラ)を含んでもよい。検知モジュール1102は、複数のプロセッサを有するプロセッシングユニット1104と動作可能に接続されてもよい。いくつかの実施形態では、検知モジュールは、検知データを適切な外部デバイスまたはシステムに直接送信するように構成される送信モジュール1112(例えば、Wi−Fi画像送信モジュール)と動作可能に接続されてもよい。例えば、送信モジュール1112は、検知モジュール1102のカメラによって記録された複数の画像を遠隔端末に送信するために用いられてもよい。
プロセッシングユニット1104は、1つまたは複数のプロセッサ、例えば、プログラマブルプロセッサ(例えば、セントラルプロセッシングユニット(CPU))を有してもよい。プロセッシングユニット1104は、非一時的コンピュータ可読媒体1106と動作可能に接続されてもよい。非一時的コンピュータ可読媒体1106は、1つまたは複数の段階を実行するためのロジック、コード及び/またはプロセッシングユニット1104によって実行可能な複数のプログラム命令を格納してもよい。非一時的コンピュータ可読媒体は、1つまたは複数の複数のメモリユニット(例えば、SDカードまたはランダムアクセスメモリ(RAM)のような取り外し可能メディアまたは外部ストレージ)を含んでもよい。いくつかの実施形態では、検知モジュール1102からのデータは、非一時的コンピュータ可読媒体1106の複数のメモリユニットに直接伝送され、及びその内部に格納されてもよい。非一時的コンピュータ可読媒体1106の複数のメモリユニットは、本明細書に記載された複数の方法の任意の適した実施形態を実行するために、ロジック、コード及び/またはプロセッシングユニット1104によって実行可能な複数のプログラム命令を格納してもよい。例えば、プロセッシングユニット1104は、プロセッシングユニット1104の1つまたは複数のプロセッサに、検知モジュールによって生成された検知データを分析させる複数の命令を実行するように構成されてもよい。複数のメモリユニットは、プロセッシングユニット1104によって処理されるべき、検知モジュールからの検知データを格納してもよい。いくつかの実施形態では、非一時的コンピュータ可読媒体1106の複数のメモリユニットは、プロセッシングユニット1104によって生成された複数の処理結果を格納するために、用いられてもよい。
いくつかの実施形態では、プロセッシングユニット1104は、可動オブジェクトの状態を制御するように構成される制御モジュール1108と動作可能に接続されてもよい。例えば、制御モジュール1108は、可動オブジェクトの空間配置、速度、及び/または加速度を6の自由度に対して調整するために、可動オブジェクトの複数の推進メカニズムを制御するように構成されてもよい。代替的に、または組み合わせで、制御モジュール1108は、支持機構、積載物または検知モジュールの状態のうち1つまたは複数を制御してもよい。
プロセッシングユニット1104は、1つまたは複数の外部デバイス(例えば、端末、表示デバイスまたは他のリモートコントローラ)からデータを送信及び/または受信するように構成される通信モジュール1110と、動作可能に接続されてもよい。有線通信または無線通信のような任意の適切な通信手段が、用いられてもよい。例えば、通信モジュール1110は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、通信ネットワーク、クラウド通信等のうち1つまたは複数を用いてもよい。任意に、タワー、衛星または移動局のような複数の中継局が、用いられてもよい。複数の無線通信は、近さに依存してもよく、または、近さに依存しなくてもよい。いくつかの実施形態では、複数の通信に対して視程が必要とされてもよく、または、必要とされなくてもよい。通信モジュール1110は、検知モジュール1102からの検知データ、プロセッシングユニット1104によって生成された複数の処理結果、予め定められた制御データ、端末またはリモートコントローラ等からの複数のユーザコマンドのうち1つまたは複数を、送信及び/または受信してもよい。
システム1100の複数のコンポーネントは、任意の適切な構成で構成されてもよい。例えば、システム1100の複数のコンポーネントのうち1つまたは複数は、可動オブジェクト、支持機構、積載物、端末、検知システムまたは上記のうち1つまたは複数と通信を行う追加の外部デバイスに配置されてもよい。さらに、図11は単一のプロセッシングユニット1104及び単一の非一時的コンピュータ可読媒体1106を示すが、当業者であれば、これは限定を意図するものではなく、システム1100は、複数のプロセッシングユニット及び/または非一時的コンピュータ可読媒体を含んでもよいことを認識するであろう。いくつかの実施形態では、システム1100によって実行される処理及び/または複数のメモリ機能の任意の適切な態様が、複数の異なる位置、例えば、可動オブジェクト、支持機構、積載物、端末、検知モジュール、上記のうち1つまたは複数と通信を行う追加の外部デバイス、または適切なこれらの組み合わせのうち1つまたは複数で行われるように、1つまたは複数のプロセッシングユニット及び/または非一時的コンピュータ可読媒体は、上述された複数の位置に位置してもよい。
本発明の複数の好ましい実施形態が、本明細書において図示及び記載されたが、当業者にとっては、そのような複数の実施形態が、例示を目的としてのみ与えられていることは明らかである。ここで、当業者には、多数の変更、複数の変化及び複数の置換が、本発明から偏差することなく想到される。本明細書に記載された本発明の複数の実施形態の様々な複数の代替例が、本発明を実施する上で利用可能であることが理解されるべきである。以下の特許請求の範囲は、本発明の範囲を定めるものであり、それにより、これらの特許請求の範囲及びこれらの均等物の範囲内にある複数の方法及び複数の構造が網羅されることが意図される。
[項目1]
インラインセンサの較正方法であって、
無人航空機(UAV)に接続された複数の異なるタイプのセンサであって、互いに対する初期空間構成を有する複数のセンサから、上記UAVの飛行中にセンサデータを取得するステップと、
プロセッサを介して、上記複数のセンサの互いに対する上記初期空間構成から次の空間構成への空間構成における変化を、上記センサデータに基づいて検出するステップと、
上記次の空間構成を決定するステップと、
上記複数のセンサのうち少なくとも1つからのデータを、上記次の空間構成に基づいて、上記UAVの飛行中に調整するステップとを含む、方法。
[項目2]
上記複数の異なるタイプのセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを含む、項目1に記載の方法。
[項目3]
上記複数のセンサのうち少なくとも1つは、慣性センサである、項目2に記載の方法。
[項目4]
上記複数のセンサからの上記センサデータは、上記慣性センサと関連付けられる座標系に与えられる、項目3に記載の方法。
[項目5]
上記初期空間構成は、上記複数のセンサの各々に対して、互いに対する初期位置及び初期方向を備える、項目1に記載の方法。
[項目6]
上記空間構成における上記変化は、上記複数のセンサのうち少なくとも1つの、上記複数のセンサのうちの他の複数のセンサに対する、上記初期位置及び上記初期方向のうち少なくとも1つにおける変化を含む、項目5に記載の方法。
[項目7]
上記初期空間構成は、上記UAVの離陸に先立って与えられる、項目1に記載の方法。
[項目8]
上記初期空間構成は、上記UAVの飛行中に与えられる、項目1に記載の方法。
[項目9]
上記空間構成における上記変化は、上記UAVの動きによって生じる、項目1に記載の方法。
[項目10]
上記空間構成における上記変化は、上記UAVの振動によって生じる、項目9に記載の方法。
[項目11]
上記プロセッサを介して、複数のカルマンフィルタを用いて上記次の空間構成を決定する段階をさらに備え、上記複数のカルマンフィルタは、1つまたは複数の拡張カルマンフィルタ及び/またはアンセンテッドカルマンフィルタを含む、項目1に記載の方法。
[項目12]
上記プロセッサは、上記UAVに搭載されている、項目1に記載の方法。
[項目13]
上記プロセッサは、上記UAVの外部デバイスにあり、上記UAVの飛行中に、上記UAVと通信を行う、項目11に記載の方法。
[項目14]
インラインセンサの較正装置であって、
(a)(i)無人航空機(UAV)と接続され、かつ、(ii)上記UAVの飛行中にセンサデータを与えるように構成され、互いに対する初期空間構成を有する複数の異なるタイプのセンサと、
(b)個別にまたは集合的に、(i)上記センサデータに基づいて、複数のセンサの、互いに対する上記初期空間構成から次の空間構成への、空間構成における変化を検出し、(ii)上記次の空間構成を決定し、(iii)上記UAVの飛行中に、上記次の空間構成に基づいて、上記複数のセンサのうち少なくとも1つからのデータを調整するように構成される、1つまたは複数のプロセッサとを備える、装置。
[項目15]
上記複数の異なるタイプのセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを備える、項目14に記載の装置。
[項目16]
上記複数のセンサのうち少なくとも1つは、慣性センサである、項目15に記載の装置。
[項目17]
上記複数のセンサからの上記センサデータは、上記慣性センサと関連付けられる座標系に与えられる、項目16に記載の装置。
[項目18]
上記初期空間構成は、上記複数のセンサの各々に対して、互いに対する初期位置及び初期方向を備える、項目14に記載の装置。
[項目19]
上記空間構成における上記変化は、上記複数のセンサのうち少なくとも1つの、上記複数のセンサのうちの他の複数のセンサに対する、上記初期位置及び上記初期方向のうち少なくとも1つにおける変化を備える、項目18に記載の装置。
[項目20]
上記初期空間構成は、上記UAVの離陸に先立って与えられる、項目14に記載の装置。
[項目21]
上記初期空間構成は、上記UAVの飛行中に与えられる、項目14に記載の装置。
[項目22]
上記空間構成における上記変化は、上記UAVの動きによって生じる、項目14に記載の装置。
[項目23]
上記空間構成における上記変化は、上記UAVの振動によって生じる、項目22に記載の装置。
[項目24]
上記1つまたは複数のプロセッサは、複数のカルマンフィルタを用いて上記次の空間構成を決定し、上記複数のカルマンフィルタは、1つまたは複数の拡張カルマンフィルタ及び/またはアンセンテッドカルマンフィルタを備える、項目14に記載の装置。
[項目25]
上記1つまたは複数のプロセッサは、上記UAVに搭載される、項目14に記載の装置。
[項目26]
上記1つまたは複数のプロセッサは、上記UAVの外部デバイスにあり、上記UAVの飛行中に、上記UAVと通信を行う、項目14に記載の装置。
[項目27]
センサ較正方法であって、
無人航空機(UAV)と連結された複数の異なるタイプの複数のセンサからセンサデータを取得する段階と、
基準座標系を選択する段階と、
プロセッサを介して、上記複数のセンサ間の予測される空間関係に基づいて、上記複数のセンサからの上記センサデータを上記基準座標系に表す段階と、
上記プロセッサを介して、上記複数のセンサ間における上記センサデータの不一致を検出する段階であって、上記不一致は、上記複数のセンサ間の上記予測される空間関係におけるエラーを示す、段階と、
実際の空間構成を決定する段階と、
上記実際の空間構成に基づいて、上記複数のセンサのうち少なくとも1つからのデータを調整する段階とを備える、方法。
[項目28]
複数の異なるタイプの上記複数のセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを備える、項目27に記載の方法。
[項目29]
上記複数のセンサのうち少なくとも1つは、慣性センサである、項目28に記載の方法。
[項目30]
上記基準座標系は、上記慣性センサと関連付けられる座標系である、項目29に記載の方法。
[項目31]
上記複数のセンサ間の上記予測される空間関係は、上記複数のセンサの各々に対して、互いに対する、初期位置及び初期方向を備える上記複数のセンサの初期空間構成からの、上記構成における予測される空間変化に基づく、項目27に記載の方法。
[項目32]
上記初期空間構成は、上記UAVの離陸に先立って与えられる、項目31に記載の方法。
[項目33]
上記初期空間構成は、上記UAVの飛行中に与えられる、項目31に記載の方法。
[項目34]
上記複数のセンサ間の上記予測される空間関係は、上記複数のセンサの、互いに対する相対的空間位置及び相対的空間方向を備える、項目27に記載の方法。
[項目35]
上記プロセッサを介して、複数のカルマンフィルタを用いて上記次の空間構成を決定する段階をさらに備え、上記複数のカルマンフィルタは、1つまたは複数の拡張カルマンフィルタ及び/またはアンセンテッドカルマンフィルタを備える、項目27に記載の方法。
[項目36]
上記プロセッサは、上記UAVに搭載されている、項目27に記載の方法。
[項目37]
上記複数のプロセッサは、上記UAVの外部デバイスにあり、上記UAVの飛行中に、上記UAVと通信を行う、項目27に記載の方法。
[項目38]
上記複数のセンサの上記実際の空間構成は、上記UAVの動作中に決定される、項目27に記載の方法。
[項目39]
上記複数のセンサの上記実際の空間構成は、上記UAVの飛行中に決定される、項目38に記載の方法。
[項目40]
上記複数のセンサからの上記データは、上記UAVの動作中に調整される、項目27に記載の方法。
[項目41]
上記実際の空間構成に基づいて調整された上記データは、ビジョンセンサによって記録された画像データである、項目27に記載の方法。
[項目42]
センサ較正装置であって、
(a)(i)無人航空機(UAV)と連結され、かつ、(ii)センサデータを与えるように構成される複数の異なるタイプの複数のセンサと、
(b)個別にまたは集合的に、
(i)基準座標系を選択し、
(ii)上記複数のセンサ間の予測される空間関係に基づいて、上記複数のセンサからの上記センサデータを上記基準座標系に表し、
(iii)上記複数のセンサ間における上記センサデータの不一致であって、上記複数のセンサ間の上記予測される空間関係におけるエラーを示す不一致を検出し、
(iv)実際の空間構成を決定し、
(v)上記実際の空間構成に基づいて、上記複数のセンサのうち少なくとも1つからのデータを調整するように構成される、1つまたは複数のプロセッサとを備える、装置。
[項目43]
複数の異なるタイプの上記複数のセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを備える、項目42に記載の装置。
[項目44]
上記複数のセンサのうち少なくとも1つは、慣性センサである、項目43に記載の装置。
[項目45]
上記基準座標系は、上記慣性センサと関連付けられる座標系である、項目44に記載の装置。
[項目46]
上記複数のセンサ間の上記予測される空間関係は、上記複数のセンサの各々に対して、互いに対する、初期位置及び初期方向を備える上記複数のセンサの初期空間構成からの、上記構成における予測される空間変化に基づく、項目42に記載の装置。
[項目47]
上記初期空間構成は、上記UAVの離陸に先立って与えられる、項目46に記載の装置。
[項目48]
上記初期空間構成は、上記UAVの飛行中に与えられる、項目46に記載の装置。
[項目49]
上記複数のセンサ間の上記予測される空間関係は、上記複数のセンサの、互いに対する相対的空間位置及び相対的空間方向を備える、項目42に記載の装置。
[項目50]
上記1つまたは複数のプロセッサは、複数のカルマンフィルタを用いて上記次の空間構成を決定し、上記複数のカルマンフィルタは、1つまたは複数の拡張カルマンフィルタ及び/またはアンセンテッドカルマンフィルタを備える、項目42に記載の装置。
[項目51]
上記1つまたは複数のプロセッサは、上記UAVに搭載される、項目42に記載の装置。
[項目52]
上記1つまたは複数のプロセッサは、上記UAVの外部デバイスにあり、上記UAVの飛行中に、上記UAVと通信を行う、項目42に記載の装置。
[項目53]
上記複数のセンサの上記実際の空間構成は、上記UAVの動作中に決定される、項目42に記載の装置。
[項目54]
上記複数のセンサの上記実際の空間構成は、上記UAVの飛行中に決定される、項目53に記載の装置。
[項目55]
上記複数のセンサのうち上記少なくとも1つからの上記データは、上記UAVの動作中に調整される、項目42に記載の装置。
[項目56]
上記実際の空間構成に基づいて調整された上記データは、ビジョンセンサによって記録された画像データである、項目42に記載の装置。
[項目57]
センサ較正方法であって、
無人航空機(UAV)と連結された複数の異なるタイプの複数のセンサからセンサデータを取得する段階と、
プロセッサを介して、上記複数のセンサを複数のサブセットにグループ化する段階であって、各サブセットは、(i)少なくとも2つのセンサと、(ii)複数のセンサの異なる組み合わせとを有する段階と、
上記プロセッサを介して、上記センサデータに基づいて、各サブセットにおける上記少なくとも2つのセンサ間の予測される空間関係を算出する段階と、
上記予測される空間関係に基づいて、各サブセットにおける上記少なくとも2つのセンサ間の実際の空間関係を決定する段階と、
上記プロセッサを介して、上記少なくとも2つのセンサ間の上記実際の空間関係に基づいて、各サブセットにおける上記複数のセンサの、互いに対する空間構成を算出する段階とを備える、方法。
[項目58]
各サブセットは、基準センサ及び1つまたは複数の測定センサを備える、項目57に記載の方法。
[項目59]
各サブセットに対する上記基準センサは、同じである、項目58に記載の方法。
[項目60]
各サブセットに対する上記基準センサは、異なる、項目58に記載の方法。
[項目61]
複数の異なるタイプの上記複数のセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを備える、項目57に記載の方法。
[項目62]
上記複数のセンサのうち少なくとも1つは、慣性センサである、項目61に記載の方法。
[項目63]
各サブセットにおける上記複数のセンサ間の上記予測される空間関係は、上記複数のセンサの各々に対して、互いに対する、初期位置及び初期方向を備える上記複数のセンサの初期空間構成からの、上記構成における予測される空間変化に基づく、項目58に記載の方法。
[項目64]
上記初期空間構成は、上記UAVの離陸に先立って与えられる、項目63に記載の方法。
[項目65]
上記初期空間構成は、上記UAVの飛行中に与えられる、項目63に記載の方法。
[項目66]
上記複数のセンサ間の上記予測される空間関係は、上記複数のセンサの、互いに対する相対的空間位置及び相対的空間方向を備える、項目58に記載の方法。
[項目67]
上記プロセッサは、各サブセットにおける上記少なくとも2つのセンサ間の実際の空間関係を複数のカルマンフィルタを用いて決定し、上記複数のカルマンフィルタは、1つまたは複数の拡張カルマンフィルタ及び/またはアンセンテッドカルマンフィルタを備える、項目58に記載の方法。
[項目68]
上記プロセッサは、上記UAVに搭載されている、項目58に記載の方法。
[項目69]
上記プロセッサは、上記UAVの外部デバイスにあり、上記UAVの飛行中に、上記UAVと通信を行う、項目58に記載の方法。
[項目70]
上記複数のセンサの上記実際の空間構成は、上記UAVの動作中に決定される、項目58に記載の方法。
[項目71]
上記複数のセンサの上記実際の空間構成は、上記UAVの飛行中に決定される、項目58に記載の方法。
[項目72]
上記複数のセンサからの上記データは、上記UAVの動作中に調整される、項目58に記載の方法。
[項目73]
上記空間構成に基づいて、上記複数のセンサのうち少なくとも1つからのデータを調整する段階と、上記プロセッサを介して、上記少なくとも2つのセンサ間の上記実際の空間関係に基づいて、各サブセットにおける上記複数のセンサの、互いに対する空間構成を算出する段階とをさらに備える、項目57に記載の方法。
[項目74]
上記実際の空間構成に基づいて調整された上記データは、ビジョンセンサによって記録された画像データである、項目73に記載の方法。
[項目75]
センサ較正装置であって、
(a)(i)無人航空機(UAV)と連結され、かつ、(ii)センサデータを与えるように構成される複数の異なるタイプの複数のセンサと、
(b)個別にまたは集合的に、
(i)上記複数のセンサを、複数のサブセットであって、各サブセットが(i)少なくとも2つのセンサと、(ii)複数のセンサの異なる組み合わせとを有する複数のサブセットにグループ化し、
(ii)上記センサデータに基づいて、各サブセットにおける上記少なくとも2つのセンサ間の予測される空間関係を算出し、
(iii)上記予測される空間関係に基づいて、各サブセットにおける上記少なくとも2つのセンサ間の実際の空間関係を決定し、
(iv)上記少なくとも2つのセンサ間の上記実際の空間関係に基づいて、各サブセットにおける上記複数のセンサの、互いに対する空間構成を算出するように構成される1つまたは複数のプロセッサとを備える、装置。
[項目76]
各サブセットは、基準センサ及び1つまたは複数の測定センサを備える、項目75に記載の装置。
[項目77]
各サブセットに対する上記基準センサは、同じである、項目76に記載の装置。
[項目78]
各サブセットに対する上記基準センサは、異なる、項目76に記載の装置。
[項目79]
複数の異なるタイプの上記複数のセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを備える、項目75に記載の装置。
[項目80]
上記複数のセンサのうち少なくとも1つは、慣性センサである、項目79に記載の装置。
[項目81]
各サブセットにおける上記複数のセンサ間の上記予測される空間関係は、上記複数のセンサの各々に対して、互いに対する、初期位置及び初期方向を備える上記複数のセンサの初期空間構成からの、上記構成における予測される空間変化に基づく、項目75に記載の装置。
[項目82]
上記初期空間構成は、上記UAVの離陸に先立って与えられる、項目81に記載の装置。
[項目83]
上記初期空間構成は、上記UAVの飛行中に与えられる、項目81に記載の装置。
[項目84]
上記複数のセンサ間の上記予測される空間関係は、上記複数のセンサの、互いに対する相対的空間位置及び相対的空間方向を備える、項目75に記載の装置。
[項目85]
上記1つまたは複数のプロセッサは、各サブセットにおける上記少なくとも2つのセンサ間の実際の空間関係を、複数のカルマンフィルタを用いて決定し、上記複数のカルマンフィルタは、1つまたは複数の拡張カルマンフィルタ及び/またはアンセンテッドカルマンフィルタを備える、項目75に記載の装置。
[項目86]
上記1つまたは複数のプロセッサは、上記UAVに搭載される、項目75に記載の装置。
[項目87]
上記1つまたは複数のプロセッサは、上記UAVの外部デバイスにあり、上記UAVの飛行中に、上記UAVと通信を行う、項目75に記載の装置。
[項目88]
上記複数のセンサの上記実際の空間構成は、上記UAVの動作中に決定される、項目75に記載の装置。
[項目89]
上記複数のセンサの上記実際の空間構成は、上記UAVの飛行中に決定される、項目75に記載の装置。
[項目90]
上記複数のセンサのうち上記少なくとも1つからの上記データは、上記UAVの動作中に調整される、項目75に記載の装置。
[項目91]
センサ較正方法であって、
複数の異なるタイプの複数のセンサからセンサデータを取得する段階と、
プロセッサを介して、上記複数のセンサを複数のサブセットにグループ化する段階であって、各サブセットは、(i)基準センサと1つまたは複数の測定センサとを備える少なくとも2つのセンサ、及び(ii)複数のセンサの異なる組み合わせを有し、上記複数のサブセットの少なくとも2つは、複数の異なる基準センサを有する段階と、
上記プロセッサを介して、上記センサデータに基づいて、サブセット当たり少なくとも1つのカルマンフィルタを用いて、各サブセットにおける上記少なくとも2つのセンサ間の実際の空間関係を決定する段階と、
上記プロセッサを介して、上記少なくとも2つのセンサ間の上記実際の空間関係に基づいて、各サブセットにおける上記複数のセンサの、互いに対する空間構成を算出する段階とを備える、方法。
[項目92]
上記複数のセンサは、無人航空機(UAV)と連結される、項目91に記載の方法。
[項目93]
上記プロセッサは、上記UAVに搭載されている、項目92に記載の方法。
[項目94]
上記プロセッサは、上記UAVの外部デバイスにあり、上記UAVの飛行中に、上記UAVと通信を行う、項目92に記載の方法。
[項目95]
上記複数のセンサの上記実際の空間構成は、上記UAVの動作中に決定される、項目92に記載の方法。
[項目96]
上記複数のセンサの上記実際の空間構成は、上記UAVの飛行中に決定される、項目92に記載の方法。
[項目97]
上記複数のセンサからの上記データは、上記UAVの動作中に調整される、項目92に記載の方法。
[項目98]
複数の異なるタイプの上記複数のセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを備える、項目91に記載の方法。
[項目99]
上記複数のセンサのうち少なくとも1つは、慣性センサである、項目98に記載の方法。
[項目100]
上記複数のセンサのうち少なくとも1つは、ビジョンセンサである、項目98に記載の方法。
[項目101]
上記複数のカルマンフィルタは、1つまたは複数の拡張カルマンフィルタ及び/またはアンセンテッドカルマンフィルタを備える、項目91に記載の方法。
[項目102]
上記複数のセンサを複数のサブセットにグループ化した後、上記センサデータに基づいて、各サブセットにおける上記少なくとも2つのセンサ間の予測される空間関係を算出する段階をさらに備え、上記カルマンフィルタは、上記予測される空間関係に基づいて、実際の空間関係を決定する、項目91に記載の方法。
[項目103]
上記複数のセンサ間の上記予測される空間関係は、上記複数のセンサの、互いに対する相対的空間位置及び相対的空間方向を備える、項目91に記載の方法。
[項目104]
センサ較正装置であって、
(a)センサデータを与えるように構成される複数の異なるタイプの複数のセンサと、
(b)個別にまたは集合的に、
(1)上記複数のセンサを、複数のサブセットであって、各サブセットは、(i)基準センサと1つまたは複数の測定センサとを備える少なくとも2つのセンサ、及び(ii)複数のセンサの異なる組み合わせを有し、上記複数のサブセットの少なくとも2つは、複数の異なる基準センサを有する、複数のサブセットにグループ化し、
(2)上記センサデータに基づいて、サブセット当たり少なくとも1つのカルマンフィルタを用いて、各サブセットにおける上記少なくとも2つのセンサ間の実際の空間関係を決定し、
(3)上記少なくとも2つのセンサ間の上記実際の空間関係に基づいて、各サブセットにおける上記複数のセンサの、互いに対する空間構成を算出するように構成される、1つまたは複数のプロセッサとを備える、装置。
[項目105]
上記複数のセンサは、無人航空機(UAV)と連結される、項目104に記載の装置。
[項目106]
上記1つまたは複数のプロセッサは、上記UAVに搭載される、項目105に記載の装置。
[項目107]
上記1つまたは複数のプロセッサは、上記UAVの外部デバイスにあり、上記UAVの飛行中に、上記UAVと通信を行う、項目105に記載の装置。
[項目108]
上記複数のセンサの上記実際の空間構成は、上記UAVの動作中に決定される、項目105に記載の装置。
[項目109]
上記複数のセンサの上記実際の空間構成は、上記UAVの飛行中に決定される、項目105に記載の装置。
[項目110]
上記複数のセンサのうち上記少なくとも1つからの上記データは、上記UAVの動作中に調整される、項目105に記載の装置。
[項目111]
複数の異なるタイプの上記複数のセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを備える、項目104に記載の装置。
[項目112]
上記複数のセンサのうち少なくとも1つは、慣性センサである、項目111に記載の装置。
[項目113]
上記複数のセンサのうち少なくとも1つは、ビジョンセンサである、項目111に記載の装置。
[項目114]
上記複数のカルマンフィルタは、1つまたは複数の拡張カルマンフィルタ及び/またはアンセンテッドカルマンフィルタを備える、項目104に記載の装置。

Claims (26)

  1. センサ較正方法であって、
    無人航空機(UAV)と接続された異なるタイプの複数のセンサからセンサデータを取得するステップと、
    プロセッサを介して、前記複数のセンサを複数のサブセットにグループ化するステップであって、各サブセットは、(i)少なくとも2つのセンサと、(ii)複数のセンサの異なる組み合わせとを有するステップと、
    前記プロセッサを介して、前記センサデータに基づいて、各サブセットにおける前記少なくとも2つのセンサ間の予測される空間関係を算出するステップと、
    前記予測される空間関係に基づいて、各サブセットにおける前記少なくとも2つのセンサ間の実際の空間関係を決定するステップと、
    前記少なくとも2つのセンサ間の前記実際の空間関係に基づいて、各サブセットにおける前記複数のセンサの、互いに対する空間構成を算出するステップとを有する、方法。
  2. 各サブセットは、基準センサ及び1つまたは複数の測定センサを備える、請求項1に記載の方法。
  3. 前記異なるタイプの複数のセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを備える、請求項1または2に記載の方法。
  4. 前記複数のセンサのうち少なくとも1つは、慣性センサである、請求項3に記載の方法。
  5. 前記予測される空間関係は、前記複数のセンサの各々に対して、互いに対する、初期位置及び初期方向を備える前記複数のセンサの初期空間構成からの、前記構成における予測される空間変化に基づく、請求項1から4の何れか1つに記載の方法。
  6. 前記初期空間構成は、前記UAVの離陸または飛行中に設定される、請求項5に記載の方法。
  7. 前記予測される空間関係は、前記複数のセンサの、互いに対する相対的空間位置及び相対的空間方向を備える、請求項1から6の何れか1つに記載の方法。
  8. 前記プロセッサは、各サブセットにおける前記少なくとも2つのセンサ間の実際の空間関係を複数のカルマンフィルタを用いて決定し、前記複数のカルマンフィルタは、1つまたは複数の拡張カルマンフィルタ及び/またはアンセンテッドカルマンフィルタを備える、請求項1から7の何れか1つに記載の方法。
  9. 前記プロセッサは、前記UAVに搭載されている、請求項1から8の何れか1つに記載の方法。
  10. 前記プロセッサは、前記UAVの外部デバイスにあり、前記UAVの飛行中に、前記UAVと通信を行う、請求項1から9のいずれか1つに記載の方法。
  11. 前記複数のセンサの前記実際の空間構成は、前記UAVの動作中に決定される、請求項1から10の何れか1つに記載の方法。
  12. 前記複数のセンサからの前記データは、前記UAVの動作中に調整される、請求項1から11のいずれか1つに記載の方法。
  13. 前記空間構成に基づいて、前記複数のセンサのうち少なくとも1つからのデータを調整するステップと、前記プロセッサを介して、前記少なくとも2つのセンサ間の前記実際の空間関係に基づいて、各サブセットにおける前記複数のセンサの、互いに対する空間構成を算出するステップとをさらに含む、請求項1から12の何れか1つに記載の方法。
  14. 前記実際の空間構成に基づいて調整された前記データは、ビジョンセンサによって記録された画像データである、請求項13に記載の方法。
  15. センサ較正装置であって、
    (a)(i)無人航空機(UAV)と連結され、かつ、(ii)センサデータを与えるように構成される複数の異なるタイプの複数のセンサと、
    (b)
    (i)前記複数のセンサを、複数のサブセットであって、各サブセットが(i)少なくとも2つのセンサと、(ii)複数のセンサの異なる組み合わせとを有する複数のサブセットにグループ化し、
    (ii)前記センサデータに基づいて、各サブセットにおける前記少なくとも2つのセンサ間の予測される空間関係を算出し、
    (iii)前記予測される空間関係に基づいて、各サブセットにおける前記少なくとも2つのセンサ間の実際の空間関係を決定し、
    (iv)前記少なくとも2つのセンサ間の前記実際の空間関係に基づいて、各サブセットにおける前記複数のセンサの、互いに対する空間構成を算出するように構成される1つまたは複数のプロセッサとを備える、装置。
  16. 各サブセットは、基準センサ及び1つまたは複数の測定センサを備える、請求項15に記載の装置。
  17. 前記複数の異なるタイプのセンサは、ビジョンセンサ、GPSセンサ、慣性センサ、赤外線センサ、超音波センサまたはライダセンサのうち少なくとも2つを備える、請求項15または16に記載の装置。
  18. 前記複数のセンサのうち少なくとも1つは、慣性センサである、請求項17に記載の装置。
  19. 各サブセットにおける前記複数のセンサ間の前記予測される空間関係は、前記複数のセンサの各々に対して、互いに対する、初期位置及び初期方向を備える前記複数のセンサの初期空間構成からの、前記構成における予測される空間変化に基づく、請求項15から18の何れか1つに記載の装置。
  20. 前記初期空間構成は、前記UAVの離陸または飛行中に設定される、請求項19に記載の装置。
  21. 前記複数のセンサ間の前記予測される空間関係は、前記複数のセンサの、互いに対する相対的空間位置及び相対的空間方向を備える、請求項15から20の何れか1つに記載の装置。
  22. 前記1つまたは複数のプロセッサは、各サブセットにおける前記少なくとも2つのセンサ間の実際の空間関係を、複数のカルマンフィルタを用いて決定し、前記複数のカルマンフィルタは、1つまたは複数の拡張カルマンフィルタ及び/またはアンセンテッドカルマンフィルタを備える、請求項15から21の何れか1つに記載の装置。
  23. 前記1つまたは複数のプロセッサは、前記UAVに搭載される、請求項15から22の何れか1つに記載の装置。
  24. 前記1つまたは複数のプロセッサは、前記UAVの外部デバイスにあり、前記UAVの飛行中に、前記UAVと通信を行う、請求項15から23の何れか1つに記載の装置。
  25. 前記複数のセンサの前記実際の空間構成は、前記UAVの動作中に決定される、請求項15から24の何れか1つに記載の装置。
  26. 前記複数のセンサのうち前記少なくとも1つからの前記データは、前記UAVの動作中に調整される、請求項15から25の何れか1つに記載の装置。
JP2017000575A 2017-01-05 2017-01-05 センサ較正方法及びセンサ較正装置 Expired - Fee Related JP6275887B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017000575A JP6275887B2 (ja) 2017-01-05 2017-01-05 センサ較正方法及びセンサ較正装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017000575A JP6275887B2 (ja) 2017-01-05 2017-01-05 センサ較正方法及びセンサ較正装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016525510A Division JP6080189B2 (ja) 2014-08-15 2014-08-15 インラインセンサの較正方法及び較正装置

Publications (2)

Publication Number Publication Date
JP2017102942A JP2017102942A (ja) 2017-06-08
JP6275887B2 true JP6275887B2 (ja) 2018-02-07

Family

ID=59015576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017000575A Expired - Fee Related JP6275887B2 (ja) 2017-01-05 2017-01-05 センサ較正方法及びセンサ較正装置

Country Status (1)

Country Link
JP (1) JP6275887B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI628113B (zh) 2017-08-29 2018-07-01 財團法人工業技術研究院 無人飛行器、判斷無人飛行器降落狀況的系統與方法
JP6777355B2 (ja) * 2018-06-04 2020-10-28 株式会社ナイルワークス ドローンシステム、ドローンシステムの制御方法、およびドローンシステムの制御プログラム
KR20210029518A (ko) * 2019-09-06 2021-03-16 삼성전자주식회사 멀티 센서 기반의 무인 비행체 및 그 제어 방법
KR20210100297A (ko) * 2020-02-06 2021-08-17 삼성전자주식회사 전자 장치 및 이의 제어 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2985329B1 (fr) * 2012-01-04 2015-01-30 Parrot Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande.
CN109885080B (zh) * 2013-11-27 2022-09-20 宾夕法尼亚大学理事会 自主控制***及自主控制方法

Also Published As

Publication number Publication date
JP2017102942A (ja) 2017-06-08

Similar Documents

Publication Publication Date Title
JP6080189B2 (ja) インラインセンサの較正方法及び較正装置
US11822353B2 (en) Simple multi-sensor calibration
US10914590B2 (en) Methods and systems for determining a state of an unmanned aerial vehicle
JP6329642B2 (ja) センサ融合
US10599149B2 (en) Salient feature based vehicle positioning
US10447912B2 (en) Systems, methods, and devices for setting camera parameters
JP6609833B2 (ja) 無人航空機の飛行を制御する方法及びシステム
JP6181300B2 (ja) 無人航空機の速度を制御するシステム
CN109388150B (zh) 多传感器环境地图构建
EP3158293B1 (en) Sensor fusion using inertial and image sensors
US20200026720A1 (en) Construction and update of elevation maps
US9958874B2 (en) Aircraft attitude control methods
EP3123260B1 (en) Selective processing of sensor data
CN107615211B (zh) 使用传感器融合估计可移动物体的状态信息的方法及***
JP6487010B2 (ja) ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末
EP3158411B1 (en) Sensor fusion using inertial and image sensors
US10789722B2 (en) Processing images to obtain environmental information
JP6275887B2 (ja) センサ較正方法及びセンサ較正装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180110

R150 Certificate of patent or registration of utility model

Ref document number: 6275887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees