撮像装置は、無人航空機(UAV)等の移動体に搭載され、調査、捜索、及び救助作業、探索、ならびにその他の活動に利用されてもよい。幾つかの例において、撮像装置により取得される画像は、コンピュータビジョンプロセス、例えばナビゲーション及び障害物回避に利用されてもよい。
画像を取得するために、1つ又は複数の撮像用コンポーネントが提供されてもよい。取得された画像は処理されて、移動体にとって有益な情報が得られる。画像処理のための既存の手法は、幾つかの例においては最適といえないかもしれない。例えば、画像の様々な部分に含まれる有益な情報は利用されないかもしれず、又は十分に利用されないかもしれない。移動体の有益さは、撮像用コンポーネントにより取得された画像の様々な部分に含まれる有益な情報を適切に考慮し、利用することによって増大されるかもしれない。
現在、無人航空機(UAV)等の移動体は、画像処理効率が悪く、取得した画像の様々な部分に含まれる有益な情報を知らずに廃棄しているかもしれない。幾つかの例において、UAVは非効率的な処理により、コンピュータビジョンアプリケーションにおいて最適でない判断を下すかもしれない。例えば、2つの撮像用コンポーネントを用いるビジョンシステムの場合、環境情報は主として取得された画像の中の両眼視差に基づいて得られてもよい。例えば、1つの撮像用コンポーネントを用いるビジョンシステムでは、環境情報は主として連続的に取得された画像の中の視差に基づいて得られてもよい。
したがって、環境情報の効率的な取得のために、画像内の利用可能な情報のすべてを適切に考慮するUAVシステムが求められている。環境情報の取得により、さらに、UAVはコンピュータビジョンアプリケーション、例えばナビゲーション、物体認識、及び障害物回避においてよりよい決定を下すことができるようになるかもしれない。例えば、両眼式撮像システムには重複する視野を有する撮像用コンポーネントが設けられてもよい。重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有益であるときに環境情報を取得するための代用又は補助として使用されてもよい。他の例において、単眼式撮像システムに移動する視野を有する撮像用コンポーネントが設けられてもよい。移動する視野の重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに環境情報を取得するための代用又は補助として使用されてもよい。他の例において、撮像用コンポーネントは単眼式撮像システムと両眼式撮像システムの両方の部分として使用されてもよい。例えば、システムには異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、個別に、又は大きい視野の撮像用コンポーネントと共に、環境情報を取得するために使用されてもよく、大きい視野の撮像用コンポーネントは、それが有利であるときに環境情報を取得するための代用又は補助として使用されてもよい。
それゆえ、1つの態様において、移動体により取得された画像を処理するための方法が提供される。方法は、第1の撮像用コンポーネントを用いて第1の画像群を取得するステップであって、第1の撮像用コンポーネントは第1の視野を有するステップと、第2の撮像用コンポーネントを用いて第2の画像群を取得するステップであって、第2の撮像用コンポーネントは第1の視野と重複する第2の視野を有するステップと、1つ又は複数のプロセッサを個別に、又は集合的に用いて、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するステップと、を含む。
他の態様において、移動体より取得された画像を処理するためのシステムが提供される。システムは1つ又は複数のプロセッサを含み、これは、第2の画像群の品質が所定の閾値より低い場合には、第1の画像群を処理してテクスチャ情報を取得し、第1の画像群は第1の視野を有する第1の撮像用コンポーネントにより取得され、第2の画像群は第1の視野より狭い第2の視野を有する第2の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
他の態様において、移動体により取得された画像を処理するための装置が提供される。装置は、第1の視野を有する第1の撮像用コンポーネントであって、第1の画像群を取得するように構成された第1の撮像用コンポーネントと、第1の視野より狭い第2の視野を有する第2の撮像用コンポーネントであって、第2の画像群を取得するように構成された第2の撮像用コンポーネントと、第2の画像群の品質が所定の閾値より低い場合には第1の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成された1つ又は複数のプロセッサと、を含む。
他の態様において、移動体により取得された画像を処理するための非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、第1の撮像用コンポーネントを用いて第1の画像群を取得し、第1の撮像用コンポーネントは第1の視野を有し、第2の撮像用コンポーネントを用いて第2の画像群を取得し、第2の撮像用コンポーネントは第1の視野より狭い第2の視野を有し、1つ又は複数のプロセッサを個別に又は集合的に用いて、第2の画像群の品質が所定の閾値より低いときに第1の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック又は命令を含む。
他の態様において、移動体により取得された画像を処理する方法が提供される。方法は、第1の撮像用コンポーネントを用いて第1の画像群を取得するステップであって、第1の撮像用コンポーネントは第1の視野を有するステップと、第2の撮像用コンポーネントを用いて第2の画像群を取得するステップであって、第2の撮像用コンポーネントは第1の視野と重複する第2の視野を有するステップと、1つ又は複数のプロセッサを個別に又は集合的に用いて、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するステップと、を含む。
他の態様において、移動体により取得された画像を処理するシステムが提供される。システムは1つ又は複数のプロセッサを含み、これは、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得し、第1の画像群は第1の視野を有する第1の撮像用コンポーネントにより取得され、第2の画像群は第1の視野と重複する第2の視野を有する第2の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて第1の撮像用コンポーネントと第2の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成される。
他の態様において、移動体により取得された画像を処理する装置が提供される。装置は、第1の視野を有する第1の撮像用コンポーネントであって、第1の画像群を取得するように構成された第1の撮像用コンポーネントと、第1の視野と重複する第2の視野を有する第2の撮像用コンポーネントであって、第2の画像群を取得するように構成された第2の撮像用コンポーネントと、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成された1つ又は複数のプロセッサと、を含む。
他の態様において、移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、第1の撮像用コンポーネントを用いて第1の画像群を取得し、第1の撮像用コンポーネントは第1の視野を有し、第2の撮像用コンポーネントを用いて第2の画像群を取得し、第2の撮像用コンポーネントは第1の視野と重複する第2の視野を有し、1つ又は複数のプロセッサを個別に又は集合的に用いて、第1の画像群及び第2の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するコード、ロジック、又は命令を含む。
他の態様において、移動体により取得された画像を処理する方法が提供される。方法は、撮像用コンポーネントを用いてシーケンス画像を取得するステップであって、シーケンス画像は重複部分を含むステップと、1つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて移動体に用いる環境情報を取得するステップと、を含む。
他の態様において、移動体により取得された画像を処理するシステムが提供される。システムは1つ又は複数のプロセッサを含み、これは、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、シーケンス画像は撮像用コンポーネントにより取得されて、重複部分を含み、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
他の態様において、移動体のために画像から情報を処理する装置が提供される。装置は、シーケンス画像を取得するように構成された撮像用コンポーネントであって、シーケンス画像は重複部分を含む撮像用コンポーネントと、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成された1つ又は複数のプロセッサと、を含む。
他の態様において、移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、撮像用コンポーネントを用いてシーケンス画像を取得し、シーケンス画像は重複部分を含み、1つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック、又は命令を含む。
当然のことながら、本発明の異なる態様は、個別に、まとめて、又は相互に組み合わせて理解することができる。本明細書に記載されている本発明の各種の態様は、後述の特定の用途の何れにも、又は他の何れの種類の移動体にも適用されてよい。本明細書中の、例えば無人航空機等の航空車両の説明はすべて、あらゆる車両等の何れの移動体にも適用され、使用されてよい。これに加えて、本明細書において航空運動(例えば、飛行)に関して開示されているシステム、デバイス、及び方法はまた、例えば地上、水上等のその他の種類の運動、水中運動、又は宇宙空間内の運動に関しても適用されてよい。
本発明のその他の目的と特徴は、明細書、特許請求の範囲、及び添付の図面を参照することにより明らかとなるであろう。
参照による援用
本明細書中で言及されているすべての出版物、特許、及び特許出願は全て、個々の出版物、特許、又は特許出願の各々が具体的かつ個別に参照により援用されると明記されているかのように、参照によって本願に援用される。
本発明の新規の特徴は、付属の特許請求の範囲の中に具体的に記されている。本発明の特徴と利点は、本発明の原理が利用される例示的な実施形態を示している以下の詳細な説明と、次のような添付の図面を参照することによって、よりよく理解されるであろう。
撮像システムにより取得された光景の画像を示す。
実施形態による、環境情報を取得するために使用される例示的システムを示す。
実施形態による光学レンズの視野角を示す。
実施形態による、環境情報を取得するために使用される両眼式撮像システムを示す。
実施形態による、テクスチャ情報が移動体のための有益な情報を提供する例示的構成を示す。
実施形態による、制御信号に応答した撮像用コンポーネントにおける例示的な調整を示す。
実施形態による、移動体により取得された画像の処理方法を示す。
実施形態による、環境情報を取得するために使用される移動型撮像システムを示す。
実施形態による、移動体のためのテクスチャ情報が得られる例示的構成を示す。
実施形態による、移動体により取得された画像の処理方法を示す。
実施形態による、環境情報を選択的に取得する撮像システムを示す。
実施形態による、異なる撮像システムが使用される例示的構成を示す。
実施形態による、移動体により取得された画像の処理方法を示す。
本発明の実施形態によるUAVの外観を示す。
本発明の実施形態による、支持機構と搭載を含む移動体を示す。
本発明の実施形態による、移動体を制御するためのシステムのブロック図による略図である。
本明細書で提供されるシステム、方法、デバイス、及びコンピュータ読取可能媒体は、撮像用コンポーネントにより取得される画像の有益さを向上させるために使用されてもよい。例えば、本明細書で提供されるシステムにより、1つ又は複数のプロセッサが画像の中の、通常であれば考慮されないような部分から環境情報を取得することが可能となるかもしれない。その代わりに、又はそれに加えて、本明細書において提供されるシステムにより、1つ又は複数のプロセッサは、撮像用コンポーネントにより取得された1つ又は複数の画像からより多くの環境情報を取得することが可能となるかもしれない。取得された環境情報はさらに、コンピュータビジョンアプリケーションに関して利用されて、航空機等の車両の全体的性能及び/又は効率を改善できる。航空機とは、本明細書において使用されるかぎり、無人航空機(UAV)又は他のあらゆる種類の移動体を指してもよい。したがって、UAVに関して記載されている実施形態は何れの種類の移動体にも適用可能でありうると理解すべきである。
幾つかの例において、システムには、異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、環境情報を取得するために個別に、又は大きい視野の撮像用コンポーネントと共に使用されてもよく、その一方で、それが有利であるときに、大きい視野の撮像用コンポーネントが環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度及び/又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報(例えば、速度、位置)を計算することが可能になるかもしれない。
幾つかの例において、撮像システムには、重複する視野を有する撮像用コンポーネントが提供されてもよい。重複部分は、環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに、環境情報を取得するためにその代用又は補助として使用されてもよい。取得した環境情報により、移動体はより高い精度及び/又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報(例えば、速度、位置)を計算することが可能となるかもしれない。
幾つかの例において、単眼式撮像システムには、移動する視野を有する撮像用コンポーネントが設けられてもよい。移動する視野の重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに、環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度と効率で物体を認識し、障害物を回避し、又は移動体の状態情報(例えば、速度、位置)を計算することが可能となるかもしれない。
幾つかの例において、撮像用コンポーネントは、単眼式撮像システムと両眼式撮像システムの両方の部分として使用されてもよい。例えば、システムには異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、環境情報を取得するために個別に、又は大きい視野の撮像用コンポーネントと共に使用されてもよく、その一方で、それが有利であるときに、大きい視野の撮像用コンポーネントが環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度及び/又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報(例えば、速度、位置)を計算することが可能になるかもしれない。
本発明の様々な態様は、個別にも集合的にも、又は相互に組み合わせても評価できると理解するものとする。本明細書に記載されている本発明の各種の態様は、後述の特定の用途の何れにも、又は遠隔操作される車両もしくは何れの種類の移動体にも応用されてよい。
図1A〜Cは、環境情報を取得するための各種の撮像システムを示す。図1Aは、撮像システムにより取得された光景の画像102A及び104Aを示している。幾つかの例において、撮像システムは、より広い視野を有する画像102Aとより狭い視野を有する104Aを取得してもよい。図1Bは、撮像システムにより取得された光景106Bの画像102B及び104Bを示している。幾つかの例において、撮像システムは、重複する視野の画像を取得するように構成されてもよい。図1Cは、撮像システムにより取得される光景の画像102C及び104Cを示している。幾つかの例において、撮像システムは、異なる時点で異なる視野の画像を取得するように構成されてもよい。例えば、撮像システムは、異なる時点に異なる光景を取得する移動撮像システムであってもよい。
撮像システムは、例えば撮像のために撮像用コンポーネントを利用してもよい。撮像用コンポーネントはUAVに動作的に接続されてもよい。幾つかの例において、撮像用コンポーネントはUAVに組み込まれてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントは、ある機構を介してUAVに接続されてもよい。幾つかの例において、この機構は、撮像用コンポーネントをUAVに対して移動させることができるようにしてもよい。移動は、併進移動及び/又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、撮像用コンポーネントを1つ、2つ、又は3つの軸の周囲で移動できるように構成されてもよい。
幾つかの例において、取得された画像の各々は、環境情報を取得するために処理されてもよい。画像情報とは、UAVの動作にとって有益なあらゆる情報を指してもよい。例えば、環境情報はUAVの奥行き及び/又は距離情報(例えば、物体までの距離)を含んでいてもよい。他の例として、環境情報は物体情報又はUAVにとっての障害物情報を含んでいてもよい。他の例として、環境情報はUAVの位置、UAVの向き、UAVの速度、及び/又はUAVの加速度情報等のUAV状態情報を含んでいてもよい。他の例として、環境情報は温度、湿度、降水量等の環境に関するその他の情報を含んでいてもよい。幾つかの例において、環境情報とはUAVの挙動に影響を与える情報を指してもよい。例えば、環境情報は位置、高度、向き、速度、加速度の変化等、UAVの状態を変化させるものであってもよい。幾つかの例において、環境情報とはUAVの挙動の統制のために考慮される情報を指してもよい。ある例として、UAVに動作的に接続される1つ又は複数のプロセッサは、ナビゲーション、物体検出、障害物回避等のために環境情報を利用してもよい。
幾つかの例において、環境情報を取得するステップは、取得された画像のテクスチャ情報を取得するステップを含んでいてもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。例えば、テクスチャ情報は色勾配、エッジ、特徴点、及びオプティカルフローを含んでいてもよく、これらは各種の適当なアルゴリズムを使って得られてもよい。テクスチャ情報は、撮像用コンポーネントにより取得されたシーケンス画像の重複及び/又は非重複部分の両方から取得されてもよい。幾つかの例において、テクスチャ情報は、UAVのための環境情報を取得するための根拠として利用されてもよい。1つの例として、テクスチャ情報(例えば、画像内の色又は輝度)に基づいて、UAVが動作している環境に関する概観を取得してもよい。例えば、特徴点(例えば、コーナ点)等のテクスチャ情報に基づいて、UAVが動作している環境内に物体又は障害物があるとの判断を下してもよい。
幾つかの例において、広い視野の画像に含まれるテクスチャ情報は、より狭い視野の画像のデータ品質が環境情報を取得するのに不十分である場合、例えば所定の閾値より低い場合に処理されてもよい。幾つかの例において、より狭い視野の画像のデータ品質は、画像内に十分なデータ又は情報があるか否か、例えば画像内に特定可能な特徴があるか否かに応じて、所定の閾値より低いとされてもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、UAVのための距離又は奥行き情報を取得でき場合であってもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、UAVのための状態情報を取得できない場合であってもよい。幾つかの例において、画像内のデータ品質を判断するための閾値は、環境情報を取得するために使用される方法の違いによって異なる設定とされてもよい。
図1Aを再び参照すると、画像102A、104Aは別々の撮像用コンポーネントによって同時に、又は連続的に取得された画像の例であってもよい。幾つかの例において、画像は異なる視野を含んでいてもよい。例えば、画像102Aはより狭い視野を含んでいてもよい。画像104Aはより広い視野を含んでいてもよい。幾つかの例において、より狭い視野の画像はより広い視野の画像と重複してもよい。幾つかの例において、より狭い視野の画像はより広い視野の画像によって取り囲まれていてもよい。取得された画像は、1つ又は複数のプロセッサによって処理されてもよい。
幾つかの例において、より狭い視野の画像に含まれるデータは、UAVのための環境情報の取得において利用されてもよい。幾つかの例において、より狭い視野の画像に含まれるデータは、UAVのための距離情報を取得するために、UAVに動作的に連続された1つ又は複数のプロセッサによって処理されてもよい。幾つかの例において、画像102A及び104Aの重複部分に含まれるデータは、UAVのための環境情報を取得することにおいて利用されてもよく、これについては後でさらに説明する。
幾つかの例において、より広い視野の画像に含まれるデータは、UAVのための環境情報を取得するために利用されてもよく、又はそれに貢献してもよい。1つの例として、画像102A(又は画像102Aの非重複部分)に含まれるデータは、UAVのための距離情報の取得において、UAVに動作的に接続された1つ又は複数のプロセッサにより処理されなくてもよい。
より広い視野の画像は、UAVの動作のための有益な情報を含んでいるかもしれない。幾つかの例において、より広い視野の画像は、UAVのための環境情報を取得するために処理されてもよい。例えば、UAVに動作的に接続された1つ又は複数のプロセッは、より広い視野の画像に含まれるデータを処理してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを処理してテクスチャ情報を取得してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを処理して環境情報を取得してもよい。任意選択により、環境情報は、より広い視野の画像から得られたテクスチャ情報に基づいて取得されてもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、より狭い視野を有する画像に含まれるデータの処理とともに、より広い視野の画像に含まれるデータを処理してもよい。幾つかの例において、1つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを選択的に処理してもよい。例えば、より広い視野の画像に含まれるデータは、より狭い視野の画像に含まれるデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、より狭い視野の画像のデータ品質は、画像内に十分なデータ又は情報があるか否か、例えば画像内に特定可能な特徴があるか否かに応じて、所定の閾値を下回るとされてもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、UAVに関する距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、UAVに関する状態情報を取得できない場合であってもよい。
図1Bを再び参照すると、画像102B、104Bは、別々の撮像用コンポーネントにより同時に取得された画像の例であってもよい。或いは、画像は、ある時間にわたって1つの撮像用コンポーネントにより取得されたシーケンス画像の例であってもよい。画像102B及び104Bは、集合的に光景又は視野106Bを取得してもよい。集合的視野は、各々の画像102B又は104Bにより取得された1つの光景より大きくてもよい。取得された画像は、1つ又は複数のプロセッサにより処理されてもよい。
幾つかの例において、画像の重複部分に含まれるデータは、UAVのための環境情報の取得において利用されてもよい。幾つかの例において、重複部分108B及び110Bに含まれるデータは、UAVに動作的に接続された1つ又は複数のプロセッサにより処理されてUAVのための距離情報が取得されてもよい。例えば、UAVから物体116Bまでの距離は、画像102B及び104B内の共通の特徴(例えば、物体)間の視差を比較することによって取得されてもよい。共通の特徴は必然的に、画像の重複部分に含まれる特徴であるかもしれない。他の例として、部分108Bに含まれるデータ又は特徴と画像102B内のその相対的配置を部分110Bに含まれるデータ又は特徴と画像104B内のその相対的配置を比較することによって、UAVのための距離情報を取得してもよい。
画像の非重複部分に含まれるデータは、UAVのための環境情報を取得するために利用されず、又はそれに貢献しなくてもよい。一例として、非重複部分112B及び114Bに含まれるデータは、UAVのための距離情報の取得において、UAVに動作的に接続された1つ又は複数のプロセッサによって処理されなくてもよい。例えば、画像に含まれる特徴又は物体118B、120Bは、UAVのための環境情報の取得において利用されなくてもよい。幾つかの例において、物体118B又は120Bは、UAVの挙動に影響を与える中で考慮されなくてもよい。
非重複部分は、UAVの動作にとって有益な情報を含んでいるかもしれない。幾つかの例において、非重複部分はUAVのための環境情報を取得するために処理されてもよい。例えば、UAVに動作的に接続された1つ又は複数のプロセッサは、非重複部分に含まれているデータを処理してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数の実施形態は、非重複部分に含まれるデータを処理して、テクスチャ情報を取得してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、非重複部分に含まれるデータを処理して、環境情報を取得してもよい。任意選択により、環境情報は画像の非重複部分から得られたテクスチャ情報に基づいて取得されてもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、重複部分に含まれるデータの処理と共に非重複部分に含まれるデータを処理してもよい。例えば、環境情報は画像の重複部分と画像の非重複部分の両方から得られてもよい。幾つかの例において、1つ又は複数のプロセッサは、非重複部分に含まれるデータを選択的に処理してもよい。例えば、非重複部分に含まれるデータは、重複部分のデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、重複部分のデータ品質は、重複部分内に十分なデータ又は情報があるか否か、例えば重複部分に特定可能な特徴があるか否かに応じて、閾値より低いとされてもよい。幾つかの例において、重複部分内のデータ品質が所定の閾値より低いのは、UAVのための距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、UAVの状態情報を取得できない場合であってもよい。幾つかの場合において、重複部分内のデータ品質が所定の閾値より低いのは、重複部分内の特徴点の数が約2、5、10、20、30、40、50、60、70、80、90、100、120、140、160、180、200、250、又は300と等しいか、それより少ない場合であってもよい。
図1Cに戻ると、画像102C、104Cは、撮像用コンポーネントによって連続的に取得された画像の例であってもよい。幾つかの例において、画像のシーケンスは、異なる視野又は、及び/又は異なる光景を含んでいてもよい。幾つかの例において、連続的に取得された画像は重複部分を含んでいてもよい。取得された画像は、1つ又は複数のプロセッサにより処理されてもよい。
幾つかの例において、シーケンス画像の重複部分に含まれるデータは、UAVのための環境情報の取得において利用されてもよい。幾つかの例において、重複部分に含まれるデータは、UAVに動作的に接続された1つ又は複数のプロセッサにより処理されて、UAVのための距離情報が取得されてもよい。例えば、UAVから物体までの距離は、シーケンス画像内の共通の特徴(例えば、物体)間の視差を比較することによって取得されてもよい。共通の特徴は必然的に、シーケンス画像の重複部分に含まれている特徴であるかもしれない。
シーケンス画像の非重複部分に含まれるデータは、UAVのための環境情報の取得に使用されないか、又はそれに貢献しなくてもよい。一例として、シーケンス画像の非重複部分内に含まれるデータは、UAVのための距離情報の取得においてUAVに動作的に接続された1つ又は複数のプロセッサにより処理されなくてもよい。幾つかの例において、シーケンス画像の非重複部分内の物体は、UAVの挙動に影響を与える際に考慮されなくてもよい。
非重複部分は、UAVの動作にとって有益な情報を含んでいるかもしれない。幾つかの例において、非重複部分は、UAVのための環境情報を取得するために処理されてもよい。例えば、UAVに動作的に接続された1つ又は複数のプロセッサは、非重複部分に含まれるデータを処理してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、非重複部分に含まれるデータを処理してテクスチャ情報を取得してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、非重複部分に含まれるデータを処理して環境情報を取得してもよい。任意選択により、環境情報は、画像の非重複部分から得られたテクスチャ情報に基づいて得られてもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、重複部分に含まれるデータの処理と共に非重複部分に含まれるデータを処理してもよい。例えば、環境情報は画像の重複部分と画像の非重複部分の両方から得られてもよい。幾つかの例において、1つ又は複数のプロセッサは、非重複部分に含まれるデータを選択的に処理してもよい。例えば、非重複部分に含まれるデータは、重複部分のデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、重複部分のデータ品質は、重複部分内に十分なデータ又は情報があるか否か、例えば重複部分内に特定可能な特徴があるか否かに応じて、所定の閾値より低いとされてもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、UAVのための距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、UAVに関する状態情報を取得できない場合であってもよい。
図2は、実施形態による、環境情報を取得するために使用される例示的システムを示す。システム200は、光202を取り入れて、環境情報222を取得してもよい。システムは、1つ又は複数の画像(例えば、デジタル画像)を取得するための各種のコンポーネントを含んでいてもよい。幾つかの例において、各種のコンポーネントが個別又は集合的に、撮像用コンポーネントと呼ばれてもよい。例えば、撮像装置の絞り、レンズ、フィルタ、及び/又はセンサが撮像用コンポーネントと呼ばれてもよい。他の例として、撮像装置が撮像用コンポーネントと呼ばれてもよい。幾つかの例において、撮像用コンポーネントは少なくとも、光を方向付けるように構成されたレンズと、方向付けられた光を取得するための対応するセンサを指してもよい。コンポーネントの各々は同じ場所に位置付けられてもよい。例えば、システムの各コンポーネントは、1つの筐体内、例えば撮像装置の中に格納されてもよい。或いは、コンポーネントは異なる場所に位置付けられてもよい。例えば、システムは、異なる場所に位置付けられて協働する別々の複数の部品を含んでいてもよい。ある例として、システムは協働する2つ又はそれ以上のカメラ及びその他の光学素子を含んでいてもよい。他の例として、コンポーネントのいくつかは撮像装置に搭載されてもよく、その他のコンポーネントはUAVと、及び/又はUAVに搭載されていないコントローラに統合されてもよい。
システムは絞り203を含んでいてもよく、そこを通って光が入射してもよい。光は1つの絞りを通って入射してもよい。幾つかの実施形態において、光は、2、3、4、5、又はそれ以上の絞り等の複数の絞りを通って入射してもよい。システムは、1つ又は複数のレンズ206を含んでいてもよい。レンズは光ビームをイメージセンサへと方向付けてもよく、これは方向付けられた光ビームを取得する(例えば、画像データを取得する)。幾つかの例において、システムは1つ又は複数のレンズを受けるように構成されたレンズバレルを含んでいてもよい。レンズバレルは、1つ又は複数のレンズを格納していてもよい。幾つかの例において、レンズバレルは、1つ又は複数のレンズ間の距離を調整することによってシステムの焦点距離を調整するために使用されてもよい。任意選択により、ミラー、フィルタ、格子、追加のレンズ、又はダイクロイック等、光をイメージセンサへと方向付けるのを支援してもよいその他の光学素子が提供されてもよい。
各レンズは、対応する焦点距離又は焦点距離範囲を有していてもよい。焦点距離範囲は、範囲の下限と上限内に当てはまる複数の焦点距離を含んでいてもよい。幾つかの例において、焦点距離範囲は1つの焦点距離を含んでいてもよい。1つの焦点距離は、範囲の下限と上限の両方の役割を果たしてもよい。本明細書で使用されるかぎり、焦点距離及び焦点距離範囲は互換的に使用されてよいと理解すべきである。レンズの焦点距離は、レンズがどれだけ強力に光を収束又は発散させるかの尺度であってもよい。光学レンズの焦点距離は、当初コリメートされた光線が焦点に至るまでの距離を指してもよい。
レンズは、焦点レンズでもズームレンズでもよい。焦点レンズは、変化しない1つの焦点距離を有していてもよい。焦点レンズは、移動しない静止レンズを指してもよい。ズームレンズは可変的な焦点距離を有していてよく、焦点距離は複数の焦点距離(例えば、焦点距離範囲)を包含していてもよい。光学ズームレンズは、内部レンズ素子の集合の相対移動によって、焦点距離を変化させてもよい。幾つかの実施形態において、撮像用コンポーネントは、焦点レンズのみを含んでいてもよい。幾つかの実施形態において、撮像用コンポーネントは焦点レンズとズームレンズの両方を含んでいてもよい。幾つかの実施形態において、撮像用コンポーネントはズームレンズのみを含んでいてもよい。
幾つかの例において、焦点レンズの焦点距離は、1mm、2mm、4mm、6mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm、又は1200mm未満か、それと等しくてもよい。任意選択により、焦点レンズの適当な焦点距離は、本明細書に記載されている数値の何れより大きいか、それと等しくてもよい。焦点レンズの焦点距離は、本明細書に記載された数値の何れの2つの間の範囲内に当てはまる数値を有していてもよい。
システムは、1つ又は複数のセンサ208を含んでいてもよい。レンズにより合焦される光は、本明細書においてイメージセンサとも呼ばれる1つ又は複数のセンサへと方向付けられてもよい。例えば、システムは光子を回収して保存するためのフォトサイトを有する光センサ212を含んでいてもよい。光センサはさらに、収集した情報(例えば、光子)をデジタル形式に変換しても(例えば、画像を取得しても)よい。例えば、システムは、取得されるべき画像の正確な焦点を判断するための合焦センサ214を含んでいてもよい。例えば、システムは、取得された画像の色のバランスをとるため(例えば、人の視力のそれとマッチさせるか、コンピュータビジョンアプリケーション用に最適化するため)のバランスセンサ(例えば、ホワイトバランスセンサ)216を含んでいてもよい。幾つかの例において、1つのイメージセンサ208は複数の異なる種類のセンサの機能を含んでいてもよい。例えば、1つのセンサは、光を検出して画像を搬送する形態に変換する(例えば、画像を取得する)ほか、画像の焦点を合わせ、バランス(例えば、ホワイトバランス)をとるために使用されてもよい。
イメージセンサは、レンズから所定の距離だけ離れていてもよい。例えば、イメージセンサからレンズモジュールまでの距離はレンズモジュールの焦点距離に対応していてもよい。幾つかの例において、イメージセンサはレンズモジュール(例えば、ズームレンズ)までの可変的な距離を有していてもよい。イメージセンサは、取得された画像の焦点面が画像センサの平面と同一平面内にあるように位置付けられてもよい。
イメージセンサは、光学情報(例えば、センサ面に衝突する光は光学情報を含んでいるかもしれない)をデジタル情報(例えば、電気信号)に変換するデバイスを指してもよい。光学情報のデジタル情報への変換は、本明細書において、画像(例えば、画像データ)の取得と呼ばれてもよい。イメージセンサは、画像を構成する情報を検出し、搬送してもよい。イメージセンサは、電荷結合素子(CCD)型、相補型金属酸化膜半導体(CMOS)型、N型金属酸化膜半導体(NMOS)型、又は裏面照明CMOS(BSI−CMOS)型の何れであってもよい。
幾つかの例において、システムの撮像用コンポーネント(例えば、レンズ、センサ等)は光軸を含んでいてもよい。光軸は、それに沿ってある程度の回転対称性を有する線を指してもよい。光軸は、それに沿って光がレンズを通って伝搬する線により定義されてもよい。光軸は、レンズの中心、又は撮像用コンポーネントを通ってもよい。幾つかの例において、撮像用コンポーネントは、それに関連付けられる視野(FOV)を有していてもよい。FOVとは、世界のうち、撮像システム上で空間内の特定の位置と向きで目に見える部分を指してもよい。画像撮影時にFOVの外側にある物体は、写真に記録されないかもしれない。FOVはまた、ビューコーンの角の大きさ、すなわち視野角として表現されてもよい。光学モジュールのFOVは、センサの大きさと焦点距離に依存してもよい。図3は、実施形態による光学レンズ300の視野角を示す。光学レンズの場合、視野角αは、FOVα=2 arctan(d/2f)として計算でき、式中、dはイメージセンサの大きさ、fはレンズの焦点距離である。
一定の大きさのイメージセンサの場合、焦点レンズは一定のFOVを有していてもよく、FOVは1つのFOV角度を包含してもよい。一定の大きさのイメージセンサの場合、ズームレンズは可変的なFOV角度範囲を有していてもよく、FOV角度範囲は複数のFOV角度を包含してもよい。FOVは、光学モジュールの1つ又は複数のレンズ及び/又はその他の光学素子(例えば、センサ)に依存してもよい。幾つかの例において、焦点レンズのFOVは、180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°、又は15°未満か、それと等しくてもよい。任意選択により、焦点レンズのFOVは、本明細書に記載されている数値の何れより大きいか、何れと等しくてもよい。焦点レンズのFOVは、本明細書に記載されている数値の何れの2つ間の範囲内に当てはまる数値を有していてもよい。
撮像用コンポーネントは、環境(例えば、撮像システムの付近又は周囲)の画像を取得してもよい。撮像用コンポーネントは継続的に画像を取得してもよい。撮像用コンポーネントは、指定された周期で画像を取得して、ある期間にわたって一連の画像データを生成してもよい。撮像用コンポーネントは、ビデオレートの取得を提供するのに十分に高い周期で画像を取得してもよい。画像は、少なくとも10Hz、20Hz、30Hz、40Hz、50Hz、60Hz、70Hz、80Hz、90Hz、100Hz、120Hz、150Hz、200Hz、250Hz、又は300Hzの速度で取得されてもよい。
図2のシステムは任意選択により、通信ユニット218及び/又は記憶ユニット220を含んでいてもよい。通信ユニットは、外部コンポーネント及び/又はデバイス、例えば携帯電話、タブレット、PC、リモートコントローラ等の移動デバイスとの通信のために使用されてもよい。通信ユニットは例えば、撮像システムにより取得された画像(例えば、出力)の送信、又は外部コンポーネントもしくはデバイスからの入力(例えば、制御信号)の受信において使用されてもよい。通信ユニットはまた、デジタル信号処理(DSP)を介して画像を変形させることにより、(例えばイメージセンサによって)取得された画像を何らかの方法で改良するために使用されてもよい。記憶ユニットは、システムにより取得された画像を一時的又は永久的に保存するために使用されてもよい。
図2のシステムは、プロセッサ210をさらに含んでいてもよい。プロセッサは、取得された画像を処理し、及び/又はブラックレベル補正、周辺光量比補正、歪み補正、ホワイトバランス補正、カラークロストーク補正、デモザイク、色補正、グレイスケールマッピング、色空間変換、鮮明化、及びノイズ除去等の画像処理機能を実行してもよい。幾つかの例において、プロセッサは取得された画像を処理して環境情報222を取得してもよく、これについて以下でさらに説明する。
プロセッサは、UAV又は携帯電話等の移動体に搭載されてもよい。幾つかの例において、プロセッサは移動体の撮像装置に搭載されてもよい。プロセッサは、撮像装置の筐体の中にあっても、外にあってもよい。幾つかの例において、プロセッサは移動体の撮像装置に搭載されていなくてもよい。プロセッサは、ジンバル等の支持機構上に提供されてもよく、これについては以下でさらに説明する。或いは、プロセッサは移動体から離れた場所に提供されてもよい。例えば、プロセッサはリモートコントローラ(例えば、セルフォン、PDA、その他)、サーバ、地上局(例えば、デスクトップコンピュータ、ラップトップ、充電ステーション等)、又はクラウドベースのインフラストラクチャ上に提供されてもよい。1つ又は複数の光学モジュールからの情報は、無線でプロセッサに送信されてもよい。或いは、撮像用コンポーネントからの情報は物理的接続を介してプロセッサに提供されてもよい。プロセッサ210は、中央処理ユニット(CPU)、特定用途集積回路(ASIC)、又はフィールドプログラマブルゲートアレイ(FPGA)により実装されてもよい。本明細書におけるプロセッサに関する説明は何れも、1つ又は複数のプロセッサに当てはまり、これらは個別に又は集合的に、プロセッサに関して説明した何れの機能を実行してもよい。プロセッサは、1つ又は複数のプロセッサを含んでいてもよい。プロセッサは、1つ又は複数のステップを実行するためのコード、ロジック、又は命令を含む非一時的コンピュータ読取可能媒体にしたがって1つ又は複数のステップを実行することができてもよい。メモリストレージユニットが提供されてもよく、これは非一時的コンピュータ読取可能媒体を含んでいてもよい。
図4は、実施形態による、環境情報を取得するために使用される両眼式撮像システムを示す。構成402では、第1の撮像用コンポーネント404と、第2の撮像用コンポーネント406を有する撮像システムが提供される。撮像用コンポーネント404及び406は、両者で両眼式撮像システムを提供してもよい。撮像用コンポーネントの各々は、UAV等の移動体に動作的に接続されてもよい。例えば、第1及び/又は第2の撮像用コンポーネントは移動体に組み込まれてもよい。その代わりに、又はそれに加えて、第1及び/又は第2の撮像用コンポーネントは、ある機構を介して移動体に接続されてもよい。幾つかの例において、この機構は撮像用コンポーネントが移動体に対して移動できるようにしてもよい。移動は並進移動及び/又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、1つ、2つ、又は3つの軸の周囲で撮像用コンポーネントが移動できるように構成されてもよい。
撮像用コンポーネントの各々は光軸を含んでいてもよい。例えば、第1の撮像用コンポーネントは光軸405を含んでいてもよく、第2の撮像用コンポーネントは光軸407を含んでいてもよい。幾つかの例において、撮像用コンポーネント404及び406の光軸は、構成402に示されているように実質的に平行であってもよい。或いは、撮像用コンポーネントは、それ以外のいずれの方法でも、例えば異なる角度で配置されてよい。例えば、撮像用コンポーネントの光軸は、構成408に示されるように、実質的に平行でなくてもよい。撮像用コンポーネントは、水平、垂直、又は代替的な配列で配置されてもよい。撮像用コンポーネントの各々は1つの撮像装置上に位置付けられてよい。或いは、撮像用コンポーネントは異なる撮像装置上に位置付けられてもよい。
撮像用コンポーネントの各々は、視野(FOV)を含んでいてもよい。撮像システムの各撮像用コンポーネントは、異なるFOVを有していてもよい。或いは、撮像システムの各撮像用コンポーネントは同一の(例えば、同じ)視野を有していてもよい。幾つかの例において、撮像用コンポーネントの視野は重複していても、又は構成402に示されるように部分的に重複していてもよい。撮像用コンポーネントの視野は、重複部分410と非重複部分412、414の両方を含んでいてもよい。第1の撮像用コンポーネントは、例えば第1の撮像用コンポーネントのFOVの第1の画像群を取得してもよい。第2の撮像用コンポーネントは、例えば第2の撮像用コンポーネントのFOVの第2の画像群を取得してもよい。幾つかの例において、第1及び第2の画像群は実質的に同時に取得されてもよい。第1及び第2の画像群は、重複部分と非重複部分を含んでいてもよい。
撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、環境情報を取得するように構成されてもよい。幾つかの例において、1つ又は複数のプロセッサは、第1及び第2の画像群の重複部分に含まれるデータを処理することによって環境情報を取得するように構成されてもよい。例えば、1つ又は複数のプロセッサは、第1の撮像用コンポーネント404により取得された画像と第2の撮像用コンポーネント406により取得された画像との視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサはそれに加えて、テクスチャ情報を取得するように構成されてもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、第1の撮像用コンポーネント及び第2の撮像用コンポーネントにより得られた画像の重複及び/又は非重複部分の両方から得られてもよい。幾つかの例において、テクスチャ情報は移動体に用いる環境情報を取得するための根拠として利用されてもよい。したがって、画像の非重複部分から得られたテクスチャ情報は、移動体にとって有益な情報を提供してもよい。例えば、非重複部分から得られたテクスチャ情報は移動体にとっての関心対象の物体又は障害物を示してもよい。幾つかの例において、テクスチャ情報は移動体の挙動に影響を与えるための根拠を提供してもよい。
図5は、実施形態による、テクスチャ情報が移動体にとって有益な情報を提供する例示的構成を示している。構成501では、撮像用コンポーネント503及び505は、UAV507に動作的に接続されている。撮像用コンポーネントの各々は、重複部分及び非重複部分を有する画像群を取得する。重複部分は物体509を含み、非重複部分は物体508を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理してUAVのための環境情報を取得してもよい。例えば、1つ又は複数のプロセッサは物体509までの距離を判断してもよい。これは、画像の重複部分の品質が十分であるときに可能であってもよい。
幾つかの例において、部分(例えば、画像の重複又は非重複部分)の品質は、その部分内の特徴の存在に依存してもよい。幾つかの例において、その部分の品質は特徴の顕著さに依存してもよい。特徴は、特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴はコンピュータアルゴリズム(例えば、プログラム)により特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴は、コンピュータビジョンアプリケーションのための認識可能な特徴であってもよい。幾つかの例において、部分の品質はその部分の顕著性又は勾配を解析することによって判断されてもよい。幾つかの例において、画像の部分の品質はその部分内の特徴点の数又はオプティカルフローを解析することによって判断されてもよい。
幾つかの例において、画像の部分の品質は所定の基準との比較によって判断されてもよい。所定の基準は所定の閾値、例えば閾値の数又は値を含んでいてもよい。幾つかの例において、画像の重複部分内の顕著性、勾配、特徴点の数、及び/又はオプティカルフローが所定の基準と比較されて、重複部分の品質が十分であるか否かが判断されてもよい。幾つかの例において、重複部分の品質は十分であるかもしれない。例えば、重複部分の中に、UAVのための環境情報を取得するのに十分な情報又はデータ(例えば、特定可能な特徴、顕著性、その他)があってもよい。
1つ又は複数のプロセッサは、画像の非重複部分を処理してテクスチャ情報を取得するように構成されてもよい。幾つかの例において、テクスチャ情報は非重複部分から取得されてもよく、環境情報は重複部分から得られる。テクスチャ情報は、UAVのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、UAVは、第1及び第2の撮像用コンポーネントにより取得される画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、UAVは、第1及び第2の撮像用コンポーネントにより取得される画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることによって、より多くの環境情報を取得できるかもしれない。例えば、障害物又は物体508に関する情報は、画像の非重複部分を処理することによって得られるテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、UAVの動作において、又は本明細書中で前述したようにUAVの挙動に影響を与える中で利用されてもよい。
任意選択により、1つ又は複数のプロセッサは、重複部分の品質が不十分であるか、又はその品質が所定の基準より低い場合、画像の非重複部分からテクスチャ情報及び/又は環境情報を取得するように構成されていてもよい。構成511では、撮像用コンポーネント513及び515はUAV517に動作的に接続されている。撮像用コンポーネントは各々、重複部分と非重複部分を有する画像群を取得する。重複部分は物体を含まず、非重複部分は物体518を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理して、UAVのための環境情報を取得してもよい。しかしながら、1つ又は複数のプロセッサは、重複部分から環境情報を取得できないかもしれない。例えば、重複部分に十分な情報(例えば、特定可能な特徴、顕著性、等)がなく、環境情報が取得されないかもしれない。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
重複部分の品質が不十分である場合、1つ又は複数のプロセッサは、画像の非重複部分からテクスチャ情報及び/又は環境情報を取得するように構成されていてもよい。幾つかの例において、取得されたテクスチャ情報は、UAVのための環境情報を提供するための根拠として利用されてもよい。UAVは、それが画像の重複部分から環境情報を取得できない場合、第1及び第2の撮像用コンポーネントにより取得された画像の非重複部分に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得してもよい。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、第1及び第2の撮像用コンポーネントにより取得された画像の非重複部分の中に含まれる情報を処理し、考慮に入れることによって環境情報を取得してもよい。例えば、障害物又は物体518に関する情報は、画像の非重複部分を処理することによって得られるテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、UAVの動作において、又は本明細書の中で前述したようにUAVの挙動に影響を与える中で利用されてもよい。
構成521では、撮像用コンポーネント523及び525はUAV527に動作的に接続されている。撮像用コンポーネントの各々は、重複部分及び非重複部分を有する画像群を取得する。重複部分は物体529の一部を含み、非重複部分はその物体の別の部分を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理してUAVのための環境情報を取得してもよい。しかしながら、1つ又は複数のプロセッサは、重複部分から環境情報を取得することができないかもしれない。幾つかの例において、重複部分内の情報(例えば、特定可能な特徴、顕著性、その他)が不十分で、環境情報を取得できないかもしれない。例えば、物体529は識別可能な特徴を持たない白壁であってもよい。例えば、物体529は反復的な特徴を有する壁であってもよい。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
1つ又は複数のプロセッサはそれに加えて、画像の非重複部分を処理してテクスチャ情報を取得するように構成されていてもよい。テクスチャ情報は、UAVのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、第1及び第2の撮像用コンポーネントにより取得された画像の非重複部分の中に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得してもよい。幾つかの例において、UAVは、それが画像の重複部分間ら環境情報を取得できない場合に、第1及び第2の撮像用コンポーネントにより取得された画像の非重複部分に含まれる情報を処理し、考慮に入れることによって、より多くの環境情報を取得してもよい。例えば、障害物又は物体529に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて得られてもよい。環境情報はさらに、UAVの動作の中で、又は本明細書中で前述したように、UAVの挙動に影響を与える中で利用されてもよい。
幾つかの例において、1つ又は複数のプロセッサは第1及び第2の撮像用コンポーネントにより取得された画像の重複部分の品質が不十分である場合に、制御信号を生成するように構成されていてもよい。制御信号は、UAVの挙動に影響を与えてもよい。幾つかの例において、制御信号はUAVの位置又は向き等のUAVの状態に影響を与えてもよい。例えば、画像の重複部分が所定の品質より低いと、UAVの移動を停止させる、及び/又はUAVを静止位置でホバリングさせるための制御信号が生成されてもよい。他の例として、画像の重複部分が所定の品質より低いと、1つ又は複数のプロセッサは、UAVの(例えばUAVのピッチ、ヨー、又はロール軸に関する)向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、第1及び第2の撮像用コンポーネントにより取得された画像の新たな重複部分が十分な品質となるまで継続されてもよい。
その代わりに、又はそれに加えて、画像の非重複部分から得られたテクスチャ情報及び/又は環境情報に応答して、1つ又は複数のプロセッサは、制御信号を生成するように構成されてもよい。制御信号はUAVの挙動に影響を与えてもよい。幾つかの例において、制御信号はUAVの位置又は向き等のUAVの状態に影響を与えてもよい。例えば、画像の非重複部分から得られたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、UAVの移動を、非重複部分から特定された物体又は障害物を避けるように方向付けるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、UAVの移動を停止させ、及び又はUAVを静止位置でホバリングさせるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、UAVの(例えばUAVのピッチ、ヨー、又はロール軸に関する)向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、第1の撮像用コンポーネントと第2の撮像用コンポーネントにより取得された画像の新しい重複部分が十分な品質となるようにすることであってもよい。例えば、構成511に関して、UAVの向きは、第1の撮像用コンポーネントと第2の撮像用コンポーネントにより取得された画像の重複部分が物体518を含むように調整されてもよい。
幾つかの例において、制御信号は第1及び/又は第2の撮像用コンポーネントを調整してもよい。図6は、実施形態による、制御信号に応答した撮像用コンポーネントの例示的な調整を示す。例えば、構成601に示されているように、画像の重複部分が所定の品質より低い場合に、制御信号が生成されてもよい。その代わりに、又はそれに加えて、取得された画像の非重複部分から得られたテクスチャ情報及び/又は環境情報に基づいて、制御信号が生成されてもよい。幾つかの例において、制御信号は撮像用コンポーネントの位置又は向き等、第1及び/又は第2の撮像用コンポーネントの状態に影響を与えてもよい。幾つかの例において、制御信号は第1及び/又は第2の撮像用コンポーネントの光軸を調整してもよい。幾つかの例において、制御信号は、構成603に示されているように、第1及び/又は第2の撮像用コンポーネントの位置を調整してもよい。幾つかの例において、撮像用コンポーネントの位置の調整は、その撮像用コンポーネントが接続されているUAVに関するものであってもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの位置の調整はUAVの位置を変化させることによって行われてもよい。幾つかの例において、構成605に示されているように、第1及び/又は第2の撮像用コンポーネントの光学ズームを調整してもよい。幾つかの例において、構成607に示されているように、制御信号は第1及び/又は第2の撮像用コンポーネントの向きを調整してもよい。撮像用コンポーネントの向きにおける調整は、その撮像用コンポーネントが接続されているUAVに関するものであってもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの向きの調整はUAVの向きを変化させることによって行われてもよい。幾つかの例において、調整は、第1及び第2の撮像用コンポーネントにより取得された画像の新しい重複部分が十分な品質となるまで継続されてもよい。
図7は、実施形態による、移動体により取得された画像の処理方法700を示す。移動体は、本明細書中で前述したように無人航空機(UAV)であってもよい。或いは、移動体は他の何れの種類の車両であってもよい。移動体は、幾つかの例において、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントに動作的に接続されていてもよい。例えば、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントは、移動体に搭載されてもよい。幾つかの例において、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されてもよい。第1及び第2の撮像用コンポーネントは両眼式撮像システムを形成してもよい。
ステップ701で、第1の画像群が第1の撮像用コンポーネントを用いて取得される。第1の撮像用コンポーネントは第1の筐体内に位置付けられていてもよい。幾つかの例において、第1の撮像用コンポーネントは第1の撮像装置上に位置付けられていてもよい。第1の撮像用コンポーネントは第1のレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、第1の撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、第1の撮像用コンポーネントは1つ又は複数のセンサを含んでいてもよい。第1の撮像用コンポーネントは第1の視野を有していてもよい。幾つかの例において、第1の撮像用コンポーネントにより取得された第1の画像群は第1の視野を描写する画像群であってもよい。
ステップ703で、第2の画像群が第2の撮像用コンポーネントを用いて取得される。幾つかの例において、第2の撮像用コンポーネントは第2の筐体内に位置付けられていてもよい。第2の筐体は第1の筐体と同じであってもよい。或いは、第2の筐体は第1の筐体とは異なっていてもよい。幾つかの例において、第2の撮像用コンポーネントは第2の撮像装置上に位置付けられていてもよい。第2の撮像装置は第1の撮像装置と同じであってもよい。或いは、第2の撮像装置は第1の撮像装置とは異なっていてもよい。
第2の撮像用コンポーネントは第2のレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、第2の撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、第2の撮像用コンポーネントは1つ又は複数のセンサを含んでいてもよい。第2の撮像用コンポーネントは第2の視野を有していてもよい。第2の視野は第1の視野と同様の大きさ(例えば、視野角)であってもよい。或いは、第2の視野は第1の視野と異なる大きさであってもよい。幾つかの例において、第2の視野は第1の視野と重複していてもよい。したがって、第1の画像群と第2の画像群は、重複部分と非重複部分を含んでいてもよい。
幾つかの例において、第1の撮像用コンポーネントと第2の撮像用コンポーネントの光軸は実質的に平行であってもよい。或いは、第1及び第2の撮像用コンポーネントの光軸は、他の角度がつけられ、平行でなくてもよい。幾つかの例において、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントの光軸は、相互に関して調整可能であってもよい。したがって、第1の撮像用コンポーネントの光軸は鋭角がつけられ、平行であり、及び/又は鈍角がつけられていてもよい。
幾つかの例において、1つ又は複数のプロセッサが提供されてもよい。1つ又は複数のプロセッサは移動体に搭載されてもよい。その代わりに、又はそれに加えて、1つ又は複数のプロセッサの一部又はすべてが移動体に搭載されていなくてもよい。例えば、プロセッサの一部は、移動体に動作的に接続されたリモートコントローラ又は移動デバイス上に位置付けられていてもよい。ステップ705で、1つ又は複数のプロセッサは個別に又は集合的に、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサはさらに、第1の画像群と第2の画像群の重複部分を解析して移動体に用いる環境情報を取得するように構成されてもよい。任意選択により、1つ又は複数のプロセッサは、第1の画像群と第2の画像群の非重複部分からのテクスチャ情報と重複部分からの環境情報の両方を同時に取得してもよい。
幾つかの例において、第1の画像群と第2の画像群の重複部分の品質が所定の閾値より低い場合、1つ又は複数のプロセッサは、テクスチャ情報(例えば、非重複部分から得られたもの)に基づいて移動体の環境情報を取得するように構成されていてもよい。一例として、テクスチャ情報(例えば、画像内の色又は輝度)に基づいて、UAVが動作している環境に関する概観が得られてもよい。例えば、テクスチャ情報に基づいて、UAVが動作している環境内に物体又は障害物があるとの判断が得られてもよい。幾つかの例において、重複部分の品質は画像処理技術を使って解析されてもよい。一例として、1つ又は複数のプロセッサは、画像の重複部分の顕著性又は勾配を解析して品質を判断するように構成されてもよい。他の例として、1つ又は複数のプロセッサは、重複部分内の特徴点の数又はオプティカルフローを解析して品質を判断するように構成されてもよい。
幾つかの例において、重複部分の品質が所定の閾値より低いのは、重複部分に十分な特徴がない場合であってもよい。幾つかの例において、重複部分の品質が所定の閾値より低いのは、その部分から奥行き情報が得られないかもしれない場合であってもよい。本明細書中で前述したように、環境情報は移動体の動作にとって有益な何れの情報を含んでいてもよい。例えば、環境情報は奥行き情報、障害物情報、物体情報、及び/又は移動体に関する状態情報を含んでいてもよい。移動体に関する状態情報は、移動体の位置、向き、速度、又は加速度を含んでいてもよい。任意選択により、ステップ707で、1つ又は複数のプロセッサは、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成してもよい。幾つかの例において、制御信号は、第1及び第2の画像群の重複部分の品質が所定の閾値より低い場合に生成されてもよい。その代わりに、又はそれに加えて、制御信号はステップ705で得られたテクスチャ情報に基づいて生成されてもよい。幾つかの例において、制御信号はテクスチャ情報から得られた環境情報に基づいて生成されてもよい。例えば、実質的に前述したように、制御信号は物体又は障害物の存在に基づいて生成されてもよい。幾つかの例において、制御信号は、非重複部分に物体又は障害物が存在すると判断された場合に生成されてもよい。調整は、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントの光軸における調整であってもよい。例えば、制御信号は画像の非重複部分から得られたテクスチャ情報及び/又は環境情報に基づいて移動体の調整を行うための命令を提供してもよい。移動体の調整は、移動体の状態における調整であってもよい。例えば、調整は移動体の位置、向き、速度、及び/又は加速度における調整であってもよい。幾つかの例において、調整は、移動体の、そのピッチ、ヨー、又はロール軸に対する向きの調整であってもよい。移動体の調整の結果として、移動体に接続された撮像用コンポーネントの光軸が相応に調整されてもよい。
幾つかの例において、第1及び第2の撮像用コンポーネントの調整は、第1の視野と第2の視野の新しい重複部分が、第1の画像群と第2の画像群の以前の非重複部分の少なくとも一部を包含するように構成されてもよい。幾つかの例において、第1及び/又は第2の撮像用コンポーネントの調整は、第1の視野と第2の視野の新しい重複部分が以前の重複部分とは異なる大きさになるように構成されてもよい。例えば、例えば図6の構成607に示されているように、第1及び第2の撮像用コンポーネントの光軸は相互に関してもよく、それによって重複部分の大きさが変化する。幾つかの例において、1つ又は複数のプロセッサは、移動体の飛行中に処理及び生成ステップを繰り返すように構成されてもよい。処理及び生成ステップは、少なくとも60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒、又は0.01秒ごとに繰り返されてもよい。
幾つかの例において、方法700を実行するためのシステムが提供されてもよい。システムは1つ又は複数のプロセッサを含んでいてもよく、これは、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得し、第1の画像群は第1の視野を有する第1の撮像用コンポーネントにより取得され、第2の画像群は第1の視野と重複する第2の視野を有する第2の撮像用コンポーネントにより取得され、テスクチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成される。
幾つかの例において、方法700を実行するための装置が提供されてもよい。装置は、第1の視野を有する第1の撮像用コンポーネントであって、第1の画像群を取得するように構成された第1の撮像用コンポーネントと、第1の視野と重複する第2の視野を有する第2の撮像用コンポーネントであって、第2の画像群を取得するように構成された第2の撮像用コンポーネントと、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成された1つ又は複数のプロセッサと、を含んでいてもよい。
幾つかの例において、方法700を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、第1の撮像用コンポーネントを用いて第1の画像を取得し、第1の撮像用コンポーネントは第1の視野を有し、第2の撮像用コンポーネントを用いて第2の画像群を取得し、第2の撮像用コンポーネントは第1の視野と重複する第2の視野を有し、1つ又は複数のプロセッサを個別に又は集合的に用いて、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するためのコード、ロジック、又は命令を含んでいてもよい。
図8は、実施形態による、環境情報を取得するために使用される移動型撮像システムを示している。構成802では、撮像用コンポーネント804を有する撮像システムが提供される。撮像用コンポーネントは、単眼式撮像システムを提供してもよい。幾つかの例において、撮像用コンポーネントは、実質的に前述した両眼式撮像システムの一部であってもよい。或いは、撮像用コンポーネントは両眼式撮像システムを含んでいてもよい。撮像用コンポーネントは、UAV等の移動体に動作的に接続されてもよい。例えば、撮像用コンポーネントは移動体に組み込まれてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントは、ある機構を介して移動物体に接続されてもよい。幾つかの例において、この機構は撮像用コンポーネントが移動体に対して移動できるようにしてもよい。移動は、並進移動及び/又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、撮像用コンポーネントが1つ、2つ、又は3つの軸の周囲で移動できるように構成されてもよい。
撮像用コンポーネントは、ある期間にわたって調整されてもよい。幾つかの例において、調整は、撮像用コンポーネントの視野を変化させてもよい。例えば、構成802では、撮像用コンポーネントの視野がFOV806からFOV808へと変化する。幾つかの例において、視野の変化は撮像用コンポーネントの光軸及び/又は位置の調整によるものであってもよい。例えば、撮像用コンポーネントの光軸は、構成802に示されるように並進移動されてもよい。他の例として、撮像用コンポーネントの光軸は構成820に示されるように回転移動されてもよい。幾つかの例において、撮像用コンポーネントの光軸の調整は、撮像用コンポーネントが接続されている移動物体が調整されているときに行われてもよい。例えば、移動体が位置及び/又は向きにおいて変化されると、撮像用コンポーネントも、それに対応して位置及び/又は向きが変化してもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの光軸の調整は移動体の調整とは独立して行われてもよい。例えば、機構は、撮像用コンポーネントを、それが接続されている移動体に対して移動させるように構成されてもよい。撮像用コンポーネントの移動体に対する移動は、並進移動及び/又は回転移動であってもよい。幾つかの例において、機構は、撮像用コンポーネントを1つ、2つ、又は3つの軸に対して移動できるジンバルであってもよい。その代わりに、又はそれに加えて、視野の変化は撮像用コンポーネントの構成における調整によるものであってもよい。例えば、撮像用コンポーネントのズームレベルは、例えば光学ズーミングシステムのレンズを相対移動させることよって調整されてもよい。
幾つかの例において、撮像用コンポーネントは、ある領域をスキャンするように構成されていてもよい。領域は、撮像用コンポーネントの視野の大きさより大きくてもよい。領域のスキャンによって、撮像用コンポーネント及び/又は1つ又は複数のプロセッサは動作中により多くのテクスチャ情報及び/又は環境情報を取得できるかもしれない。幾つかの例において、撮像用コンポーネントは、ある領域を周期的にスキャンするように構成されてもよい。ある領域の周期的なスキャンは、撮像用コンポーネントの所定の移動を通じて実行されてもよい。幾つかの例において、撮像用コンポーネントの所定の移動は、撮像用コンポーネントに接続された移動体の所定の移動の結果として行われてもよい。例えば、移動体のホバリング中に、これは、そのロール、ピッチ、又はヨー軸の周囲でその向きを調整することによってある領域をスキャンしてもよい。例えば、移動体の移動中に、これは、そのロール、ピッチ、又はヨー軸の周囲のその向きを調整することによってある領域をスキャンしてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの所定の移動は移動体に対するものであってもよい。例えば、ある機構によって、撮像用コンポーネントは移動体に関して所定の通りに移動できるかもしれない。この機構は、移動体の周囲で撮像用コンポーネントを並進移動させることのできる並進又は回転機構であってもよい。この機構は、移動体の周囲で撮像用コンポーネントを回転移動させることのできる回転機構であってもよい。幾つかの例において、この機構は、撮像用コンポーネントが1つ、2つ、又は3つの軸の周囲で移動できるようなジンバルであってもよい。
幾つかの例において、所定の移動は、構成802に示されるように、撮像用コンポーネントの並進移動であってもよい。その代わりに、又はそれに加えて、所定の移動は、構成820に示されるように、撮像用コンポーネントの回転移動であってもよい。幾つかの例において、所定の移動は撮像用コンポーネントの並進及び回転移動を含んでいてもよい。幾つかの例において、撮像用コンポーネントは、約30秒、20秒、10秒、5秒、3秒、2秒、1秒、又は0.5秒ごとに、又はそれ未満で領域をスキャンするように構成されてもよい。幾つかの例において、撮像用コンポーネントの光軸は、周期的スキャン中に約2°、5°、10°、15°、20°、30°、45°、60°、75°、90°、又はそれ以上ずつ変化させてもよい。幾つかの例において、撮像用コンポーネントの光軸は、周期的スキャン中に約0.5cm、1cm、2cm、3cm、5cm、10cm、20cm、又はそれ以上ずつ変化させてもよい。
撮像用コンポーネントは画像のシーケンス、例えばある期間にわたり撮像用コンポーネントのFOVの画像を取得してもよい。幾つかの例において、シーケンス画像は、撮像用コンポーネントによるある領域のスキャン中に取得されてもよい。シーケンス画像は、2つ又はそれ以上の画像を含んでいてもよい。幾つかの例において、シーケンス画像は、前述のように、光軸が異なる向き及び/又は位置にあるときに取得されてもよい。例えば、撮像用コンポーネントは、当初時刻(t1)で第1の画像810を取得してもよい。続いて、撮像用コンポーネントは、その位置を変化させてから、次の時刻(t2)で第2の画像812を取得してもよい。他の例として、撮像用コンポーネントは、当初時刻(t1)で第1の画像814を取得してもよい。続いて、撮像用コンポーネントは、構成820に示されるように、その向きを変えてから次の時刻(t2)で第2の画像816を取得してもよい。シーケンス画像は、図802及び820に示されるように、重複するか、又は部分的に重複していてもよい。幾つかの例において、シーケンス画像は重複部分及び非重複部分を含んでいてもよい。
撮像用コンポーネントと動作的に接続された1つ又は複数のプロセッサは、環境情報を取得するように構成されてもよい。幾つかの例において、1つ又は複数のプロセッサは、シーケンス画像の重複部分に含まれるデータを処理することによって環境情報を取得するように構成されてもよい。例えば、1つ又は複数のプロセッサは、連続的に取得された画像、例えばt1で取得された画像とt2で取得された画像との視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサは、テクスチャ情報を取得するように構成されてもよい。テクスチャ情報は、画像内の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、撮像用コンポーネントにより得られたシーケンス画像の重複部分及び/又は非重複部分の両方から得られてもよい。幾つかの例において、テクスチャ情報は移動体に用いる環境情報を取得するための根拠として利用されてもよい。したがって、シーケンス画像の非重複部分から得られたテクスチャ情報は、移動体にとって有益な情報を提供するかもしれない。例えば、非重複部分の中のテクスチャ情報は、移動体委にとって関心対象の物体又は障害物を示してもよい。幾つかの例において、テクスチャ情報は、移動体の挙動に影響を与える根拠を提供してもよい。
図9は、実施形態による、テクスチャ情報を移動体に関して取得する例示的な構成を示している。構成901では、撮像用コンポーネント903がUAV905に動作的に接続されている。撮像用コンポーネントは、異なる視野のシーケンス画像を取得してもよい。幾つかの例において、シーケンス画像は重複部分と非重複部分を含んでいてもよい。例えば、撮像用コンポーネント903は、第1の時刻(t1)、第2の時刻(t2)及び第3の時刻(t3)で、異なる視野の3つの画像のシーケンスを取得してもよい。重複部分は物体907を含み、非重複部分は物体908を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、シーケンス画像の重複部分を処理してUAVのための環境情報を取得してもよい。例えば、1つ又は複数のプロセッサはシーケンス画像の重複部分に含まれるデータを処理することによって物体907の距離を判断してもよい。これは、シーケンス画像の重複部分の品質が十分である場合に可能であるかもしれない。
幾つかの例において、部分(例えば、画像の重複又は非重複部分)の品質は、その部分の中の特徴の存在に依存してもよい。幾つかの例において、その部分の品質は、その部分の中の特徴の顕著さに依存してもよい。特徴は、特定可能又は認識可能な特徴であってもよい。幾つかの例において、コンピュータアルゴリズム(例えば、プログラム)により特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴は、コンピュータビジョンアプリケーションにとって認識可能な特徴であってもよい。幾つかの例において、その部分の品質は、その部分の顕著性又は勾配を解析することによって判断されてもよい。幾つかの例において、画像の部分の品質は、その部分の中のオプティカルフローに関する特徴点の数又は情報を解析することによって判断されてもよい。例えば、画像の部分の品質が十分であるのは、その部分の中の特徴点の数が約1、2、5、10、20、30、40、50、60、70、80、90、100、120、140、160、180、200、250、又は300と等しいか、それより大きい場合であってもよい。
幾つかの例において、シーケンス画像の部分の品質は所定の基準との比較によって判断されてもよい。所定の基準は所定の閾値、例えば閾値の数又は値を含んでいてもよい。幾つかの例において、画像の重複部分内の顕著性、勾配、特徴点の数、及び/又はオプティカルフローを所定の基準と比較して、重複部分の品質が十分か否かを判断してもよい。幾つかの例において、重複部分の品質は十分でないかもしれない。例えば、重複部分に、UAVのための環境情報を取得するのに十分な情報又はデータ(例えば、特定可能な特徴、顕著性、その他)があるかもしれない。
1つ又は複数のプロセッサはさらに、画像の非重複部分を処理してテクスチャ情報を取得するように構成されてもよい。幾つかの例において、テクスチャ情報は非重複部分から得られてもよく、環境情報は重複部分から得られる。テクスチャ情報は、UAVのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、撮像用コンポーネントにより取得されたシーケンス画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、撮像用コンポーネントにより取得されたシーケンス画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることにより、UAVはより大量の環境情報を取得できるかもしれない。例えば、障害物又は物体908に関する情報は、画像の非重複部分を処理することによって取得されたテクスチャ情報に基づいて取得されてもよい。環境情報は、UAVの動作において、又は本明細書で前述したように、UAVの挙動に影響を与える中でさらに利用されてもよい。
任意選択により、1つ又は複数のプロセッサは、重複部分の品質が不十分であるか、その品質が所定の基準より低い場合に、シーケンス画像の非重複部分からテクスチャ情報及び/又は環境情報を取得するように構成されてもよい。構成911では、撮像用コンポーネント913はUAV915に動作的に接続されている。撮像用コンポーネントは、重複部分と非重複部分を有するシーケンス画像を取得する。重複部分に物体は含まれず、非重複部分は物体918を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理してUAVのための環境情報を取得してもよい。しかしながら、1つ又は複数のプロセッサは、重複部分から環境情報を取得することができないかもしれない。例えば、重複部分の中の情報(例えば、特定可能な特徴、顕著性、その他)が不十分であり、環境情報が得られないかもしれない。シーケンス画像の重複部分の品質は不十分であるかもしれない。
重複部分の品質が不十分であると、1つ又は複数のプロセッサは、画像の非重複部分からテクスチャ情報及び/又は環境情報を取得するように構成されていてもよい。幾つかの例において、取得されたテクスチャ情報はUAVのための環境情報を提供する根拠として利用されてもよい。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得することができるかもしれない。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントによって取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、環境情報を取得してもよい。例えば、障害物又は物体918に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、UAVの動作において、又は本明細書で前述したようにUAVの挙動に影響を与える中で利用されてもよい。
構成921では、撮像用コンポーネント923はUAV925に動作的に接続されている。撮像用コンポーネントは、重複部分と非重複部分を有するシーケンス画像を取得する。重複部分は物体928の一部を含み、非重複部分はその物体の別の部分を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理してUAVのための環境情報を取得してもよい。しかしながら、1つ又は複数のプロセッサは重複部分から環境情報を取得することができないかもしれない。幾つかの例において、重複部分の中の情報(例えば、特定可能な特徴、顕著性その他)が不十分で、環境情報が得られないかもしれない。例えば、物体928は、識別可能な特徴を持たない白壁であってもよい。例えば、物体928は反復的特徴を有する壁であってもよい。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
1つ又は複数のプロセッサはさらに、画像の非重複部分を処理してテクスチャ情報を取得するように構成されていてもよい。テクスチャ情報は、UAVのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より多くの環境情報を取得できるかもしれない。例えば、障害物又は物体928に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて得られてもよい。環境情報はさらに、UAVの動作において、又は本明細書で前述したようにUAVの挙動に影響を与える中で利用されてもよい。
幾つかの例において、1つ又は複数のプロセッサは、撮像用コンポーネントにより取得されたシーケンス画像の重複部分の品質が不十分である場合に制御信号を生成するように構成されてもよい。制御信号はUAVの挙動に影響を与えてもよい。幾つかの例において、制御信号は、UAVの位置又は向き等のUAVの状態に影響を与えてもよい。例えば、画像の重複部分が所定の品質より低い場合、UAVの移動を停止させる、及び/又はUAVを静止位置にホバリングさせるための制御信号が生成されてもよい。他の例として、画像の重複部分が所定の品質より低い場合、1つ又は複数のプロセッサは、UAVの(例えば、UAVのピッチ、ヨー、又はロール軸に関する)向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、撮像用コンポーネントにより取得されたシーケンス画像の新しい重複部分の品質が十分になるまで継続されてもよい。幾つかの例において、画像の重複部分が所定の品質より低い場合、1つ又は複数のプロセッサは、実質的に前述のように、ある領域をスキャンするための制御信号を生成してもよい。
その代わりに、又はそれに加えて、シーケンス画像の非重複部分から得かられたテクスチャ情報及び/又は環境情報に応答して、1つ又は複数のプロセッサは、制御信号を生成するように構成されていてもよい。制御信号は、UAVの挙動に影響を与えてもよい。幾つかの例において、制御信号は、UAVの位置又は向き等のUAVの状態に影響を与えてもよい。例えば、画像の非重複部分から得られたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、非重複部分から特定された物体又は障害物を回避するようにUAVの移動を方向付けるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、UAVの移動を停止させ、及び/又はUAVを静止位置にホバリングさせるための制御信号を生成してもよい。他の例として、画像の非重複部分から得かられたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、UAVの(例えば、ピッチ、ヨー、又はロール軸に関する)向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、撮像用コンポーネントにより取得されたシーケンス画像の新たな重複部分が十分な品質又は所定の閾値より高い品質となるようにするものであってもよい。例えば、構成911に関して、調整は、UAVの向きの調整後、撮像用コンポーネントが物体918を含む領域をスキャンし、撮像用コンポーネントにより取得されるシーケンス画像の重複部分にその物体が含まれるようにするものであってもよい。
図10は、実施形態による、移動体により取得された画像の処理方法1000を示す。移動体は、本明細書中で前出したように、無人航空機(UAV)であってもよい。或いは、移動体は他の何れの種類の車両であってもよい。移動体は、幾つかの例において、撮像用コンポーネントに動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に搭載されていてもよい。幾つかの例において、撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されてもよい。撮像用コンポーネントは、単眼式撮像システムを形成してもよい。
ステップ1001で、撮像用コンポーネントを用いてシーケンス画像が取得される。撮像用コンポーネントは、筐体内にあってもよい。幾つかの例において、撮像用コンポーネントは撮像装置上に位置付けられていてもよい。撮像用コンポーネントはレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、撮像用コンポーネントは1つ又は複数のセンサを含んでいてもよい。撮像用コンポーネントは視野を有していてもよい。シーケンス画像は、2つ又はそれ以の画像を含んでいてもよい。幾つかの例において、シーケンス画像は異なる視野を含んでいてもよい。幾つかの例において、シーケンス画像は重複部分と非重複部分を有する2つ又はそれ以上の画像を含んでいてもよい。
幾つかの例において、シーケンス画像は、移動体の移動中、例えば前方移動中、後方移動中、その他の間に取得されてもよい。その代わりに、又はそれに加えて、シーケンス画像は移動体が実質的に静止している間に取得されてもよい。例えば、移動体は、ホバリングしているが、そのピッチ、ヨー、又はロール軸の周囲で回転していてもよい。幾つかの例において、シーケンス画像は、撮像用コンポーネントの光軸を移動体に対して連続的に調整することによって取得されてもよい。
幾つかの例において、撮像用コンポーネントの光軸を調整するための機構が提供されてもよい。幾つかの例において、この機構により、撮像用コンポーネントはその視野より大きい領域をスキャンすることができるかもしれない。任意選択により、撮像用コンポーネントはその機構を用いて約60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒、又は0.01秒ごとに領域をスキャンするように構成されていてもよい。幾つかの例において、撮像用コンポーネントの光軸は、スキャン中に約2°、5°、10°、15°、20°、30°、45°、60°、75°、90°、又はそれ以上ずつ変化されてもよい。
機構は、移動体の移動に合わせて撮像用コンポーネントの光軸を移動させてもよい。例えば、機構は、移動体に搭載された、移動体の移動を可能にする推進機構であってもよい。幾つかの例において、機構は、撮像用コンポーネントの光軸を移動可能物体に対して移動させてもよい。例えば、機構は、撮像用コンポーネントを移動体に対して移動させることのできる並進又回転機構であってもよい。例えば、機構は、撮像用コンポーネントを1つ、2つ、又は3つの軸の周囲で回転させることのできるジンバルであってもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のヨー軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のロール軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のピッチ軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体の外面の周囲で移動させることができてもよい。
幾つかの例において、1つ又は複数のプロセッサが提供されてもよい。1つ又は複数のプロセッサは移動体に搭載されていてもよい。その代わりに、又はそれに加えと、1つ又は複数のプロセッサの一部又は全部は移動体に搭載されていなくてもよい。例えば、プロセッサの一部は、移動体に動作的に接続されたリモートコントローラ又は移動デバイス上に位置付けられてもよい。1つ又は複数のプロセッサは、ステップ1003で、個別に、又は集合的にシーケンス画像の非重複部分を処理して、テクスチャ情報を取得してもよい。
ステップ1005で、1つ又は複数のプロセッサはテクスチャ情報に基づいて移動体に用いる環境情報を取得してもよい。環境情報は、実質的に前述したものであってもよく、例えば移動体の動作に有益な情報であってもよい。幾つかの例において、環境情報は奥行き情報を含む。幾つかの例において、環境情報は障害物情報又は移動体の状態情報を含む。
任意選択により、1つ又は複数のプロセッサはさらに、取得した環境情報に基づいて移動体の位置及び/又は向きを制御すための制御信号を生成するように構成されていてもよい。その代わりに、又はそれに加えて、1つ又は複数のプロセッサはさらに、移動体に接続された撮像装置の、移動体に対する位置及び/又は向きを取得した環境情報に基づいて制御するための制御信号を生成するように構成されていてもよい。幾つかの例において、1つ又は複数のプロセッサは、移動体の飛行中に処理及び生成ステップを繰り返すように構成されてもよい。処理及び取得ステップは、少なくとも60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒、又は0.01秒ごとに繰り返されてもよい。
幾つかの例において、方法1000を実行するためのシステムが提供されてもよい。システムは、1つ又は複数のプロセッサを含んでいてもよく、これは、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、シーケンス画像は撮像用コンポーネントにより取得されて、重複部分を含み、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別にまた集合的に構成される。
幾つかの例において、方法1000を実行するための装置が提供されてもよい。装置は、シーケンス画像を取得するように構成された撮像用コンポーネントであって、シーケンス画像は重複部分を含む撮像用コンポーネントと、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体のための地環境情報を取得するように個別に又は集合的に構成された1つ又は複数のプロセッサと、を含んでいてもよい。
幾つかの例において、方法1000を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、撮像用コンポーネントを用いてシーケンス画像を取得し、シーケンス画像は重複部分を含み、1つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するためのコード、ロジック、又は命令を含んでいてもよい。
上述の方法及びシステムは、個別に、又は相互に集合的に利用されてもよい。幾つかの例において、両眼式撮像システムは単眼式撮像システムと併用されてもよい。幾つかの例において、単眼式撮像システムは両眼式撮像システムを補助するものであってもよい。例えば、両眼式撮像システムは、第1の撮像用コンポーネントと第2の撮像用コンポーネントを含んでいてもよい。2つの撮像用コンポーネントにより取得された画像の重複部分が処理されて、UAVのための環境情報が判断されてもよい。さらに、第1の撮像用コンポーネントと第2の撮像用コンポーネントの各々は、単眼式撮像システムを提供してもよい。第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントにより取得されたシーケンス画像の重複部分が処理されて、UAVのための環境情報が判断されてもよい。これは、例えばデータ品質が不十分であるか、所定の閾値より低い場合に、両眼式撮像システムが環境情報を取得する代わりに行われてもよい。したがって、撮像用コンポーネントは、両眼式撮像システム及び単眼式撮像システムにおいて、環境情報を有効に取得するために選択的に利用されてもよい。例えば、狭い視野の両眼式撮像システムを利用して環境情報を取得してもよく、歪みがより大きいかもしれない広い視野の単眼式撮像システムは、それが有利なときあるいは必要なときに、環境情報を取得するために選択的に利用されてもよい。
図11は、実施形態による、環境情報を選択的に取得する撮像システムを示す。異なる視野を有する撮像用コンポーネントを含む撮像システムが図11に示されているが、これは限定的な意味ではない。例えば、両眼式撮像システム又は単眼式撮像システムの選択的な利用は、2つ又はそれ以上の撮像用コンポーネントを有する何れの撮像システムにも応用されてよい。撮像システムは、第1の撮像用コンポーネント1101を含んでいてもよい。第1の撮像用コンポーネントは第1の視野を有していてもよい。幾つかの例において、第1の視野は約180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、又は30°より小さいか、それと等しくてもよい。撮像システムは第2の撮像用コンポーネント1103を含んでいてもよい。第2の撮像用コンポーネントは第2の視野を有していてもよい。幾つかの例において、第2の視野は約180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、又は30°より小さいか、それと等しくてもよい。第2の視野は第1の視野より小さくてもよい。第2の視野は、幾つかの例において、第1の視野より狭くてもよい。
幾つかの例において、第2の視野は、例えば図11に示されているように、第1の視野により包含されていてもよい。別の例において、第2の視野は第1の視野と部分的に重複していてもよい。任意選択により、第2の視野は第1の視野と重複しなくてもよい。幾つかの例において、第1及び第2の撮像用コンポーネントは、相互に関して調整されてもよい。例えば、第1及び第2の撮像用コンポーネントは、相互に関して並進及び/又は回転可能であってもよい。幾つかの例において、撮像用コンポーネント1101及び1103は各々、単眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。或いは、撮像用コンポーネント1101及び1103は各々、両眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。ある例として、撮像用コンポーネント1103は、両眼式撮像システムを含み、重複する画像群を(例えば、実質的に同時に)取得してもよい。幾つかの例において、撮像用コンポーネント1101及び1103は、両者で両眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。
撮像用コンポーネントの各々は、UAV等の移動体に動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に組み込まれても。その代わりに、又はそれに加えて、撮像用コンポーネントは、実質的に前述したように、ある機構を介して可動式物体に接続されてもよい。
撮像用コンポーネントは各々、画像群を取得してもよい。例えば、第1の撮像用コンポーネントは、第1の画像群1105を取得してもよく、第2の撮像用コンポーネントは第2の画像群1107を取得してもよい。幾つかの例において、第1及び第2の画像群の各々は、単眼式撮像システムを用いて異なる時点で取得された画像を含んでいてもよい。幾つかの例において、第1の画像群と第2の画像群は、実質的に同時に取得されてもよい。第1の画像群及び/又は第2の画像群は各々、ある期間にわたって取得されたシーケンス画像であってもよい。幾つかの例において、第2の画像群は環境情報を取得するのにより適しているかもしれない。幾つかの例において、第1の画像群は、第2の画像群と比較して、画像エッジにおける精度がより低いかもしれない。幾つかの例において、第1及び/又は第2の画像群の何れかが両眼式撮像システムを用いて取得された重複する画像群を含んでいてもよい。
撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、環境情報を取得するように構成されていてもよい。幾つかの例において、1つ又は複数のプロセッサは、実質的に両眼式撮像システムに関して上述したように、第1及び第2の画像群の両方に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、1つ又は複数のプロセッサは、第1の画像群と第2の画像群に含まれるデータ間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサは、例えば単眼式撮像システムに関して説明したように、第1の画像群(例えばシーケンス画像)に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、1つ又は複数のプロセッサは、第1の画像群の中の画像間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサは、例えば単眼式撮像システムに関して説明したように、第2の画像群(例えば、シーケンス画像)に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、1つ又は複数のプロセッサは、第2の画像群の中の画像間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサは、両眼式撮像システムに関して説明したように、第2の画像群に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、撮像用コンポーネント1103は両眼式撮像システムを提供してもよく、第2の画像群は、それ自体で重複する画像群を含んでいてもよい。
図12は、実施形態による、異なる撮像システムが利用される例示的な構成を示している。構成1201では、撮像用コンポーネント1203、1205を含む撮像システムが、撮像用コンポーネント1205を含む撮像システムにより補助されている。撮像用コンポーネントの各々は、単眼式撮像システム及び/又は両眼式撮像システムを提供するか、又はその一部として使用されてもよい。撮像用コンポーネントは各々、画像群(例えば、シーケンス画像)を取得する。実質的に同時に取得された画像群は重複部分を含んでいてもよい。幾つかの例において、実質的に同時に取得された画像群は重複部分を含んでいなくてもよい。幾つかの例において、実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分は物体1207を含み、非重複部分は物体1209を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理して、UAVのための環境情報を取得してもよい。例えば、1つ又は複数のプロセッサは、物体1207までの距離を判断してもよい。これは、画像の重複部分の品質が十分であるときに可能であるかもしれない。1つ又は複数のプロセッサはさらに、撮像用コンポーネント1205により取得されたシーケンス画像の重複部分を処理して、例えば単眼式システムに関してUAVのための環境情報を取得するように構成されていてもよい。
幾つかの例において、両眼式撮像システムと単眼式撮像システムの両方に関して画像を処理することにより、UAVは、より正確及び/又は精密な環境情報を取得できるかもしれない。幾つかの例において、両眼式撮像システムと単眼式撮像システムの両方に関して画像を処理することにより、UAVはより多くの環境情報を取得してもよい。例えば、障害物又は物体1209に関する情報(例えば、物体1209までの距離)に関する情報は、広い視野を有する単眼式撮像システムに基づいて取得されてもよく、障害物又は物体1207に関する情報(例えば、物体1207までの距離)は両眼式撮像システムに基づいて取得されてもよい。両眼式撮像システムは、UAVの正確で精密な情報を提供してもよく、広い視野を有する単眼式撮像システムは、補助的な環境情報を提供してもよい。環境情報はさらに、UAVの動作において、又は本明細書中で前述したようにUAVの挙動に影響を与える中で利用されてもよい。任意選択により、1つ又は複数のプロセッサは、両眼式撮像システムに環境情報を取得するのに問題がある場合に、単眼式撮像システムからの環境情報を取得するように構成されてもよい。構成1211では、撮像用コンポーネント1213、1215を含む両眼式撮像が、撮像用コンポーネント1215を含む単眼式撮像システムにより補助されている。撮像用コンポーネントは各々、画像群(例えばシーケンス画像)を取得する。実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分は、物体を含まず、非重複部分は物体1219を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理して、UAVのための環境情報を取得してもよい。しかしながら、1つ又は複数のプロセッサは、重複部分から環境情報を取得できないかもしれない。例えば、重複部分の中の情報(例えば、特定可能な特徴、顕著性、その他)が不十分であり、環境情報が取得されないかもしれない。
重複部分の品質が不十分である場合、1つ又は複数のプロセッサは、例えば単眼式撮像システムに関して、撮像用コンポーネント1215により取得されたシーケンス画像重複部分を処理し、UAVのための環境情報を取得するように構成されていてもよい。幾つかの例において、重複部分の品質が不十分であるのは、重複部分内に特定可能な特徴がない場合であってもよい。幾つかの例において、重複部分の品質が不十分であるのは、重複部分内にわずかな特定可能な特徴しかない場合であってもよい。幾つかの例において、重複部分のデータ品質の品質が不十分であるのは、UAVに関する距離又は奥行き情報が取得できない場合であってもよい。幾つかの例において、重複部分の品質が不十分であるのは、速度又は位置情報等のUAVに関する状態情報が取得できない場合であってもよい。それの品質が不十分であるのは、重複部分内の特徴点の数が2、5、10、20、30、40、50、60、70、80、90、100、120、140、160、180、200、250、又は300と等しいかこれより少ない場合である。
幾つかの例において、両眼式撮像システムと単眼式画像処理システムの両方に関して画像を処理することにより、両眼式撮像システムが環境情報を取得できない場合に、UAVは、より正確又は精密な環境情報を取得できるもかもしれない。幾つかの例において、両眼式撮像システムと単眼式画像処理システムの両方に関して画像を処理することにより、両眼式撮像システムが環境情報を取得できない場合に、UAVは、より多くの環境情報を取得できるもかもしれない。例えば、障害物又は物体1219に関する情報(例えば、物体1219までの距離)は、両眼式撮像システムが環境情報を取得できない場合に、広い視野の単眼式撮像システムに基づいて取得されてもよい。環境情報はさらに、UAVの動作において、又は本明細書中で前述したように、UAVの挙動に影響を与える中で利用されてもよい。
構成1221では、撮像用コンポーネント1223、1225を含む両眼式撮像システムは、撮像用コンポーネント1225を含む単眼式撮像システムによって補助される。撮像用コンポーネントは各々、画像群(例えば、シーケンス画像)を取得する。実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分はある物体の、特定可能な特徴を持たない部分を含み、非重複部分はその物体の、特定可能な特徴を有する部分を含む。したがって、実質的に構成1211に関して説明したように、単眼式撮像システムは両眼式撮像システムの補助及び/又は代替として使用されてもよい。
図13は、実施形態による、移動体により取得された画像の処理方法を示す。移動体は、本明細書で前述したように無人航空機(UAV)であってもよい。或いは、移動体は、他の何れの種類の車両であってもよい。移動体は、幾つかの例において、撮像用コンポーネントに動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に搭載されていてもよい。幾つかの例において、撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されていてもよい。撮像用コンポーネントは、単眼式撮像システムを形成してもよい。
ステップ1301で、第1の撮像用コンポーネントを用いて第1の画像群が取得される。第1の撮像用コンポーネントは第1のレンズシステムを含んでいてもよい。第1の撮像用コンポーネントは、撮像装置上に位置付けられていてもよい。第1の撮像用コンポーネントは、移動体に搭載されていてもよい。幾つかの例において、第1の画像群はシーケンス画像を含んでいてもよい。第1の撮像用コンポーネントは第1の視野を有していてもよい。幾つかの例において、第1の視野は約90°〜180°の間の視線角を有していてもよい。
ステップ1303で、第2の撮像用コンポーネントを用いて第2の画像群が取得される。第2の撮像用コンポーネントは第2のレンズシステムを含んでいてもよい。第2の撮像用コンポーネントは撮像装置上に位置付けられてもよい。幾つかの例において、第2の撮像用コンポーネントは、第1の撮像用コンポーネントとは異なる撮像装置上に位置付けられていてもよい。或いは、第2の撮像用コンポーネントは、第1の撮像用コンポーネントと同じ撮像装置上に位置付けられていてもよい。第2の撮像用コンポーネントは移動体に搭載されていてもよい。第2の撮像用コンポーネントは第2の視野を有していてもよい。第2の視野は、幾つかの例において、第1の視野より狭くてもよい。幾つかの例において、第1の視野と第2の視野は重複していてもよい。幾つかの例において、第2の視野は第1の視野により包含されてもよい。幾つかの例において、第2の視野は約50°〜80°の間の視野角を有していてもよい。第1の撮像用コンポーネントと第2の撮像用コンポーネントの各々は、単眼式レンズシステムを含んでいてもよい。
幾つかの例において、1つ又は複数のプロセッサが提供されてもよい。1つ又は複数のプロセッサは移動体に搭載されていてもよい。その代わりに、又はそれに加えて、1つ又は複数のプロセッサの一部又は全部が移動体に搭載されていなくてもよい。例えば、プロセッサの一部は移動体に動作的に接続されたリモートコントローラ又は移動デバイスに位置付けられてもよい。1つ又は複数のプロセッサは個別に、又は集合的に、ステップ1305で第1の画像群を処理し、テクスチャ情報を取得してもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、撮像用コンポーネントにより取得されたシーケンス画像の重複部分及び/又は非重複部分の両方から得られてもよい。幾つかの例において、1つ又は複数のプロセッサは、第2の画像の品質が所定の閾値より低い場合に、第1の画像群を処理してテクスチャ情報を取得してもよい。その代わりに、又はそれに加えて、1つ又は複数のプロセッサは、第2の画像群の品質が所定の閾値より高い場合に、第2の画像群を処理して移動体に用いる環境情報を取得するように構成されてもよい。1つ又は複数のプロセッサは、第2の画像群の画像の顕著性又は勾配を解析することにより、第2の画像群の品質を判断するように構成されてもよい。幾つかの例において、1つ又は複数のプロセッサは、第2の画像群内の特徴点の数又はオプティカルフローを解析することにより、第2の画像群の品質を判断するように構成されてもよい。
ステップ1307で、1つ又は複数のプロセッサは、ステップ1305で得られたテクスチャ情報に基づいて移動体に用いる環境情報を取得してもよい。幾つかの例において、環境情報は奥行き情報を含む。その代わりに、又はそれに加えて、環境情報は移動体の障害物情報又は状態情報を含む。幾つかの例において、1つ又は複数のプロセッサは、第2の画像の品質が所定の閾値より高い場合には、移動体に用いる環境情報を取得するために第1の画像群の一部を処理しないように構成されてもよい。
任意選択により、1つ又は複数のプロセッサはさらに、取得した環境情報に基づいて移動体の位置及び/又は向きを制御するための制御信号を生成するように構成されてもよい。その代わりに、又はそれに加えて、1つ又は複数のプロセッサはさらに、移動体に接続された撮像装置の、移動体に対する位置及び/又は向きを、取得した環境情報に基づいて制御するための制御信号を生成するように構成されてもよい。幾つかの例において、1つ又は複数のプロセッサは、第2の画像の品質が所定の閾値より低い場合に、第2の撮像用コンポーネントの光軸を調整するための制御信号を生成するように構成されてもよい。制御信号は、第1の画像群のテクスチャ情報に依存してもよい。
幾つかの例において、1つ又は複数のプロセッサは、移動体の飛行中に処理及び取得ステップを繰り返すように構成されてもよい。処理及び取得ステップは、少なくとも60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒、又は0.01秒ごとに繰り返されてもよい。
幾つかの例において、方法1300を実行するためのシステムが提供されてもよい。システムは、1つ又は複数のプロセッサを含んでいてもよく、これは、第2の画像群の品質が所定の閾値より低い場合に、第1の画像群を処理してテクスチャ情報を取得し、第1の画像群は第1の視野を有する第1の撮像用コンポーネントにより取得され、第2の画像群は第1の視野より狭い第2の視野を有する第2の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
幾つかの例において、方法1300を実行するための装置が提供されてもよい。装置は、第1の視野を有する第1の撮像用コンポーネントであって、第1の画像群を取得するように構成された第1の撮像用コンポーネントと、第1の視野より狭い第2の視野を有する第2の撮像用コンポーネントであって、第2の画像群を取得するように構成された第2の撮像用コンポーネントと、第2の画像群の品質が所定の閾値より低い場合に、第1の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又はまとめて構成された1つ又は複数のプロセッサと、を含んでいてもよい。
幾つかの例において、方法1300を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、第1の撮像用コンポーネントを用いて第1の画像群を取得し、第1の撮像用コンポーネントは第1の視野を有し、第2の撮像用コンポーネントを用いて第2の画像群を取得し、第2の撮像用コンポーネントは第1の視野より狭い第2の視野を有し、1つ又は複数のプロセッサを個別に又は集合的に用いて、第2の画像群の品質が所定の閾値より低い場合に、第1の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック、又は命令を含んでいてもよい。
本明細書に記載されたシステム、デバイス、及び方法は、移動体及び静止物体を含めた様々な物体に応用できる。前述のように、本明細書におけるUAV等の航空機に関する説明は何れの移動体にも当てはまり、そのために使用されてもよい。本明細書における航空機に関する説明はすべて、UAVに特に応用されてもよい。本発明の移動体は、何れの適当な環境内で移動するようにも構成でき、例えば空中(例えば、固定翼航空機、回転翼航空機、又は固定翼も回転翼も持たない航空機)、水中(例えば、船舶又は潜水艦)、地上(例えば、乗用車、トラック、バス、バン、オートバイ、自転車等の自動車、ステッキ、釣竿等の移動可能な構造若しくは支持体、又は列車)、地下(例えば、地下鉄)、宇宙(例えば、宇宙飛行機、人工衛星、又は宇宙探査機)、又はこれらの環境のあらゆる組合せがある。移動体は、本明細書の他の箇所に記載されている車両等の車両とすることかできる。幾つかの実施形態において、移動体は生体、例えば人間又は動物により担持され、又は生体から取り外すことができる。適当な動物としては、アビン(avines)、イヌ、ネコ、ウマ、ウシ、ヒツジ、ブタ、デルフィン(delphines)、げっ歯類、又は昆虫を含むことができる。
移動体は、環境内で6自由度(例えば、並進3自由度及び回転3自由度)に関して自由に移動できてもよい。或いは、移動体の移動は、1つ又は複数の自由度に関して、例えば所定の経路、軌道、又は方位によって制約できる。移動は、例えばエンジン又はモータ等、何れの適当な作動機構によっても作動させることができる。移動体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学的エネルギー、核エネルギー、又はこれらのあらゆる適当な組合せ等の、何れの適当なエネルギー源によっても動力供給できる。移動体は、本明細書の別の箇所で説明されているように、推進システムを介した自走式であってもよい。推進システムは任意選択により、エネルギー源、例えば電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学的エネルギー、核エネルギー、又はこれらのあらゆる適当な組合せにより動作してもよい。或いは、移動体は、生体により担持されてもよい。
幾つかの例において、移動体は航空車両とすることができる。例えば、航空車両は、固定翼航空機(例えば、飛行機、グライダ)、回転翼航空機(例えば、ヘリコプタ、ロータクラフト)、固定翼と回転翼の両方を有する航空機、又は何れも持たない航空機(例えば、飛行船、熱気球)であってもよい。航空車両は自走式とすることができ、例えば、空中で自走式とすることができる。自走式航空車両は、推進システム、例えば1つ又は複数のエンジン、モータ、車輪、アクスル、磁石、ロータ、プロペラ、ブレード、ノズル、若しくはこれらのあらゆる適当な組合せ等の推進システムを利用できる。幾つかの例において、推進システムは、移動体が離陸し、着陸し、その現在の位置及び/又は方位を保持し(ホバリング等)、向きを変え、及び/又は位置を変えることができるようにするために使用できる。
移動体は、使用者が遠隔的に制御でき、又は移動体内又はその上にいる搭乗者がローカルで制御することもできる。移動体は、別の車両内の搭乗者を介して遠隔的に制御されてもよい。幾つかの実施形態において、移動体はUAVなどの無人移動体である。UAV等の無人移動体では、移動体に搭乗者がいないかもしれない。移動体は、人間もしくは自動制御システム(例えば、制御システム)又はそれらのあらゆる適当な組み合わせによって制御できる。移動体は、人工知能を備えて構成されたロボット等の自律型又は半自律型ロボットとすることができる。
移動体は、何れの適当な大きさ及び/又は寸法を有することもできる。幾つかの実施形態において、移動体は、車両内又はその上に人間の乗員がいるような大きさ及び/又は寸法であってもよい。或いは、移動体は、車両内又はその上に人間の乗員が乗ることができるものより小さい大きさ及び/又は寸法であってもよい。移動体は、人が持ち上げ、又は搬送するのに適した大きさ及び/又は寸法であってもよい。或いは、移動体は、人が持ち上げ、又は搬送するのに適した大きさ及び/又は寸法より大きくてもよい。幾つかの例において、移動体の最大寸法(例えば、長さ、幅、高さ、直径、対角線)が約2cm、5cm、10cm、50cm、1m、2m、5m、又は10m未満又はこれと同等であってもよい。最大寸法は、約2cm、5cm、10cm、50cm、1m、2m、5m、又は10mより大きいか、これと同等であってもよい。例えば、移動体の反対のロータのシャフト間の距離は、約2cm、5cm、10cm、50cm、1m、2m、5m、又は10m未満又はこれと同等であってもよい。或いは、反対のロータのシャフト間の距離は、約2cm、5cm、10cm、50cm、1m、2m、5m、又は10mより大きいか、又はこれと同等であってもよい。
幾つかの実施形態において、移動体の体積は、100cm×100cm×100cm未満、50cm×50cm×30cm未満、又は5cm×5cm×3cm未満であってもよい。移動体の全体積は、約1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、又は10m3未満又はこれと同等であってもよい。反対に、移動体の全体積は、約1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、又は10m3より大きいか、これと同等であってもよい。
幾つかの実施形態において、移動体の設置面積(これは、移動体により取り囲まれる横方向の断面積を指してもよい)は、約32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2、又は5cm2未満又はこれと同等であってもよい。反対に、設置面積は、約32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2、又は5cm2より大きいか、これと同等であってもよい。
幾つかの実施形態において、移動体の重量は1000kgより大きくてもよい。移動体の重量は、約1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg,15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg、又は0.01kg未満又はこれと同等であってもよい。反対に、重量は、約1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg、又は0.01kgより大きいか、又はこれと等しくてもよい。
幾つかの実施形態において、移動体は、移動体により担持される負荷に関して小さくてもよい。負荷は、本明細書により詳しく説明するように、搭載物及び/又は支持機構を含んでいてもよい。幾つかの例において、移動体の重量対負荷の重量の比は、約1:1より大きいか、それ未満か、又はこれと同等であってもよい。任意選択により、支持機構の重量対負荷の重量の比は、約1:1より大きいか、それ未満か、それと同等であってもよい。希望により、移動体の重量対負荷の重量の比は、1:2、1:3、1:4、1:5、1:10、又はそれ以下未満か、これと同等であってもよい。反対に、移動体の重量対負荷の重量の比はまた、2:1、3:1、4:1、5:1、10:1、又はそれ以上より大きいか、これと同等であってもよい。
幾つかの実施形態において、移動体は、消費エネルギーが低くてもよい。例えば、移動体が使用するのは、約5W/h、4W/h、3W/h、2W/h、1W/h、又はそれ以下未満であってもよい。幾つかの例において、移動体の支持機構はエネルギー消費が低くてもよい。例えば、支持機構が使用するのは、約5W/h、4W/h、3W/h、2W/h、1W/h、又はそれ以下未満であってもよい。任意選択により、移動体の搭載物は、消費エネルギーが低くてもよく、例えば約5W/h、4W/h、3W/h、2W/h、1W/h、又はそれ以下未満であってもよい。
図14は、本発明の実施形態による無人航空機(UAV)1400を示す。UAVは、本明細書に記載されている移動体の一例であってもよく、そこにバッテリアセンブリを放電させる方法と装置が適用されてもよい。UAV1400は、4つの回転翼1402、1404、1406、及び1408を有する推進システムを含むことができる。いくつの回転翼が提供されてもよい(例えば、1、2、3、4、5、6、又はそれ以上)。無人航空機の回転翼、回転翼アセンブリ、又はその他の推進システムにより、無人航空機はホバリングし/位置を保持し、向きを変え、及び/又は位置を変えることができるかもしれない。対向する回転翼のシャフト間の距離は、何れの適当な長さ1410とすることもできる。例えば、長さ1410は、2m未満又はそれと等しいか、5m未満かそれと等しくすることができる。幾つかの実施形態において、長さ1410は、40cm〜1m、10cm〜2m、又は5cm〜5mの範囲内とすることができる。UAVに関する本明細書内の何れの説明も、異なる種類の移動体等の移動体にも当てはまり、又はその逆でもある。UAVは、本明細書に記載されているような離陸補助システム又は方法を使用してもよい。
幾つかの実施形態において、移動体は負荷を担持するように構成できる。負荷は、乗客、貨物、機器、器具、及びその他のうちの1つ又は複数を含むことができる。負荷は、筐体内に提供できる。筐体は、移動体の筐体とは別であっても、移動体のための筐体の部分であってもよい。或いは、負荷は筐体と共に提供でき、その一方で、移動体は筐体を持たない。或いは、負荷の一部又は負荷の全体が筐体を持たずに提供されてもよい。負荷は、移動体に関して強固に固定できる。任意選択により、負荷は、移動体に対して移動可能とすることができる(例えば、移動体に関して並進可能又は回転可能)。積載物には、本明細書の他の箇所に記載されているように、搭載物及び/又は支持機構を含むことができる。
幾つかの実施形態において、移動体、支持機構、及び搭載物の、固定された参照フレーム(例えば周囲環境)及び/また相互に関する移動は、端末によって制御できる。端末は、移動体、支持機構、及び/又は搭載物から離れたロケーションにあるリモート制御デバイスとすることができる。端末は、支持台上に設置し、又は固定することができる。或いは、端末は、ハンドヘルド又はウェアラブルデバイスとすることができる。例えば、端末はスマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、手袋、ヘルメット、マイクロフォン、又はこれらの適当な組み合わせを含むことができる。端末は、ユーザインタフェース、たとえはキーボード、マウス、ジョイスティック、タッチスクリーン、又はティスプレイを含むことができる。何れの適当なユーザ入力を使って端末と相互作用することもでき、例えば、手入力されるコマンド、音声制御、ジェスチャ制御、又は位置制御(例えば、端末の動き、ロケーション、又は傾きを通じたもの)がある。
端末は、移動体、支持機構、及び/又は搭載物の何れの適当な状態を制御するためも使用できる。例えば端末は、移動体、支持機構、及び/又は搭載物の、固定参照に関する位置及び/また方位を、相互から及び/又は相互に制御するために使用できる。幾つかの実施形態において、端末は、移動体、支持機構、及び/又は搭載物の個々の要素、例えば支持機構の作動アセンブリ、搭載物のセンサ、又は搭載物のエミッタを制御するために使用できる。端末は、移動体、支持機構、又は搭載物のうちの1つまた複数と通信するようになされた無線通信デバイスを含むことができる。
端末は、移動体、支持機構、及び/又は搭載物の情報を閲覧するための適当な表示ユニットを含むことができる。例えば、端末は、移動体、支持機構、及び/又は搭載物の位置、並進速度、並進加速度、方位、角速度、角加速度、又はこれらのあらゆる適当な組合せに関する情報を表示するように構成できる。幾つかの実施形態において、端末は、搭載物により提供された情報、例えば機能的搭載物により提供されたデータ(例えば、カメラ又はその他の撮像装置により記録された画像)を表示できる。
任意選択により、同じ端末を移動体、支持機構、及び/又は搭載物、又は移動体、支持機構、及び/又は搭載物の状態の制御と、移動体、支持機構、及び/又は搭載物からの情報の受信及び/又は表示の両方に使用してもよい。例えば、端末は、搭載物の環境に関する位置を制御してもよく、その一方で、搭載物により取得された画像データ又は搭載物の位置に関する情報を表示する。或いは、異なる端末が異なる機能のために使用されてもよい。例えば、第1の端末は移動体、支持機構、及び/又は搭載物の移動又は状態を制御してもよく、その一方で、第2の端末は移動体、支持機構、及び/又は搭載物からの情報を受け取り、及び/又は表示してもよい。例えば、第1の端末は、搭載物の、環境に関するポジショニングを制御するために使用されてもよく、その一方で、第2の端末は搭載物により取得された画像データを表示する。移動体と、移動体の制御とデータ受信の両方を行う統合型端末との間又は、移動体と、移動体の制御とデータ受信の両方を行う複数の端末との間では、各種の通信モードが利用されてもよい。例えば、少なくとも2種類の通信モードが、移動体と、移動体の制御と移動体からのデータ受信の両方を行う端末との間に形成されてもよい。
図15は、本発明の実施形態による、支持機構1502と搭載物1504を含む移動体1500を示している。移動体1500は航空機として描かれているが、この図は限定的とされるものではなく、本明細書において前述したように、何れの適当な種類の移動体も使用できる。当業者であればわかるように、本明細書において航空機システムに関して記載された実施形態の何れも、あらゆる適当な移動体(例えば、UAV)に適用できる。幾つかの例において、搭載物1504は、支持機構1502を必要とせずに、移動体1500上に提供されてもよい。移動体1500は、推進機構1506、検知システム1508、及び通信システム1510を含んでいてもよい。
推進機構1506は、前述したように、1つ又は複数のロータ、プロペラ、ブレード、エンジン、モータ、車輪、アクスル、磁石、又はノズルを含むことができる。移動体は、1つ以上の、2つ以上の、3つ以上の、又は4つ以上の推進機構を有していてもよい。推進機構は、全てが同じ種類であってもよい。或いは、1つ又は複数の推進機構は異なる種類の推進機構とすることができる。推進機構1506は移動体1500上に、何れかの適当な手段、例えば本明細書中の他の箇所に記載されているように、支持要素(例えば、駆動シャフト)を用いて取り付けることができる。推進機構1506は、移動体1500の何れかの適当な部分、例えば上面、下面、前面、背面、又はこれらの適当な組合せに取り付けることができる。
幾つかの実施形態において、推進機構1506は、移動体1500を表面から垂直に離陸させ、又は表面に垂直に着陸させることができ、移動体1500の水平移動は一切必要としない(例えば、滑走路上の移動が不要)。任意選択により、推進機構1506は、移動体1500が指定された位置及び/又は方位で空中においてホバリングできるように動作可能とすることができる。推進機構1506の1つ又は複数は、他の推進機構と独立して制御されてもよい。或いは、推進機構1506は、同時に制御されるべく構成できる。例えば、移動体1500は、移動体を浮揚させ、及び/又は推進させることのできる複数の水平向きのロータを有することができる。複数の水平向きのロータは、垂直離陸、垂直着陸、及びホバリング能力を移動体1500に提供するために作動できる。幾つかの実施形態において、水平向きのロータの1つ又は複数は、時計回り方向に旋回してもよく、水平向きのロータの1つ又は複数は反時計回り方向に旋回してもよい。例えば、時計回りのロータの数は反時計回りのロータの数と等しくてもよい。水平向きのロータの各々の回転速度を個別に変化させて、各ロータによって起こされる浮揚及び/又は推進を制御することにより、移動体1500の(例えば、並進3自由度まで及び回転3自由度までに関する)空間配置、速度、及び/又は加速度を調整するために個別に変化させることができる。
検知システム1508は、1つまた複数のセンサを含むことができ、これは、移動体1500の(例えば、最大並進3自由度及び最大回転3自由度に関する)空間配置、速度、及び/又は加速度を検知してもよい。1つ又は複数のセンサは、全地球測位システム(GPS)センサ、運動センサ、慣性センサ、近接性センサ、又は画像センサを含むことができる。検知システム1508により提供された検知データは、移動体1500の空間配置、速度、及び/又は方位を(例えば、後述のように、適当な処理ユニット及び/又は制御モジュールを使って)制御するために使用できる。或いは、検知システム1508は、移動体を取り囲む環境に関するデータ、例えば、天候条件、潜在的障害物との近接性、地理的特徴のロケーション、人工構造物のロケーション、及びその他を提供するために使用できる。
通信システム1510は、通信システム1514を有する端末1512と無線信号1516を介して通信できる。通信システム1510、1514としては、無線通信に適した何れの数の送信機、受信機、及び/又はトランシーバが含まれていてもよい。通信は、データを一方向にのみ送信できる一方向通信であってもよい。例えば、一方向通信は、移動体1500が端末1512にデータを送信することだけ、又はその逆が関わっていてもよい。データは、通信システム1510の1つ又は複数の送信機から通信システム1514の1つ又は複数の受信機に送信されてもよく、又はその逆でもよい。或いは、通信は双方向通信であってもよく、これによってデータは移動体1500と端末1512との間で双方向に送信可能である。双方向通信には、通信システム1510の1つ又は複数の送信機から通信システム1514の1つ又は複数の受信機へのデータ送信及びその逆が関わることができる。
幾つかの実施形態において、端末1512は、制御データを移動体1500、支持機構1502、及び搭載物1504のうちの1つ又は複数に制御データを提供し、移動体1500、支持機構1502、及び搭載物1504からの情報(例えば、移動体、支持機構、又は搭載物の位置及び/又は運動情報、搭載物により検知されたデータ、例えば搭載物カメラにより取得された画像データ)を受け取ることができる。幾つかの例において、端末からの制御データは、移動体、支持機構、及び/又は搭載物の相対位置、移動、作動、又は制御に関する命令を含んでいてもよい。例えば、制御データは、移動体のロケーション及び/又は方位(例えば、推進機構1506の制御を通じて)、又は搭載物の移動体に関する移動(例えば、支持機構1502の制御を通じて)を変更させるものであってもよい。端末からの制御データは、搭載物の制御、例えばカメラ又はその他の撮像装置の動作の制御(静止画又は動画の撮影、ズームイン又はアウト、電源オン又はオフ、画像モードの切り替え、画像解像度の変更、焦点の変更、被写界深度の変更、露出時間の変更、視野角又は視野の変更)を行わせるものであってもよい。幾つかの例において、移動体、支持機構、及び/又は搭載物からの通信は、(例えば、検知システム1508の、又は搭載物1504の)1つ又は複数のセンサからの情報を含んでいてもよい。通信は、1つ又は複数の異なる種類のセンサ(例えば、GPSセンサ、運動センサ、慣性センサ、近接性センサ、又は画像センサ)からの検知情報を含んでいてもよい。このような情報は、移動体、支持機構、及び/又は搭載物の位置(例えば、ロケーション、方位)、移動、又は加速度に関していてもよい。搭載物からのこのような情報には、搭載物により取得されたデータ又は検知された搭載物の状態が含まれていてもよい。端末1512により送信される制御データは、移動体1500、支持機構1502、又は搭載物1504のうちの1つ又は複数の状態を制御するべく構成できる。その代わりに、又はそれと組み合わせて、支持機構1502と搭載物1504はまた、各々、端末1512と通信するべく構成された通信モジュールを含むことができ、それによって端末は移動体1500、支持機構1502、及び搭載物1504の各々と個別に通信し、これを制御できる。
幾つかの実施形態において、移動体1500は、端末1512に加えて、又は端末1512の代わりに他の遠隔デバイスと通信するべく構成できる。端末1512はまた、他の遠隔デバイス及び移動体1500と通信するべく構成されてもよい。例えば、移動体1500及び/又は端末1512は、他の移動体、又は他の移動体の支持機構若しくは搭載物と通信してもよい。希望に応じて、遠隔デバイスは第2の端末又はその他のコンピューティングデバイス(例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、又はその他のモバイルデバイス)であってもよい。遠隔デバイスは、移動体1500にデータを送信し、移動体1500からデータを受信し、端末1512にデータを送信し、及び/又は端末1512からデータを受信するべく構成できる。任意選択により、遠隔デバイスはインターネット又はその他の電気通信ネットワークに接続でき、それによって移動体1500及び/又は端末1512から受け取ったデータをウェブサイト又はサーバにアップロードできる。
図16は、本発明の実施形態による、移動体を制御するためのシステム1600のブロック図による略図である。システム1600は、本明細書で開示されているシステム、デバイス、及び方法の何れの適当な実施形態とも併用できる。システム1600は、検知モジュール1602と、処理ユニット1604と、非一時的コンピュータ読取可能媒体1606と、制御モジュール1608と、通信モジュール1610と、を含むことができる。
検知モジュール1602は、移動体に関する情報を異なる方法で収集する異なる種類のセンサを利用できる。異なる種類のセンサは、異なる種類の信号又は異なる発生源からの信号を検知してもよい。例えば、センサは、慣性センサ、GPSセンサ、近接性センサ(例えば、ライダ)、又は映像/画像センサ(例えば、カメラ)を含むことができる。検知モジュール1602は、複数のプセッサを有する処理ユニット1604に動作的に連結できる。幾つかの実施形態において、検知モジュールは、検知データを適当な外部デバイス又はシステムに直接送信するべく構成された送信モジュール1612(例えば、Wi−Fi画像送信モジュール)に動作的に連結できる。例えば、送信モジュール1612は、検知モジュール1602のカメラにより取得された画像を遠隔端末に送信するために使用できる。
処理ユニット1604は、1つ又は複数のプロセッサ、例えばプログラム可能プロセッサ(例えば、中央処理ユニット(CPU))有することができる。処理ユニット1604は、非一時的なコンピュータ読取可能媒体1606に動作的に接続できる。非一時的なコンピュータ読取可能媒体1606は、処理ユニット1604によって1つ又は複数のステップを行うために実行可能なロジック、コード、及び/又はプログラム命令を記憶できる。非一時的なコンピュータ読取可能媒体は、1つ又は複数のメモリユニット(例えば、SDカードやランダムアクセスメモリ(RAM)等の取り外し可能媒体又は外付け記憶装置)を含むことができる。幾つかの実施形態において、検知モジュール1602からのデータは、非一時的なコンピュータ読取可能媒体1606のメモリユニットに直接搬送され、その中に保存できる。非一時的なコンピュータ読取可能媒体1606のメモリユニットは、処理ユニット1604が本明細書に記載されている方法の何れかの適当な実施形態を行うために実行可能なロジック、コード、及び/又はプログラム命令を記憶できる。例えば、処理ユニット1604は、処理ユニット1604の1つ又は複数のプロセッサに検知モジュールにより作成される検知データを解析させる命令を実行するべく構成できる。メモリユニットは、処理ユニット1604により処理されることになる、検知モジュールからの検知データを保存できる。幾つかの実施形態において、非一時的なコンピュータ読取可能媒体1606のメモリニットは、処理ユニット1604により生成される処理結果を保存するために使用できる。
幾つかの実施形態において、処理ユニット1604は、移動体の状態を制御するべく構成された制御モジュール1608に動作的に連結できる。例えば、制御モジュール1608は、移動体の推進機構を制御して、移動体の、6自由度に関する空間配置、速度、及び/又は加速度を調整するべく構成できる。その代わりに、又はそれと組み合わせて、制御モジュール1608は、支持機構、搭載物、又は検知モジュールの状態のうちの1つ又は複数を制御できる。
処理ユニット1604は、1つ又は複数の外部デバイス(例えば、端末、表示デバイス、又はその他の遠隔コントローラ)にデータを送信し、及び/又はそこからデータを受信するべく構成された通信モジュール1610に動作的に連結できる。何れの適当な通信手段も使用でき、例えば有線通信又は無線通信がある。例えば、通信モジュール1610は、Local Area Ntwork(LAN)、Wide Area Network(WAN)、赤外線、無線、Wi−Fi、ポイント・トゥー・ポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信、及びその他のうちの1つ又は複数を利用できる。任意選択により、中継局、例えばタワー、衛星、又は移動局を使用できる。無線通信は、近接性依存でも、近接性非依存でもよい。幾つかの実施形態において、Line−of−Sightが通信に必要であっても、なくてもよい。通信モジュール1610は、検知モジュール1602からの検知データのうちの1つ又は複数、及び/又は処理ユニット1604により生成された処理結果、端末若しくは遠隔コントローラからの所定の制御データ、ユーザコマンド、及びその他のうちの1つ又は複数を送信及び/又は受信できる。
システム1600のコンポーネントは、何れの適当な構成にも配置できる。例えば、システム1600のコンポーネントの1つ又は複数を移動体、支持機構、搭載物、端末、検知システム、又は上記のうちの1つ又は複数と通信するその他の外部デバイスに位置付けることができる。これに加えて、図16は1つの処理ユニット1604、1つの非一時的なコンピュータ読取可能媒体1606を示しているが、当業者であればわかるように、これは限定的とするものではなく、システム1600は複数の処理ユニット、及び/又は非一時的なコンピュータ読取可能媒体を含むことができる。幾つかの実施形態において、複数の処理ユニット、及び/又は非一時的なコンピュータ読取可能媒体のうちの1つ又は複数を異なるロケーション、例えば移動体、支持機構、搭載物、端末、検知モジュール、上記の1つ又は複数と通信するその他の外部デバイス、又はこれらの組合せに位置付けることができ、それによってシステム1600が実行する処理及び/又は記憶機能の何れの適当な局面も上記のロケーションの1つ又は複数において実行可能となる。
本明細書では、本発明の好ましい実施形態を図示し、説明したが、当業者にとっては、かかる実施形態は例として提供されているにすぎないことが明白であろう。システムに関して説明したすべての要素は本発明の方法の実践に適用され、またその逆でもある。ここで、当業者は、本発明から逸脱せずに様々な改変、変更、及び置換を着想するであろう。理解するべき点として、本明細書において説明されている本発明の実施形態の様々な代替案が本発明の実施形態に利用されてもよい。以下の特許請求の範囲が本発明の範囲を定義しており、これらの特許請求の範囲及びそれらの均等物の範囲内の方法と構造がそれによって包含されることが意図されている。
本発明は、移動体より取得された画像の処理に関する。
撮像装置は、無人航空機(UAV)等の移動体に搭載され、調査、捜索、及び救助作業、探索、ならびにその他の活動に利用されてもよい。幾つかの例において、撮像装置により取得される画像は、コンピュータビジョンプロセス、例えばナビゲーション及び障害物回避に利用されてもよい。
画像を取得するために、1つ又は複数の撮像用コンポーネントが提供されてもよい。取得された画像は処理されて、移動体にとって有益な情報が得られる。画像処理のための既存の手法は、幾つかの例においては最適といえないかもしれない。例えば、画像の様々な部分に含まれる有益な情報は利用されないかもしれず、又は十分に利用されないかもしれない。移動体の有益さは、撮像用コンポーネントにより取得された画像の様々な部分に含まれる有益な情報を適切に考慮し、利用することによって増大されるかもしれない。
現在、無人航空機(UAV)等の移動体は、画像処理効率が悪く、取得した画像の様々な部分に含まれる有益な情報を知らずに廃棄しているかもしれない。幾つかの例において、UAVは非効率的な処理により、コンピュータビジョンアプリケーションにおいて最適でない判断を下すかもしれない。例えば、2つの撮像用コンポーネントを用いるビジョンシステムの場合、環境情報は主として取得された画像の中の両眼視差に基づいて得られてもよい。例えば、1つの撮像用コンポーネントを用いるビジョンシステムでは、環境情報は主として連続的に取得された画像の中の視差に基づいて得られてもよい。
したがって、環境情報の効率的な取得のために、画像内の利用可能な情報のすべてを適切に考慮するUAVシステムが求められている。環境情報の取得により、さらに、UAVはコンピュータビジョンアプリケーション、例えばナビゲーション、物体認識、及び障害物回避においてよりよい決定を下すことができるようになるかもしれない。例えば、両眼式撮像システムには重複する視野を有する撮像用コンポーネントが設けられてもよい。重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有益であるときに環境情報を取得するための代用又は補助として使用されてもよい。他の例において、単眼式撮像システムに移動する視野を有する撮像用コンポーネントが設けられてもよい。移動する視野の重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに環境情報を取得するための代用又は補助として使用されてもよい。他の例において、撮像用コンポーネントは単眼式撮像システムと両眼式撮像システムの両方の部分として使用されてもよい。例えば、システムには異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、個別に、又は大きい視野の撮像用コンポーネントと共に、環境情報を取得するために使用されてもよく、大きい視野の撮像用コンポーネントは、それが有利であるときに環境情報を取得するための代用又は補助として使用されてもよい。
それゆえ、1つの態様において、移動体により取得された画像を処理するための方法が提供される。方法は、第1の撮像用コンポーネントを用いて第1の画像群を取得するステップであって、第1の撮像用コンポーネントは第1の視野を有するステップと、第2の撮像用コンポーネントを用いて第2の画像群を取得するステップであって、第2の撮像用コンポーネントは第1の視野と重複する第2の視野を有するステップと、1つ又は複数のプロセッサを個別に、又は集合的に用いて、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するステップと、を含む。
他の態様において、移動体より取得された画像を処理するためのシステムが提供される。システムは1つ又は複数のプロセッサを含み、これは、第2の画像群の品質が所定の閾値より低い場合には、第1の画像群を処理してテクスチャ情報を取得し、第1の画像群は第1の視野を有する第1の撮像用コンポーネントにより取得され、第2の画像群は第1の視野より狭い第2の視野を有する第2の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
他の態様において、移動体により取得された画像を処理するための装置が提供される。装置は、第1の視野を有する第1の撮像用コンポーネントであって、第1の画像群を取得するように構成された第1の撮像用コンポーネントと、第1の視野より狭い第2の視野を有する第2の撮像用コンポーネントであって、第2の画像群を取得するように構成された第2の撮像用コンポーネントと、第2の画像群の品質が所定の閾値より低い場合には第1の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成された1つ又は複数のプロセッサと、を含む。
他の態様において、移動体により取得された画像を処理するための非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、第1の撮像用コンポーネントを用いて第1の画像群を取得し、第1の撮像用コンポーネントは第1の視野を有し、第2の撮像用コンポーネントを用いて第2の画像群を取得し、第2の撮像用コンポーネントは第1の視野より狭い第2の視野を有し、1つ又は複数のプロセッサを個別に又は集合的に用いて、第2の画像群の品質が所定の閾値より低いときに第1の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック又は命令を含む。
他の態様において、移動体により取得された画像を処理する方法が提供される。方法は、第1の撮像用コンポーネントを用いて第1の画像群を取得するステップであって、第1の撮像用コンポーネントは第1の視野を有するステップと、第2の撮像用コンポーネントを用いて第2の画像群を取得するステップであって、第2の撮像用コンポーネントは第1の視野と重複する第2の視野を有するステップと、1つ又は複数のプロセッサを個別に又は集合的に用いて、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するステップと、を含む。
他の態様において、移動体により取得された画像を処理するシステムが提供される。システムは1つ又は複数のプロセッサを含み、これは、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得し、第1の画像群は第1の視野を有する第1の撮像用コンポーネントにより取得され、第2の画像群は第1の視野と重複する第2の視野を有する第2の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて第1の撮像用コンポーネントと第2の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成される。
他の態様において、移動体により取得された画像を処理する装置が提供される。装置は、第1の視野を有する第1の撮像用コンポーネントであって、第1の画像群を取得するように構成された第1の撮像用コンポーネントと、第1の視野と重複する第2の視野を有する第2の撮像用コンポーネントであって、第2の画像群を取得するように構成された第2の撮像用コンポーネントと、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成された1つ又は複数のプロセッサと、を含む。
他の態様において、移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、第1の撮像用コンポーネントを用いて第1の画像群を取得し、第1の撮像用コンポーネントは第1の視野を有し、第2の撮像用コンポーネントを用いて第2の画像群を取得し、第2の撮像用コンポーネントは第1の視野と重複する第2の視野を有し、1つ又は複数のプロセッサを個別に又は集合的に用いて、第1の画像群及び第2の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するコード、ロジック、又は命令を含む。
他の態様において、移動体により取得された画像を処理する方法が提供される。方法は、撮像用コンポーネントを用いてシーケンス画像を取得するステップであって、シーケンス画像は重複部分を含むステップと、1つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得するステップと、テクスチャ情報に基づいて移動体に用いる環境情報を取得するステップと、を含む。
他の態様において、移動体により取得された画像を処理するシステムが提供される。システムは1つ又は複数のプロセッサを含み、これは、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、シーケンス画像は撮像用コンポーネントにより取得されて、重複部分を含み、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
他の態様において、移動体のために画像から情報を処理する装置が提供される。装置は、シーケンス画像を取得するように構成された撮像用コンポーネントであって、シーケンス画像は重複部分を含む撮像用コンポーネントと、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成された1つ又は複数のプロセッサと、を含む。
他の態様において、移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体は、撮像用コンポーネントを用いてシーケンス画像を取得し、シーケンス画像は重複部分を含み、1つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック、又は命令を含む。
当然のことながら、本発明の異なる態様は、個別に、まとめて、又は相互に組み合わせて理解することができる。本明細書に記載されている本発明の各種の態様は、後述の特定の用途の何れにも、又は他の何れの種類の移動体にも適用されてよい。本明細書中の、例えば無人航空機等の航空車両の説明はすべて、あらゆる車両等の何れの移動体にも適用され、使用されてよい。これに加えて、本明細書において航空運動(例えば、飛行)に関して開示されているシステム、デバイス、及び方法はまた、例えば地上、水上等のその他の種類の運動、水中運動、又は宇宙空間内の運動に関しても適用されてよい。
本発明のその他の目的と特徴は、明細書、特許請求の範囲、及び添付の図面を参照することにより明らかとなるであろう。
参照による援用
本明細書中で言及されているすべての出版物、特許、及び特許出願は全て、個々の出版物、特許、又は特許出願の各々が具体的かつ個別に参照により援用されると明記されているかのように、参照によって本願に援用される。
本発明の新規の特徴は、付属の特許請求の範囲の中に具体的に記されている。本発明の特徴と利点は、本発明の原理が利用される例示的な実施形態を示している以下の詳細な説明と、次のような添付の図面を参照することによって、よりよく理解されるであろう。
撮像システムにより取得された光景の画像を示す。
撮像システムにより取得された光景の画像を示す。
撮像システムにより取得された光景の画像を示す。
実施形態による、環境情報を取得するために使用される例示的システムを示す。
実施形態による光学レンズの視野角を示す。
実施形態による、環境情報を取得するために使用される両眼式撮像システムを示す。
実施形態による、テクスチャ情報が移動体のための有益な情報を提供する例示的構成を示す。
実施形態による、制御信号に応答した撮像用コンポーネントにおける例示的な調整を示す。
実施形態による、移動体により取得された画像の処理方法を示す。
実施形態による、環境情報を取得するために使用される移動型撮像システムを示す。
実施形態による、移動体のためのテクスチャ情報が得られる例示的構成を示す。
実施形態による、移動体により取得された画像の処理方法を示す。
実施形態による、環境情報を選択的に取得する撮像システムを示す。
実施形態による、異なる撮像システムが使用される例示的構成を示す。
実施形態による、移動体により取得された画像の処理方法を示す。
本発明の実施形態によるUAVの外観を示す。
本発明の実施形態による、支持機構と搭載を含む移動体を示す。
本発明の実施形態による、移動体を制御するためのシステムのブロック図による略図である。
本明細書で提供されるシステム、方法、デバイス、及びコンピュータ読取可能媒体は、撮像用コンポーネントにより取得される画像の有益さを向上させるために使用されてもよい。例えば、本明細書で提供されるシステムにより、1つ又は複数のプロセッサが画像の中の、通常であれば考慮されないような部分から環境情報を取得することが可能となるかもしれない。その代わりに、又はそれに加えて、本明細書において提供されるシステムにより、1つ又は複数のプロセッサは、撮像用コンポーネントにより取得された1つ又は複数の画像からより多くの環境情報を取得することが可能となるかもしれない。取得された環境情報はさらに、コンピュータビジョンアプリケーションに関して利用されて、航空機等の車両の全体的性能及び/又は効率を改善できる。航空機とは、本明細書において使用されるかぎり、無人航空機(UAV)又は他のあらゆる種類の移動体を指してもよい。したがって、UAVに関して記載されている実施形態は何れの種類の移動体にも適用可能でありうると理解すべきである。
幾つかの例において、システムには、異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、環境情報を取得するために個別に、又は大きい視野の撮像用コンポーネントと共に使用されてもよく、その一方で、それが有利であるときに、大きい視野の撮像用コンポーネントが環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度及び/又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報(例えば、速度、位置)を計算することが可能になるかもしれない。
幾つかの例において、撮像システムには、重複する視野を有する撮像用コンポーネントが提供されてもよい。重複部分は、環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに、環境情報を取得するためにその代用又は補助として使用されてもよい。取得した環境情報により、移動体はより高い精度及び/又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報(例えば、速度、位置)を計算することが可能となるかもしれない。
幾つかの例において、単眼式撮像システムには、移動する視野を有する撮像用コンポーネントが設けられてもよい。移動する視野の重複部分は環境情報を取得するために使用されてもよく、非重複部分は、それが有利であるときに、環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度と効率で物体を認識し、障害物を回避し、又は移動体の状態情報(例えば、速度、位置)を計算することが可能となるかもしれない。
幾つかの例において、撮像用コンポーネントは、単眼式撮像システムと両眼式撮像システムの両方の部分として使用されてもよい。例えば、システムには異なる視野を有する撮像用コンポーネントが設けられてもよい。小さい視野の撮像用コンポーネントは、環境情報を取得するために個別に、又は大きい視野の撮像用コンポーネントと共に使用されてもよく、その一方で、それが有利であるときに、大きい視野の撮像用コンポーネントが環境情報を取得するためにその代用又は補助として使用されてもよい。取得された環境情報により、移動体はより高い精度及び/又は効率で物体を認識し、障害物を回避し、又は移動体の状態情報(例えば、速度、位置)を計算することが可能になるかもしれない。
本発明の様々な態様は、個別にも集合的にも、又は相互に組み合わせても評価できると理解するものとする。本明細書に記載されている本発明の各種の態様は、後述の特定の用途の何れにも、又は遠隔操作される車両もしくは何れの種類の移動体にも応用されてよい。
図1A〜Cは、環境情報を取得するための各種の撮像システムを示す。図1Aは、撮像システムにより取得された光景の画像102A及び104Aを示している。幾つかの例において、撮像システムは、より広い視野を有する画像102Aとより狭い視野を有する104Aを取得してもよい。図1Bは、撮像システムにより取得された光景106Bの画像102B及び104Bを示している。幾つかの例において、撮像システムは、重複する視野の画像を取得するように構成されてもよい。図1Cは、撮像システムにより取得される光景の画像102C及び104Cを示している。幾つかの例において、撮像システムは、異なる時点で異なる視野の画像を取得するように構成されてもよい。例えば、撮像システムは、異なる時点に異なる光景を取得する移動撮像システムであってもよい。
撮像システムは、例えば撮像のために撮像用コンポーネントを利用してもよい。撮像用コンポーネントはUAVに動作的に接続されてもよい。幾つかの例において、撮像用コンポーネントはUAVに組み込まれてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントは、ある機構を介してUAVに接続されてもよい。幾つかの例において、この機構は、撮像用コンポーネントをUAVに対して移動させることができるようにしてもよい。移動は、併進移動及び/又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、撮像用コンポーネントを1つ、2つ、又は3つの軸の周囲で移動できるように構成されてもよい。
幾つかの例において、取得された画像の各々は、環境情報を取得するために処理されてもよい。画像情報とは、UAVの動作にとって有益なあらゆる情報を指してもよい。例えば、環境情報はUAVの奥行き及び/又は距離情報(例えば、物体までの距離)を含んでいてもよい。他の例として、環境情報は物体情報又はUAVにとっての障害物情報を含んでいてもよい。他の例として、環境情報はUAVの位置、UAVの向き、UAVの速度、及び/又はUAVの加速度情報等のUAV状態情報を含んでいてもよい。他の例として、環境情報は温度、湿度、降水量等の環境に関するその他の情報を含んでいてもよい。幾つかの例において、環境情報とはUAVの挙動に影響を与える情報を指してもよい。例えば、環境情報は位置、高度、向き、速度、加速度の変化等、UAVの状態を変化させるものであってもよい。幾つかの例において、環境情報とはUAVの挙動の統制のために考慮される情報を指してもよい。ある例として、UAVに動作的に接続される1つ又は複数のプロセッサは、ナビゲーション、物体検出、障害物回避等のために環境情報を利用してもよい。
幾つかの例において、環境情報を取得するステップは、取得された画像のテクスチャ情報を取得するステップを含んでいてもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。例えば、テクスチャ情報は色勾配、エッジ、特徴点、及びオプティカルフローを含んでいてもよく、これらは各種の適当なアルゴリズムを使って得られてもよい。テクスチャ情報は、撮像用コンポーネントにより取得されたシーケンス画像の重複及び/又は非重複部分の両方から取得されてもよい。幾つかの例において、テクスチャ情報は、UAVのための環境情報を取得するための根拠として利用されてもよい。1つの例として、テクスチャ情報(例えば、画像内の色又は輝度)に基づいて、UAVが動作している環境に関する概観を取得してもよい。例えば、特徴点(例えば、コーナ点)等のテクスチャ情報に基づいて、UAVが動作している環境内に物体又は障害物があるとの判断を下してもよい。
幾つかの例において、広い視野の画像に含まれるテクスチャ情報は、より狭い視野の画像のデータ品質が環境情報を取得するのに不十分である場合、例えば所定の閾値より低い場合に処理されてもよい。幾つかの例において、より狭い視野の画像のデータ品質は、画像内に十分なデータ又は情報があるか否か、例えば画像内に特定可能な特徴があるか否かに応じて、所定の閾値より低いとされてもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、UAVのための距離又は奥行き情報を取得でき場合であってもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、UAVのための状態情報を取得できない場合であってもよい。幾つかの例において、画像内のデータ品質を判断するための閾値は、環境情報を取得するために使用される方法の違いによって異なる設定とされてもよい。
図1Aを再び参照すると、画像102A、104Aは別々の撮像用コンポーネントによって同時に、又は連続的に取得された画像の例であってもよい。幾つかの例において、画像は異なる視野を含んでいてもよい。例えば、画像102Aはより狭い視野を含んでいてもよい。画像104Aはより広い視野を含んでいてもよい。幾つかの例において、より狭い視野の画像はより広い視野の画像と重複してもよい。幾つかの例において、より狭い視野の画像はより広い視野の画像によって取り囲まれていてもよい。取得された画像は、1つ又は複数のプロセッサによって処理されてもよい。
幾つかの例において、より狭い視野の画像に含まれるデータは、UAVのための環境情報の取得において利用されてもよい。幾つかの例において、より狭い視野の画像に含まれるデータは、UAVのための距離情報を取得するために、UAVに動作的に連続された1つ又は複数のプロセッサによって処理されてもよい。幾つかの例において、画像102A及び104Aの重複部分に含まれるデータは、UAVのための環境情報を取得することにおいて利用されてもよく、これについては後でさらに説明する。
幾つかの例において、より広い視野の画像に含まれるデータは、UAVのための環境情報を取得するために利用されてもよく、又はそれに貢献してもよい。1つの例として、画像102A(又は画像102Aの非重複部分)に含まれるデータは、UAVのための距離情報の取得において、UAVに動作的に接続された1つ又は複数のプロセッサにより処理されなくてもよい。
より広い視野の画像は、UAVの動作のための有益な情報を含んでいるかもしれない。幾つかの例において、より広い視野の画像は、UAVのための環境情報を取得するために処理されてもよい。例えば、UAVに動作的に接続された1つ又は複数のプロセッは、より広い視野の画像に含まれるデータを処理してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを処理してテクスチャ情報を取得してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを処理して環境情報を取得してもよい。任意選択により、環境情報は、より広い視野の画像から得られたテクスチャ情報に基づいて取得されてもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、より狭い視野を有する画像に含まれるデータの処理とともに、より広い視野の画像に含まれるデータを処理してもよい。幾つかの例において、1つ又は複数のプロセッサは、より広い視野の画像に含まれるデータを選択的に処理してもよい。例えば、より広い視野の画像に含まれるデータは、より狭い視野の画像に含まれるデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、より狭い視野の画像のデータ品質は、画像内に十分なデータ又は情報があるか否か、例えば画像内に特定可能な特徴があるか否かに応じて、所定の閾値を下回るとされてもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、UAVに関する距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、画像内のデータ品質が所定の閾値より低いのは、UAVに関する状態情報を取得できない場合であってもよい。
図1Bを再び参照すると、画像102B、104Bは、別々の撮像用コンポーネントにより同時に取得された画像の例であってもよい。或いは、画像は、ある時間にわたって1つの撮像用コンポーネントにより取得されたシーケンス画像の例であってもよい。画像102B及び104Bは、集合的に光景又は視野106Bを取得してもよい。集合的視野は、各々の画像102B又は104Bにより取得された1つの光景より大きくてもよい。取得された画像は、1つ又は複数のプロセッサにより処理されてもよい。
幾つかの例において、画像の重複部分に含まれるデータは、UAVのための環境情報の取得において利用されてもよい。幾つかの例において、重複部分108B及び110Bに含まれるデータは、UAVに動作的に接続された1つ又は複数のプロセッサにより処理されてUAVのための距離情報が取得されてもよい。例えば、UAVから物体116Bまでの距離は、画像102B及び104B内の共通の特徴(例えば、物体)間の視差を比較することによって取得されてもよい。共通の特徴は必然的に、画像の重複部分に含まれる特徴であるかもしれない。他の例として、部分108Bに含まれるデータ又は特徴と画像102B内のその相対的配置を部分110Bに含まれるデータ又は特徴と画像104B内のその相対的配置を比較することによって、UAVのための距離情報を取得してもよい。
画像の非重複部分に含まれるデータは、UAVのための環境情報を取得するために利用されず、又はそれに貢献しなくてもよい。一例として、非重複部分112B及び114Bに含まれるデータは、UAVのための距離情報の取得において、UAVに動作的に接続された1つ又は複数のプロセッサによって処理されなくてもよい。例えば、画像に含まれる特徴又は物体118B、120Bは、UAVのための環境情報の取得において利用されなくてもよい。幾つかの例において、物体118B又は120Bは、UAVの挙動に影響を与える中で考慮されなくてもよい。
非重複部分は、UAVの動作にとって有益な情報を含んでいるかもしれない。幾つかの例において、非重複部分はUAVのための環境情報を取得するために処理されてもよい。例えば、UAVに動作的に接続された1つ又は複数のプロセッサは、非重複部分に含まれているデータを処理してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数の実施形態は、非重複部分に含まれるデータを処理して、テクスチャ情報を取得してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、非重複部分に含まれるデータを処理して、環境情報を取得してもよい。任意選択により、環境情報は画像の非重複部分から得られたテクスチャ情報に基づいて取得されてもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、重複部分に含まれるデータの処理と共に非重複部分に含まれるデータを処理してもよい。例えば、環境情報は画像の重複部分と画像の非重複部分の両方から得られてもよい。幾つかの例において、1つ又は複数のプロセッサは、非重複部分に含まれるデータを選択的に処理してもよい。例えば、非重複部分に含まれるデータは、重複部分のデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、重複部分のデータ品質は、重複部分内に十分なデータ又は情報があるか否か、例えば重複部分に特定可能な特徴があるか否かに応じて、閾値より低いとされてもよい。幾つかの例において、重複部分内のデータ品質が所定の閾値より低いのは、UAVのための距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、UAVの状態情報を取得できない場合であってもよい。幾つかの場合において、重複部分内のデータ品質が所定の閾値より低いのは、重複部分内の特徴点の数が約2、5、10、20、30、40、50、60、70、80、90、100、120、140、160、180、200、250、又は300と等しいか、それより少ない場合であってもよい。
図1Cに戻ると、画像102C、104Cは、撮像用コンポーネントによって連続的に取得された画像の例であってもよい。幾つかの例において、画像のシーケンスは、異なる視野又は、及び/又は異なる光景を含んでいてもよい。幾つかの例において、連続的に取得された画像は重複部分を含んでいてもよい。取得された画像は、1つ又は複数のプロセッサにより処理されてもよい。
幾つかの例において、シーケンス画像の重複部分に含まれるデータは、UAVのための環境情報の取得において利用されてもよい。幾つかの例において、重複部分に含まれるデータは、UAVに動作的に接続された1つ又は複数のプロセッサにより処理されて、UAVのための距離情報が取得されてもよい。例えば、UAVから物体までの距離は、シーケンス画像内の共通の特徴(例えば、物体)間の視差を比較することによって取得されてもよい。共通の特徴は必然的に、シーケンス画像の重複部分に含まれている特徴であるかもしれない。
シーケンス画像の非重複部分に含まれるデータは、UAVのための環境情報の取得に使用されないか、又はそれに貢献しなくてもよい。一例として、シーケンス画像の非重複部分内に含まれるデータは、UAVのための距離情報の取得においてUAVに動作的に接続された1つ又は複数のプロセッサにより処理されなくてもよい。幾つかの例において、シーケンス画像の非重複部分内の物体は、UAVの挙動に影響を与える際に考慮されなくてもよい。
非重複部分は、UAVの動作にとって有益な情報を含んでいるかもしれない。幾つかの例において、非重複部分は、UAVのための環境情報を取得するために処理されてもよい。例えば、UAVに動作的に接続された1つ又は複数のプロセッサは、非重複部分に含まれるデータを処理してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、非重複部分に含まれるデータを処理してテクスチャ情報を取得してもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、非重複部分に含まれるデータを処理して環境情報を取得してもよい。任意選択により、環境情報は、画像の非重複部分から得られたテクスチャ情報に基づいて得られてもよい。幾つかの例において、UAVに動作的に接続された1つ又は複数のプロセッサは、重複部分に含まれるデータの処理と共に非重複部分に含まれるデータを処理してもよい。例えば、環境情報は画像の重複部分と画像の非重複部分の両方から得られてもよい。幾つかの例において、1つ又は複数のプロセッサは、非重複部分に含まれるデータを選択的に処理してもよい。例えば、非重複部分に含まれるデータは、重複部分のデータ品質が所定の閾値より低い場合に処理されてもよい。幾つかの例において、重複部分のデータ品質は、重複部分内に十分なデータ又は情報があるか否か、例えば重複部分内に特定可能な特徴があるか否かに応じて、所定の閾値より低いとされてもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、UAVのための距離又は奥行き情報を取得できない場合であってもよい。幾つかの例において、重複部分のデータ品質が所定の閾値より低いのは、UAVに関する状態情報を取得できない場合であってもよい。
図2は、実施形態による、環境情報を取得するために使用される例示的システムを示す。システム200は、光202を取り入れて、環境情報222を取得してもよい。システムは、1つ又は複数の画像(例えば、デジタル画像)を取得するための各種のコンポーネントを含んでいてもよい。幾つかの例において、各種のコンポーネントが個別又は集合的に、撮像用コンポーネントと呼ばれてもよい。例えば、撮像装置の絞り、レンズ、フィルタ、及び/又はセンサが撮像用コンポーネントと呼ばれてもよい。他の例として、撮像装置が撮像用コンポーネントと呼ばれてもよい。幾つかの例において、撮像用コンポーネントは少なくとも、光を方向付けるように構成されたレンズと、方向付けられた光を取得するための対応するセンサを指してもよい。コンポーネントの各々は同じ場所に位置付けられてもよい。例えば、システムの各コンポーネントは、1つの筐体内、例えば撮像装置の中に格納されてもよい。或いは、コンポーネントは異なる場所に位置付けられてもよい。例えば、システムは、異なる場所に位置付けられて協働する別々の複数の部品を含んでいてもよい。ある例として、システムは協働する2つ又はそれ以上のカメラ及びその他の光学素子を含んでいてもよい。他の例として、コンポーネントのいくつかは撮像装置に搭載されてもよく、その他のコンポーネントはUAVと、及び/又はUAVに搭載されていないコントローラに統合されてもよい。
システムは絞り203を含んでいてもよく、そこを通って光が入射してもよい。光は1つの絞りを通って入射してもよい。幾つかの実施形態において、光は、2、3、4、5、又はそれ以上の絞り等の複数の絞りを通って入射してもよい。システムは、1つ又は複数のレンズ206を含んでいてもよい。レンズは光ビームをイメージセンサへと方向付けてもよく、これは方向付けられた光ビームを取得する(例えば、画像データを取得する)。幾つかの例において、システムは1つ又は複数のレンズを受けるように構成されたレンズバレルを含んでいてもよい。レンズバレルは、1つ又は複数のレンズを格納していてもよい。幾つかの例において、レンズバレルは、1つ又は複数のレンズ間の距離を調整することによってシステムの焦点距離を調整するために使用されてもよい。任意選択により、ミラー、フィルタ、格子、追加のレンズ、又はダイクロイック等、光をイメージセンサへと方向付けるのを支援してもよいその他の光学素子が提供されてもよい。
各レンズは、対応する焦点距離又は焦点距離範囲を有していてもよい。焦点距離範囲は、範囲の下限と上限内に当てはまる複数の焦点距離を含んでいてもよい。幾つかの例において、焦点距離範囲は1つの焦点距離を含んでいてもよい。1つの焦点距離は、範囲の下限と上限の両方の役割を果たしてもよい。本明細書で使用されるかぎり、焦点距離及び焦点距離範囲は互換的に使用されてよいと理解すべきである。レンズの焦点距離は、レンズがどれだけ強力に光を収束又は発散させるかの尺度であってもよい。光学レンズの焦点距離は、当初コリメートされた光線が焦点に至るまでの距離を指してもよい。
レンズは、焦点レンズでもズームレンズでもよい。焦点レンズは、変化しない1つの焦点距離を有していてもよい。焦点レンズは、移動しない静止レンズを指してもよい。ズームレンズは可変的な焦点距離を有していてよく、焦点距離は複数の焦点距離(例えば、焦点距離範囲)を包含していてもよい。光学ズームレンズは、内部レンズ素子の集合の相対移動によって、焦点距離を変化させてもよい。幾つかの実施形態において、撮像用コンポーネントは、焦点レンズのみを含んでいてもよい。幾つかの実施形態において、撮像用コンポーネントは焦点レンズとズームレンズの両方を含んでいてもよい。幾つかの実施形態において、撮像用コンポーネントはズームレンズのみを含んでいてもよい。
幾つかの例において、焦点レンズの焦点距離は、1mm、2mm、4mm、6mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm、又は1200mm未満か、それと等しくてもよい。任意選択により、焦点レンズの適当な焦点距離は、本明細書に記載されている数値の何れより大きいか、それと等しくてもよい。焦点レンズの焦点距離は、本明細書に記載された数値の何れの2つの間の範囲内に当てはまる数値を有していてもよい。
システムは、1つ又は複数のセンサ208を含んでいてもよい。レンズにより合焦される光は、本明細書においてイメージセンサとも呼ばれる1つ又は複数のセンサへと方向付けられてもよい。例えば、システムは光子を回収して保存するためのフォトサイトを有する光センサ212を含んでいてもよい。光センサはさらに、収集した情報(例えば、光子)をデジタル形式に変換しても(例えば、画像を取得しても)よい。例えば、システムは、取得されるべき画像の正確な焦点を判断するための合焦センサ214を含んでいてもよい。例えば、システムは、取得された画像の色のバランスをとるため(例えば、人の視力のそれとマッチさせるか、コンピュータビジョンアプリケーション用に最適化するため)のバランスセンサ(例えば、ホワイトバランスセンサ)216を含んでいてもよい。幾つかの例において、1つのイメージセンサ208は複数の異なる種類のセンサの機能を含んでいてもよい。例えば、1つのセンサは、光を検出して画像を搬送する形態に変換する(例えば、画像を取得する)ほか、画像の焦点を合わせ、バランス(例えば、ホワイトバランス)をとるために使用されてもよい。
イメージセンサは、レンズから所定の距離だけ離れていてもよい。例えば、イメージセンサからレンズモジュールまでの距離はレンズモジュールの焦点距離に対応していてもよい。幾つかの例において、イメージセンサはレンズモジュール(例えば、ズームレンズ)までの可変的な距離を有していてもよい。イメージセンサは、取得された画像の焦点面が画像センサの平面と同一平面内にあるように位置付けられてもよい。
イメージセンサは、光学情報(例えば、センサ面に衝突する光は光学情報を含んでいるかもしれない)をデジタル情報(例えば、電気信号)に変換するデバイスを指してもよい。光学情報のデジタル情報への変換は、本明細書において、画像(例えば、画像データ)の取得と呼ばれてもよい。イメージセンサは、画像を構成する情報を検出し、搬送してもよい。イメージセンサは、電荷結合素子(CCD)型、相補型金属酸化膜半導体(CMOS)型、N型金属酸化膜半導体(NMOS)型、又は裏面照明CMOS(BSI−CMOS)型の何れであってもよい。
幾つかの例において、システムの撮像用コンポーネント(例えば、レンズ、センサ等)は光軸を含んでいてもよい。光軸は、それに沿ってある程度の回転対称性を有する線を指してもよい。光軸は、それに沿って光がレンズを通って伝搬する線により定義されてもよい。光軸は、レンズの中心、又は撮像用コンポーネントを通ってもよい。幾つかの例において、撮像用コンポーネントは、それに関連付けられる視野(FOV)を有していてもよい。FOVとは、世界のうち、撮像システム上で空間内の特定の位置と向きで目に見える部分を指してもよい。画像撮影時にFOVの外側にある物体は、写真に記録されないかもしれない。FOVはまた、ビューコーンの角の大きさ、すなわち視野角として表現されてもよい。光学モジュールのFOVは、センサの大きさと焦点距離に依存してもよい。図3は、実施形態による光学レンズ300の視野角を示す。光学レンズの場合、視野角αは、FOVα=2 arctan(d/2f)として計算でき、式中、dはイメージセンサの大きさ、fはレンズの焦点距離である。
一定の大きさのイメージセンサの場合、焦点レンズは一定のFOVを有していてもよく、FOVは1つのFOV角度を包含してもよい。一定の大きさのイメージセンサの場合、ズームレンズは可変的なFOV角度範囲を有していてもよく、FOV角度範囲は複数のFOV角度を包含してもよい。FOVは、光学モジュールの1つ又は複数のレンズ及び/又はその他の光学素子(例えば、センサ)に依存してもよい。幾つかの例において、焦点レンズのFOVは、180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°、又は15°未満か、それと等しくてもよい。任意選択により、焦点レンズのFOVは、本明細書に記載されている数値の何れより大きいか、何れと等しくてもよい。焦点レンズのFOVは、本明細書に記載されている数値の何れの2つ間の範囲内に当てはまる数値を有していてもよい。
撮像用コンポーネントは、環境(例えば、撮像システムの付近又は周囲)の画像を取得してもよい。撮像用コンポーネントは継続的に画像を取得してもよい。撮像用コンポーネントは、指定された周期で画像を取得して、ある期間にわたって一連の画像データを生成してもよい。撮像用コンポーネントは、ビデオレートの取得を提供するのに十分に高い周期で画像を取得してもよい。画像は、少なくとも10Hz、20Hz、30Hz、40Hz、50Hz、60Hz、70Hz、80Hz、90Hz、100Hz、120Hz、150Hz、200Hz、250Hz、又は300Hzの速度で取得されてもよい。
図2のシステムは任意選択により、通信ユニット218及び/又は記憶ユニット220を含んでいてもよい。通信ユニットは、外部コンポーネント及び/又はデバイス、例えば携帯電話、タブレット、PC、リモートコントローラ等の移動デバイスとの通信のために使用されてもよい。通信ユニットは例えば、撮像システムにより取得された画像(例えば、出力)の送信、又は外部コンポーネントもしくはデバイスからの入力(例えば、制御信号)の受信において使用されてもよい。通信ユニットはまた、デジタル信号処理(DSP)を介して画像を変形させることにより、(例えばイメージセンサによって)取得された画像を何らかの方法で改良するために使用されてもよい。記憶ユニットは、システムにより取得された画像を一時的又は永久的に保存するために使用されてもよい。
図2のシステムは、プロセッサ210をさらに含んでいてもよい。プロセッサは、取得された画像を処理し、及び/又はブラックレベル補正、周辺光量比補正、歪み補正、ホワイトバランス補正、カラークロストーク補正、デモザイク、色補正、グレイスケールマッピング、色空間変換、鮮明化、及びノイズ除去等の画像処理機能を実行してもよい。幾つかの例において、プロセッサは取得された画像を処理して環境情報222を取得してもよく、これについて以下でさらに説明する。
プロセッサは、UAV又は携帯電話等の移動体に搭載されてもよい。幾つかの例において、プロセッサは移動体の撮像装置に搭載されてもよい。プロセッサは、撮像装置の筐体の中にあっても、外にあってもよい。幾つかの例において、プロセッサは移動体の撮像装置に搭載されていなくてもよい。プロセッサは、ジンバル等の支持機構上に提供されてもよく、これについては以下でさらに説明する。或いは、プロセッサは移動体から離れた場所に提供されてもよい。例えば、プロセッサはリモートコントローラ(例えば、セルフォン、PDA、その他)、サーバ、地上局(例えば、デスクトップコンピュータ、ラップトップ、充電ステーション等)、又はクラウドベースのインフラストラクチャ上に提供されてもよい。1つ又は複数の光学モジュールからの情報は、無線でプロセッサに送信されてもよい。或いは、撮像用コンポーネントからの情報は物理的接続を介してプロセッサに提供されてもよい。プロセッサ210は、中央処理ユニット(CPU)、特定用途集積回路(ASIC)、又はフィールドプログラマブルゲートアレイ(FPGA)により実装されてもよい。本明細書におけるプロセッサに関する説明は何れも、1つ又は複数のプロセッサに当てはまり、これらは個別に又は集合的に、プロセッサに関して説明した何れの機能を実行してもよい。プロセッサは、1つ又は複数のプロセッサを含んでいてもよい。プロセッサは、1つ又は複数のステップを実行するためのコード、ロジック、又は命令を含む非一時的コンピュータ読取可能媒体にしたがって1つ又は複数のステップを実行することができてもよい。メモリストレージユニットが提供されてもよく、これは非一時的コンピュータ読取可能媒体を含んでいてもよい。
図4は、実施形態による、環境情報を取得するために使用される両眼式撮像システムを示す。構成402では、第1の撮像用コンポーネント404と、第2の撮像用コンポーネント406を有する撮像システムが提供される。撮像用コンポーネント404及び406は、両者で両眼式撮像システムを提供してもよい。撮像用コンポーネントの各々は、UAV等の移動体に動作的に接続されてもよい。例えば、第1及び/又は第2の撮像用コンポーネントは移動体に組み込まれてもよい。その代わりに、又はそれに加えて、第1及び/又は第2の撮像用コンポーネントは、ある機構を介して移動体に接続されてもよい。幾つかの例において、この機構は撮像用コンポーネントが移動体に対して移動できるようにしてもよい。移動は並進移動及び/又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、1つ、2つ、又は3つの軸の周囲で撮像用コンポーネントが移動できるように構成されてもよい。
撮像用コンポーネントの各々は光軸を含んでいてもよい。例えば、第1の撮像用コンポーネントは光軸405を含んでいてもよく、第2の撮像用コンポーネントは光軸407を含んでいてもよい。幾つかの例において、撮像用コンポーネント404及び406の光軸は、構成402に示されているように実質的に平行であってもよい。或いは、撮像用コンポーネントは、それ以外のいずれの方法でも、例えば異なる角度で配置されてよい。例えば、撮像用コンポーネントの光軸は、構成408に示されるように、実質的に平行でなくてもよい。撮像用コンポーネントは、水平、垂直、又は代替的な配列で配置されてもよい。撮像用コンポーネントの各々は1つの撮像装置上に位置付けられてよい。或いは、撮像用コンポーネントは異なる撮像装置上に位置付けられてもよい。
撮像用コンポーネントの各々は、視野(FOV)を含んでいてもよい。撮像システムの各撮像用コンポーネントは、異なるFOVを有していてもよい。或いは、撮像システムの各撮像用コンポーネントは同一の(例えば、同じ)視野を有していてもよい。幾つかの例において、撮像用コンポーネントの視野は重複していても、又は構成402に示されるように部分的に重複していてもよい。撮像用コンポーネントの視野は、重複部分410と非重複部分412、414の両方を含んでいてもよい。第1の撮像用コンポーネントは、例えば第1の撮像用コンポーネントのFOVの第1の画像群を取得してもよい。第2の撮像用コンポーネントは、例えば第2の撮像用コンポーネントのFOVの第2の画像群を取得してもよい。幾つかの例において、第1及び第2の画像群は実質的に同時に取得されてもよい。第1及び第2の画像群は、重複部分と非重複部分を含んでいてもよい。
撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、環境情報を取得するように構成されてもよい。幾つかの例において、1つ又は複数のプロセッサは、第1及び第2の画像群の重複部分に含まれるデータを処理することによって環境情報を取得するように構成されてもよい。例えば、1つ又は複数のプロセッサは、第1の撮像用コンポーネント404により取得された画像と第2の撮像用コンポーネント406により取得された画像との視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサはそれに加えて、テクスチャ情報を取得するように構成されてもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、第1の撮像用コンポーネント及び第2の撮像用コンポーネントにより得られた画像の重複及び/又は非重複部分の両方から得られてもよい。幾つかの例において、テクスチャ情報は移動体に用いる環境情報を取得するための根拠として利用されてもよい。したがって、画像の非重複部分から得られたテクスチャ情報は、移動体にとって有益な情報を提供してもよい。例えば、非重複部分から得られたテクスチャ情報は移動体にとっての関心対象の物体又は障害物を示してもよい。幾つかの例において、テクスチャ情報は移動体の挙動に影響を与えるための根拠を提供してもよい。
図5は、実施形態による、テクスチャ情報が移動体にとって有益な情報を提供する例示的構成を示している。構成501では、撮像用コンポーネント503及び505は、UAV507に動作的に接続されている。撮像用コンポーネントの各々は、重複部分及び非重複部分を有する画像群を取得する。重複部分は物体509を含み、非重複部分は物体508を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理してUAVのための環境情報を取得してもよい。例えば、1つ又は複数のプロセッサは物体509までの距離を判断してもよい。これは、画像の重複部分の品質が十分であるときに可能であってもよい。
幾つかの例において、部分(例えば、画像の重複又は非重複部分)の品質は、その部分内の特徴の存在に依存してもよい。幾つかの例において、その部分の品質は特徴の顕著さに依存してもよい。特徴は、特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴はコンピュータアルゴリズム(例えば、プログラム)により特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴は、コンピュータビジョンアプリケーションのための認識可能な特徴であってもよい。幾つかの例において、部分の品質はその部分の顕著性又は勾配を解析することによって判断されてもよい。幾つかの例において、画像の部分の品質はその部分内の特徴点の数又はオプティカルフローを解析することによって判断されてもよい。
幾つかの例において、画像の部分の品質は所定の基準との比較によって判断されてもよい。所定の基準は所定の閾値、例えば閾値の数又は値を含んでいてもよい。幾つかの例において、画像の重複部分内の顕著性、勾配、特徴点の数、及び/又はオプティカルフローが所定の基準と比較されて、重複部分の品質が十分であるか否かが判断されてもよい。幾つかの例において、重複部分の品質は十分であるかもしれない。例えば、重複部分の中に、UAVのための環境情報を取得するのに十分な情報又はデータ(例えば、特定可能な特徴、顕著性、その他)があってもよい。
1つ又は複数のプロセッサは、画像の非重複部分を処理してテクスチャ情報を取得するように構成されてもよい。幾つかの例において、テクスチャ情報は非重複部分から取得されてもよく、環境情報は重複部分から得られる。テクスチャ情報は、UAVのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、UAVは、第1及び第2の撮像用コンポーネントにより取得される画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、UAVは、第1及び第2の撮像用コンポーネントにより取得される画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることによって、より多くの環境情報を取得できるかもしれない。例えば、障害物又は物体508に関する情報は、画像の非重複部分を処理することによって得られるテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、UAVの動作において、又は本明細書中で前述したようにUAVの挙動に影響を与える中で利用されてもよい。
任意選択により、1つ又は複数のプロセッサは、重複部分の品質が不十分であるか、又はその品質が所定の基準より低い場合、画像の非重複部分からテクスチャ情報及び/又は環境情報を取得するように構成されていてもよい。構成511では、撮像用コンポーネント513及び515はUAV517に動作的に接続されている。撮像用コンポーネントは各々、重複部分と非重複部分を有する画像群を取得する。重複部分は物体を含まず、非重複部分は物体518を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理して、UAVのための環境情報を取得してもよい。しかしながら、1つ又は複数のプロセッサは、重複部分から環境情報を取得できないかもしれない。例えば、重複部分に十分な情報(例えば、特定可能な特徴、顕著性、等)がなく、環境情報が取得されないかもしれない。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
重複部分の品質が不十分である場合、1つ又は複数のプロセッサは、画像の非重複部分からテクスチャ情報及び/又は環境情報を取得するように構成されていてもよい。幾つかの例において、取得されたテクスチャ情報は、UAVのための環境情報を提供するための根拠として利用されてもよい。UAVは、それが画像の重複部分から環境情報を取得できない場合、第1及び第2の撮像用コンポーネントにより取得された画像の非重複部分に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得してもよい。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、第1及び第2の撮像用コンポーネントにより取得された画像の非重複部分の中に含まれる情報を処理し、考慮に入れることによって環境情報を取得してもよい。例えば、障害物又は物体518に関する情報は、画像の非重複部分を処理することによって得られるテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、UAVの動作において、又は本明細書の中で前述したようにUAVの挙動に影響を与える中で利用されてもよい。
構成521では、撮像用コンポーネント523及び525はUAV527に動作的に接続されている。撮像用コンポーネントの各々は、重複部分及び非重複部分を有する画像群を取得する。重複部分は物体529の一部を含み、非重複部分はその物体の別の部分を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理してUAVのための環境情報を取得してもよい。しかしながら、1つ又は複数のプロセッサは、重複部分から環境情報を取得することができないかもしれない。幾つかの例において、重複部分内の情報(例えば、特定可能な特徴、顕著性、その他)が不十分で、環境情報を取得できないかもしれない。例えば、物体529は識別可能な特徴を持たない白壁であってもよい。例えば、物体529は反復的な特徴を有する壁であってもよい。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
1つ又は複数のプロセッサはそれに加えて、画像の非重複部分を処理してテクスチャ情報を取得するように構成されていてもよい。テクスチャ情報は、UAVのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、第1及び第2の撮像用コンポーネントにより取得された画像の非重複部分の中に含まれる情報を処理し、考慮に入れることによって、より正確又は精密な環境情報を取得してもよい。幾つかの例において、UAVは、それが画像の重複部分間ら環境情報を取得できない場合に、第1及び第2の撮像用コンポーネントにより取得された画像の非重複部分に含まれる情報を処理し、考慮に入れることによって、より多くの環境情報を取得してもよい。例えば、障害物又は物体529に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて得られてもよい。環境情報はさらに、UAVの動作の中で、又は本明細書中で前述したように、UAVの挙動に影響を与える中で利用されてもよい。
幾つかの例において、1つ又は複数のプロセッサは第1及び第2の撮像用コンポーネントにより取得された画像の重複部分の品質が不十分である場合に、制御信号を生成するように構成されていてもよい。制御信号は、UAVの挙動に影響を与えてもよい。幾つかの例において、制御信号はUAVの位置又は向き等のUAVの状態に影響を与えてもよい。例えば、画像の重複部分が所定の品質より低いと、UAVの移動を停止させる、及び/又はUAVを静止位置でホバリングさせるための制御信号が生成されてもよい。他の例として、画像の重複部分が所定の品質より低いと、1つ又は複数のプロセッサは、UAVの(例えばUAVのピッチ、ヨー、又はロール軸に関する)向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、第1及び第2の撮像用コンポーネントにより取得された画像の新たな重複部分が十分な品質となるまで継続されてもよい。
その代わりに、又はそれに加えて、画像の非重複部分から得られたテクスチャ情報及び/又は環境情報に応答して、1つ又は複数のプロセッサは、制御信号を生成するように構成されてもよい。制御信号はUAVの挙動に影響を与えてもよい。幾つかの例において、制御信号はUAVの位置又は向き等のUAVの状態に影響を与えてもよい。例えば、画像の非重複部分から得られたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、UAVの移動を、非重複部分から特定された物体又は障害物を避けるように方向付けるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、UAVの移動を停止させ、及び又はUAVを静止位置でホバリングさせるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、UAVの(例えばUAVのピッチ、ヨー、又はロール軸に関する)向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、第1の撮像用コンポーネントと第2の撮像用コンポーネントにより取得された画像の新しい重複部分が十分な品質となるようにすることであってもよい。例えば、構成511に関して、UAVの向きは、第1の撮像用コンポーネントと第2の撮像用コンポーネントにより取得された画像の重複部分が物体518を含むように調整されてもよい。
幾つかの例において、制御信号は第1及び/又は第2の撮像用コンポーネントを調整してもよい。図6は、実施形態による、制御信号に応答した撮像用コンポーネントの例示的な調整を示す。例えば、構成601に示されているように、画像の重複部分が所定の品質より低い場合に、制御信号が生成されてもよい。その代わりに、又はそれに加えて、取得された画像の非重複部分から得られたテクスチャ情報及び/又は環境情報に基づいて、制御信号が生成されてもよい。幾つかの例において、制御信号は撮像用コンポーネントの位置又は向き等、第1及び/又は第2の撮像用コンポーネントの状態に影響を与えてもよい。幾つかの例において、制御信号は第1及び/又は第2の撮像用コンポーネントの光軸を調整してもよい。幾つかの例において、制御信号は、構成603に示されているように、第1及び/又は第2の撮像用コンポーネントの位置を調整してもよい。幾つかの例において、撮像用コンポーネントの位置の調整は、その撮像用コンポーネントが接続されているUAVに関するものであってもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの位置の調整はUAVの位置を変化させることによって行われてもよい。幾つかの例において、構成605に示されているように、第1及び/又は第2の撮像用コンポーネントの光学ズームを調整してもよい。幾つかの例において、構成607に示されているように、制御信号は第1及び/又は第2の撮像用コンポーネントの向きを調整してもよい。撮像用コンポーネントの向きにおける調整は、その撮像用コンポーネントが接続されているUAVに関するものであってもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの向きの調整はUAVの向きを変化させることによって行われてもよい。幾つかの例において、調整は、第1及び第2の撮像用コンポーネントにより取得された画像の新しい重複部分が十分な品質となるまで継続されてもよい。
図7は、実施形態による、移動体により取得された画像の処理方法700を示す。移動体は、本明細書中で前述したように無人航空機(UAV)であってもよい。或いは、移動体は他の何れの種類の車両であってもよい。移動体は、幾つかの例において、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントに動作的に接続されていてもよい。例えば、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントは、移動体に搭載されてもよい。幾つかの例において、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されてもよい。第1及び第2の撮像用コンポーネントは両眼式撮像システムを形成してもよい。
ステップ701で、第1の画像群が第1の撮像用コンポーネントを用いて取得される。第1の撮像用コンポーネントは第1の筐体内に位置付けられていてもよい。幾つかの例において、第1の撮像用コンポーネントは第1の撮像装置上に位置付けられていてもよい。第1の撮像用コンポーネントは第1のレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、第1の撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、第1の撮像用コンポーネントは1つ又は複数のセンサを含んでいてもよい。第1の撮像用コンポーネントは第1の視野を有していてもよい。幾つかの例において、第1の撮像用コンポーネントにより取得された第1の画像群は第1の視野を描写する画像群であってもよい。
ステップ703で、第2の画像群が第2の撮像用コンポーネントを用いて取得される。幾つかの例において、第2の撮像用コンポーネントは第2の筐体内に位置付けられていてもよい。第2の筐体は第1の筐体と同じであってもよい。或いは、第2の筐体は第1の筐体とは異なっていてもよい。幾つかの例において、第2の撮像用コンポーネントは第2の撮像装置上に位置付けられていてもよい。第2の撮像装置は第1の撮像装置と同じであってもよい。或いは、第2の撮像装置は第1の撮像装置とは異なっていてもよい。
第2の撮像用コンポーネントは第2のレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、第2の撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、第2の撮像用コンポーネントは1つ又は複数のセンサを含んでいてもよい。第2の撮像用コンポーネントは第2の視野を有していてもよい。第2の視野は第1の視野と同様の大きさ(例えば、視野角)であってもよい。或いは、第2の視野は第1の視野と異なる大きさであってもよい。幾つかの例において、第2の視野は第1の視野と重複していてもよい。したがって、第1の画像群と第2の画像群は、重複部分と非重複部分を含んでいてもよい。
幾つかの例において、第1の撮像用コンポーネントと第2の撮像用コンポーネントの光軸は実質的に平行であってもよい。或いは、第1及び第2の撮像用コンポーネントの光軸は、他の角度がつけられ、平行でなくてもよい。幾つかの例において、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントの光軸は、相互に関して調整可能であってもよい。したがって、第1の撮像用コンポーネントの光軸は鋭角がつけられ、平行であり、及び/又は鈍角がつけられていてもよい。
幾つかの例において、1つ又は複数のプロセッサが提供されてもよい。1つ又は複数のプロセッサは移動体に搭載されてもよい。その代わりに、又はそれに加えて、1つ又は複数のプロセッサの一部又はすべてが移動体に搭載されていなくてもよい。例えば、プロセッサの一部は、移動体に動作的に接続されたリモートコントローラ又は移動デバイス上に位置付けられていてもよい。ステップ705で、1つ又は複数のプロセッサは個別に又は集合的に、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサはさらに、第1の画像群と第2の画像群の重複部分を解析して移動体に用いる環境情報を取得するように構成されてもよい。任意選択により、1つ又は複数のプロセッサは、第1の画像群と第2の画像群の非重複部分からのテクスチャ情報と重複部分からの環境情報の両方を同時に取得してもよい。
幾つかの例において、第1の画像群と第2の画像群の重複部分の品質が所定の閾値より低い場合、1つ又は複数のプロセッサは、テクスチャ情報(例えば、非重複部分から得られたもの)に基づいて移動体の環境情報を取得するように構成されていてもよい。一例として、テクスチャ情報(例えば、画像内の色又は輝度)に基づいて、UAVが動作している環境に関する概観が得られてもよい。例えば、テクスチャ情報に基づいて、UAVが動作している環境内に物体又は障害物があるとの判断が得られてもよい。幾つかの例において、重複部分の品質は画像処理技術を使って解析されてもよい。一例として、1つ又は複数のプロセッサは、画像の重複部分の顕著性又は勾配を解析して品質を判断するように構成されてもよい。他の例として、1つ又は複数のプロセッサは、重複部分内の特徴点の数又はオプティカルフローを解析して品質を判断するように構成されてもよい。
幾つかの例において、重複部分の品質が所定の閾値より低いのは、重複部分に十分な特徴がない場合であってもよい。幾つかの例において、重複部分の品質が所定の閾値より低いのは、その部分から奥行き情報が得られないかもしれない場合であってもよい。本明細書中で前述したように、環境情報は移動体の動作にとって有益な何れの情報を含んでいてもよい。例えば、環境情報は奥行き情報、障害物情報、物体情報、及び/又は移動体に関する状態情報を含んでいてもよい。移動体に関する状態情報は、移動体の位置、向き、速度、又は加速度を含んでいてもよい。任意選択により、ステップ707で、1つ又は複数のプロセッサは、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成してもよい。幾つかの例において、制御信号は、第1及び第2の画像群の重複部分の品質が所定の閾値より低い場合に生成されてもよい。その代わりに、又はそれに加えて、制御信号はステップ705で得られたテクスチャ情報に基づいて生成されてもよい。幾つかの例において、制御信号はテクスチャ情報から得られた環境情報に基づいて生成されてもよい。例えば、実質的に前述したように、制御信号は物体又は障害物の存在に基づいて生成されてもよい。幾つかの例において、制御信号は、非重複部分に物体又は障害物が存在すると判断された場合に生成されてもよい。調整は、第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントの光軸における調整であってもよい。例えば、制御信号は画像の非重複部分から得られたテクスチャ情報及び/又は環境情報に基づいて移動体の調整を行うための命令を提供してもよい。移動体の調整は、移動体の状態における調整であってもよい。例えば、調整は移動体の位置、向き、速度、及び/又は加速度における調整であってもよい。幾つかの例において、調整は、移動体の、そのピッチ、ヨー、又はロール軸に対する向きの調整であってもよい。移動体の調整の結果として、移動体に接続された撮像用コンポーネントの光軸が相応に調整されてもよい。
幾つかの例において、第1及び第2の撮像用コンポーネントの調整は、第1の視野と第2の視野の新しい重複部分が、第1の画像群と第2の画像群の以前の非重複部分の少なくとも一部を包含するように構成されてもよい。幾つかの例において、第1及び/又は第2の撮像用コンポーネントの調整は、第1の視野と第2の視野の新しい重複部分が以前の重複部分とは異なる大きさになるように構成されてもよい。例えば、例えば図6の構成607に示されているように、第1及び第2の撮像用コンポーネントの光軸は相互に関してもよく、それによって重複部分の大きさが変化する。幾つかの例において、1つ又は複数のプロセッサは、移動体の飛行中に処理及び生成ステップを繰り返すように構成されてもよい。処理及び生成ステップは、少なくとも60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒、又は0.01秒ごとに繰り返されてもよい。
幾つかの例において、方法700を実行するためのシステムが提供されてもよい。システムは1つ又は複数のプロセッサを含んでいてもよく、これは、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得し、第1の画像群は第1の視野を有する第1の撮像用コンポーネントにより取得され、第2の画像群は第1の視野と重複する第2の視野を有する第2の撮像用コンポーネントにより取得され、テスクチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成される。
幾つかの例において、方法700を実行するための装置が提供されてもよい。装置は、第1の視野を有する第1の撮像用コンポーネントであって、第1の画像群を取得するように構成された第1の撮像用コンポーネントと、第1の視野と重複する第2の視野を有する第2の撮像用コンポーネントであって、第2の画像群を取得するように構成された第2の撮像用コンポーネントと、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するように個別に又は集合的に構成された1つ又は複数のプロセッサと、を含んでいてもよい。
幾つかの例において、方法700を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、第1の撮像用コンポーネントを用いて第1の画像を取得し、第1の撮像用コンポーネントは第1の視野を有し、第2の撮像用コンポーネントを用いて第2の画像群を取得し、第2の撮像用コンポーネントは第1の視野と重複する第2の視野を有し、1つ又は複数のプロセッサを個別に又は集合的に用いて、第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントを調整するための制御信号を生成するためのコード、ロジック、又は命令を含んでいてもよい。
図8は、実施形態による、環境情報を取得するために使用される移動型撮像システムを示している。構成802では、撮像用コンポーネント804を有する撮像システムが提供される。撮像用コンポーネントは、単眼式撮像システムを提供してもよい。幾つかの例において、撮像用コンポーネントは、実質的に前述した両眼式撮像システムの一部であってもよい。或いは、撮像用コンポーネントは両眼式撮像システムを含んでいてもよい。撮像用コンポーネントは、UAV等の移動体に動作的に接続されてもよい。例えば、撮像用コンポーネントは移動体に組み込まれてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントは、ある機構を介して移動物体に接続されてもよい。幾つかの例において、この機構は撮像用コンポーネントが移動体に対して移動できるようにしてもよい。移動は、並進移動及び/又は回転移動を含んでいてもよい。幾つかの例において、この機構はジンバルを含んでいてもよい。ジンバルは、撮像用コンポーネントが1つ、2つ、又は3つの軸の周囲で移動できるように構成されてもよい。
撮像用コンポーネントは、ある期間にわたって調整されてもよい。幾つかの例において、調整は、撮像用コンポーネントの視野を変化させてもよい。例えば、構成802では、撮像用コンポーネントの視野がFOV806からFOV808へと変化する。幾つかの例において、視野の変化は撮像用コンポーネントの光軸及び/又は位置の調整によるものであってもよい。例えば、撮像用コンポーネントの光軸は、構成802に示されるように並進移動されてもよい。他の例として、撮像用コンポーネントの光軸は構成820に示されるように回転移動されてもよい。幾つかの例において、撮像用コンポーネントの光軸の調整は、撮像用コンポーネントが接続されている移動物体が調整されているときに行われてもよい。例えば、移動体が位置及び/又は向きにおいて変化されると、撮像用コンポーネントも、それに対応して位置及び/又は向きが変化してもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの光軸の調整は移動体の調整とは独立して行われてもよい。例えば、機構は、撮像用コンポーネントを、それが接続されている移動体に対して移動させるように構成されてもよい。撮像用コンポーネントの移動体に対する移動は、並進移動及び/又は回転移動であってもよい。幾つかの例において、機構は、撮像用コンポーネントを1つ、2つ、又は3つの軸に対して移動できるジンバルであってもよい。その代わりに、又はそれに加えて、視野の変化は撮像用コンポーネントの構成における調整によるものであってもよい。例えば、撮像用コンポーネントのズームレベルは、例えば光学ズーミングシステムのレンズを相対移動させることよって調整されてもよい。
幾つかの例において、撮像用コンポーネントは、ある領域をスキャンするように構成されていてもよい。領域は、撮像用コンポーネントの視野の大きさより大きくてもよい。領域のスキャンによって、撮像用コンポーネント及び/又は1つ又は複数のプロセッサは動作中により多くのテクスチャ情報及び/又は環境情報を取得できるかもしれない。幾つかの例において、撮像用コンポーネントは、ある領域を周期的にスキャンするように構成されてもよい。ある領域の周期的なスキャンは、撮像用コンポーネントの所定の移動を通じて実行されてもよい。幾つかの例において、撮像用コンポーネントの所定の移動は、撮像用コンポーネントに接続された移動体の所定の移動の結果として行われてもよい。例えば、移動体のホバリング中に、これは、そのロール、ピッチ、又はヨー軸の周囲でその向きを調整することによってある領域をスキャンしてもよい。例えば、移動体の移動中に、これは、そのロール、ピッチ、又はヨー軸の周囲のその向きを調整することによってある領域をスキャンしてもよい。その代わりに、又はそれに加えて、撮像用コンポーネントの所定の移動は移動体に対するものであってもよい。例えば、ある機構によって、撮像用コンポーネントは移動体に関して所定の通りに移動できるかもしれない。この機構は、移動体の周囲で撮像用コンポーネントを並進移動させることのできる並進又は回転機構であってもよい。この機構は、移動体の周囲で撮像用コンポーネントを回転移動させることのできる回転機構であってもよい。幾つかの例において、この機構は、撮像用コンポーネントが1つ、2つ、又は3つの軸の周囲で移動できるようなジンバルであってもよい。
幾つかの例において、所定の移動は、構成802に示されるように、撮像用コンポーネントの並進移動であってもよい。その代わりに、又はそれに加えて、所定の移動は、構成820に示されるように、撮像用コンポーネントの回転移動であってもよい。幾つかの例において、所定の移動は撮像用コンポーネントの並進及び回転移動を含んでいてもよい。幾つかの例において、撮像用コンポーネントは、約30秒、20秒、10秒、5秒、3秒、2秒、1秒、又は0.5秒ごとに、又はそれ未満で領域をスキャンするように構成されてもよい。幾つかの例において、撮像用コンポーネントの光軸は、周期的スキャン中に約2°、5°、10°、15°、20°、30°、45°、60°、75°、90°、又はそれ以上ずつ変化させてもよい。幾つかの例において、撮像用コンポーネントの光軸は、周期的スキャン中に約0.5cm、1cm、2cm、3cm、5cm、10cm、20cm、又はそれ以上ずつ変化させてもよい。
撮像用コンポーネントは画像のシーケンス、例えばある期間にわたり撮像用コンポーネントのFOVの画像を取得してもよい。幾つかの例において、シーケンス画像は、撮像用コンポーネントによるある領域のスキャン中に取得されてもよい。シーケンス画像は、2つ又はそれ以上の画像を含んでいてもよい。幾つかの例において、シーケンス画像は、前述のように、光軸が異なる向き及び/又は位置にあるときに取得されてもよい。例えば、撮像用コンポーネントは、当初時刻(t1)で第1の画像810を取得してもよい。続いて、撮像用コンポーネントは、その位置を変化させてから、次の時刻(t2)で第2の画像812を取得してもよい。他の例として、撮像用コンポーネントは、当初時刻(t1)で第1の画像814を取得してもよい。続いて、撮像用コンポーネントは、構成820に示されるように、その向きを変えてから次の時刻(t2)で第2の画像816を取得してもよい。シーケンス画像は、図802及び820に示されるように、重複するか、又は部分的に重複していてもよい。幾つかの例において、シーケンス画像は重複部分及び非重複部分を含んでいてもよい。
撮像用コンポーネントと動作的に接続された1つ又は複数のプロセッサは、環境情報を取得するように構成されてもよい。幾つかの例において、1つ又は複数のプロセッサは、シーケンス画像の重複部分に含まれるデータを処理することによって環境情報を取得するように構成されてもよい。例えば、1つ又は複数のプロセッサは、連続的に取得された画像、例えばt1で取得された画像とt2で取得された画像との視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサは、テクスチャ情報を取得するように構成されてもよい。テクスチャ情報は、画像内の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、撮像用コンポーネントにより得られたシーケンス画像の重複部分及び/又は非重複部分の両方から得られてもよい。幾つかの例において、テクスチャ情報は移動体に用いる環境情報を取得するための根拠として利用されてもよい。したがって、シーケンス画像の非重複部分から得られたテクスチャ情報は、移動体にとって有益な情報を提供するかもしれない。例えば、非重複部分の中のテクスチャ情報は、移動体委にとって関心対象の物体又は障害物を示してもよい。幾つかの例において、テクスチャ情報は、移動体の挙動に影響を与える根拠を提供してもよい。
図9は、実施形態による、テクスチャ情報を移動体に関して取得する例示的な構成を示している。構成901では、撮像用コンポーネント903がUAV905に動作的に接続されている。撮像用コンポーネントは、異なる視野のシーケンス画像を取得してもよい。幾つかの例において、シーケンス画像は重複部分と非重複部分を含んでいてもよい。例えば、撮像用コンポーネント903は、第1の時刻(t1)、第2の時刻(t2)及び第3の時刻(t3)で、異なる視野の3つの画像のシーケンスを取得してもよい。重複部分は物体907を含み、非重複部分は物体908を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、シーケンス画像の重複部分を処理してUAVのための環境情報を取得してもよい。例えば、1つ又は複数のプロセッサはシーケンス画像の重複部分に含まれるデータを処理することによって物体907の距離を判断してもよい。これは、シーケンス画像の重複部分の品質が十分である場合に可能であるかもしれない。
幾つかの例において、部分(例えば、画像の重複又は非重複部分)の品質は、その部分の中の特徴の存在に依存してもよい。幾つかの例において、その部分の品質は、その部分の中の特徴の顕著さに依存してもよい。特徴は、特定可能又は認識可能な特徴であってもよい。幾つかの例において、コンピュータアルゴリズム(例えば、プログラム)により特定可能又は認識可能な特徴であってもよい。幾つかの例において、特徴は、コンピュータビジョンアプリケーションにとって認識可能な特徴であってもよい。幾つかの例において、その部分の品質は、その部分の顕著性又は勾配を解析することによって判断されてもよい。幾つかの例において、画像の部分の品質は、その部分の中のオプティカルフローに関する特徴点の数又は情報を解析することによって判断されてもよい。例えば、画像の部分の品質が十分であるのは、その部分の中の特徴点の数が約1、2、5、10、20、30、40、50、60、70、80、90、100、120、140、160、180、200、250、又は300と等しいか、それより大きい場合であってもよい。
幾つかの例において、シーケンス画像の部分の品質は所定の基準との比較によって判断されてもよい。所定の基準は所定の閾値、例えば閾値の数又は値を含んでいてもよい。幾つかの例において、画像の重複部分内の顕著性、勾配、特徴点の数、及び/又はオプティカルフローを所定の基準と比較して、重複部分の品質が十分か否かを判断してもよい。幾つかの例において、重複部分の品質は十分でないかもしれない。例えば、重複部分に、UAVのための環境情報を取得するのに十分な情報又はデータ(例えば、特定可能な特徴、顕著性、その他)があるかもしれない。
1つ又は複数のプロセッサはさらに、画像の非重複部分を処理してテクスチャ情報を取得するように構成されてもよい。幾つかの例において、テクスチャ情報は非重複部分から得られてもよく、環境情報は重複部分から得られる。テクスチャ情報は、UAVのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、撮像用コンポーネントにより取得されたシーケンス画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、撮像用コンポーネントにより取得されたシーケンス画像の重複部分と非重複部分の両方に含まれる情報を処理し、考慮に入れることにより、UAVはより大量の環境情報を取得できるかもしれない。例えば、障害物又は物体908に関する情報は、画像の非重複部分を処理することによって取得されたテクスチャ情報に基づいて取得されてもよい。環境情報は、UAVの動作において、又は本明細書で前述したように、UAVの挙動に影響を与える中でさらに利用されてもよい。
任意選択により、1つ又は複数のプロセッサは、重複部分の品質が不十分であるか、その品質が所定の基準より低い場合に、シーケンス画像の非重複部分からテクスチャ情報及び/又は環境情報を取得するように構成されてもよい。構成911では、撮像用コンポーネント913はUAV915に動作的に接続されている。撮像用コンポーネントは、重複部分と非重複部分を有するシーケンス画像を取得する。重複部分に物体は含まれず、非重複部分は物体918を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理してUAVのための環境情報を取得してもよい。しかしながら、1つ又は複数のプロセッサは、重複部分から環境情報を取得することができないかもしれない。例えば、重複部分の中の情報(例えば、特定可能な特徴、顕著性、その他)が不十分であり、環境情報が得られないかもしれない。シーケンス画像の重複部分の品質は不十分であるかもしれない。
重複部分の品質が不十分であると、1つ又は複数のプロセッサは、画像の非重複部分からテクスチャ情報及び/又は環境情報を取得するように構成されていてもよい。幾つかの例において、取得されたテクスチャ情報はUAVのための環境情報を提供する根拠として利用されてもよい。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得することができるかもしれない。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントによって取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、環境情報を取得してもよい。例えば、障害物又は物体918に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて取得されてもよい。環境情報はさらに、UAVの動作において、又は本明細書で前述したようにUAVの挙動に影響を与える中で利用されてもよい。
構成921では、撮像用コンポーネント923はUAV925に動作的に接続されている。撮像用コンポーネントは、重複部分と非重複部分を有するシーケンス画像を取得する。重複部分は物体928の一部を含み、非重複部分はその物体の別の部分を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理してUAVのための環境情報を取得してもよい。しかしながら、1つ又は複数のプロセッサは重複部分から環境情報を取得することができないかもしれない。幾つかの例において、重複部分の中の情報(例えば、特定可能な特徴、顕著性その他)が不十分で、環境情報が得られないかもしれない。例えば、物体928は、識別可能な特徴を持たない白壁であってもよい。例えば、物体928は反復的特徴を有する壁であってもよい。幾つかの例において、画像の重複部分の品質は不十分であるかもしれない。
1つ又は複数のプロセッサはさらに、画像の非重複部分を処理してテクスチャ情報を取得するように構成されていてもよい。テクスチャ情報は、UAVのための環境情報を提供するための根拠として利用されてもよい。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より正確又は精密な環境情報を取得できるかもしれない。幾つかの例において、UAVは、それが画像の重複部分から環境情報を取得できない場合に、撮像用コンポーネントにより取得されたシーケンス画像の非重複部分に含まれる情報を処理し、考慮に入れることにより、より多くの環境情報を取得できるかもしれない。例えば、障害物又は物体928に関する情報は、画像の非重複部分を処理することによって得られたテクスチャ情報に基づいて得られてもよい。環境情報はさらに、UAVの動作において、又は本明細書で前述したようにUAVの挙動に影響を与える中で利用されてもよい。
幾つかの例において、1つ又は複数のプロセッサは、撮像用コンポーネントにより取得されたシーケンス画像の重複部分の品質が不十分である場合に制御信号を生成するように構成されてもよい。制御信号はUAVの挙動に影響を与えてもよい。幾つかの例において、制御信号は、UAVの位置又は向き等のUAVの状態に影響を与えてもよい。例えば、画像の重複部分が所定の品質より低い場合、UAVの移動を停止させる、及び/又はUAVを静止位置にホバリングさせるための制御信号が生成されてもよい。他の例として、画像の重複部分が所定の品質より低い場合、1つ又は複数のプロセッサは、UAVの(例えば、UAVのピッチ、ヨー、又はロール軸に関する)向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、撮像用コンポーネントにより取得されたシーケンス画像の新しい重複部分の品質が十分になるまで継続されてもよい。幾つかの例において、画像の重複部分が所定の品質より低い場合、1つ又は複数のプロセッサは、実質的に前述のように、ある領域をスキャンするための制御信号を生成してもよい。
その代わりに、又はそれに加えて、シーケンス画像の非重複部分から得かられたテクスチャ情報及び/又は環境情報に応答して、1つ又は複数のプロセッサは、制御信号を生成するように構成されていてもよい。制御信号は、UAVの挙動に影響を与えてもよい。幾つかの例において、制御信号は、UAVの位置又は向き等のUAVの状態に影響を与えてもよい。例えば、画像の非重複部分から得られたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、非重複部分から特定された物体又は障害物を回避するようにUAVの移動を方向付けるための制御信号を生成してもよい。他の例として、画像の非重複部分から得られたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、UAVの移動を停止させ、及び/又はUAVを静止位置にホバリングさせるための制御信号を生成してもよい。他の例として、画像の非重複部分から得かられたテクスチャ情報及び/又は障害物情報に応答して、1つ又は複数のプロセッサは、UAVの(例えば、ピッチ、ヨー、又はロール軸に関する)向きを調整するための制御信号を生成してもよい。幾つかの例において、調整は、撮像用コンポーネントにより取得されたシーケンス画像の新たな重複部分が十分な品質又は所定の閾値より高い品質となるようにするものであってもよい。例えば、構成911に関して、調整は、UAVの向きの調整後、撮像用コンポーネントが物体918を含む領域をスキャンし、撮像用コンポーネントにより取得されるシーケンス画像の重複部分にその物体が含まれるようにするものであってもよい。
図10は、実施形態による、移動体により取得された画像の処理方法1000を示す。移動体は、本明細書中で前出したように、無人航空機(UAV)であってもよい。或いは、移動体は他の何れの種類の車両であってもよい。移動体は、幾つかの例において、撮像用コンポーネントに動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に搭載されていてもよい。幾つかの例において、撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されてもよい。撮像用コンポーネントは、単眼式撮像システムを形成してもよい。
ステップ1001で、撮像用コンポーネントを用いてシーケンス画像が取得される。撮像用コンポーネントは、筐体内にあってもよい。幾つかの例において、撮像用コンポーネントは撮像装置上に位置付けられていてもよい。撮像用コンポーネントはレンズシステム、例えばレンズ、複数のレンズ、ズームレンズ、その他を含んでいてもよい。幾つかの例において、撮像用コンポーネントは単眼式レンズシステムを含んでいてもよい。それに加えて、撮像用コンポーネントは1つ又は複数のセンサを含んでいてもよい。撮像用コンポーネントは視野を有していてもよい。シーケンス画像は、2つ又はそれ以の画像を含んでいてもよい。幾つかの例において、シーケンス画像は異なる視野を含んでいてもよい。幾つかの例において、シーケンス画像は重複部分と非重複部分を有する2つ又はそれ以上の画像を含んでいてもよい。
幾つかの例において、シーケンス画像は、移動体の移動中、例えば前方移動中、後方移動中、その他の間に取得されてもよい。その代わりに、又はそれに加えて、シーケンス画像は移動体が実質的に静止している間に取得されてもよい。例えば、移動体は、ホバリングしているが、そのピッチ、ヨー、又はロール軸の周囲で回転していてもよい。幾つかの例において、シーケンス画像は、撮像用コンポーネントの光軸を移動体に対して連続的に調整することによって取得されてもよい。
幾つかの例において、撮像用コンポーネントの光軸を調整するための機構が提供されてもよい。幾つかの例において、この機構により、撮像用コンポーネントはその視野より大きい領域をスキャンすることができるかもしれない。任意選択により、撮像用コンポーネントはその機構を用いて約60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒、又は0.01秒ごとに領域をスキャンするように構成されていてもよい。幾つかの例において、撮像用コンポーネントの光軸は、スキャン中に約2°、5°、10°、15°、20°、30°、45°、60°、75°、90°、又はそれ以上ずつ変化されてもよい。
機構は、移動体の移動に合わせて撮像用コンポーネントの光軸を移動させてもよい。例えば、機構は、移動体に搭載された、移動体の移動を可能にする推進機構であってもよい。幾つかの例において、機構は、撮像用コンポーネントの光軸を移動可能物体に対して移動させてもよい。例えば、機構は、撮像用コンポーネントを移動体に対して移動させることのできる並進又回転機構であってもよい。例えば、機構は、撮像用コンポーネントを1つ、2つ、又は3つの軸の周囲で回転させることのできるジンバルであってもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のヨー軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のロール軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体のピッチ軸の周囲で移動させることができてもよい。幾つかの例において、機構は、撮像用コンポーネントを移動体の外面の周囲で移動させることができてもよい。
幾つかの例において、1つ又は複数のプロセッサが提供されてもよい。1つ又は複数のプロセッサは移動体に搭載されていてもよい。その代わりに、又はそれに加えと、1つ又は複数のプロセッサの一部又は全部は移動体に搭載されていなくてもよい。例えば、プロセッサの一部は、移動体に動作的に接続されたリモートコントローラ又は移動デバイス上に位置付けられてもよい。1つ又は複数のプロセッサは、ステップ1003で、個別に、又は集合的にシーケンス画像の非重複部分を処理して、テクスチャ情報を取得してもよい。
ステップ1005で、1つ又は複数のプロセッサはテクスチャ情報に基づいて移動体に用いる環境情報を取得してもよい。環境情報は、実質的に前述したものであってもよく、例えば移動体の動作に有益な情報であってもよい。幾つかの例において、環境情報は奥行き情報を含む。幾つかの例において、環境情報は障害物情報又は移動体の状態情報を含む。
任意選択により、1つ又は複数のプロセッサはさらに、取得した環境情報に基づいて移動体の位置及び/又は向きを制御すための制御信号を生成するように構成されていてもよい。その代わりに、又はそれに加えて、1つ又は複数のプロセッサはさらに、移動体に接続された撮像装置の、移動体に対する位置及び/又は向きを取得した環境情報に基づいて制御するための制御信号を生成するように構成されていてもよい。幾つかの例において、1つ又は複数のプロセッサは、移動体の飛行中に処理及び生成ステップを繰り返すように構成されてもよい。処理及び取得ステップは、少なくとも60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒、又は0.01秒ごとに繰り返されてもよい。
幾つかの例において、方法1000を実行するためのシステムが提供されてもよい。システムは、1つ又は複数のプロセッサを含んでいてもよく、これは、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、シーケンス画像は撮像用コンポーネントにより取得されて、重複部分を含み、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別にまた集合的に構成される。
幾つかの例において、方法1000を実行するための装置が提供されてもよい。装置は、シーケンス画像を取得するように構成された撮像用コンポーネントであって、シーケンス画像は重複部分を含む撮像用コンポーネントと、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体のための地環境情報を取得するように個別に又は集合的に構成された1つ又は複数のプロセッサと、を含んでいてもよい。
幾つかの例において、方法1000を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、撮像用コンポーネントを用いてシーケンス画像を取得し、シーケンス画像は重複部分を含み、1つ又は複数のプロセッサを個別に又は集合的に用いて、シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するためのコード、ロジック、又は命令を含んでいてもよい。
上述の方法及びシステムは、個別に、又は相互に集合的に利用されてもよい。幾つかの例において、両眼式撮像システムは単眼式撮像システムと併用されてもよい。幾つかの例において、単眼式撮像システムは両眼式撮像システムを補助するものであってもよい。例えば、両眼式撮像システムは、第1の撮像用コンポーネントと第2の撮像用コンポーネントを含んでいてもよい。2つの撮像用コンポーネントにより取得された画像の重複部分が処理されて、UAVのための環境情報が判断されてもよい。さらに、第1の撮像用コンポーネントと第2の撮像用コンポーネントの各々は、単眼式撮像システムを提供してもよい。第1の撮像用コンポーネント及び/又は第2の撮像用コンポーネントにより取得されたシーケンス画像の重複部分が処理されて、UAVのための環境情報が判断されてもよい。これは、例えばデータ品質が不十分であるか、所定の閾値より低い場合に、両眼式撮像システムが環境情報を取得する代わりに行われてもよい。したがって、撮像用コンポーネントは、両眼式撮像システム及び単眼式撮像システムにおいて、環境情報を有効に取得するために選択的に利用されてもよい。例えば、狭い視野の両眼式撮像システムを利用して環境情報を取得してもよく、歪みがより大きいかもしれない広い視野の単眼式撮像システムは、それが有利なときあるいは必要なときに、環境情報を取得するために選択的に利用されてもよい。
図11は、実施形態による、環境情報を選択的に取得する撮像システムを示す。異なる視野を有する撮像用コンポーネントを含む撮像システムが図11に示されているが、これは限定的な意味ではない。例えば、両眼式撮像システム又は単眼式撮像システムの選択的な利用は、2つ又はそれ以上の撮像用コンポーネントを有する何れの撮像システムにも応用されてよい。撮像システムは、第1の撮像用コンポーネント1101を含んでいてもよい。第1の撮像用コンポーネントは第1の視野を有していてもよい。幾つかの例において、第1の視野は約180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、又は30°より小さいか、それと等しくてもよい。撮像システムは第2の撮像用コンポーネント1103を含んでいてもよい。第2の撮像用コンポーネントは第2の視野を有していてもよい。幾つかの例において、第2の視野は約180°、170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、又は30°より小さいか、それと等しくてもよい。第2の視野は第1の視野より小さくてもよい。第2の視野は、幾つかの例において、第1の視野より狭くてもよい。
幾つかの例において、第2の視野は、例えば図11に示されているように、第1の視野により包含されていてもよい。別の例において、第2の視野は第1の視野と部分的に重複していてもよい。任意選択により、第2の視野は第1の視野と重複しなくてもよい。幾つかの例において、第1及び第2の撮像用コンポーネントは、相互に関して調整されてもよい。例えば、第1及び第2の撮像用コンポーネントは、相互に関して並進及び/又は回転可能であってもよい。幾つかの例において、撮像用コンポーネント1101及び1103は各々、単眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。或いは、撮像用コンポーネント1101及び1103は各々、両眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。ある例として、撮像用コンポーネント1103は、両眼式撮像システムを含み、重複する画像群を(例えば、実質的に同時に)取得してもよい。幾つかの例において、撮像用コンポーネント1101及び1103は、両者で両眼式撮像システムを提供してもよく、又はその一部として使用されてもよい。
撮像用コンポーネントの各々は、UAV等の移動体に動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に組み込まれても。その代わりに、又はそれに加えて、撮像用コンポーネントは、実質的に前述したように、ある機構を介して可動式物体に接続されてもよい。
撮像用コンポーネントは各々、画像群を取得してもよい。例えば、第1の撮像用コンポーネントは、第1の画像群1105を取得してもよく、第2の撮像用コンポーネントは第2の画像群1107を取得してもよい。幾つかの例において、第1及び第2の画像群の各々は、単眼式撮像システムを用いて異なる時点で取得された画像を含んでいてもよい。幾つかの例において、第1の画像群と第2の画像群は、実質的に同時に取得されてもよい。第1の画像群及び/又は第2の画像群は各々、ある期間にわたって取得されたシーケンス画像であってもよい。幾つかの例において、第2の画像群は環境情報を取得するのにより適しているかもしれない。幾つかの例において、第1の画像群は、第2の画像群と比較して、画像エッジにおける精度がより低いかもしれない。幾つかの例において、第1及び/又は第2の画像群の何れかが両眼式撮像システムを用いて取得された重複する画像群を含んでいてもよい。
撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、環境情報を取得するように構成されていてもよい。幾つかの例において、1つ又は複数のプロセッサは、実質的に両眼式撮像システムに関して上述したように、第1及び第2の画像群の両方に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、1つ又は複数のプロセッサは、第1の画像群と第2の画像群に含まれるデータ間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサは、例えば単眼式撮像システムに関して説明したように、第1の画像群(例えばシーケンス画像)に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、1つ又は複数のプロセッサは、第1の画像群の中の画像間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサは、例えば単眼式撮像システムに関して説明したように、第2の画像群(例えば、シーケンス画像)に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、1つ又は複数のプロセッサは、第2の画像群の中の画像間の視差を処理することによって、奥行き情報等の環境情報を取得してもよい。幾つかの例において、1つ又は複数のプロセッサは、両眼式撮像システムに関して説明したように、第2の画像群に含まれるデータを処理することによって環境情報を取得するように構成されていてもよい。例えば、撮像用コンポーネント1103は両眼式撮像システムを提供してもよく、第2の画像群は、それ自体で重複する画像群を含んでいてもよい。
図12は、実施形態による、異なる撮像システムが利用される例示的な構成を示している。構成1201では、撮像用コンポーネント1203、1205を含む撮像システムが、撮像用コンポーネント1205を含む撮像システムにより補助されている。撮像用コンポーネントの各々は、単眼式撮像システム及び/又は両眼式撮像システムを提供するか、又はその一部として使用されてもよい。撮像用コンポーネントは各々、画像群(例えば、シーケンス画像)を取得する。実質的に同時に取得された画像群は重複部分を含んでいてもよい。幾つかの例において、実質的に同時に取得された画像群は重複部分を含んでいなくてもよい。幾つかの例において、実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分は物体1207を含み、非重複部分は物体1209を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理して、UAVのための環境情報を取得してもよい。例えば、1つ又は複数のプロセッサは、物体1207までの距離を判断してもよい。これは、画像の重複部分の品質が十分であるときに可能であるかもしれない。1つ又は複数のプロセッサはさらに、撮像用コンポーネント1205により取得されたシーケンス画像の重複部分を処理して、例えば単眼式システムに関してUAVのための環境情報を取得するように構成されていてもよい。
幾つかの例において、両眼式撮像システムと単眼式撮像システムの両方に関して画像を処理することにより、UAVは、より正確及び/又は精密な環境情報を取得できるかもしれない。幾つかの例において、両眼式撮像システムと単眼式撮像システムの両方に関して画像を処理することにより、UAVはより多くの環境情報を取得してもよい。例えば、障害物又は物体1209に関する情報(例えば、物体1209までの距離)に関する情報は、広い視野を有する単眼式撮像システムに基づいて取得されてもよく、障害物又は物体1207に関する情報(例えば、物体1207までの距離)は両眼式撮像システムに基づいて取得されてもよい。両眼式撮像システムは、UAVの正確で精密な情報を提供してもよく、広い視野を有する単眼式撮像システムは、補助的な環境情報を提供してもよい。環境情報はさらに、UAVの動作において、又は本明細書中で前述したようにUAVの挙動に影響を与える中で利用されてもよい。任意選択により、1つ又は複数のプロセッサは、両眼式撮像システムに環境情報を取得するのに問題がある場合に、単眼式撮像システムからの環境情報を取得するように構成されてもよい。構成1211では、撮像用コンポーネント1213、1215を含む両眼式撮像が、撮像用コンポーネント1215を含む単眼式撮像システムにより補助されている。撮像用コンポーネントは各々、画像群(例えばシーケンス画像)を取得する。実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分は、物体を含まず、非重複部分は物体1219を含む。撮像用コンポーネントに動作的に接続された1つ又は複数のプロセッサは、画像の重複部分を処理して、UAVのための環境情報を取得してもよい。しかしながら、1つ又は複数のプロセッサは、重複部分から環境情報を取得できないかもしれない。例えば、重複部分の中の情報(例えば、特定可能な特徴、顕著性、その他)が不十分であり、環境情報が取得されないかもしれない。
重複部分の品質が不十分である場合、1つ又は複数のプロセッサは、例えば単眼式撮像システムに関して、撮像用コンポーネント1215により取得されたシーケンス画像重複部分を処理し、UAVのための環境情報を取得するように構成されていてもよい。幾つかの例において、重複部分の品質が不十分であるのは、重複部分内に特定可能な特徴がない場合であってもよい。幾つかの例において、重複部分の品質が不十分であるのは、重複部分内にわずかな特定可能な特徴しかない場合であってもよい。幾つかの例において、重複部分のデータ品質の品質が不十分であるのは、UAVに関する距離又は奥行き情報が取得できない場合であってもよい。幾つかの例において、重複部分の品質が不十分であるのは、速度又は位置情報等のUAVに関する状態情報が取得できない場合であってもよい。それの品質が不十分であるのは、重複部分内の特徴点の数が2、5、10、20、30、40、50、60、70、80、90、100、120、140、160、180、200、250、又は300と等しいかこれより少ない場合である。
幾つかの例において、両眼式撮像システムと単眼式画像処理システムの両方に関して画像を処理することにより、両眼式撮像システムが環境情報を取得できない場合に、UAVは、より正確又は精密な環境情報を取得できるもかもしれない。幾つかの例において、両眼式撮像システムと単眼式画像処理システムの両方に関して画像を処理することにより、両眼式撮像システムが環境情報を取得できない場合に、UAVは、より多くの環境情報を取得できるもかもしれない。例えば、障害物又は物体1219に関する情報(例えば、物体1219までの距離)は、両眼式撮像システムが環境情報を取得できない場合に、広い視野の単眼式撮像システムに基づいて取得されてもよい。環境情報はさらに、UAVの動作において、又は本明細書中で前述したように、UAVの挙動に影響を与える中で利用されてもよい。
構成1221では、撮像用コンポーネント1223、1225を含む両眼式撮像システムは、撮像用コンポーネント1225を含む単眼式撮像システムによって補助される。撮像用コンポーネントは各々、画像群(例えば、シーケンス画像)を取得する。実質的に同時に取得された画像群は重複部分と非重複部分を含んでいてもよい。重複部分はある物体の、特定可能な特徴を持たない部分を含み、非重複部分はその物体の、特定可能な特徴を有する部分を含む。したがって、実質的に構成1211に関して説明したように、単眼式撮像システムは両眼式撮像システムの補助及び/又は代替として使用されてもよい。
図13は、実施形態による、移動体により取得された画像の処理方法を示す。移動体は、本明細書で前述したように無人航空機(UAV)であってもよい。或いは、移動体は、他の何れの種類の車両であってもよい。移動体は、幾つかの例において、撮像用コンポーネントに動作的に接続されていてもよい。例えば、撮像用コンポーネントは移動体に搭載されていてもよい。幾つかの例において、撮像用コンポーネントは移動体に組み込まれ、又はそれと統合されていてもよい。撮像用コンポーネントは、単眼式撮像システムを形成してもよい。
ステップ1301で、第1の撮像用コンポーネントを用いて第1の画像群が取得される。第1の撮像用コンポーネントは第1のレンズシステムを含んでいてもよい。第1の撮像用コンポーネントは、撮像装置上に位置付けられていてもよい。第1の撮像用コンポーネントは、移動体に搭載されていてもよい。幾つかの例において、第1の画像群はシーケンス画像を含んでいてもよい。第1の撮像用コンポーネントは第1の視野を有していてもよい。幾つかの例において、第1の視野は約90°〜180°の間の視線角を有していてもよい。
ステップ1303で、第2の撮像用コンポーネントを用いて第2の画像群が取得される。第2の撮像用コンポーネントは第2のレンズシステムを含んでいてもよい。第2の撮像用コンポーネントは撮像装置上に位置付けられてもよい。幾つかの例において、第2の撮像用コンポーネントは、第1の撮像用コンポーネントとは異なる撮像装置上に位置付けられていてもよい。或いは、第2の撮像用コンポーネントは、第1の撮像用コンポーネントと同じ撮像装置上に位置付けられていてもよい。第2の撮像用コンポーネントは移動体に搭載されていてもよい。第2の撮像用コンポーネントは第2の視野を有していてもよい。第2の視野は、幾つかの例において、第1の視野より狭くてもよい。幾つかの例において、第1の視野と第2の視野は重複していてもよい。幾つかの例において、第2の視野は第1の視野により包含されてもよい。幾つかの例において、第2の視野は約50°〜80°の間の視野角を有していてもよい。第1の撮像用コンポーネントと第2の撮像用コンポーネントの各々は、単眼式レンズシステムを含んでいてもよい。
幾つかの例において、1つ又は複数のプロセッサが提供されてもよい。1つ又は複数のプロセッサは移動体に搭載されていてもよい。その代わりに、又はそれに加えて、1つ又は複数のプロセッサの一部又は全部が移動体に搭載されていなくてもよい。例えば、プロセッサの一部は移動体に動作的に接続されたリモートコントローラ又は移動デバイスに位置付けられてもよい。1つ又は複数のプロセッサは個別に、又は集合的に、ステップ1305で第1の画像群を処理し、テクスチャ情報を取得してもよい。テクスチャ情報は、画像の色又は輝度の空間配置に関する情報を提供してもよい。テクスチャ情報は、撮像用コンポーネントにより取得されたシーケンス画像の重複部分及び/又は非重複部分の両方から得られてもよい。幾つかの例において、1つ又は複数のプロセッサは、第2の画像の品質が所定の閾値より低い場合に、第1の画像群を処理してテクスチャ情報を取得してもよい。その代わりに、又はそれに加えて、1つ又は複数のプロセッサは、第2の画像群の品質が所定の閾値より高い場合に、第2の画像群を処理して移動体に用いる環境情報を取得するように構成されてもよい。1つ又は複数のプロセッサは、第2の画像群の画像の顕著性又は勾配を解析することにより、第2の画像群の品質を判断するように構成されてもよい。幾つかの例において、1つ又は複数のプロセッサは、第2の画像群内の特徴点の数又はオプティカルフローを解析することにより、第2の画像群の品質を判断するように構成されてもよい。
ステップ1307で、1つ又は複数のプロセッサは、ステップ1305で得られたテクスチャ情報に基づいて移動体に用いる環境情報を取得してもよい。幾つかの例において、環境情報は奥行き情報を含む。その代わりに、又はそれに加えて、環境情報は移動体の障害物情報又は状態情報を含む。幾つかの例において、1つ又は複数のプロセッサは、第2の画像の品質が所定の閾値より高い場合には、移動体に用いる環境情報を取得するために第1の画像群の一部を処理しないように構成されてもよい。
任意選択により、1つ又は複数のプロセッサはさらに、取得した環境情報に基づいて移動体の位置及び/又は向きを制御するための制御信号を生成するように構成されてもよい。その代わりに、又はそれに加えて、1つ又は複数のプロセッサはさらに、移動体に接続された撮像装置の、移動体に対する位置及び/又は向きを、取得した環境情報に基づいて制御するための制御信号を生成するように構成されてもよい。幾つかの例において、1つ又は複数のプロセッサは、第2の画像の品質が所定の閾値より低い場合に、第2の撮像用コンポーネントの光軸を調整するための制御信号を生成するように構成されてもよい。制御信号は、第1の画像群のテクスチャ情報に依存してもよい。
幾つかの例において、1つ又は複数のプロセッサは、移動体の飛行中に処理及び取得ステップを繰り返すように構成されてもよい。処理及び取得ステップは、少なくとも60秒、30秒、10秒、5秒、4秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒、又は0.01秒ごとに繰り返されてもよい。
幾つかの例において、方法1300を実行するためのシステムが提供されてもよい。システムは、1つ又は複数のプロセッサを含んでいてもよく、これは、第2の画像群の品質が所定の閾値より低い場合に、第1の画像群を処理してテクスチャ情報を取得し、第1の画像群は第1の視野を有する第1の撮像用コンポーネントにより取得され、第2の画像群は第1の視野より狭い第2の視野を有する第2の撮像用コンポーネントにより取得され、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又は集合的に構成される。
幾つかの例において、方法1300を実行するための装置が提供されてもよい。装置は、第1の視野を有する第1の撮像用コンポーネントであって、第1の画像群を取得するように構成された第1の撮像用コンポーネントと、第1の視野より狭い第2の視野を有する第2の撮像用コンポーネントであって、第2の画像群を取得するように構成された第2の撮像用コンポーネントと、第2の画像群の品質が所定の閾値より低い場合に、第1の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するように個別に又はまとめて構成された1つ又は複数のプロセッサと、を含んでいてもよい。
幾つかの例において、方法1300を実行するための非一時的コンピュータ読取可能媒体が提供されてもよい。非一時的コンピュータ読取可能媒体は、第1の撮像用コンポーネントを用いて第1の画像群を取得し、第1の撮像用コンポーネントは第1の視野を有し、第2の撮像用コンポーネントを用いて第2の画像群を取得し、第2の撮像用コンポーネントは第1の視野より狭い第2の視野を有し、1つ又は複数のプロセッサを個別に又は集合的に用いて、第2の画像群の品質が所定の閾値より低い場合に、第1の画像群を処理してテクスチャ情報を取得し、テクスチャ情報に基づいて移動体に用いる環境情報を取得するコード、ロジック、又は命令を含んでいてもよい。
本明細書に記載されたシステム、デバイス、及び方法は、移動体及び静止物体を含めた様々な物体に応用できる。前述のように、本明細書におけるUAV等の航空機に関する説明は何れの移動体にも当てはまり、そのために使用されてもよい。本明細書における航空機に関する説明はすべて、UAVに特に応用されてもよい。本発明の移動体は、何れの適当な環境内で移動するようにも構成でき、例えば空中(例えば、固定翼航空機、回転翼航空機、又は固定翼も回転翼も持たない航空機)、水中(例えば、船舶又は潜水艦)、地上(例えば、乗用車、トラック、バス、バン、オートバイ、自転車等の自動車、ステッキ、釣竿等の移動可能な構造若しくは支持体、又は列車)、地下(例えば、地下鉄)、宇宙(例えば、宇宙飛行機、人工衛星、又は宇宙探査機)、又はこれらの環境のあらゆる組合せがある。移動体は、本明細書の他の箇所に記載されている車両等の車両とすることかできる。幾つかの実施形態において、移動体は生体、例えば人間又は動物により担持され、又は生体から取り外すことができる。適当な動物としては、アビン(avines)、イヌ、ネコ、ウマ、ウシ、ヒツジ、ブタ、デルフィン(delphines)、げっ歯類、又は昆虫を含むことができる。
移動体は、環境内で6自由度(例えば、並進3自由度及び回転3自由度)に関して自由に移動できてもよい。或いは、移動体の移動は、1つ又は複数の自由度に関して、例えば所定の経路、軌道、又は方位によって制約できる。移動は、例えばエンジン又はモータ等、何れの適当な作動機構によっても作動させることができる。移動体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学的エネルギー、核エネルギー、又はこれらのあらゆる適当な組合せ等の、何れの適当なエネルギー源によっても動力供給できる。移動体は、本明細書の別の箇所で説明されているように、推進システムを介した自走式であってもよい。推進システムは任意選択により、エネルギー源、例えば電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学的エネルギー、核エネルギー、又はこれらのあらゆる適当な組合せにより動作してもよい。或いは、移動体は、生体により担持されてもよい。
幾つかの例において、移動体は航空車両とすることができる。例えば、航空車両は、固定翼航空機(例えば、飛行機、グライダ)、回転翼航空機(例えば、ヘリコプタ、ロータクラフト)、固定翼と回転翼の両方を有する航空機、又は何れも持たない航空機(例えば、飛行船、熱気球)であってもよい。航空車両は自走式とすることができ、例えば、空中で自走式とすることができる。自走式航空車両は、推進システム、例えば1つ又は複数のエンジン、モータ、車輪、アクスル、磁石、ロータ、プロペラ、ブレード、ノズル、若しくはこれらのあらゆる適当な組合せ等の推進システムを利用できる。幾つかの例において、推進システムは、移動体が離陸し、着陸し、その現在の位置及び/又は方位を保持し(ホバリング等)、向きを変え、及び/又は位置を変えることができるようにするために使用できる。
移動体は、使用者が遠隔的に制御でき、又は移動体内又はその上にいる搭乗者がローカルで制御することもできる。移動体は、別の車両内の搭乗者を介して遠隔的に制御されてもよい。幾つかの実施形態において、移動体はUAVなどの無人移動体である。UAV等の無人移動体では、移動体に搭乗者がいないかもしれない。移動体は、人間もしくは自動制御システム(例えば、制御システム)又はそれらのあらゆる適当な組み合わせによって制御できる。移動体は、人工知能を備えて構成されたロボット等の自律型又は半自律型ロボットとすることができる。
移動体は、何れの適当な大きさ及び/又は寸法を有することもできる。幾つかの実施形態において、移動体は、車両内又はその上に人間の乗員がいるような大きさ及び/又は寸法であってもよい。或いは、移動体は、車両内又はその上に人間の乗員が乗ることができるものより小さい大きさ及び/又は寸法であってもよい。移動体は、人が持ち上げ、又は搬送するのに適した大きさ及び/又は寸法であってもよい。或いは、移動体は、人が持ち上げ、又は搬送するのに適した大きさ及び/又は寸法より大きくてもよい。幾つかの例において、移動体の最大寸法(例えば、長さ、幅、高さ、直径、対角線)が約2cm、5cm、10cm、50cm、1m、2m、5m、又は10m未満又はこれと同等であってもよい。最大寸法は、約2cm、5cm、10cm、50cm、1m、2m、5m、又は10mより大きいか、これと同等であってもよい。例えば、移動体の反対のロータのシャフト間の距離は、約2cm、5cm、10cm、50cm、1m、2m、5m、又は10m未満又はこれと同等であってもよい。或いは、反対のロータのシャフト間の距離は、約2cm、5cm、10cm、50cm、1m、2m、5m、又は10mより大きいか、又はこれと同等であってもよい。
幾つかの実施形態において、移動体の体積は、100cm×100cm×100cm未満、50cm×50cm×30cm未満、又は5cm×5cm×3cm未満であってもよい。移動体の全体積は、約1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、又は10m3未満又はこれと同等であってもよい。反対に、移動体の全体積は、約1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、又は10m3より大きいか、これと同等であってもよい。
幾つかの実施形態において、移動体の設置面積(これは、移動体により取り囲まれる横方向の断面積を指してもよい)は、約32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2、又は5cm2未満又はこれと同等であってもよい。反対に、設置面積は、約32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2、又は5cm2より大きいか、これと同等であってもよい。
幾つかの実施形態において、移動体の重量は1000kgより大きくてもよい。移動体の重量は、約1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg,15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg、又は0.01kg未満又はこれと同等であってもよい。反対に、重量は、約1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg、又は0.01kgより大きいか、又はこれと等しくてもよい。
幾つかの実施形態において、移動体は、移動体により担持される負荷に関して小さくてもよい。負荷は、本明細書により詳しく説明するように、搭載物及び/又は支持機構を含んでいてもよい。幾つかの例において、移動体の重量対負荷の重量の比は、約1:1より大きいか、それ未満か、又はこれと同等であってもよい。任意選択により、支持機構の重量対負荷の重量の比は、約1:1より大きいか、それ未満か、それと同等であってもよい。希望により、移動体の重量対負荷の重量の比は、1:2、1:3、1:4、1:5、1:10、又はそれ以下未満か、これと同等であってもよい。反対に、移動体の重量対負荷の重量の比はまた、2:1、3:1、4:1、5:1、10:1、又はそれ以上より大きいか、これと同等であってもよい。
幾つかの実施形態において、移動体は、消費エネルギーが低くてもよい。例えば、移動体が使用するのは、約5W/h、4W/h、3W/h、2W/h、1W/h、又はそれ以下未満であってもよい。幾つかの例において、移動体の支持機構はエネルギー消費が低くてもよい。例えば、支持機構が使用するのは、約5W/h、4W/h、3W/h、2W/h、1W/h、又はそれ以下未満であってもよい。任意選択により、移動体の搭載物は、消費エネルギーが低くてもよく、例えば約5W/h、4W/h、3W/h、2W/h、1W/h、又はそれ以下未満であってもよい。
図14は、本発明の実施形態による無人航空機(UAV)1400を示す。UAVは、本明細書に記載されている移動体の一例であってもよく、そこにバッテリアセンブリを放電させる方法と装置が適用されてもよい。UAV1400は、4つの回転翼1402、1404、1406、及び1408を有する推進システムを含むことができる。いくつの回転翼が提供されてもよい(例えば、1、2、3、4、5、6、又はそれ以上)。無人航空機の回転翼、回転翼アセンブリ、又はその他の推進システムにより、無人航空機はホバリングし/位置を保持し、向きを変え、及び/又は位置を変えることができるかもしれない。対向する回転翼のシャフト間の距離は、何れの適当な長さ1410とすることもできる。例えば、長さ1410は、2m未満又はそれと等しいか、5m未満かそれと等しくすることができる。幾つかの実施形態において、長さ1410は、40cm〜1m、10cm〜2m、又は5cm〜5mの範囲内とすることができる。UAVに関する本明細書内の何れの説明も、異なる種類の移動体等の移動体にも当てはまり、又はその逆でもある。UAVは、本明細書に記載されているような離陸補助システム又は方法を使用してもよい。
幾つかの実施形態において、移動体は負荷を担持するように構成できる。負荷は、乗客、貨物、機器、器具、及びその他のうちの1つ又は複数を含むことができる。負荷は、筐体内に提供できる。筐体は、移動体の筐体とは別であっても、移動体のための筐体の部分であってもよい。或いは、負荷は筐体と共に提供でき、その一方で、移動体は筐体を持たない。或いは、負荷の一部又は負荷の全体が筐体を持たずに提供されてもよい。負荷は、移動体に関して強固に固定できる。任意選択により、負荷は、移動体に対して移動可能とすることができる(例えば、移動体に関して並進可能又は回転可能)。積載物には、本明細書の他の箇所に記載されているように、搭載物及び/又は支持機構を含むことができる。
幾つかの実施形態において、移動体、支持機構、及び搭載物の、固定された参照フレーム(例えば周囲環境)及び/また相互に関する移動は、端末によって制御できる。端末は、移動体、支持機構、及び/又は搭載物から離れたロケーションにあるリモート制御デバイスとすることができる。端末は、支持台上に設置し、又は固定することができる。或いは、端末は、ハンドヘルド又はウェアラブルデバイスとすることができる。例えば、端末はスマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、手袋、ヘルメット、マイクロフォン、又はこれらの適当な組み合わせを含むことができる。端末は、ユーザインタフェース、たとえはキーボード、マウス、ジョイスティック、タッチスクリーン、又はティスプレイを含むことができる。何れの適当なユーザ入力を使って端末と相互作用することもでき、例えば、手入力されるコマンド、音声制御、ジェスチャ制御、又は位置制御(例えば、端末の動き、ロケーション、又は傾きを通じたもの)がある。
端末は、移動体、支持機構、及び/又は搭載物の何れの適当な状態を制御するためも使用できる。例えば端末は、移動体、支持機構、及び/又は搭載物の、固定参照に関する位置及び/また方位を、相互から及び/又は相互に制御するために使用できる。幾つかの実施形態において、端末は、移動体、支持機構、及び/又は搭載物の個々の要素、例えば支持機構の作動アセンブリ、搭載物のセンサ、又は搭載物のエミッタを制御するために使用できる。端末は、移動体、支持機構、又は搭載物のうちの1つまた複数と通信するようになされた無線通信デバイスを含むことができる。
端末は、移動体、支持機構、及び/又は搭載物の情報を閲覧するための適当な表示ユニットを含むことができる。例えば、端末は、移動体、支持機構、及び/又は搭載物の位置、並進速度、並進加速度、方位、角速度、角加速度、又はこれらのあらゆる適当な組合せに関する情報を表示するように構成できる。幾つかの実施形態において、端末は、搭載物により提供された情報、例えば機能的搭載物により提供されたデータ(例えば、カメラ又はその他の撮像装置により記録された画像)を表示できる。
任意選択により、同じ端末を移動体、支持機構、及び/又は搭載物、又は移動体、支持機構、及び/又は搭載物の状態の制御と、移動体、支持機構、及び/又は搭載物からの情報の受信及び/又は表示の両方に使用してもよい。例えば、端末は、搭載物の環境に関する位置を制御してもよく、その一方で、搭載物により取得された画像データ又は搭載物の位置に関する情報を表示する。或いは、異なる端末が異なる機能のために使用されてもよい。例えば、第1の端末は移動体、支持機構、及び/又は搭載物の移動又は状態を制御してもよく、その一方で、第2の端末は移動体、支持機構、及び/又は搭載物からの情報を受け取り、及び/又は表示してもよい。例えば、第1の端末は、搭載物の、環境に関するポジショニングを制御するために使用されてもよく、その一方で、第2の端末は搭載物により取得された画像データを表示する。移動体と、移動体の制御とデータ受信の両方を行う統合型端末との間又は、移動体と、移動体の制御とデータ受信の両方を行う複数の端末との間では、各種の通信モードが利用されてもよい。例えば、少なくとも2種類の通信モードが、移動体と、移動体の制御と移動体からのデータ受信の両方を行う端末との間に形成されてもよい。
図15は、本発明の実施形態による、支持機構1502と搭載物1504を含む移動体1500を示している。移動体1500は航空機として描かれているが、この図は限定的とされるものではなく、本明細書において前述したように、何れの適当な種類の移動体も使用できる。当業者であればわかるように、本明細書において航空機システムに関して記載された実施形態の何れも、あらゆる適当な移動体(例えば、UAV)に適用できる。幾つかの例において、搭載物1504は、支持機構1502を必要とせずに、移動体1500上に提供されてもよい。移動体1500は、推進機構1506、検知システム1508、及び通信システム1510を含んでいてもよい。
推進機構1506は、前述したように、1つ又は複数のロータ、プロペラ、ブレード、エンジン、モータ、車輪、アクスル、磁石、又はノズルを含むことができる。移動体は、1つ以上の、2つ以上の、3つ以上の、又は4つ以上の推進機構を有していてもよい。推進機構は、全てが同じ種類であってもよい。或いは、1つ又は複数の推進機構は異なる種類の推進機構とすることができる。推進機構1506は移動体1500上に、何れかの適当な手段、例えば本明細書中の他の箇所に記載されているように、支持要素(例えば、駆動シャフト)を用いて取り付けることができる。推進機構1506は、移動体1500の何れかの適当な部分、例えば上面、下面、前面、背面、又はこれらの適当な組合せに取り付けることができる。
幾つかの実施形態において、推進機構1506は、移動体1500を表面から垂直に離陸させ、又は表面に垂直に着陸させることができ、移動体1500の水平移動は一切必要としない(例えば、滑走路上の移動が不要)。任意選択により、推進機構1506は、移動体1500が指定された位置及び/又は方位で空中においてホバリングできるように動作可能とすることができる。推進機構1506の1つ又は複数は、他の推進機構と独立して制御されてもよい。或いは、推進機構1506は、同時に制御されるべく構成できる。例えば、移動体1500は、移動体を浮揚させ、及び/又は推進させることのできる複数の水平向きのロータを有することができる。複数の水平向きのロータは、垂直離陸、垂直着陸、及びホバリング能力を移動体1500に提供するために作動できる。幾つかの実施形態において、水平向きのロータの1つ又は複数は、時計回り方向に旋回してもよく、水平向きのロータの1つ又は複数は反時計回り方向に旋回してもよい。例えば、時計回りのロータの数は反時計回りのロータの数と等しくてもよい。水平向きのロータの各々の回転速度を個別に変化させて、各ロータによって起こされる浮揚及び/又は推進を制御することにより、移動体1500の(例えば、並進3自由度まで及び回転3自由度までに関する)空間配置、速度、及び/又は加速度を調整するために個別に変化させることができる。
検知システム1508は、1つまた複数のセンサを含むことができ、これは、移動体1500の(例えば、最大並進3自由度及び最大回転3自由度に関する)空間配置、速度、及び/又は加速度を検知してもよい。1つ又は複数のセンサは、全地球測位システム(GPS)センサ、運動センサ、慣性センサ、近接性センサ、又は画像センサを含むことができる。検知システム1508により提供された検知データは、移動体1500の空間配置、速度、及び/又は方位を(例えば、後述のように、適当な処理ユニット及び/又は制御モジュールを使って)制御するために使用できる。或いは、検知システム1508は、移動体を取り囲む環境に関するデータ、例えば、天候条件、潜在的障害物との近接性、地理的特徴のロケーション、人工構造物のロケーション、及びその他を提供するために使用できる。
通信システム1510は、通信システム1514を有する端末1512と無線信号1516を介して通信できる。通信システム1510、1514としては、無線通信に適した何れの数の送信機、受信機、及び/又はトランシーバが含まれていてもよい。通信は、データを一方向にのみ送信できる一方向通信であってもよい。例えば、一方向通信は、移動体1500が端末1512にデータを送信することだけ、又はその逆が関わっていてもよい。データは、通信システム1510の1つ又は複数の送信機から通信システム1514の1つ又は複数の受信機に送信されてもよく、又はその逆でもよい。或いは、通信は双方向通信であってもよく、これによってデータは移動体1500と端末1512との間で双方向に送信可能である。双方向通信には、通信システム1510の1つ又は複数の送信機から通信システム1514の1つ又は複数の受信機へのデータ送信及びその逆が関わることができる。
幾つかの実施形態において、端末1512は、制御データを移動体1500、支持機構1502、及び搭載物1504のうちの1つ又は複数に制御データを提供し、移動体1500、支持機構1502、及び搭載物1504からの情報(例えば、移動体、支持機構、又は搭載物の位置及び/又は運動情報、搭載物により検知されたデータ、例えば搭載物カメラにより取得された画像データ)を受け取ることができる。幾つかの例において、端末からの制御データは、移動体、支持機構、及び/又は搭載物の相対位置、移動、作動、又は制御に関する命令を含んでいてもよい。例えば、制御データは、移動体のロケーション及び/又は方位(例えば、推進機構1506の制御を通じて)、又は搭載物の移動体に関する移動(例えば、支持機構1502の制御を通じて)を変更させるものであってもよい。端末からの制御データは、搭載物の制御、例えばカメラ又はその他の撮像装置の動作の制御(静止画又は動画の撮影、ズームイン又はアウト、電源オン又はオフ、画像モードの切り替え、画像解像度の変更、焦点の変更、被写界深度の変更、露出時間の変更、視野角又は視野の変更)を行わせるものであってもよい。幾つかの例において、移動体、支持機構、及び/又は搭載物からの通信は、(例えば、検知システム1508の、又は搭載物1504の)1つ又は複数のセンサからの情報を含んでいてもよい。通信は、1つ又は複数の異なる種類のセンサ(例えば、GPSセンサ、運動センサ、慣性センサ、近接性センサ、又は画像センサ)からの検知情報を含んでいてもよい。このような情報は、移動体、支持機構、及び/又は搭載物の位置(例えば、ロケーション、方位)、移動、又は加速度に関していてもよい。搭載物からのこのような情報には、搭載物により取得されたデータ又は検知された搭載物の状態が含まれていてもよい。端末1512により送信される制御データは、移動体1500、支持機構1502、又は搭載物1504のうちの1つ又は複数の状態を制御するべく構成できる。その代わりに、又はそれと組み合わせて、支持機構1502と搭載物1504はまた、各々、端末1512と通信するべく構成された通信モジュールを含むことができ、それによって端末は移動体1500、支持機構1502、及び搭載物1504の各々と個別に通信し、これを制御できる。
幾つかの実施形態において、移動体1500は、端末1512に加えて、又は端末1512の代わりに他の遠隔デバイスと通信するべく構成できる。端末1512はまた、他の遠隔デバイス及び移動体1500と通信するべく構成されてもよい。例えば、移動体1500及び/又は端末1512は、他の移動体、又は他の移動体の支持機構若しくは搭載物と通信してもよい。希望に応じて、遠隔デバイスは第2の端末又はその他のコンピューティングデバイス(例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、又はその他のモバイルデバイス)であってもよい。遠隔デバイスは、移動体1500にデータを送信し、移動体1500からデータを受信し、端末1512にデータを送信し、及び/又は端末1512からデータを受信するべく構成できる。任意選択により、遠隔デバイスはインターネット又はその他の電気通信ネットワークに接続でき、それによって移動体1500及び/又は端末1512から受け取ったデータをウェブサイト又はサーバにアップロードできる。
図16は、本発明の実施形態による、移動体を制御するためのシステム1600のブロック図による略図である。システム1600は、本明細書で開示されているシステム、デバイス、及び方法の何れの適当な実施形態とも併用できる。システム1600は、検知モジュール1602と、処理ユニット1604と、非一時的コンピュータ読取可能媒体1606と、制御モジュール1608と、通信モジュール1610と、を含むことができる。
検知モジュール1602は、移動体に関する情報を異なる方法で収集する異なる種類のセンサを利用できる。異なる種類のセンサは、異なる種類の信号又は異なる発生源からの信号を検知してもよい。例えば、センサは、慣性センサ、GPSセンサ、近接性センサ(例えば、ライダ)、又は映像/画像センサ(例えば、カメラ)を含むことができる。検知モジュール1602は、複数のプセッサを有する処理ユニット1604に動作的に連結できる。幾つかの実施形態において、検知モジュールは、検知データを適当な外部デバイス又はシステムに直接送信するべく構成された送信モジュール1612(例えば、Wi−Fi画像送信モジュール)に動作的に連結できる。例えば、送信モジュール1612は、検知モジュール1602のカメラにより取得された画像を遠隔端末に送信するために使用できる。
処理ユニット1604は、1つ又は複数のプロセッサ、例えばプログラム可能プロセッサ(例えば、中央処理ユニット(CPU))有することができる。処理ユニット1604は、非一時的なコンピュータ読取可能媒体1606に動作的に接続できる。非一時的なコンピュータ読取可能媒体1606は、処理ユニット1604によって1つ又は複数のステップを行うために実行可能なロジック、コード、及び/又はプログラム命令を記憶できる。非一時的なコンピュータ読取可能媒体は、1つ又は複数のメモリユニット(例えば、SDカードやランダムアクセスメモリ(RAM)等の取り外し可能媒体又は外付け記憶装置)を含むことができる。幾つかの実施形態において、検知モジュール1602からのデータは、非一時的なコンピュータ読取可能媒体1606のメモリユニットに直接搬送され、その中に保存できる。非一時的なコンピュータ読取可能媒体1606のメモリユニットは、処理ユニット1604が本明細書に記載されている方法の何れかの適当な実施形態を行うために実行可能なロジック、コード、及び/又はプログラム命令を記憶できる。例えば、処理ユニット1604は、処理ユニット1604の1つ又は複数のプロセッサに検知モジュールにより作成される検知データを解析させる命令を実行するべく構成できる。メモリユニットは、処理ユニット1604により処理されることになる、検知モジュールからの検知データを保存できる。幾つかの実施形態において、非一時的なコンピュータ読取可能媒体1606のメモリニットは、処理ユニット1604により生成される処理結果を保存するために使用できる。
幾つかの実施形態において、処理ユニット1604は、移動体の状態を制御するべく構成された制御モジュール1608に動作的に連結できる。例えば、制御モジュール1608は、移動体の推進機構を制御して、移動体の、6自由度に関する空間配置、速度、及び/又は加速度を調整するべく構成できる。その代わりに、又はそれと組み合わせて、制御モジュール1608は、支持機構、搭載物、又は検知モジュールの状態のうちの1つ又は複数を制御できる。
処理ユニット1604は、1つ又は複数の外部デバイス(例えば、端末、表示デバイス、又はその他の遠隔コントローラ)にデータを送信し、及び/又はそこからデータを受信するべく構成された通信モジュール1610に動作的に連結できる。何れの適当な通信手段も使用でき、例えば有線通信又は無線通信がある。例えば、通信モジュール1610は、Local Area Ntwork(LAN)、Wide Area Network(WAN)、赤外線、無線、Wi−Fi、ポイント・トゥー・ポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信、及びその他のうちの1つ又は複数を利用できる。任意選択により、中継局、例えばタワー、衛星、又は移動局を使用できる。無線通信は、近接性依存でも、近接性非依存でもよい。幾つかの実施形態において、Line−of−Sightが通信に必要であっても、なくてもよい。通信モジュール1610は、検知モジュール1602からの検知データのうちの1つ又は複数、及び/又は処理ユニット1604により生成された処理結果、端末若しくは遠隔コントローラからの所定の制御データ、ユーザコマンド、及びその他のうちの1つ又は複数を送信及び/又は受信できる。
システム1600のコンポーネントは、何れの適当な構成にも配置できる。例えば、システム1600のコンポーネントの1つ又は複数を移動体、支持機構、搭載物、端末、検知システム、又は上記のうちの1つ又は複数と通信するその他の外部デバイスに位置付けることができる。これに加えて、図16は1つの処理ユニット1604、1つの非一時的なコンピュータ読取可能媒体1606を示しているが、当業者であればわかるように、これは限定的とするものではなく、システム1600は複数の処理ユニット、及び/又は非一時的なコンピュータ読取可能媒体を含むことができる。幾つかの実施形態において、複数の処理ユニット、及び/又は非一時的なコンピュータ読取可能媒体のうちの1つ又は複数を異なるロケーション、例えば移動体、支持機構、搭載物、端末、検知モジュール、上記の1つ又は複数と通信するその他の外部デバイス、又はこれらの組合せに位置付けることができ、それによってシステム1600が実行する処理及び/又は記憶機能の何れの適当な局面も上記のロケーションの1つ又は複数において実行可能となる。
本明細書では、本発明の好ましい実施形態を図示し、説明したが、当業者にとっては、かかる実施形態は例として提供されているにすぎないことが明白であろう。システムに関して説明したすべての要素は本発明の方法の実践に適用され、またその逆でもある。ここで、当業者は、本発明から逸脱せずに様々な改変、変更、及び置換を着想するであろう。理解するべき点として、本明細書において説明されている本発明の実施形態の様々な代替案が本発明の実施形態に利用されてもよい。以下の特許請求の範囲が本発明の範囲を定義しており、これらの特許請求の範囲及びそれらの均等物の範囲内の方法と構造がそれによって包含されることが意図されている。
[項目1]
移動体より取得された画像を処理するシステムにおいて、
第2の画像群の品質が所定の閾値より低い場合には、第1の画像群を処理してテクスチャ情報を取得し、前記第1の画像群は第1の視野を有する第1の撮像用コンポーネントにより取得され、前記第2の画像群は前記第1の視野より狭い第2の視野を有する第2の撮像用コンポーネントにより取得され、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得するように個別に又は集合的に構成される1つ又は複数のプロセッサを含むシステム。
[項目2]
前記環境情報は奥行き情報を含む、項目1に記載のシステム。
[項目3]
前記環境情報は障害物情報又は前記移動体の状態情報を含む、項目1に記載のシステム。
[項目4]
前記1つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて前記移動体の位置及び/又は向きを制御する制御信号を生成する、項目1に記載のシステム。
[項目5]
前記1つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて、前記移動体に接続された撮像装置の前記移動体に対する位置及び/又は向きを制御する制御信号を生成する、項目1に記載のシステム。
[項目6]
前記移動体は無人航空機(UAV)である、項目1に記載のシステム。
[項目7]
前記第1の撮像用コンポーネントは第1のレンズシステムを含む、項目1に記載のシステム。
[項目8]
前記第2の撮像用コンポーネントは第2のレンズシステムを含む、項目7に記載のシステム。
[項目9]
前記1つ又は複数のプロセッサは、前記第2の画像群の品質が前記所定の閾値より高い場合には、前記第2の画像群を処理して前記移動体に用いる環境情報を取得する、項目1に記載のシステム。
[項目10]
前記1つ又は複数のプロセッサは、前記第2の画像の品質が前記所定の閾値より高い場合には、環境情報を取得するために前記第1の画像群を処理しない、項目9に記載のシステム。
[項目11]
前記1つ又は複数のプロセッサは、前記第2の画像の品質が前記所定の閾値より低い場合に、前記第2の撮像用コンポーネントの光軸を調整する制御信号を生成する、項目1に記載のシステム。
[項目12]
前記制御信号は、前記第1の画像群の前記テクスチャ情報に依存する、項目11に記載のシステム。[項目13]
前記1つ又は複数のプロセッサは、前記第2の画像群の画像の顕著性又は勾配を解析することによって前記第2の画像群の品質を判断する、項目1に記載のシステム。
[項目14]
前記1つ又は複数のプロセッサは、前記第2の画像群内の特徴点の数又はオプティカルフローを解析することによって、前記第2の画像群の品質を判断する項目1に記載のシステム。
[項目15]
前記第1の視野と前記第2の視野は重複する、項目1に記載のシステム。
[項目16]
前記第2の視野は前記第1の視野により包含される、項目15に記載のシステム。
[項目17]
前記第2の視野の視野角は約50°〜80°であり、前記第1の視野の視野角は約90°〜180°である、項目1に記載のシステム。
[項目18]
前記第1の撮像用コンポーネントと前記第2の撮像用コンポーネントの各々は単眼式レンズシステムを含む、項目1に記載のシステム。
[項目19]
前記第1の撮像用コンポーネントは第1の撮像装置上に位置付けられ、前記第2の撮像用コンポーネントは第2の撮像装置上に位置付けられる、項目1に記載のシステム。
[項目20]
前記第1の撮像用コンポーネントと前記第2の撮像用コンポーネントは1つの撮像装置上に位置付けられる、項目1に記載のシステム。
[項目21]
前記第1の撮像用コンポーネントと前記第2の撮像用コンポーネントは前記移動体に搭載されている、項目1に記載のシステム。
[項目22]
前記1つ又は複数のプロセッサは、前記移動体に搭載される、項目1に記載のシステム。
[項目23]
前記1つ又は複数のプロセッサは、前記移動体の飛行中に前記処理及び取得ステップを繰り返すように構成される、項目1に記載のシステム。
[項目24]
前記ステップは少なくとも2秒ごとに繰り返される、項目1に記載のシステム。
[項目25]
移動体により取得された画像を処理する方法において、
第1の撮像用コンポーネントを用いて第1の画像群を取得するステップであって、前記第1の撮像用コンポーネントは第1の視野を有するステップと、
第2の撮像用コンポーネントを用いて第2の画像群を取得するステップであって、前記第2の撮像用コンポーネントは前記第1の視野より狭い第2の視野を有するステップと、
1つ又は複数のプロセッサを個別に、又は集合的に用いて、
前記第2の画像群の品質が所定の閾値より低い場合に、前記第1の画像群を処理してテクスチャ情報を取得するステップと、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得するステップと、
を含む方法。
[項目26]
移動体により取得された画像を処理する装置において、
第1の視野を有する第1の撮像用コンポーネントであって、第1の画像群を取得する第1の撮像用コンポーネントと、
前記第1の視野より狭い第2の視野を有する第2の撮像用コンポーネントであって、第2の画像群を取得する第2の撮像用コンポーネントと、
前記第2の画像群の品質が所定の閾値より低い場合に、前記第1の画像群を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
ように個別に又は集合的に構成される1つ又は複数のプロセッサと、
を含む装置。
[項目27]
移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体において、
第1の撮像用コンポーネントを用いて第1の画像群を取得し、前記第1の撮像用コンポーネントは第1の視野を有し、
第2の撮像用コンポーネントを用いて第2の画像群を取得し、前記第2の撮像用コンポーネントは前記第1の視野より狭い第2の視野を有し、
1つ又は複数のプロセッサを個別に又は集合的に用いて、
前記第2の画像群の品質が所定の閾値より低いときに前記第1の画像群を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
コード、ロジック又は命令を含む非一時的コンピュータ読取可能媒体。
[項目28]
移動体により取得された画像を処理するシステムにおいて、
第1の画像群と第2の画像群の非重複部分を処理してテクスチャ情報を取得し、前記第1の画像群は第1の視野を有する第1の撮像用コンポーネントにより取得され、前記第2の画像群は前記第1の視野と重複する第2の視野を有する第2の撮像用コンポーネントにより取得され、
前記テクスチャ情報に基づいて前記第1の撮像用コンポーネント及び/又は前記第2の撮像用コンポーネントを調整する制御信号を生成するように個別に又は集合的に構成される1つ又は複数のプロセッサを含むシステム。
[項目29]
前記1つ又は複数のプロセッサはさらに、前記第1の画像群と前記第2の画像群の重複部分を解析して前記移動体に用いる環境情報を取得する、項目28に記載のシステム。
[項目30]
前記制御信号は、前記第1の撮像用コンポーネント及び/又は前記第2の撮像用コンポーネントの光軸を調整する、項目28に記載のシステム。
[項目31]
前記移動体は無人航空機(UAV)である、項目28に記載のシステム。
[項目32]
前記第1の撮像用コンポーネントは第1のレンズシステムを含む、項目28に記載のシステム。
[項目33]
前記第2の撮像用コンポーネントは第2のレンズシステムを含む、項目32に記載のシステム。
[項目34]
前記制御信号は、前記移動体の調整のための命令を提供し、それによって前記第1の撮像用コンポーネント及び/又は前記第2の撮像用コンポーネントを調整する、項目28に記載のシステム。
[項目35]
前記移動体の前記調整は、前記移動体の、そのピッチ、ヨー、又はロール軸に対する向きの調整である、項目34に記載のシステム。
[項目36]
前記制御信号は、前記第1の撮像用コンポーネント及び/又は前記第2の撮像用コンポーネントの光軸の調整のための命令を提供する、項目28に記載のシステム。
[項目37]
前記1つ又は複数のプロセッサはさらに、前記第1の画像群と前記第2の画像群との重複部分の品質が所定の閾値より低い場合に、前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する、項目28に記載のシステム。
[項目38]
前記環境情報は奥行き情報を含む、項目37に記載のシステム。
[項目39]
前記環境情報は障害物情報又は前記移動体の状態情報を含む、項目37に記載のシステム。
[項目40]
前記1つ又は複数のプロセッサは、前記重複部分の画像の顕著性又は勾配を解析することによって前記重複部分の品質を判断する、項目37に記載のシステム。
[項目41]
前記1つ又は複数のプロセッサは、前記重複部分内の特徴点の数又はオプティカルフローを解析することによって前記重複部分の品質を判断する、項目37に記載のシステム。
[項目42]
前記第1の撮像用コンポーネント及び/又は前記第2の撮像用コンポーネントの前記調整は、前記第1の視野と前記第2の視野の新しい重複部分が前記第1の画像群と前記第2の画像群の前記非重複部分の少なくとも一部を包含する、項目28に記載のシステム。
[項目43]
前記第1の撮像用コンポーネント及び/又は前記第2の撮像用コンポーネントの前記調整は、前記第1の視野と前記第2の視野の新しい重複部分が以前の重複部分とは異なる大きさを有する、項目28に記載のシステム。
[項目44]
前記第1の視野と前記第2の視野の大きさは同様である、項目28に記載のシステム。
[項目45]
前記第1の撮像用コンポーネントと前記第2の撮像用コンポーネントは実質的に平行な光軸を有する、項目28に記載のシステム。
[項目46]
前記第1の撮像用コンポーネントと前記第2の撮像用コンポーネントの各々は単眼式レンズシステムを含む、項目28に記載のシステム。
[項目47]
前記第1の撮像用コンポーネントは第1の撮像装置上に位置付けられ、前記第2の撮像用コンポーネントは第2の撮像装置上に位置付けられる、項目28に記載のシステム。
[項目48]
前記第1の撮像用コンポーネントと前記第2の撮像用コンポーネントは1つの撮像装置上に位置付けられる、項目28に記載のシステム。
[項目49]
前記第1の撮像用コンポーネントと前記第2の撮像用コンポーネントは、前記移動体に搭載される、項目28に記載のシステム。
[項目50]
前記1つ又は複数のプロセッサは、前記移動体に搭載される、項目28に記載のシステム。
[項目51]
前記1つ又は複数のプロセッサは、前記移動体の飛行中に前記処理及び生成ステップを繰り返すように構成される、項目28に記載のシステム。
[項目52]
前記ステップは少なくとも2秒ごとに繰り返される、項目51に記載のシステム。
[項目53]
移動体により取得された画像を処理する方法において、
第1の撮像用コンポーネントを用いて第1の画像群を取得するステップであって、前記第1の撮像用コンポーネントは第1の視野を有するステップと、
第2の撮像用コンポーネントを用いて第2の画像群を取得するステップであって、前記第2の撮像用コンポーネントは前記第1の視野と重複する第2の視野を有するステップと、
1つ又は複数のプロセッサを個別に又は集合的に用いて、
前記第1の画像群と前記第2の画像群の非重複部分を処理してテクスチャ情報を取得するステップと、
前記テクスチャ情報に基づいて前記第1の撮像用コンポーネント及び/又は前記第2の撮像用コンポーネントを調整する制御信号を生成するステップと、を含む方法。
[項目54]
移動体により取得された画像を処理する装置において、
第1の視野を有する第1の撮像用コンポーネントであって、第1の画像群を取得する第1の撮像用コンポーネントと、
前記第1の視野と重複する第2の視野を有する第2の撮像用コンポーネントであって、第2の画像群を取得する第2の撮像用コンポーネントと、
前記第1の画像群と前記第2の画像群の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記第1の撮像用コンポーネント及び/又は前記第2の撮像用コンポーネントを調整する制御信号を生成するように個別に又は集合的に構成される1つ又は複数のプロセッサと、を含む装置。
[項目55]
移動体により取得された画像を処理する非一時的コンピュータ読取可能媒体において、
第1の撮像用コンポーネントを用いて第1の画像群を取得し、前記第1の撮像用コンポーネントは第1の視野を有し、
第2の撮像用コンポーネントを用いて第2の画像群を取得し、前記第2の撮像用コンポーネントは前記第1の視野と重複する第2の視野を有し、
1つ又は複数のプロセッサを個別に又は集合的に用いて、
前記第1の画像群及び前記第2の画像群の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記第1の撮像用コンポーネント及び/又は前記第2の撮像用コンポーネントを調整する制御信号を生成するコード、ロジック、又は命令を含む非一時的コンピュータ読取可能媒体。
[項目56]
移動体により取得された画像を処理するシステムにおいて、
シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、前記シーケンス画像は撮像用コンポーネントにより取得されて、重複部分を含み、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
ように個別に又は集合的に構成される1つ又は複数のプロセッサを含むシステム。
[項目57]
前記環境情報は奥行き情報を含む、項目56に記載のシステム。
[項目58]
前記環境情報は障害物情報又は前記移動体の状態情報を含む、項目56に記載のシステム。
[項目59]
前記1つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて前記移動体の位置及び/又は向きを制御する制御信号を生成する、項目56に記載のシステム。
[項目60]
前記1つ又は複数のプロセッサはさらに、前記取得された環境情報に基づいて、前記移動体に接続された撮像装置の前記移動体に対する位置及び/又は向きを制御する制御信号を生成する、項目56に記載のシステム。
[項目61]
前記移動体は無人航空機(UAV)である、項目56に記載のシステム。
[項目62]
前記撮像用コンポーネントはレンズシステムを含む、項目56に記載のシステム。
[項目63]
前記シーケンス画像は、前記撮像用コンポーネントの光軸を前記移動体に対して連続的に調整することにより取得される、項目56に記載のシステム。
[項目64]
前記撮像用コンポーネントの光軸を調整する機構をさらに含む、項目56に記載のシステム。
[項目65]
前記機構は、前記撮像用コンポーネントの前記光軸を前記移動体の移動に合わせて移動させる、項目64に記載のシステム。
[項目66]
前記機構は、前記撮像用コンポーネントの前記光軸を前記移動体に対して移動させる、項目64に記載のシステム。
[項目67]
前記機構は、前記撮像用コンポーネントを前記移動体に対して移動させる、項目64に記載のシステム。
[項目68]
前記移動は前記移動体のヨー軸の周囲での移動である、項目67に記載のシステム。
[項目69]
前記移動は前記移動体のピッチ軸又はロール軸の周囲の移動である、項目67に記載のシステム。[項目70]
前記移動は前記移動体の外面の周囲の移動である、項目67に記載のシステム。
[項目71]
前記機構は、前記撮像用コンポーネントがその視野より大きい領域をスキャンできるようにする、項目64に記載のシステム。
[項目72]
前記撮像用コンポーネントは、前記機構を用いて2秒ごとに前記領域をスキャンする、項目71に記載のシステム。
[項目73]
前記光軸は前記スキャン中に30度ずつ変化される、項目71に記載のシステム。
[項目74]
前記撮像用コンポーネントは単眼式レンズシステムを含む、項目56に記載のシステム。
[項目75]
前記撮像用コンポーネントは撮像装置上に位置付けられる、項目56に記載のシステム。
[項目76]
前記撮像用コンポーネントは、前記移動体に搭載される、項目56に記載のシステム。
[項目77]
前記1つ又は複数のプロセッサは、前記移動体に搭載される、項目56に記載のシステム。
[項目78]
前記1つ又は複数のプロセッサは、前記移動体の飛行中に前記処理及び取得ステップを繰り返すように構成される、項目56に記載のシステム。
[項目79]
前記ステップは少なくとも2秒ごとに繰り返される、項目78に記載のシステム。
[項目80]
移動体により取得された画像を処理する方法において、
撮像用コンポーネントを用いてシーケンス画像を取得するステップであって、前記シーケンス画像は重複部分を含むステップと、
1つ又は複数のプロセッサを個別に又は集合的に用いて、
前記シーケンス画像の非重複部分を処理してテクスチャ情報を取得するステップと、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得するステップと、
を含む方法。
[項目81]
移動体のために画像から情報を処理する装置において、
シーケンス画像を取得する撮像用コンポーネントであって、前記シーケンス画像は重複部分を含む撮像用コンポーネントと、
前記シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて前記移動体に用いる環境情報を取得する
ように個別に又は集合的に構成される1つ又は複数のプロセッサと、
を含む装置。
[項目82]
画像からの情報を処理する非一時的コンピュータ読取可能媒体において、
撮像用コンポーネントを用いてシーケンス画像を取得し、シーケンス画像は重複部分を含み、
1つ又は複数のプロセッサを個別に又は集合的に用いて、
前記シーケンス画像の非重複部分を処理してテクスチャ情報を取得し、
前記テクスチャ情報に基づいて移動体に用いる環境情報を取得する
コード、ロジック、又は命令を含む非一時的コンピュータ読取可能媒体。