JP6205069B2 - 画像化システム及び方法 - Google Patents

Description

本発明は、デジタル画像化に関し、より詳細には基準線を調整するための画像化システム及び方法に関するが、これに限定されない。

複数の画像化装置を使用して、立体視により３次元画像を形成する立体画像化技術は、多くの分野でますます一般的になってきている。立体画像化は、特に、機械の環境における３次元情報を収集することが望まれるロボット工学で役立つ場合が多い。立体画像化は、人間の目の両眼視を刺激し、立体視の原理を用いて奥行きを認知できるようにする。この技法によれば、複数の画像化装置を使用して所与の注目物体をわずかに異なる視点から観察し、人工画像化装置を使用することにより物体を再現できる。注目物体の画像は変化して複数の画像間に差異が生じる。この差異は、物体の位置に関する奥行き情報を伝達し、それによって物体の３次元画像化を可能にする。

立体を画像化する画像化システムの奥行きを解像する能力は、基準線、つまり２台の画像化装置間の距離の関数である。基準線は、立体画像化のためのシステムの有効視野を制限するが、次ぎに説明するように異なる方法が用いられる。例えば、基準線が小さすぎると、画像化システムは遠い物体を解像できない。基準線が大きすぎると、画像化システムは近傍の物体を見ることができない（結果的に、近傍物体の盲点が生じる）。さらに、基準線が大きすぎると、２台の画像化装置の視野の重複が少なくなり、奥行きを認知できる物体の数が制限される。さらに、基準線が大きく固定された場合、立体画像化システムが大きな空間を占め、扱いにくくなり得る。したがって、現在の多くの立体画像化システムにおいて、基準線は、画像化が望まれている物体が、近傍にあるか、あるいは遠くに離れているか、に応じて固定される。

上記の状態に対応するために、立体画像化のための基準線を自動的に調整することを支援する画像化システム及び方法が必要とされている。

本発明の第１の実施形態に従って、
画像化システムと注目物体の間の物体距離を取得するステップと、物体距離に従って基準線を自動的に調整するステップと、を含み、
少なくとも第１の画像化装置及び第２の画像化装置を含む複数の画像化装置を有する画像化システムの基準線を自動的に調整する方法、について説明する。

本発明に関わる方法において、物体距離を取得するステップは、第１の画像化装置を使用し、注目物体の第１の画像を取得するステップと、第２の画像化装置を使用し、注目物体の第２の画像を取得するステップと、第１の画像と第２の画像の間の両眼視差を決定するステップと、両眼視差を使用し、物体距離を決定するステップと、を含む。

本発明に関わる方法において、物体距離を取得するステップは、両眼視差を決定する前に第１の画像と第２の画像を修正するステップをさらに含む。

本発明に関わる方法において、物体距離を取得するステップは、注目物体上の複数の特徴点を取得するステップと、画像化システムと特徴点のそれぞれの間のそれぞれの特徴距離を決定するステップと、特徴距離を使用し、物体距離を決定するステップと、を含む。

本発明に関わる方法において、物体距離を決定するステップは、特徴距離の平均に基づいて物体距離を決定するステップを含む。

本発明に関わる方法において、物体距離を決定するステップは、特徴点の内の１つ以上を選択するステップと、選択された特徴点の特徴距離に基づいて物体距離を取得するステップと、を含む。

本発明に関わる方法において、特徴点を選択するステップは、画像化システムに最も近い特徴点の所定のパーセンテージを選択するステップと、画像化システムから最も遠い選択された特徴点の特徴距離として物体距離を取得するステップと、を含む。

本発明に関わる方法において、画像化システムと特徴点のそれぞれの間のそれぞれの特徴距離を決定するステップは、第１の画像化装置または第２の画像化装置によって取得された画像上の特徴点に対応するピクセルに基づいて特徴距離を決定するステップを含む。

本発明に関わる方法において、物体距離を取得するステップは、レーザーまたは超音波システムを使用し、物体距離を取得するステップを含む。

本発明に関わる方法において、調整するステップは、基準線が最小基準線以下である場合に、基準線を増加させるステップを含む。

本発明に関わる方法において、最小基準線は４×Ｚ×Ｌ／ｆであり、Ｚは物体距離であり、Ｌは画像化装置の内の少なくとも１台のピクセル幅であり、ｆは画像化装置の内の少なくとも１台の焦点距離である。

本発明に関わる方法において、調整するステップは、基準線が最大基準線を超える場合に、基準線を減少させるステップを含む。

本発明に関わる方法において、調整するステップは、基準線が最大基準線以下の場合に、基準線を増加させるステップを含む。

本発明に関わる方法において、最大基準線はＺ×ｔａｎ（θ／２）であり、Ｚは物体距離であり、θは画像化装置の内の少なくとも１台の視角である。

本発明に関わる方法において、調整するステップは、第１の画像化装置の視野が、少なくとも閾値分、第２の画像化装置の視野と重複するまで基準線を増加させるステップを含む。

本発明に関わる方法は、基準線の自動調整後に画像化システムの外因性のパラメータを較正するステップをさらに含む。

本発明に関わる方法において、較正するステップは、画像化システムの並進外因性パラメータまたは回転外因性パラメータの内の少なくとも１つを較正するステップを含む。

本発明に関わる方法において、較正するステップは、基準線を自動的に調整するステップに従って並進外因性パラメータを初期較正するステップを含む。

本発明に関わる方法において、較正するステップは、初期較正するステップの後に外因性パラメータをさらに較正し、外因性パラメータを最適化するステップを含む。

本発明に関わる方法において、画像化システムは、無人航空機（ＵＡＶ）であり、自動的に調整するステップは、ＵＡＶの飛行モードに依存している。

本発明に関わる方法において、調整するステップは、飛行モードが着陸モードであるときに基準線を減少させるステップを含む。

本発明に関わる方法において、調整するステップは、飛行モードが離陸モードであるときに基準線を増加させるステップを含む。

本発明に関わる方法において、調整するステップは、飛行モードが空中画像取得モードであるときに基準線を増加させるステップを含む。

本発明の他の実施形態に従って、上記方法の内のいずれか１つに従って自動基準線調整を実行する画像化システム、について説明する。

本発明の他の実施形態に従って、上記方法の内のいずれか１つに従って第１の画像化装置と第２の画像化装置を有する画像化システムの基準線を自動的に調整する命令を含むコンピュータプログラム、について説明する。

本発明の他の実施形態に従って、第１の画像化装置及び第２の画像化装置に接続される基準線調整機構と、画像化システムと注目物体の間の物体距離に従って基準線を自動的に調整するための基準線調整機構に制御信号を提供するコントローラと、を含み、複数の画像化装置を有する画像化システムの第１の画像化装置と第２の画像化装置の間の基準線を自動的に調整する装置、について説明する。

本発明に関わる装置において、コントローラは、第１の画像化装置を使用して注目物体の第１の画像を取得し、第２の画像化装置を使用して注目物体の第２の画像を取得するし、第１の画像と第２の画像の間の両眼視差を決定し、両眼視差を使用して物体距離を決定すること、によって物体距離を取得する。

本発明に関わる装置において、コントローラは、両眼視差を決定する前に第１の画像と第２の画像を修正する。

本発明に関わる装置において、コントローラは、
注目物体上の複数の特徴点を取得し、画像化システムと特徴点のそれぞれの間のそれぞれの特徴距離を決定し、特徴距離を使用して物体距離を決定すること、によって物体距離を取得する。

本発明に関わる装置において、コントローラは、特徴距離の平均に基づいて物体距離を取得する。

本発明に関わる装置において、コントローラは、特徴点の内の１つ以上を選択し、選択された特徴点の特徴距離に基づいて物体距離を取得する。

本発明に関わる装置において、コントローラは、画像化システムに最も近い特徴点の所定のパーセンテージを選択することによって特徴点を選択し、画像化システムから最も遠い選択された特徴点の特徴距離として物体距離を取得する。

本発明に関わる装置において、画像化システムと特徴点のそれぞれの間のそれぞれの特徴距離を決定することは、第１の画像化装置または第２の画像化装置によって取得された画像上の特徴点に対応するピクセルに基づいて特徴距離を決定することを含む。

本発明に関わる装置は、物体距離を取得するためのレーザーまたは超音波システムをさらに含む。

本発明に関わる装置において、基準線調整機構は、スクリュー軸機構、ラックアンドピニオン機構、スライダクランク機構、リニアモータ及び調整可能なフレームのうち少なくとも１つを含む。

本発明に関わる装置において、制御信号は、基準線が最小基準線以下である場合に、基準線を自動的に増加させるための信号である。

本発明に関わる装置において、最小基準線は４×Ｚ×Ｌ／ｆであり、Ｚは物体距離であり、Ｌは画像化装置の内の少なくとも１台のピクセル幅であり、ｆは画像化装置の内の少なくとも１台の焦点距離である。

本発明に関わる装置において、制御信号は、基準線が最大基準線を超える場合に、基準線を自動的に減少させるための信号である。

本発明に関わる装置において、制御信号は、基準線が最大基準線以下である場合に、基準線を自動的に増加させるための信号である。

本発明に関わる装置において、コントローラは、第１の画像化装置の視野が少なくとも閾値分、第２の画像化装置の視野と重複するまで、基準線を自動的に増加させる。

本発明に関わる装置において、コントローラは、基準線の自動調整後に画像化システムの外因性パラメータを較正する。

本発明に関わる装置において、コントローラは、並進外因性パラメータまたは回転外因性パラメータの内の少なくとも１つを較正する。

本発明に関わる装置において、コントローラは、基準調整機構の線形変位に従って並進外因性パラメータを初期較正する。

本発明に関わる装置において、基準線調整機構はスクリュー軸機構を備え、コントローラはスクリュー軸機構の回転の程度に従って並進外因性パラメータを初期較正する。

本発明に関わる装置において、コントローラは、初期較正した後に外因性パラメータをさらに較正し、外因性パラメータを最適化する。

本発明に関わる装置において、コントローラは、バンドル調整を使用し、外因性パラメータをさらに較正する。

本発明に関わる装置において、画像化システムは、可動プラットフォームである。

本発明に関わる装置において、画像化システムは、無人航空機（ＵＡＶ）である。

本発明に関わる装置において、コントローラは、ＵＡＶの飛行モードに応じて基準線を自動的に調整する。

本発明に関わる装置において、コントローラは、飛行モードが着陸モードであるときに基準線を減少させる。

本発明に関わる装置において、コントローラは、飛行モードが離陸モードであるときに基準線を増加させる。

本発明に関わる装置において、コントローラは、飛行モードが空中画像取得モードであるときに基準線を増加させる。

本発明の実施形態に関わる、複数の画像化装置を含んだ画像化システムのブロック図である。 画像化システムが基準線を調整する基準線調整機構を含む、図１に示した画像化システムのブロック図である。 図１に示した画像化システムの基準線調整を自動的に調整する方法のステップを示すフローチャートである。 物体距離を、複数の画像化装置を使用して決定する、図３に示した方法の代替実施形態を示す図である。 物体距離を、三角測量を使用して決定する、図４に示した方法の代替実施形態を示す図である。 物体距離を、両眼視差を使用して決定する、図３に示した方法のステップを示すフローチャートである。 物体距離を、複数の特徴点を使用して決定する、図３に示した方法のステップを示すフローチャートである。 基準線を物体距離に基づいて調整する、図３に示した方法のステップを示すフローチャートである。 外因性パラメータを基準線の調整後に較正する、図３に示した方法のステップを示すフローチャートである。 基準線調整機構がスクリュー軸機構を含む、図２に示した画像化システムの基準線調整機構の実施形態を示す詳細図である。 画像化システムが無人航空機（ＵＡＶ）内に取り付けられる、図１に示した画像化システムの実施形態を示す図である。 画像化システムの基準線が調整された、図１１に示した画像化システムの実施形態を示す図である。 画像化システムがＵＡＶの機体に取り付けられる、図１１に示した画像化システムの代替実施形態を示す図である。 画像化装置が調整可能なフレームに取り付けられる、図１１に示した画像化システムの実施形態を示す図である。 画像化システムの基準線が調整された、図１４に示した画像化システムの代替実施形態を示す図である。 注目物体に向けられた図１に示した画像化システムの実施形態を示す図である。 図１に示した画像化システムの基準線を調整する装置の実施形態を示す図である。

図が縮尺通りに描画されていないこと、及び類似する構造または機能の要素が図を通じて例示的な目的で類似した参照番号により表されることに留意する必要がある。図が好ましい実施形態の説明を容易にすることだけを目的としていることにも留意する必要がある。図は、すべての実施形態を説明するわけではなく、本発明の範囲を制限しない。

以下に、本発明に関わる、立体を画像化するための画像化システムの基準線を自動的に調整するシステム及び方法を説明する。本発明によるシステム及び方法は、従来の固定基準線画像化システムの限界を克服する。また、画像化システムにおける画像化装置は、外因性パラメータのセットによって細かく較正される。これらの外因性パラメータは、画像化装置の相対的な位置を画定し、異なる視点から撮影された異なる２次元画像に基づいて単一の３次元物体を再構築できる。基準線調整後、さらに画像化を実行する前に、対応する外因性パラメータを調整することも望ましい。したがって、以下に、基準線調整後に外因性パラメータを自動的に較正するシステム及び方法も説明する。

図１において、画像化システム１００は、複数の画像化装置１１０とコントローラ１９０を備えている。画像化システム１００は、場合により、任意の所定数の画像化装置１１０を含み得る。例えば、画像化システム１００は、２台、３台、４台、５台、６台、またはより大きな数の画像化装置１１０を有し得る。図１には、４台の画像化装置１１０を含む画像化システム１００が示されている。しかし、本発明はこの例に限定されない。画像化システム１００の多様な追加の実施形態の例として、２台の画像化装置１１０を有するものを図示し、説明する。しかし、画像化システム１００は、画像化装置１１０を２台だけ有することに制限されない。２台以上の画像化装置１１０を有する画像化システム１００の場合、本明細書に示される自動基準線調整とパラメータ較正は、任意の組の画像化装置１１０として実施可能である。

画像化システム１００において、画像化装置１１０を、希望する位置に任意に配置できる。画像化装置１１０の配置は、画像化の用途に依存し得る。例えば、ある実施形態において、画像化装置１１０は、（図５に示される）平行する光軸１３０を有するように並んで位置決めできる。他の実施形態では、画像化装置１１０は、画像化装置１１０の内の少なくとも２台の光軸１３０が平行にならないように位置決めできる。任意の２台の画像化装置１１０の（本明細書では原点とも称する）中心間の直線距離は、これらの画像化装置１１０間の（図２に示される）基準線ｂである。より詳細には、基準線ｂは、第１の画像化装置１１０のレンズ１０５の中心と第２の画像化装置１１０のレンズ１０５の中心との間の距離を指し得る。

画像化装置１１０のそれぞれは、光を検知し、検知した光を、画像として最終的にレンダリングできる電子信号に変換できる。本発明に関わるシステム及び方法において、使用するのに適する画像化装置１１０は、例えば、市販のカメラ及びカムコーダを含むが、これらに限定されない。適切な画像化装置１１０は、アナログ画像化装置（例えば、ビデオ撮像管）またはデジタル画像化装置（例えば、電荷接続素子（ＣＣＤ）、相補型金属酸化物半導体素子（ＣＭＯＳ）、Ｎ型金属酸化物半導体素子(ＮＭＯＳ)画像化装置、及びそのハイブリッドまたは変形）の少なくとも一方を含み得る。デジタル画像化装置は、例えば、それぞれ１ピクセルの画像情報を取り込むことができる光検出器要素（図示しない）の２次元アレイを含み得る。画像化装置１１０は、少なくとも０．１メガピクセル、０．５メガピクセル、１メガピクセル、２メガピクセル、５メガピクセル、１０メガピクセル、２０メガピクセル、５０メガピクセル、１００メガピクセル、またはさらに大きな数のピクセルの解像度を有することが好ましい。また、画像化装置１１０は、デジタル一眼レフ（ＤＳＬＲ）レンズ、ピンホールレンズ、生物学レンズ、単凸ガラスレンズ、マクロレンズ、ズームレンズ、望遠レンズ、魚眼レンズ、広角レンズ等の光検出器要素の上に光の焦点を合わせるためのレンズ１０５も含み得る。画像化装置１１０は、色に基づいて検知された光を分離すること、またはフィルターにかけることの少なくとも一方を実行し、適切な光検出器要素の上に光を向ける装置（図示しない）を含むこともある。例えば、画像化装置１１０は、赤の光、緑の光、または青の光を選択されたピクセルセンサに通し、ベイヤパターンでインタレース方式のカラーモザイクグリッドを形成するカラーフィルタアレイを含み得る。また、例えば、画像化装置１１０は、光検出器要素の特性に基づいて異なる波長の光を分離する層状ピクセル光検出器要素のアレイを含んでも良い。画像化装置１１０は、サーモグラフィ、多重スペクトル画像の作成、赤外線検出、ガンマ検出、Ｘ線検出等の多様な用途での使用のための特異性機能を有し得る。画像化装置１１０は、例えば電気光学センサ、熱センサまたは赤外線センサ、カラーセンサまたは白黒センサ、多重スペクトル画像化センサ、分光光度計、分光計、温度計、または照度計の少なくとも１つを含み得る。

図１において、画像化装置１１０は、１台以上のコントローラ１９０と接続できる。例えば、画像化装置１１０は、それぞれ（図４から図５に示される）注目物体１５０の２次元画像１２０を取得し、データ通信システム（図示しない）を介して局所的にまたは遠隔の少なくとも一方で、画像１２０をコントローラ１９０に中継できる。コントローラ１９０は、例えば、立体視された２次元画像１２０を使用して注目物体１５０の３次元表示を再構築できる。また、コントローラ１９０は、画像化装置１１０と注目物体１５０の間の距離に基づいて基準線調整が必要かどうかを判断できる。また、コントローラ１９０は、基準線調整のために、画像化システム１１０のあらゆる構成部品に制御信号を伝達できる。また、コントローラ１９０は、立体画像化のために１つ以上の外因性パラメータを自動的に較正できる、という利点を有する。

コントローラ１９０は、画像取得、基準線調整、較正、及び本明細書で説明するあらゆる他の機能と動作を実行するために必要とされる任意の処理ハードウェアを含み得る。制限なく、コントローラ１９０は、１台以上の汎用マイクロプロセッサ（例えば、単一コアプロセッサまたはマルチコアプロセッサ）、特定用途向け集積回路、特定用途向け命令セットプロセッサ、グラフィックスプロセシングユニット、物理学処理ユニット、デジタル信号処理装置、副処理装置、ネットワーク処理装置、音声処理装置、暗号化処理装置等を含み得る。ある実施形態では、コントローラ１９０は、画像捕捉動作、画像フィルタリング動作、及び画像処理動作の速度と効率を強化するための特殊化されたハードウェアを含む画像処理エンジンまたは媒体処理装置を含み得る。このような動作は、例えば、ベイヤ変換、デモザイシング動作、雑音除去動作、画像鮮明化動作、または画像軟化動作の少なくとも１つを含む。

ある実施形態では、コントローラ１９０は、基準線調整とパラメータ較正を実行するために特殊化されたハードウェアを含み得る。例えば、特殊化されたハードウェアは、以下の（ａ）〜（ｅ）の少なくとも１つを実行可能であるが、その機能はそれらに限定されない。（ａ）立体視された２次元画像１２０を使用し、注目物体１５０の３次元表示を再構築すること、（ｂ）画像化装置１１０と注目物体１５０との間の距離に基づいて基準線調整が必要とされるかどうかを判断すること、（ｃ）最適な基準線を決定すること、（ｄ）基準線調整のための画像化システム１００のあらゆる構成部品に制御信号を伝達すること、（ｅ）立体画像化のための１つ以上の外因性パラメータを較正すること。

ある実施形態では、コントローラ１９０は、画像化装置１１０に物理的に隣接して配置される。この場合、コントローラ１９０と画像化装置１１０との間のデータは局所的に通信できる。局所通信の利点は、伝送遅延を削減し、リアルタイム基準線調整、画像処理、及びパラメータ較正を容易にできる点である。他の実施形態では、コントローラ１９０は、画像化装置１１０から遠隔に配置される。遠隔処理は、例えば重量の制限または画像化システム１００の操作環境に関係する他の理由のために適切であり得る。ある実施形態において、本発明はこれに限定されないが、画像化装置１１０は、（図１１から図１３に示される）無人航空機２００（ＵＡＶ）等の可動プラットフォームの中に搭載される場合、地上端末または基地局等の集中処理のための遠隔端末（図示しない）に画像化データを伝達することが望ましくあり得る。集中処理は、例えば複数の無人航空機２００が調整されたやり方で、関心のある所与の物体１５０を画像化する場合に望ましくあり得る。

多様な通信方法が、画像化装置１１０とコントローラ１９０との間の遠隔通信に使用できる。適切な通信方法は、例えば、無線、ワイヤレスフィディリティー（Ｗｉ−Ｆｉ）、セルラー、衛星、及び放送を含む。無線通信技術は、例えば、汎用性デジタル移動電話方式（ＧＳＭ）、汎用パケット無線方式（ＧＰＲＳ）、符号分割多重アクセス（ＣＤＭＡ）、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）、ＣＤＭＡ２０００、ＩＭＴシングルキャリア、ＧＳＭ進化型高速データレート（ＥＤＧＥ）、ロングタームエボリューション（ＬＴＥ）、ＬＴＥアドバンスト、時分割ＬＴＥ（ＴＤ−ＬＴＥ）、高性能無線広域ネットワーク（ＨｉｐｅｒＷＡＮ）、高性能無線メトロポリタンエリアネットワーク（ＨｉｐｅｒＭＡＮ）、ローカルマルチポイント配信サービス（ＬＭＤＳ）、Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ（ＷｉＭＡＸ）、ジグビー、ブルートゥース、フラッシュ直交周波数分割多重化方式（Ｆｌａｓｈ−ＯＦＤＭ）、高容量空間分割多元接続（ＨＣ−ＳＤＭＡ）、アイバースト、ユニバーサル移動体通信システム（ＵＭＴＳ）、ＵＭＴＳ時分割二重化（ＵＭＴＳ−ＴＤＤ）、次世代高速パケットアクセス（ＨＳＰＡ＋）、時分割同期符号分割多元接続（ＴＤ−ＳＣＤＭＡ）、エボリューションデータ最適化（ＥＶ−ＤＯ）、デクト（ＤＥＣＴ）等を含むが、これらに限定されない。

ある実施形態において、画像化システム１００は、必要に応じて、１つ以上の追加のハードウェア構成部品（図示しない）を含み得る。追加ハードウェア構成部品は、例えば、メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ、ダイナミックＲＡＭ、リードオンリーメモリ（ＲＯＭ）、プログラマブルＲＯＭ、電気的消去可能・プログラムＲＯＭ、電気的消去可能・プログラム可能型読取専用メモリ、フラッシュメモリ、セキュアデジタル（ＳＤ）カード等）、または１つ以上の入出力インタフェース（例えば、ユニバーサルシリアルバス（ＵＳＢ）、デジタルビジュアルインタフェース（ＤＶＩ）、ディスプレイポート、シリアルＡＴＡ（ＳＡＴＡ）、ＩＥＥＥ１３９４インタフェース（ＦｉｒｅＷｉｒｅとしても知られる）、シリアル、ビデオグラフィックスアレイ（ＶＧＡ）、スーパービデオグラフィックスアレイ（ＳＶＧＡ）、小型コンピュータ用周辺機器インタフェース（ＳＣＳＩ）、高精細度マルチメディアインタフェース（ＨＤＭＩ）、音声ポート、または専用の入出力インタフェースの少なくとも１つ）の少なくとも１つを含むが、これらに限定されない。また、画像化システム１００は、制限なく、１台以上の入出力装置（例えば、ボタン、キーボード、キーパッド、トラックボール、ディスプレイ、及びモニタ）を含み得る。

図２において、画像化システム１００は、基準線調整機構１７０を有している。基準線調整機構１７０は、第１の画像化装置１１０ａと第２の画像化装置１１０ｂの間の基準線ｂを自動的に調整する。画像化システム１００はさらに、コントローラ１９０を含む。コントローラ１９０は、図１に関して詳細に上述されている。基準線調整機構１７０は、その両端に、端部領域ユニット１００１ａと１００１ｂ（図１０に示される）が設けられている。端部領域ユニット１００１ａと１００１ｂは、それぞれ、画像化装置１１０ａ及び１１０ｂを取り付けるためのユニットである。基準線調整機構１７０は、画像化装置１１０ａと１１０ｂが他方に対して移動できるようにする。ある実施形態では、一方の画像化装置１１０は移動できるが、他方の画像化装置１１０は移動しない。他の実施形態では、画像化装置１１０ａと１１０ｂの両方とも移動できる。基準線調整機構１７０によって可能になる画像化装置の相対運動は、単一次元に沿うこともあれば複数の次元に沿うこともある。好ましい実施形態では、相対運動は単一次元に沿っている。他の実施形態では、相対運動は複数の次元に沿って、複数の画像化用途に応じ得る。

本明細書において、基準線ｂは、第１の画像化装置１１０ａの中心（本明細書では起点とも称する）と第２の画像化装置１１０ｂの中心との間の距離を指す。したがって、この例において、基準線ｂの最小の長さは、画像化装置１１０の幅に依存し得る。また、この例において、基準線ｂの最大の長さは、基準線調整機構１７０が取り付けられる物理的なシステムの長さ、または画像化システム１００が動作する動作環境の次元の少なくとも一方に依存し得る。また、基準線調整機構１７０の運動の範囲は、基準線調整機構１７０に特有の形態に依存し得る。例えば、ある実施形態では、基準線ｂの調整可能な範囲は約３センチメートルから約２０センチメートルであり得る。また、ある実施形態では、基準線ｂは、３センチメートルから５センチメートル、３センチメートルから７センチメートル、３センチメートルから９センチメートル、３センチメートルから１０センチメートル、３センチメートルから１２センチメートル、３センチメートルから１５センチメートル、３センチメートルから２０センチメートル、５センチメートルから７センチメートル、５センチメートルから１０センチメートル、５センチメートルから１２センチメートル、５センチメートルから１５センチメートル、５センチメートルから１７センチメートル、５センチメートルから２０センチメートル、５センチメートルから２５センチメートル、７センチメートルから１０センチメートル、７センチメートルから１２センチメートル、７センチメートルから１５センチメートル、７センチメートルから１７センチメートル、７センチメートルから２０センチメートル、７センチメートルから２５センチメートル、１０センチメートルから１５センチメートル、１０センチメートルから１７センチメートル、１０センチメートルから２０センチメートル、１０センチメートルから２５センチメートル、または１０センチメートルから３０センチメートルの調整可能範囲内であり得る。さらに他の実施形態では、基準線ｂは最高３０センチメートル、３５センチメートル、４０センチメートル、５０センチメートル、６０センチメートル、７０センチメートル、８０センチメートル以上に増加させられる。好ましい実施形態では、基準線ｂは５センチメートルから１５センチメートルに及ぶことがあり得る。

図３には、画像化システム１００の基準線ｂを自動的に調整する方法３００のステップが、フローチャートによって示されている。ステップ３０１で、画像化システム１００と注目物体１５０の間の物体距離Ｚを取得する。物体距離Ｚは、必要に応じて多様な方法のいずれかから選択された方法を使用して取得できる。ある実施形態では、物体距離Ｚは、立体視による画像化システム１００の複数の画像化装置１１０を使用し、取得できる。例えば、２台の画像化装置１１０のそれぞれは、注目物体１５０の（図４から図５に示される）画像１２０を取得できる。そして、取得された画像１２０の重複部分を分析すると、注目物体１５０の奥行きを評価できる。また、物体距離Ｚは、レーザーを使用する、または超音波を使用する等、立体視以外の方法を使用して取得できる。ステップ３０２で、基準線ｂを、物体距離Ｚに従って自動的に調整する。

図４は、立体視を使用して物体距離Ｚを確かめる方法を説明する図である。図４において、２台の画像化装置１１０、つまり左の画像化装置１１０ａと右の画像化装置１１０ｂが示されている。画像化装置１１０ａと１１０ｂのそれぞれは、座標軸（ｘ１、ｙ１、ｚ１）と（ｘ２、ｙ２、ｚ２）で示される異なる空間座標系にあるが、同じ注目物体１５０を知覚する。画像化装置１１０ａと１１０ｂは、そのそれぞれの光軸１３０ａと１３０ｂに沿って注目物体１５０を知覚し、それにより注目物体１５０の２つの異なる２次元画像１２０ａと１２０ｂを取得する。画像化装置１１０ａと１１０ｂが、それらの光軸１３０ａと１３０ｂが一致するように位置決めされない限り、２次元画像１２０ａと１２０ｂは、通常、異なる位置から撮影されて異なっている。したがって、ほとんどの場合、（例えば、方程式（４）で表される）両眼視差ｄは、図５を参照して以下に説明するように、画像１２０ａと１２０ｂの間で検出できる。

図５において、２次元画像１２０ａと１２０ｂとを比較すると、１組の画像化装置１１０ａと１１０ｂ（または、同等に、画像化システム１００）と注目物体１５０の間の物体距離Ｚを確かめることができる。三角測量の方法を用いると、画像１２０ａと１２０ｂの間の両眼視差ｄを使用して物体距離Ｚを確かめることができる。具体的には、その座標（Ｘｉ、Ｙｉ、Ｚｉ）で表される指数iを有する注目物体１５０の位置は、以下の方程式によって示すことができる。

上記の方程式において、ｃ_ｘとｃ_ｙは画像化装置１１０aと１１０ｂのそれぞれの中心座標を表し、ｘ_ｉとｙ_ｉは、画像１２０aと１２０ｂの一方または両方での注目物体１５０の座標を表す。そして、ｂは基準線（言い換えると、画像化装置１１０ａと１１０ｂの中心座標間の距離）であり、（ここでは画像化装置が同じ焦点長さを有すると仮定すると）ｆは各画像化装置１１０aと１１０ｂの焦点距離である。また、ｉは関心のある１５０の複数の物体に関するまたは注目物体１５０の複数の特徴点１５５に関する指数である。ｄは、次の方程式で示される、画像１２０ａと１２０ｂの間の両眼視差である。

図６には、物体距離Ｚを取得する方法６００のステップがフローチャートにより示されている。図６に示した方法では、第１の画像化装置１１０ａと第２の画像化装置１１０ｂを使用し、上述の原理および立体視に基づいて、物体距離Ｚを取得する。ステップ６０１で、第１の画像化装置１１０ａを使用して、注目物体１５０の（図４及び図５に示される）第１の画像１２０ａを取得する。ステップ６０２で、第２の画像化装置１１０ｂを使用して、注目物体１５０の（図４及び図５に示される）第２の画像１２０ｂを取得する。第１の画像と第２の画像１２０ａ、１２０ｂは、同時にまたは連続的に、希望に応じて、どちらかの方法で取得できる。ある実施形態において、第１の画像と第２の画像１２０ａ、１２０ｂを同時に取得すると、注目物体１５０または画像化システム１００の少なくとも一方の経時的なシフトに起因する誤差を削減できる、という利点がある。

ステップ６０３で、注目物体１５０の第１の画像と第２の画像１２０ａ、１２０ｂは、必要に応じて、両眼視差ｄを決定する前に修正され得る。すなわち、画像１２０ａ、１２０ｂは補正され、歪みが除去される。このような補正は、例えば、次の（ａ）〜（ｃ）によって実行され得る。（ａ）画像１２０ａ、１２０ｂを回転させて同じ平面上に置く、（ｂ）画像１２０ａ、１２０ｂを拡大・縮小して画像１２０ａ、１２０ｂを同じサイズにする、（ｃ）画像１２０ａ、１２０ｂの対応するピクセルが並ぶようにスキューがないか調整する。修正は、２台の画像化装置１１０間の並進関係性と回転関係性を伝達する外因性パラメータのセットに基づいて実行できる。外因性パラメータは、例えば画像化システム１００のメモリ（図示しない）に記憶できる。

ステップ６０４で、第１の画像１２０ａと第２の画像１２０ｂの間で、両眼視差ｄを検出する。例えば、両眼視差ｄは、第１の画像１２０ａ及び第２の画像１２０ｂのそれぞれにおける、注目物体１５０の位置に基づいて検出できる。選択された画像１２０における注目物体１５０の位置は、多様な設定値（例えば、接写、中間距離、遠い、人、景色等）に基づいて、任意の希望するやり方で決定し得る。注目物体１５０は、マシンビジョンまたは人工知能の少なくとも一方の方法等に基づいて特定できる。適切な方法は、ＲＡＮＳＡＣ（ランダムサンプルコンセンサス）、Ｓｈｉ＆Ｔｏｍａｓｉコーナー検出、ＳＵＲＦブロブ（加速ロバスト特徴）検出、ＭＳＥＲブロブ（最大安定極値領域）検出、ＳＵＲＦ（加速ロバスト特徴）記述子、ＳＩＦＴ（スケール不変特徴変換）記述子、ＦＲＥＡＫ（高速網膜キーポイント）(Ｆａｓｔ ＲＥｔｉｎＡ Ｋｅｙｐｏｉｎｔ) 記述子、ＢＲＩＳＫ（バイナリロバスト不変スケーラブルキーポイント）記述子、ＨＯＧ (Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ)（配向傾きのヒストグラム）記述子等の特徴検出技法、特徴抽出技法、または特徴一致技法の少なくとも１つを含む。同様に、これらの方法は、注目物体１５０の中で（図５に示される）１つ以上の特徴点１５５を特定するために使用できる。

ある実施形態では、注目物体１５０は、画像化装置１１０の視野全体を含み得る。例えば、選択された画像化装置１１０は注目物体１５０に非常に近いことがあり、注目物体１５０は画像化装置１１０の視野全体をふさぐ。また、注目物体１５０は、画像化装置１１０の視野の中の多くの個々の物体の複合物（例えば、景色）でもあり得る。このような場合、複合物の中の個々の物体に焦点を合わせることは望まれていない。そして、複合物の画像の各ピクセルは別個の特徴点１５５と見なすことができ、特徴点１５５またはピクセルに基づいて物体距離Ｚを検出できる。また、注目物体１５０は、画像化装置１１０の視野の一部を含むこともある。例えば、視野の中心（例えば、視野のピクセルの１０パーセント、２０パーセント、３０パーセント、４０パーセント、５０パーセント、６０パーセント、７０パーセント、８０パーセント、または９０パーセント）は、注目物体１５０であるとみなし得る。また、注目物体１５０は、第１の画像化装置１１０ａにより取得された第１の画像１２０ａと、第２の画像化装置１１０ｂにより取得された第２の画像１２０ｂの間の重複領域のすべてまたは一部を含み得る。

ステップ６０５で、両眼視差ｄを使用して、物体距離Ｚを検出する。例えば、物体距離Ｚは、方程式（１）から（４）を使用し、両眼視差ｄ、第１の画像装置１１０ａと第２の画像装置１１０ｂとの間の基準線ｂ、及び第１の画像化装置と第２の画像化装置１１０ａと１１０ｂの内の少なくとも１台の焦点距離の関数として検出できる。ある実施形態では、第１の画像化装置１１０ａと第２の画像化装置１１０ｂは、同じ焦点距離ｆを有する。

図７には、注目物体１５０の特徴点１５５を使用し、物体距離Ｚを取得する方法７００のステップがフローチャートにより示されている。ステップ７０１で、注目物体１５０上の複数の特徴点１５５を取得する。特徴点１５５は、さまざまな異なる方法を使用し、取得できる。ある実施形態では、例えば、特徴点１５５は、注目物体１５０の予め定められた形状として特定される。他の実施形態では、特徴点１５５は、ある色または輝度を有する注目物体１５０の１つ以上の部分として認識される。他の実施形態では、特徴点１５５は、注目物体１５０の任意の部分が選択される。他の実施形態では、特徴点１５５は、例えば毎ピクセル、１ピクセルおき、２ピクセルおき、３ピクセルおき等の注目物体１５０上で規則正しく離間された間隔で選択される。特徴点１５５は、希望に応じてさまざまな形状とサイズをとることができる。また、上述した方法の組合せを使用して、特徴点１５５を選択し得る。

ステップ７０２で、各特徴点１５５と画像化システム１００との間の特徴距離ｚを検出する。各特徴距離ｚは、任意の適切な方法で検出できる。例えば、その方法は、（図４及び図５に示される）第１の画像化装置１１０ａによって取得された（図４及び図５に示される）第１の画像１２０ａでの特徴点１５５の位置と（図４及び図５に示される）第２の画像化装置１１０ｂによって取得される（図４及び図５に示される）第２の画像１２０ｂの特徴点１５５の位置の間の両眼視差ｄを使用することを含む。両眼視差ｄを使用し、特徴距離ｚは、図３から図６について上述したように、物体距離Ｚとして同様に方程式（１）から（４）を使用して検出できる。

ステップ７０３で、ステップ７０２で検出された特徴距離ｚを使用して、物体距離Ｚを検出する。任意のさまざまな方法を用いて、注目物体１５０の個々の特徴距離ｚに基づいて物体距離Ｚを決定できる。ある実施形態では、特徴距離ｚの平均に基づいて物体距離Ｚを検出する。例えば、平均の種類は、算術平均、代数平均、中央値、またはモードを含み得る。他の実施形態では、物体距離Ｚは、特徴点１５５の内の１つ以上を選択し、選択された特徴点１５５の特徴距離ｚに基づいて物体距離Ｚを取得することによって検出される。特徴点１５５の選択されたサブセットから物体距離Ｚを計算する利点は、例えば雑音を除外できること、遠すぎる（または近すぎる）特徴点を除外できること、または輝度もしくは色に基づいて特徴点１５５を除外できること、を含み得る。例えば、画像化システム１００から遠く離れすぎた特徴点１５５は、物体距離Ｚを推定する際に誤差を生じやすいことがある。したがって、ある実施形態では、物体距離Ｚを決定するために、画像化システム１００に最も近い特徴点１５５の所定のパーセンテージを選択し、残りの特徴点１５５は除外し得る。例えば、選択される特徴点１５５のパーセンテージは１０パーセント、２０パーセント、３０パーセント、４０パーセント、５０パーセント、６０パーセント、７０パーセント、８０パーセント、または９０パーセントである。好ましい実施形態では、特徴点１５５の８０パーセントを選択する。他の好ましい実施形態では、特徴点１５５は画像内のピクセルであり、物体距離Ｚを決定するために、このピクセルの８０パーセントを選択する。望ましくない特徴点１５５を除外した後、画像化システム１００から最も遠い、選択された（言い換えると、除外されて残っている）特徴点１５５を使用して物体距離Ｚを決定できる。言い換えると、物体距離Ｚは、画像化システム１００から最も遠い選択された特徴点１５５の特徴距離ｚである。

図８には、物体距離Ｚに従って基準線ｂを自動的に調整する方法８００のステップがフローチャートにより示されている。方法８００は、基準線ｂの値の好ましい範囲を定義する最小基準線ｂ_ｍｉｎと最大基準線ｂ_ｍａｘを利用する。ある実施形態では、ｂ_ｍｉｎとｂ_ｍａｘの内の一方または両方とも、物体距離Ｚの関数となり得る。また、ｂ_ｍｉｎとｂ_ｍａｘの一方または両方とも物体距離Ｚとは無関係であることもある。

ステップ８０１で、画像化システム１００の基準線ｂ（言い換えると、基準線ｂの現在値）を検出する。例えば、基準線ｂは、内部パラメータであり得る。この内部パラメータは（図１に示される）コントローラ１９０によって追跡調査されるか、またはメモリ（図示しない）に記憶されるかの少なくとも一方である。また、基準線ｂは（図２から図３に示される）基準線調整機構１７０の物理的な位置またはその１つ以上の構成部品の少なくとも一方に基づいて検出される。基準線ｂが検出された後、基準線ｂは、最小基準線ｂ_ｍｉｎと最大基準線ｂ_ｍａｘに比較され、基準線調整が実行されるべきかどうかを判断し得る。

ステップ８０２で、基準線ｂを最小基準線ｂ_ｍｉｎと比較する。基準線ｂが最小基準線ｂ_ｍｉｎ以上である場合、次にステップ８０５で基準線ｂが最大基準線ｂ_ｍａｘより大きいかどうかを判断する。基準線ｂが最小基準線ｂ_ｍｉｎ未満である場合、次に、場合に応じて、ステップ８０３で、基準線ｂと最小基準線ｂ_ｍｉｎの差異が第１の公差δ_１よりも大きいかどうかを、さらに判断する。基準線ｂと最小基準線ｂ_ｍｉｎの差異が第１の公差δ_１よりも大きい場合、基準線ｂはステップ８０４で増加し得る。基準線ｂと最小基準線ｂ_ｍｉｎの差異が第１の公差δ_１以下である場合、ステップ８０１に戻り、画像化システム１００の基準線ｂを検出する。第１の公差δ_１は、基準線ｂまたは最小基準線ｂ_ｍｉｎ（例えば分数として）の少なくとも一方に依存することもあれば、依存しないこともある。

ステップ８０５で、基準線ｂが最大基準線ｂ_ｍａｘよりも大きいかどうかを判断する。基準線ｂが基準線ｂ_ｍａｘ以下である場合、次にステップ８０８で基準線ｂが最大基準線ｂ_ｍａｘ未満であるかどうかを判断する。基準線ｂが最大基準線ｂ_ｍａｘよりも大きい場合、次に、場合に応じて、ステップ８０６に進み、基準線ｂと最大基準線ｂ_ｍａｘの差異が第２の公差δ_２よりも大きいかどうかをさらに判断する。基準線ｂと最大基準線ｂ_ｍａｘの差異が第２の公差δ_２よりも大きい場合、基準線ｂはステップ８０７で減少され得る。基準線ｂと最大基準線ｂ_ｍａｘの差異が第２の公差δ_２以下の場合、ステップ８０１に戻り、画像化システム１００の基準線ｂを検出する。第２の公差δ_２は基準線ｂまたは最大基準線ｂ_ｍａｘ（例えば、その分数）の少なくとも一方に依存することもあれば、依存しないこともある。公差δ_１及び公差δ_２は、基準線調整と画像化の最小化混乱のバランスをとることができる。

ステップ８０８で、基準線ｂが最大基準線ｂ_ｍａｘ未満であるかどうかを判断する。未満である場合、次にステップ８０９で、場合に応じて、基準線ｂは、基準線ｂが最大基準線ｂ_ｍａｘに達するまで増加され得る。ステップ８０９で基準線ｂが増加すると、基準線ｂを最大基準線ｂ_ｍａｘに設定することによって、注目物体１５０を最も少ない量の誤差で解像できるという利点がある。

基準線ｂが減少するにつれて遠い物体を解像することがますます困難になるという事実がある。例えば、最小基準線ｂ_ｍｉｎは、この事実に基づいて設定できる。三角測量によって、及び上記に示された方程式（３）に従って、物体距離Ｚは基準線ｂに正比例し、両眼視差ｄに反比例する。したがって、両眼視差ｄを測定できる解像度は、物体距離Ｚを測定する精度を制約することがある。例えば、デジタル画像化装置１１０を有するデジタル画像化システムの場合、両眼視差ｄの解像度は画像化装置１１０の解像度に依存し得る。１ピクセルの長さＬ未満である画像１２０の位置シフトを、デジタル画像化装置１１０によって検出することは困難である。したがって、デジタル画像での物体の位置は１ピクセルの長さＬまでの誤差を有し得る。両眼視差ｄは２つの画像を使用して検出されるので、両眼視差ｄの累積誤差は最大２Ｌ（言い換えると、２ピクセル長）になり得る。したがって、よりよい精度で検出するためには、所与の物体距離Ｚの場合、最小基準線ｂ_ｍｉｎを、１、２、３、４、５、６、７、８、９、１０以上等のピクセル長等の少なくとも所与の両眼視差ｄを示す可能性のある値に設定できる。好ましい実施形態では、最小基準線ｂ_ｍｉｎは、両眼視差ｄが、所与の物体距離Ｚの場合、少なくとも４ピクセル長となるように設定される。言い換えると、最小基準線ｂ_ｍｉｎは、４×Ｚ×Ｌ／ｆで設定できる。ここで、Ｚは物体距離、Ｌは画像化装置１１０の内の少なくとも１台のピクセル幅、ｆは画像化装置１１０の内の少なくとも１台の焦点距離である。ある実施形態では、画像化システム１００の第１の画像化装置１１０ａ及び第２の画像化装置１１０ｂは、同じ焦点距離ｆまたは同じピクセル幅Ｌの少なくとも一方を有し得る。

基準線ｂが大きすぎる場合、２台の画像化装置１１０によって取得される画像１２０間の重複領域が小さすぎるという事実があり得る。例えば、最大基準線ｂ_ｍａｘは、この事実に基づいて設定できる。したがって、最大基準線ｂ_ｍａｘは、例えば少なくとも１０パーセント、２０パーセント、３０パーセント、４０パーセント、５０パーセント、６０パーセント、７０パーセント、８０パーセント、または９０パーセントの閾値を超えた画像間で重複を維持することに基づき得る。好ましい実施形態では、閾値は５０パーセントである。好ましい実施形態では、自動的に調整することは、重複が、例えば５０パーセント等の閾値に達するまで基準線ｂを増加することを含む。数学的に表すと、最大基準線ｂ_ｍａｘはＺ×ｔａｎ（θ／２）で設定できる。ここで、Ｚは物体距離、θは画像化装置１１０の内の少なくとも１台の視角である。ある実施形態では、画像化システム１００の第１の画像化装置１１０ａと第２の画像化装置１１０ｂは、同じ視角θを有する。

画像化システム１００が、（図１１から図１３に示される）ＵＡＶ２００等の可動プラットフォームであるか、または画像化システム１００が移動プラットフォームに搭載されるか、の少なくとも一方である実施形態においては、基準線調整は、移動プラットフォームの操作モードを考慮に入れることが有利である。可動プラットフォームが、例えばＵＡＶ２００である場合、操作モードはＵＡＶ２００の飛行モードを含み得る。例えば、ＵＡＶ２００は着陸中にＵＡＶ２００の真下の区域の近接撮影画像を有効利用し得る。したがって、基準線ｂは飛行モードが着陸モードであるときに減少できる。同様に、ＵＡＶ２００が離陸中にＵＡＶ２００の周囲のよりよい画像を有効利用し得る。したがって、基準線ｂは飛行モードが離陸モードであるときに増加できる。また、通常、空中画像化中はより遠くを見ることが好ましい。したがって、基準線ｂは飛行モードが空中画像取得モードであるときに増加できる。

図９には、基準線ｂの自動調整後、画像化システム１００の外因性パラメータを較正する方法９００のステップがフローチャートにより示されている。外因性パラメータは、例えば、３×３回転行列Ｒと３次元並進ベクトルｔを含む。言い換えると、外因性パラメータは、回転行列Ｒによってカプセル化された複数の回転パラメータと、並進ベクトルｔによってカプセル化された複数の並進パラメータを含み得る。外因性パラメータは、画像化装置１１０の相対位置を定義し、立体視を使用し、注目物体１５０の３次元画像化を可能にする。ある実施形態では、回転行列Ｒは直交行列または正規直交行列であり得る。例えば、ＲＲＴ＝Ｉ及びＲＴＲ＝Ｉであることが望ましいことがある。ある実施形態では、回転行列Ｒは、３×３（例えば、同次行列）以外の次元性を有し得る。また、並進ベクトルｔは３以外の次元性を有し得る。

画像化システム１００の基準線ｂが調整された後、外因性パラメータは陳腐化し、較正（または再較正）の効果を得られる。通常、基準線調整は、物体距離Ｚが基準線ｂよりもはるかに大きいと仮定し、注目物体を基準にして画像化装置１１０の回転方向では相対的にほとんど変化を生じさせない。したがって、好ましい実施形態では、外因性パラメータは２ステッププロセスを使用して較正できる。ステップ９０１で、並進パラメータｔを、基準線ｂの自動調整に基づいて初期較正する。言い換えれば、初期調整後の外因性パラメータはＲ０及びλｔ０である。ここで、Ｒ０とｔ０は事前調整外因性パラメータ、λは初期調整の量をｔ０に反映する定数である。

例えば、画像化システム１００の基準線調整機構１７０が（図１０に示される）スクリュー軸機構１０００を含む場合、並進パラメータｔの初期較正は、基準線調整中にスクリュー軸機構１０００の回転の程度に基づき得る。基準線調整の量は、（図１０に示される）スクリュー軸１００２の半径及び溝ピッチにさらに基づき得る。また、ラックアンドピニオン機構、スライダクランク機構、リニアモータ等の類似する方法を使用して、他の基準線調整機構のための並進パラメータｔの初期較正を検出できる。

ステップ９０２で、初期較正後、Ｒ及びｔの外因性パラメータを最適化のためにさらに較正できる。さまざまな最適化方法は、外因性パラメータを使用して、さらに較正できる。最適化に適するアルゴリズムは、例えば、線形計画法、補間、メメティックアルゴリズム、微分展開、進化アルゴリズム、遺伝的アルゴリズム、動的緩和、山登りアルゴリズム、ランダム再起動アルゴリズム、焼き鈍し法、傾斜降下等を含む。好ましい実施形態では、追加の較正は、以下に示すようにバンドル調整最適化法を使用する。例えば、バンドル調整最適化方法は、以下の適合度関数の値を最小限に抑えることによって続けて実行され得る。

ここで、ＰｌとＰｒは、それぞれ（図４から図５に示される）第１の画像化装置１１０ａと第２の画像化装置１１０ｂの射影行列である。ｘｌとｘｒはそれぞれ第１の画像化装置１１０ａと第２の画像化装置１１０ｂの位置である。Ｘは注目物体の位置であり、ｉは（図４から図５に示される）複数の注目物体１５０に関するまたは（図５に示される）特徴点１５５に関する指数である。射影行列ＰｌとＰｒは外因性パラメータＲとｔを以下の関係を通してカプセル化できる。

上式において、ＫｌとＫｒは、それぞれ第１の画像化装置１１０ａと第２の画像化装置１１０ｂ（図４から図５に示される）に内因性のパラメータであり、例えば、画像化装置の工場設定値から決定され得る。したがって、ＰｌとＰｒの最適値が方程式（５）の最適度関数を最小限に抑えることによって検出された場合、外因性パラメータＲとｔは、内因性パラメータＫｌとＫｒに基づいて方程式（６）と（７）を使用して検出できる。

図３から図９に関して上述した方法は、第１の画像化装置１１０ａと第２の画像化装置１１０ｂを有する画像化システムの基準線を自動的に調整するための命令を含むコンピュータプログラム製品（図示しない）として実装できる。コンピュータプログラム製品の命令は、例えばメモリ上の（図１に示される）コントローラ１９０に記憶できる。命令は、例えばコントローラ１９０のプロセッサ（図示しない）上で実行できる。制御信号は、例えば、画像化システム１００と注目物体１５０の間の物体距離Ｚ、及び物体距離Ｚに基づいて望まれる任意の基準線調整に基づいてコントローラによって生成できる。制御信号は、望まれるように（図２に示される）基準線調整機構１７０に出力され、コントローラの命令に従って基準線調整が行われる。

図１０には、スクリュー機構１０００を含む基準線調整機構１７０が、図２に示した画像化システムの好ましい実施形態として示されている。スクリュー軸機構１０００は、スクリュー軸１００２ａと１００２ｂ、それと回転自在に接続された中心ハウジング１００３、及びスクリュー軸１００２ａと１００２ｂ上において回転自在にスリーブで繋がれた端部領域ユニット１００１ａと１００１ｂを含む。各端部領域ユニット１００１ａと１００１ｂは、画像化装置１１０（図示しない）に接続される。スクリュー軸１００２ａと１００２ｂは、例えばステッピングモータ等のアクチュエータ（図示しない）を介して互いとは無関係に回転し、端部領域ユニット１００１ａと１００１ｂを互いに関して直線状に移動させることができる。各端部領域ユニット１００１ａと１００１ｂは、内部に配置された複数の玉軸受け（図示しない）を含んでおり、スクリュー軸１００２ａと１００２ｂとの摩擦を削減できるという利点がある。基準線調整のためのスクリュー軸機構１０００の利点は、スクリュー軸１００２ａと１００２ｂの回転運動を、端部領域ユニット１００１ａと１００１ｂの並進運動に正確に変換できることである。このことは、（図２に示される）基準線ｂの微調整のために望ましいことであり得る。基準線調整のためのスクリュー軸機構１０００の他の利点は、直線運動の程度が回転運動の程度に正比例することである。したがって、例えばスクリュー軸１００２ａと１００２ｂの半径と溝ピッチに基づいて、基準線調整を正確に推定できる。

また、基準線調整機構１７０は、例えばスライダクランク機構、ラックアンドピニオン機構、リニアモータ等の回転運動を直線運動に変換するための機構を含み得る。基準線調整機構１７０は、画像化装置１１０の直線運動または非直線運動を容易にするまたは達成することの少なくとも一方を可能にする追加の構成部品をさらに含み得る。これは、例えばレールシステムとランナーブロック、端部軸受支え、ボールねじ、スライドブッシュ、スライドネジ、コンベヤベルト、滑車等を含むが、これらに限定されない。

基準線調整機構１７０は、希望に応じて画像化システム１００のいずれかの支持構造（図示しない）に取り付けられる。また、図１０において、基準線調整機構１７０は、単一ユニットとして示されている。しかし、これは説明を目的とするだけであり、これに制約されない。ある実施形態では、基準線調整機構１７０は、画像化システム１００の部分に別々に取り付けられる複数のユニット（例えば、別々のスクリュー軸機構、ラックアンドピニオン機構、またはスライダクランク機構の少なくとも１つ）を含み得る。ある実施形態では、各画像化装置１１０は、基準線調整機構１７０の別々に可動のユニットに取り付けられ得る。基準線調整機構１７０は、希望に応じて、画像化システム１００の異なる部分に位置決めできる利点がある。基準線調整機構１７０が単一ユニットとして実装される場合、基準線調整機構１７０が回転すると、それに取り付けられた画像化装置１１０もともに回転する。このことは、画像化装置１１０間の調整のために有利である。画像化装置１１０が、基準線調整機構１７０の可動ユニットに別々に取り付けられる場合、画像化装置１１０の回転を（例えば、図１に示されるコントローラ１９０によって）調整できる。

図１１から図１３には、画像化システム１００が、本発明の実施形態に従って示されている。ここで、画像化システム１００は、無人航空機（ＵＡＶ）２００等の可動プラットフォームである。言い換えると、画像化システム１００は、ＵＡＶ２００等の可動プラットフォームに取り付けることができる。図１１から図１３において、画像化装置１１０は、それぞれ異なる構成でＵＡＶ２００に取り付けられている。

一般的に「ドローン」と呼ばれるＵＡＶ２００は、人間のパイロットが車両に搭乗しない航空機であり、ドローンの飛行は自律的にまたはリモートパイロット（またはときには両方）によって制御される。ＵＡＶは、多様な形式の空中データ収集を必要とする民間の用途において使用される場合が増えている。多様なタイプのＵＡＶ２００は、画像化システム１００として使用するのに適している。例えば、ＵＡＶ２００の適切なタイプの１つは、複数の回転翼によって推進される空中回転翼航空機である。１つの適切なタイプの回転翼航空機は４つの回転翼を有し、クワッドコプター、クワッドロータヘリコプター、またはクワッドロータとして知られている。画像化（例えば、立体画像化）するための本発明に関わるシステム及び方法に適切なクワッドコプターは、例えば、現在市販されている多数のモデルを含む。本発明に関わるシステム及び方法に適したＵＡＶ２００は、シングルロータ、デュアルロータ、トリロータ、ヘクサロータ、及びオクタロータの設計等の他の回転翼設計をさらに含むが、これらに限定されない。固定翼ＵＡＶ２００、及びハイブリッド回転翼‐固定翼ＵＡＶ２００も使用できる。

図１１には、ＵＡＶ２００に取り付けられた画像化システムが、本発明の実施形態に従って示されている。図１１において、画像化システム１００は、ＵＡＶ２００に取り付けられた左（つまり左舷）画像化装置１１０ａと右（つまり右舷）画像化装置１１０ｂを有している。多様な画像化装置１１０は、ＵＡＶ２００で使用する場合、一般に軽量かつコンパクトであることが好ましい。図１１の例では、画像化装置１１０ａと１１０ｂは、基準線調整機構１７０を介してＵＡＶ２００の底面に取り付けられる。画像化装置１１０ａと１１０ｂをＵＡＶ２００の底面に位置決めする利点は、底面位置がＵＡＶ２００の飛行動作に対して相対的に目立たない点である。さらに、画像化装置１１０ａと１１０ｂをＵＡＶ２００の底面に位置決めすると、ＵＡＶ２００の直下の区域を画像化でき、このことは着陸及び他の空中監視目的に有利であり得る。基準線調整機構１７０は、ＵＡＶ２００に取り付けられる単一のユニットまたはＵＡＶ２００に別々に取り付けられる複数のユニットであり得る。基準線ｂは、左右の画像化装置１１０ａと１１０ｂの中心間の距離として示される。この例では、左右の画像化装置１１０ａと１１０ｂは物理的に接しているため、基準線ｂは最小値に達している。

この例では、（図１に示される）コントローラ１９０からの制御信号に基づいて、基準線調整機構１７０は、ＵＡＶ２００の物理的な構成に基づいて最大値まで、希望する値に基準線ｂを拡大できる。最小値に達する基準線ｂの例を示す実施形態は、図１１の実施形態に関して図１２に示される。この例では、基準線ｂを増加する能力は、さらにＵＡＶ２００に追加される構成部品に依存し得る。構成部品は例えば、ＵＡＶ２００の側面フランクに位置決めされた着陸ギヤ２１０等である。この例では、着陸ギヤ２１０が、画像化装置１１０ａと１１０ｂの視野を遮ること、または画像化装置１１０ａと１１０ｂがある点を過ぎて移動するのを物理的に妨げること、の少なくとも一方のことがあり得る。したがって、これらのことに有利となるように、ある実施形態では、着陸ギヤ２１０を格納できる、または自動的に退けることができる。

図１３には、ＵＡＶ２００に取り付けられた画像化システム１００が、本発明の他の実施形態に従って示されている。図１３において、左画像化装置１１０ａと右画像化装置１１０ｂが、ＵＡＶ２００の本体（つまり機体）２２０の側面に取り付けられている。この例では、画像化装置１１０ａと１１０ｂは、基準線調整機構１７０の別々のユニットを介してＵＡＶ２００に別々に取り付けられる。本実施形態の利点は、基準線ｂが図示されるようにより大きな値をとることができる点、及び画像化装置１１０ａと１１０ｂの視野が着陸ギヤ２１０によって妨害されない点を含む。

図１４において、調整可能なフレームに取り付けられる画像化システム１００が、本発明の他の実施形態に従って示されている。図１４において、左画像化装置１１０ａと右画像化装置１１０ｂが、ＵＡＶ２００の調整可能なフレーム２５０に取り付けられている。言い換えると、基準線調整機構１７０は、調整可能なフレーム２５０である、または調整可能なフレーム２５０の一部であり得る。調整可能なフレーム２５０は、ＵＡＶ２００の機体２２０に調整可能に取り付けられた１つ以上の調整可能な部材２５１を含み得る。調整可能な部材２５１は、付着点２５２に関して枢動するようにできるが、部材２５１はこのことに制限されない。ある実施形態では、機体２２０に付着点２５２が設けられている。左画像化装置１１０ａと右画像化装置１１０ｂは、それぞれ調整可能な部材２５１の末端部に取り付けできる。図１４には、コンパクトな構成に調整できる部材２５１が示されている。（例えば、１つ以上の付着点２５２の回りで枢動することによって）調整可能な部材２５１の位置を調整すると、画像化装置１１０ａと１１０ｂの間の基準線ｂは増加して、図１５に示す拡張構成となる。同様に、図１４に示すように、調整可能な部材２５１をコンパクトな構成に折り畳むと、基準線ｂは希望に応じて減少する。

この例では、画像化装置１１０ａと１１０ｂは、基準線調整機構１７０の別々のユニットを介してＵＡＶ２００に別々に取り付けられる。この実施形態の利点は、基準線ｂが図示されるようにより大きな値をとることができる点、及び画像化装置１１０ａと１１０ｂの視野が着陸ギヤ２１０によって妨害されない点を含む。

画像化システム１００がＵＡＶ２００である（または、画像化システム１００がＵＡＶ２００に取り付けられる）実施形態では、コントローラ１９０は、ＵＡＶの飛行モードに応じて基準線を調整できる利点がある。例えば、コントローラ１９０は、飛行モードが着陸モードであるとき、基準線ｂを減少させ得る。また、コントローラ１９０は、飛行モードが離陸モードであるとき、基準線ｂを増加させ得る。また、コントローラ１９０は、飛行モードが空中画像取得モードであるとき、基準線ｂを増加させ得る。

図１１から図１５において、画像化装置１１０は、ＵＡＶ２００に関して対称的に位置決めされて示されているが、必ずしもその必要はない。ある実施形態では、画像化装置１１０は非対称に位置決めされる。また、画像化システム１００は、例示のためだけにＵＡＶ２００に関して図示され、説明されている。しかし、画像化システム１００は任意のタイプの可動プラットフォームであり得ると共に、任意のタイプの可動プラットフォーム上に取り付けることができる。適切な可動プラットフォームは、例えば、自転車、自動車、トラック、船、ボート、列車、ヘリコプター、航空機、その多様なハイブリッド等を含むが、これらに限定されない。

図１６には、注目物体に向けられた画像化システム１００が、本発明の実施形態に従って示されている。図１６において、画像化システム１００は、画像化システム１００から注目物体１５０までの間の物体距離Ｚを決定するための構成部品を含む。好ましい実施形態では、画像化システム１００の複数の画像化装置１１０ａと１１０ｂは、図３の方法に関して詳細に説明されるように物体距離を決定するために立体視を使用できる。また、奥行きを評価できる１台以上の補助装置１８０を使用して、物体距離Ｚを決定できる。

ある実施形態では、補助装置１８０は、注目物体１５０に対して特有の空間構造で光を発することができる光源を有するレーザー（例えば、赤外線レーザー）である。さらに、このような補助レーザー装置１８０は、注目物体１５０から発せられた光を受光するためのレンズとフィルターチップを備え得る。（図１に示される）コントローラ１９０は、受光した光の構造を計算し、光構造の変動を通して、注目物体１５０の構造と距離情報を知覚できる。レーザーの出力を必要に応じて増加させ、屋外環境で機能させて太陽光の赤外線シグネチャーを克服し得る。

他の実施形態では、補助装置１８０は超音波システムである。超音波補助装置１８０は、例えば注目物体１５０によって超音波が補助装置１８０に再反射するのに要する時間を使用し、物体距離Ｚを決定する１台以上の超音波エミッタとセンサ（例えば、配列された超音波振動子）を有し得る。ある実施形態では、超音波補助装置１８０は、単一装置として（例えば、奥行き知覚用のＲＧＢ−Ｄカメラとして）１台以上の画像化装置１１０と統合できる。物体距離を検知するための複数のタイプの装置を使用することの利点は、冗長性によって測定値がより正確になることである。また測定値は、あるタイプの補助装置１８０では誤差を生じさせるが他のタイプでは生じさせないことがある環境条件に対して、より堅牢であること、またはその環境条件を免れていることの少なくとも一方の利点がある。

図１７には、（図２に示される）第１の画像化装置１１０ａと（図２に示される）第２の画像化装置１１０ｂの間の基準線を自動的に調整するスタンドアロン装置１７００が示されている。自動基準線調整用のスタンドアロン装置１７００の利点は、スタンドアロン装置１７００が、異なるタイプの画像化装置１１０とともに使用する、または壊れた画像化装置１１０を新しい画像化装置１１０に交換する等、異なる画像化装置１１０とともに使用することが容易な点である。スタンドアロン装置１７００は、スタンドアロン装置１７００を異なる画像化システム１００とともに（例えば、異なるＵＡＶ等の異なる可動プラットフォームとともに）使用できる、という利点も有する。スタンドアロン装置１７００は、（図２に示される）基準線ｂを調整する基準線調整機構１７０及び基準線ｂを自動的に調整するコントローラ１９０を含む。コントローラ１９０は、画像化システムと注目物体１５０（図示しない）の間の物体距離に従い、基準線調整機構１７０を使用して基準線ｂを自動的に調整する。基準線調整機構１７０は、画像化システム１００に関連して上述されている（例えば、図３の例を参照）。基準線調整機構１７０は、互いに対するまたは周囲に対する画像化装置１１０の直線運動または非直線運動をもたらすために、希望に応じて、さまざまな構成部品を含み得る。運動をもたらす構成部品は、例えば、モータ（例えば、ステッピングモータ）、スクリュー軸機構、スライドクランク機構、ラックアンドピニオン機構、リニアモータ等を含むが、これに限定されない。追加の構成部品は、画像化装置１１０の運動を容易にすること、または運動をもたらすことの少なくとも一方を可能にし得る。追加の構成部品は、例えば、玉軸受け、レールシステムとランナーブロック、端部軸受支え、ボールねじ、スライドブッシュ、スライドネジ、コンベヤベルト、滑車、多様なタイプの潤滑剤等を含むが、これらに限定されない。装置１７００は、互いに関して直線状に移動する端部領域ユニット１００１ａと１００１ｂを含み得る。画像化装置１１０は、端部領域ユニット１００１ａと１００１ｂのそれぞれに取り付けることができる。それにより、端部領域ユニットそれぞれに対する画像化装置１１０の並進運動を可能にし、基準線ｂ（図示しない）の調整を容易にできる。

コントローラ１９０は、基準線調整機構１７０の機能を制御し、それによって基準線ｂの調整を自動化できる。コントローラ１９０は、データ通信の構成部品（例えば、シリアルバス:図示しない）を介して基準線調整機構１７０に制御データを送信できる。コントローラ１９０は、基準線調整（例えば、入出力ポートを通して）のために、さらに外部でデータを受信すること、または送信することの少なくとも一方を実行できる。また、コントローラ１９０は、リモートデータ通信システム（図示しない）を使用し、外部でデータを受信すること、または送信することの少なくとも一方を実行できる。コントローラ１９０によって送信されるデータは、例えば基準線調整機構１７０への制御信号を含み得る。さらに、コントローラは、１台以上の画像化装置１１０によって取得される画像を受信できる。コントローラ１９０は、例えば、立体視を使用し、注目物体１５０の３次元表示を再構築すること、注目物体１５０に基づいて基準線調整が必要であるかどうかを判断すること、等が可能である。また、コントローラ１９０は、図９に関してより詳細に上述した方法のように、立体視画像化のための１つ以上の外因性パラメータを自動的に較正できるという利点も有する。

開示した実施形態は、多様な修正形態及び代替形態を受け入れる余地が大きく、その特定の例が図面中で一例として示されており、本明細書に詳細に説明されている。ただし、説明した実施形態は、特定の形式または方法に制限されるものではなく、逆に説明した実施形態がすべての修正形態、同等物及び代替物をカバーすることが理解されるべきである。

Claims (45)

1. 少なくとも第１の画像化装置及び第２の画像化装置を含む複数の画像化装置を有する画像化システムの基準線を自動調整する方法において、
   前記画像化システムと注目物体の間の物体距離を取得するステップと、
   前記物体距離に従って前記基準線を自動的に調整するステップと、
   を含み、
   前記調整するステップは、
   前記基準線が最小基準線以下である場合に、前記基準線を増加させるステップを含み、
   前記最小基準線は４×Ｚ×Ｌ／ｆであり、Ｚは前記物体距離であり、Ｌは前記画像化装置の内の少なくとも１台のピクセル幅であり、ｆは前記画像化装置の内の少なくとも１台の焦点距離であり、
   前記調整するステップは、
   前記基準線が最大基準線を超える場合に、前記基準線を減少させるステップを含み、
   前記最大基準線はＺ×ｔａｎ（θ／２）であり、θは前記画像化装置の内の少なくとも１台の視角である、方法。
2. 前記物体距離を取得するステップが、
   前記第１の画像化装置を使用し、前記注目物体の第１の画像を取得するステップと、
   前記第２の画像化装置を使用し、前記注目物体の第２の画像を取得するステップと、
   前記第１の画像と前記第２の画像の間の両眼視差を決定するステップと、
   前記両眼視差を使用し、前記物体距離を決定するステップと、
   を含む、請求項１に記載の方法。
3. 前記物体距離を取得するステップが、
   前記両眼視差を決定する前に前記第１の画像と前記第２の画像を修正するステップをさらに含む、請求項２に記載の方法。
4. 前記物体距離を取得するステップが、
   前記注目物体上の複数の特徴点を取得するステップと、
   前記画像化システムと前記特徴点のそれぞれの間のそれぞれの特徴距離を決定するステップと、
   前記特徴距離を使用し、前記物体距離を決定するステップと、
   を含む、請求項１から請求項３のいずれか１つに記載の方法。
5. 前記物体距離を決定するステップが、
   前記特徴距離の平均に基づいて前記物体距離を決定するステップを含む、請求項４に記載の方法。
6. 前記物体距離を決定するステップが、
   前記特徴点の内の１つ以上を選択するステップと、
   前記選択された特徴点の前記特徴距離に基づいて前記物体距離を取得するステップと、を含む、請求項４または請求項５に記載の方法。
7. 前記特徴点を選択するステップは、
   前記画像化システムに最も近い特徴点の所定のパーセンテージを選択するステップと、
   前記画像化システムから最も遠い前記選択された特徴点の前記特徴距離として前記物体距離を取得するステップと、
   を含む、請求項６に記載の方法。
8. 前記画像化システムと前記特徴点のそれぞれとの間の前記特徴距離を決定するステップが、
   前記第１の画像化装置または前記第２の画像化装置によって取得された画像上の前記特徴点に対応するピクセルに基づいて前記特徴距離を決定するステップを含む、請求項４から請求項７のいずれか１つに記載の方法。
9. 前記物体距離を取得するステップが、
   レーザーまたは超音波システムを使用し、前記物体距離を取得するステップを含む、請求項１から請求項８のいずれか１つに記載の方法。
10. 前記調整するステップが、
    前記基準線が前記最大基準線以下の場合に、前記基準線を増加させるステップを含む、請求項１から請求項９のいずれか１つに記載の方法。
11. 前記調整するステップが、
    前記第１の画像化装置の視野が少なくとも閾値分前記第２の画像化装置の視野と重複するまで前記基準線を増加させるステップを含む、請求項１から請求項１０のいずれか１つに記載の方法。
12. 前記基準線の前記自動調整後に前記画像化システムの外因性のパラメータを較正するステップをさらに含む、請求項１から請求項１１のいずれか１つに記載の方法。
13. 前記較正するステップが、
    前記画像化システムの並進外因性パラメータまたは回転外因性パラメータの少なくとも一方を較正するステップを含む、請求項１２に記載の方法。
14. 前記較正するステップが、
    前記基準線を自動的に調整するステップに従って前記並進外因性パラメータを初期較正するステップを含む、請求項１３に記載の方法。
15. 前記較正するステップが、
    前記初期較正するステップの後に前記外因性パラメータを追加較正して前記外因性パラメータを最適化するステップを含む、請求項１４に記載の方法。
16. 前記画像化システムが無人航空機（ＵＡＶ）であり、
    前記自動的に調整するステップが前記ＵＡＶの飛行モードに依存している、請求項１５に記載の方法。
17. 前記調整するステップが、
    前記飛行モードが着陸モードであるときに前記基準線を減少させるステップを含む、請求項１６に記載の方法。
18. 前記調整するステップが、
    前記飛行モードが離陸モードであるときに前記基準線を増加させるステップを含む、請求項１６または請求項１７に記載の方法。
19. 前記調整するステップが、
    前記飛行モードが空中画像取得モードであるときに前記基準線を増加させるステップを含む、請求項１６から請求項１８のいずれか１つに記載の方法。
20. 請求項１から請求項１９のいずれか１つに記載の方法に従って、基準線を自動的に調整する、
    ことを特徴とする、画像化システム。
21. 請求項１から請求項１９のいずれか１つに記載の方法に従って、第１の画像化装置と第２の画像化装置を有する画像化システムの基準線を自動的に調整するための命令を備える、
    ことを特徴とする、コンピュータプログラム。
22. 複数の画像化装置を有する画像化システムの第１の画像化装置と第２の画像化装置の間の基準線を自動的に調整する装置において、
    前記第１の画像化装置と前記第２の画像化装置と接続されている基準線調整機構と、
    前記画像化システムと注目物体の間の物体距離に従って前記基準線を自動的に調整する前記基準線調整機構に制御信号を提供するコントローラと、
    を備え、
    前記制御信号は、
    前記基準線が最小基準線以下である場合に、前記基準線を増加させる信号を含み、
    前記最小基準線は４×Ｚ×Ｌ／ｆであり、Ｚは前記物体距離であり、Ｌは前記画像化装置の内の少なくとも１台のピクセル幅であり、ｆは前記画像化装置の内の少なくとも１台の焦点距離であり、
    前記制御信号は、
    前記基準線が最大基準線を超える場合に、前記基準線を減少させる信号を含み、
    前記最大基準線はＺ×ｔａｎ（θ／２）であり、θは前記画像化装置の内の少なくとも１台の視角である、
    ことを特徴とする、装置。
23. 前記コントローラが、
    前記第１の画像化装置を使用し、前記注目物体の第１の画像を取得し、
    前記第２の画像化装置を使用し、前記注目物体の第２の画像を取得し、
    前記第１の画像と前記第２の画像の間の両眼視差を決定し、
    前記両眼視差を使用し、前記物体距離を決定すること、によって前記物体距離を取得する、
    ことを特徴とする、請求項２２に記載の装置。
24. 前記コントローラが、
    前記両眼視差を決定する前に前記第１の画像と前記第２の画像を修正する、
    ことを特徴とする、請求項２３に記載の装置。
25. 前記コントローラが、
    前記注目物体上の複数の特徴点を取得し、
    前記画像化システムと前記特徴点のそれぞれの間の特徴距離を決定し、
    前記特徴距離を使用し、前記物体距離を決定すること
    によって前記物体距離を取得する、
    ことを特徴とする請求項２２から請求項２４のいずれか１つに記載の装置。
26. 前記コントローラが、
    前記特徴距離の平均に基づいて前記物体距離を取得する、
    ことを特徴とする、請求項２５に記載の装置。
27. 前記コントローラが、
    前記特徴点の内の１つ以上を選択し、前記選択された特徴点の前記特徴距離に基づいて前記物体距離を取得する、
    ことを特徴とする、請求項２５または請求項２６に記載の装置。
28. 前記コントローラが、
    前記画像化システムに最も近い特徴点の所定のパーセンテージを選択することによって前記特徴点を選択し、前記画像化システムから最も遠い選択された特徴点の前記特徴距離として前記物体距離を取得する、
    ことを特徴とする、請求項２７に記載の装置。
29. 前記画像化システムと前記特徴点のそれぞれの間の前記それぞれの特徴距離を決定することが、前記第１の画像化装置または前記第２の画像化装置によって取得された画像上の前記特徴点に対応するピクセルに基づいて特徴距離を決定することを含む、
    ことを特徴とする、請求項２５から請求項２８のいずれか１つに記載の装置。
30. 前記物体距離を取得するレーザーまたは超音波システムをさらに備える、
    ことを特徴とする、請求項２２から請求項２９のいずれか１つに記載の装置。
31. 前記基準線調整機構が、スクリュー軸機構、ラックアンドピニオン機構、スライダクランク機構、リニアモータ及び調整可能なフレームのうち少なくとも１つを備える、
    ことを特徴とする、請求項２２から請求項３０のいずれか１つに記載の装置。
32. 前記制御信号は、前記基準線が前記最大基準線以下である場合に、前記基準線を自動的に増加させる信号である、
    ことを特徴とする、請求項２２から請求項３１のいずれか１つに記載の装置。
33. 前記コントローラが、前記第１の画像化装置の視野が少なくとも閾値分、前記第２の画像化装置の視野と重複するまで、前記基準線を自動的に増加させる、
    ことを特徴とする、請求項２２から請求項３２のいずれか１つに記載の装置。
34. 前記コントローラが、前記基準線の前記自動調整後に前記画像化システムの外因性パラメータを較正する、
    ことを特徴とする、請求項２２から請求項３３のいずれか１つに記載の装置。
35. 前記コントローラが、並進外因性パラメータまたは回転外因性パラメータの内の少なくとも１つを較正する、
    ことを特徴とする、請求項３４に記載の装置。
36. 前記コントローラが、前記基準線調整機構の線形変位に従って前記並進外因性パラメータを初期較正する、
    ことを特徴とする、請求項３５に記載の装置。
37. 前記基準線調整機構が、スクリュー軸機構を備え、
    前記コントローラが、前記スクリュー軸機構の回転の程度に従って前記並進外因性パラメータを初期較正する、
    ことを特徴とする、請求項３６に記載の装置。
38. 前記コントローラが、前記初期較正の後に前記外因性パラメータをさらに較正し、前記外因性パラメータを最適化する、
    ことを特徴とする、請求項３６または請求項３７に記載の装置。
39. 前記コントローラが、バンドル調整を使用し、前記外因性パラメータをさらに較正する、
    ことを特徴とする、請求項３８に記載の装置。
40. 前記画像化システムが、可動プラットフォームである、
    ことを特徴とする、請求項２２から請求項３９のいずれか１つに記載の装置。
41. 前記画像化システムが、無人航空機（ＵＡＶ）である、
    ことを特徴とする、請求項４０に記載の装置。
42. 前記コントローラが、前記ＵＡＶの飛行モードに応じて前記基準線を自動的に調整する、
    ことを特徴とする、請求項４１に記載の装置。
43. 前記コントローラが、前記飛行モードが着陸モードであるときに前記基準線を減少させる、
    ことを特徴とする、請求項４２に記載の装置。
44. 前記コントローラが、前記飛行モードが離陸モードであるときに前記基準線を増加させる、
    ことを特徴とする、請求項４２または請求項４３に記載の装置。
45. 前記コントローラが、前記飛行モードが空中画像取得モードであるときに前記基準線を増加させる、
    ことを特徴とする、請求項４２から４４のいずれか１つに記載の装置。
    
    
    
    

Images