JP2020197493A - 画像を用いた三次元計測装置、画像を用いた三次元計測方法および画像を用いた三次元計測用プログラム - Google Patents

Abstract

【課題】三次元計測においてステレオ画像上での計測対象物の縁の部分における誤対応点の発生を抑える。【解決手段】異なる第１、第２の視点からステレオ画像を得る画像データ受付部２１０と、前記ステレオ画像の対応する特徴点を特定する対応点検出部２６０と、前記第１の視点の第２の視点から離れる側の第１の補助視点の選択、および前記第２の視点に近づく側の第２の補助視点の選択を行う周辺マスク作成用カメラ位置選択部２５１と、前記第１、第２の補助視点から撮影した第１、第２の補助画像とを取得する周辺マスク作成用ステレオ画像取得部２５２と、前記第１の補助視点から見て前記撮影対象の影となり、且つ前記第２の補助視点から見て前記撮影対象の影とならない周辺マスクを作成する周辺マスク作成部２５３とを備え、前記周辺マスクでマスクされる領域における前記対応する特徴点の特定が制限される画像を用いた三次元計測装置２００。【選択図】図７

Description

本発明は、画像を用いた三次元計測の技術に関する。

画像を用いて植物の三次元形状に係るデータを取得し、その成長過程を三次元的に把握する技術が知られている。例えば、特許文献１には、計測対象物である植物を回転させながら植物の写真撮影を行い、得られた複数の撮影画像から被写体（植物）の三次元モデルを得る技術が記載されている。

特開２０１８−１９７６８５号公報

植物の茎のような立体物を対象とした場合、ステレオ画像のマッチング点の誤差が生じる問題がある。図１には、上記の問題が生じる原理が概念的に示されている。●点は、カメラ１とカメラ２から撮影したステレオ画像から求めた計測対象物上のマッチング点である。これは理想的な場合であるが、実際には、△点や□点でマッチングが取れてしまう場合がある。△点や□点は計測対象物の特徴点ではないので、△点や□点はステレオ画像上の特徴点の誤対応点となる。この誤対応点は、ノイズとなる。

本発明は、写真を用いた三次元計測において、ステレオ画像上での計測対象物の縁の部分や背面における誤対応点の発生を抑えることを目的とする。

本発明は、異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得部と、前記ステレオ画像において対応する特徴点を特定する対応点特定部と、前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択部と、前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得部と、前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定部とを備え、前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測装置である。

本発明において、前記第２の補助視点が前記第２の視点の前記第１の視点から離れる側から選択される態様が挙げられる。本発明において、前記マスク領域は、前記第１の補助視点と前記第１の補助視点から見た前記撮影対象の縁の部分とを結ぶ第１の方向線と、第２の補助視点と前記第２の補助視点から見た前記第１の補助視点からは死角となる前記撮影対象の縁の部分とを結ぶ第２の方向線との交点の前記第１の視点から見た後方であって、前記第１の方向線と前記第２の方向線で囲まれる領域である態様が挙げられる。本発明において、前記マスク領域において、前記ステレオ画像における対応点の特定が禁止されている態様が挙げられる。

本発明は、異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得ステップと、前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップとを有し、前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測方法としても把握できる。

本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得ステップと、前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップとを実行させ、前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測用プログラムとして把握することもできる。

本発明によれば、写真を用いた三次元計測において、ステレオ画像上での計測対象物の縁の部分における誤対応点の発生が抑えられる。

誤対応点が発生する原理を示す図である。 発明の原理を示す図である。 発明の原理を示す図である。 発明の原理を示す図である。 発明の原理を示す図である。 実施形態の概念図である。 実施形態のブロック図である。 後方交会法の原理を示す図（Ａ）と前方交会法の原理を示す図（Ｂ）である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 カメラ位置を求める原理を示す図である。

１．原理
（初めに）
図１の問題が発生するのは、以下の理由による。図１における●点は、カメラ２から見て計測対象物の縁の部分である。この縁の部分では、背面の画像情報の影響を受け、分離に誤差が生じる。この結果、奥行き方向の情報が紛れ込むことによる△点での誤マッチングや背面の□点での誤マッチングが生じる。

図１の問題を抑制するために、図２に示すように、ステレオ画像におけるマッチングを制限する周辺マスク１０を設定する。図２には、カメラ１とカメラ２で計測対象物３０を撮影しステレオ画像を得、このステレオ画像からステレオ画像間で対応する特徴点（●印の点）をステレオマッチング点（対応点ともいう）として求める場合が示されている。

周辺マスク１０を設定することで、その領域でのマッチングが制限（この場合は禁止）される。これにより、背面２０の存在の影響等により生じる△点や□点で示される誤マッチング点の発生が抑制される。

（周辺マスクの設定の原理）
周辺マスク１０は、以下のようにして設定される。まず、ステレオ画像を撮影するカメラ１とカメラ２の外側（両サイド）からカメラ３とカメラ４の１組のカメラを選択する。カメラ３とカメラ４は、周辺マスク１０を設定するために選択される。

ここで、カメラ１，カメラ２，カメラ３，カメラ４のそれぞれは、計測対象物３０を視界に納め、各カメラの撮影画像には、計測対象物３０が写っている（但し、見る角度が異なっている）。また、カメラ１，カメラ２，カメラ３およびカメラ４は、同一平面上に位置している。

まず、カメラ３が撮影した計測対象物３０におけるステレオマッチング点（特定された対応点）●より外側（カメラ１から見てカメラ３の側）の縁と、カメラ３の位置（投影原点（視点））とを結ぶ方向線４１を設定する。また、カメラ４が撮影した計測対象物３０におけるステレオマッチング点●に最も近い縁と、カメラ４の位置（投影原点（視点））とを結ぶ方向線４２を設定する。

そして、方向線４１と４２が交差する点の後方（カメラ１およびカメラ２から見た遠方）で方向線４１，４２に囲まれる領域を周辺マスク１０として設定する。周辺マスク１０は、カメラ４から見て計測対象物３０の影（背後）であり、且つ、カメラ３から見て計測対象物３０の影（背後）でない領域である。

以下、カメラ３，４の位置について説明する。まず、カメラ２から撮影した画像を利用して周辺マスク１０を設定することは適切でない。なぜなら、カメラ２の画像では、計測対象物３０の縁部分の分離が明確にできず、それ故に誤マッチング点である△点や□点が生じるが、この問題はカメラ２の画像を用いて周辺マスクを設定した場合も発生する。そのため、カメラ２の画像を利用した場合、誤マッチング点△や□を排除する周辺マスクは設定できない。

図３には、図２のカメラ３はそのままに、カメラ４としてカメラ２の画像を利用して周辺マスク１０を設定した場合が示されている。この場合、カメラ１から見て、マッチング点●の後方での周辺マスク１０の設定ができず、△点や□点を排除するマスクは設定できない。この問題は、原理的にカメラ１より左側でカメラ４を選択した場合に発生する。よって、カメラ４をカメラ１より左側（カメラ２の側）から選択するのは適切でない。以上のことから、カメラ４は、カメラ２の右側（カメラ１と反対の側）から選択するのが適切となる。

図４には、図２のカメラ４はそのままで、カメラ３をカメラ２の右側から選択した場合が示されている。この場合、カメラ２から見た●点の背後がカメラ３，４から見えず死角になるので、△点や□点を排除するマスクは設定できない。よって、カメラ３をカメラ２より右側（カメラ１と反対の側）から選択するのは適切でない。

図５には、カメラ３をカメラ１とカメラ２の間から選択した場合が示されている。ステレオ画像の組の選択において、隣接するカメラ位置でなく、カメラ１とカメラ２の間にカメラがある場合は、カメラ４をカメラ１とカメラ２の間から選択することも可能である。図５には、この場合が示されている。

ただし、オクル―ジョンを極力避け、またマッチング精度を高める場合、隣接するカメラ位置がステレオ画像を撮影した１組のカメラとして選択される。この場合、カメラ１とカメラ２の間にカメラはないので、図５の状況は実現できない。

図５の場合、カメラ２から見て、●点の後方（背後）に周辺マスク１０を設定できる。よって、カメラ３はカメラ２よりも左側（カメラ１の側）から選択すればよいことが結論される。

以上まとめると、カメラ１とカメラ２から撮影したステレオ画像における対応点を求める場合、カメラ４をカメラ２のカメラ１と反対の側から選択し、カメラ３をカメラ２のカメラ１の側から選択することで、カメラ３とカメラ４の撮影画像を用いた周辺マスク１０が作成できる。

周辺マスクの使い方としては、
（１）周辺マスクからの対応点の特定を禁止する。
（２）対応点の特定は禁止しないが、周辺マスクでマスクされる領域における対応点の特定の優先度を下げる。
（３）対応点の特定の有無を判定する条件の一つとして、周辺マスクを利用する。

また、３台以上のカメラを用いてステレオ画像を構成する場合は、基線上の両端のカメラに対して上記の条件を適用する。また、ここでは、左右にカメラが配列した場合を例に挙げ説明したが、ステレオカメラの配列方向は、上下や斜めであってもよい。

また、本発明の原理は、下記両方の場合に適用できる。
（１）１台のカメラで回転する計測対象物を撮影し、計測対象物を異なる複数の視点から撮影した複数の画像を得る場合（勿論、複数のカメラで撮影してもよい）。
（２）カメラを移動させながら計測対象物を複数回撮影し、計測対象物を異なる複数の視点から撮影した複数の画像を得る場合（例えば、航空写真測量の場合）。

また、車の衝突防止技術等でステレオ写真測量の原理を用いた対象物の三次元情報を取得する技術があるが、この技術に本発明を利用することもできる。

２．全体の構成
図６には、植物１２０の三次元データを得るための三次元計測システム１００が示されている。三次元計測システム１００は、土台１１１、土台１１１上でモータ等の駆動手段により回転する回転台１１２を備えている。回転台１１２の上には、三次元計測の計測対象物である植物１２２が載せられている。

土台１１１、回転台１１２および三次元計測システム１００の背面は、植物１２０の色とは異なる色（この例では青）に着色されている。この色は、植物１２０と色彩が違うモノトーンの色が望ましい。例えば、植物１２０が緑系の色の場合、青、黄色、黒、白といった植物１２０と異なるモノトーンの色が選択される。物１２０は、鉢１２４に植えられており、鉢１２４には、識別用の２次元バーコード表示１２５が表示されている。

土台１１１および回転台１１２の各部の寸法は予め既知のデータとして取得されている。回転台１１２の上面には、基準点となるターゲット１１３の表示が行なわれている。ターゲット１１３は、３箇所以上の複数が配置されている。ターゲット１１３は、２次元コードが付されたコード化ターゲットであり、それぞれが個別に識別可能とされている。また、各ターゲットの回転台１１２における位置は予め調べられ、既知となっている。

回転台１１２の上面には、画像マッチング用の識別部材であるランダムドット柱１２１〜１２３が固定されている。ランダムドット柱１２１〜１２３は、長手形状を有する板状の部材であり、回転台１１２から鉛直上方に延在し、表面にランダムドットパターンが表示されている。ランダムドット柱１２１〜１２３の表面には、ランダムドットパターンの他に、識別コードが表示されており、各識別コードは個別に識別できるようにされている。ランダムドット柱として、円柱や多角柱（例えば、四角柱や五角柱）を用いることもできる。

ランダムドット柱の数を４本以上としてもよい。ただし、ランダムドット柱は、カメラ１３１〜１３３と計測対象物である植物１２２との間に位置するので、その数が多すぎると、カメラ１３１〜１３３による植物１２２の撮影に支障が生じる。

ランダムドット柱１２１〜１２３の回転台１１２に対する位置関係は既知であり、またランダムドット柱１２１〜１２３の寸法（幅、長さ、厚さ）も既知である。ランダムドット柱１２１〜１２３の寸法は既知であるので、ランダムドット柱１２１〜１２３はスケールとしても利用される。回転台１１２上に定規を配置する方法や回転台１１２上にスケールを表示する形態も可能である。なお、計測対象物である植物１２０の上端より上方にランダムドット柱１２１〜１２３の先端が位置するように、ランダムドット柱１２１〜１２３の長手方向の寸法が（鉛直方向の寸法）が設定されている。また、上方から見て、ランダムドット柱１２１〜１２３により計測対象物（植物１２０）が囲まれるように、ランダムドット柱１２１〜１２３が配置されている。これは、ランダムドット柱の数を増やした場合も同様である。

ランダムドットパターンは、丸形状のドットが規則性なくランダムに分布しているドットパターンである。ランダムドットパターンに関する技術は、例えば、特開平１１−３９５０５号公報、特開平１０−９７６４１号公報、電子情報通信学会研究報告．ＣＯＭＰ，コンビュテーション１１２（２４），５１−５８，２０１２−０５−０７等に記載されている。ランダムドットパターンの色は、モノトーンであってもよいし、多色であってもよい。この例では、白の下地に黒のランダムドットパターンを表示している。

回転台１１２の周囲には、カメラ１３１〜１３３が配置されている。カメラ１３１〜１３３は、土台１１１に対して固定されており、回転する回転台１１２およびその上の植物１２０を特定の時間間隔で繰り返し撮影する。カメラの数は、少なくとも１台あればよいが、複数を配置し、植物１２０に対してなるべく死角が生じないようにその数と位置を設定することが望ましい。カメラ１３１〜１３３は、デジタルカメラであり、撮影した画像のデータ（画像データ）は、三次元計測装置２００に送られる。

回転台１１２を回転させながら、土台１１１に固定されたカメラ１３１〜１３３から、植物１２０を連続して撮影する。これにより、植物１２０を周囲の多数のカメラ位置（視点）から撮影した多数の画像が得られる。この際、隣接するカメラ位置からの画像で撮影範囲が一部重複するようにする。

上記の撮影を行った場合、計測対象物である植物１２０を周囲から撮影した複数の撮影画像が得られる。ここで、隣接する視点（カメラ位置）から撮影した画像が一部重複するようにする。例えば、回転台１１２が１回転する間に植物１２０に向けた１台のカメラから７２枚の撮影を行う場合を考える。この場合、回転台１１２に固定された座標系で考えると、回転台１１２の回転中心を中心とする円周上で、３６０°／７２＝５°刻みに視点の位置（カメラ位置）を少しずつずらして撮影した７２枚の画像が得られる。

３．三次元計測装置
計測対象物である植物１２０の三次元モデルの作成は、公知の三次元写真測量の原理に基づき行われる。三次元計測装置２００は、汎用のＰＣ（パーソナルコンピュータ）を利用して構成されている。三次元計測装置２００は、カメラ１３１〜１３３が撮影した画像のデータに基づき、植物１２０の三次元モデルを作成する。また、三次元計測装置２００は、モータ駆動装置１４０に制御信号を送り、回転台１１２の回転制御を行う。また、三次元計測装置２００は、カメラ１３１〜１３３の撮影タイミングの制御を行う。

三次元計測装置２００は、ＣＰＵ、メモリデバイス、各種のインターフェースを備えたコンピュータであり、汎用あるいは専用のハードウェアによって構成することができる。三次元計測装置２００を構成する汎用のハードウェアとしては、ＰＣ以外にＷＳ（ワークステーション）が挙げられる。これらコンピュータに三次元計測装置２００の機能を実現する動作プログラムをインストールし、後述する各機能部の機能をソフトウェア的に実現する。

なお、三次元計測装置２００の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部を組み合わせてもよい。

例えば、図示する各機能部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）に代表されるＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などの電子回路やプロセッサにより構成される。また、一部の機能を専用のハードウェアで構成し、他の一部を汎用のマイコンにより構成することも可能である。

また、三次元計測装置２００の機能をサーバで実行し、該サーバにインターネットを介して接続したＰＣ、タブレット、スマートフォン等を操作インターフェース端末として利用する形態も可能である。

三次元計測装置２００は、画像データ受付部２１０、カメラ位置選択部２２０、ステレオ画像選択部２２１、ターゲット検出部２４０、外部標定要素算出部２４５、背面除去部２４７、特徴点抽出部２５０、周辺マスク作成用カメラ位置選択部２５１、周辺マスク作成用ステレオ画像取得部２５２、周辺マスク作成部２５３、対応点特定部２６０、三次元座標算出部２７０、三次元モデル作成部２８０、記憶部２９０、回転制御部２９５、撮影タイミング制御部２９６、バンドル調整計算部２９７を備える。また、三次元計測装置２００は、外部の機器との間でデータのやり取りを行うインターフェース機能、操作者による操作を受け付けるユーザインターフェース機能を有する。これらは、利用するＰＣのインターフェースを用いている。

画像データ受付部２１０は、カメラ１３１〜１３３が撮影した画像のデータ（画像データ）を受け付け、それを三次元計測装置１００の内部に取り込む。

カメラ位置選択部２２０は、交会法により計算されるカメラ位置の候補を選択する。カメラ位置の選択時は、交会法によるカメラ位置の計算前の状態であり、正確なカメラ位置の座標は不明である。しかしながら、回転台１１２の回転制御とカメラ１３１〜１３３の撮影タイミングの制御の内容から、回転台１１２に対するカメラ１３１〜１３３の大凡の位置が特定でき、またそこで撮影された画像は選択できる。この処理がカメラ位置選択部２２０で行われる。

例えば、回転台１１２の回転位置は、ロータリーエンコーダ―等により検出されるので、時間軸上における回転台１１２の回転位置を知ることができる。この情報と撮影時刻のデータとから、撮影時の回転台１１２に対するカメラ位置を知ることができる。例えば、図１１に例示するように計測対象物（回転台）を囲む４箇所のカメラ位置(1),(9),(17),(25)を選択する。ただし、このカメラ位置は概略の位置であり、その精度は三次元写真測量に利用できるレベルにはない。

ステレオ画像選択部２２１は、異なる視点から重複する場所を撮影した２枚以上の画像をステレオ画像として選択する。例えば、図１１（Ｂ）の(1)と(5)の位置から回転台１１２および計測対象物である植物１２０を撮影した画像がステレオ画像として選択される。ステレオ画像は、基本２枚一組であるが、３枚以上を１組としてステレオ画像を構成することもできる。なお、画像には、少なくとも回転台１１２、計測対象物である植物１２０およびランダムドット柱１２１〜１２３の少なくとも１本が写っている必要がある。

ターゲット検出部２４０は、カメラ１３１〜１３３が撮影した画像に写ったターゲット１１３を検出する。予めターゲット１１３の画像は取得されており、それをリファレンスとして撮影画像中からターゲット１１３の抽出が行なわれる。ターゲット１１３は識別でき、また回転台１１２における位置は既知なので、ターゲット検出部２４０により、複数あるターゲット１１３それぞれの位置が検出される。

外部標定要素算出部２４５は、撮影画像中の特徴点（特徴点抽出部２５０が抽出した特徴点）を利用して、図６のカメラ１３１〜１３３の外部標定要素（位置と姿勢）を後方交会法により算出する。図８（Ａ）には、後方交会法の原理が示されている。後方交会法とは、未知点から３つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、ＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｍｅｔｈｏｄ）が挙げられる。交会法については、基礎測量学（電気書院：２０１０／４発行）ｐ １８２，ｐ１８４に記載されている。また、特開２０１３−１８６８１６号公報には交会法に関して具体的な計算方法の例が示されている。

以下、具体的な計算の一例を説明する。ここでは、回転台１１２を回転させ、９０°回転する前と後の異なる２つのタイミングでカメラ１３２による回転台１１２の撮影を行うとする。９０°の回転の制御は、回転制御部２９５で行われ、撮影タイミングの制御は、撮影タイミング制御部２９６で行われる。なお、この例では、定速で回転を継続し、上方から見て９０°異なる角度位置で撮影が行われるように、回転台１１２の回転とカメラ１３２の撮影のタイミングが制御される。

この場合、回転台１１２に固定した座標系で考えると、図１１の位置(1)と(9)から撮影した撮影画像が得られる。この２枚の撮影画像をステレオ画像とし、そこからの特徴点の抽出、抽出した特徴点の当該ステレオ画像間でのマッチング（対応関係の特定）を行う。特徴点の抽出は、特徴点抽出部２５０で行われ、対応点の特定は対応点特定部２６０で行われる。

ステレオ画像間での特徴点の対応関係を特定したら、図８（Ａ）の後方交会法を用いて当該ステレオ画像を撮影したカメラ位置を算出する。ここでカメラ位置は、回転台１１２の回転中心を原点とし、回転台１１２に固定されたローカル座標系で記述される。

例えば、以下のような方法により、図１１のカメラ位置(1)と(9)におけるカメラの外部標定要素（姿勢と位置）が求められる。まず、回転台１１２の上面は平面であり、そこから取得される特徴点は当該平面上に位置している。また、ランダムドット柱１２１〜１２３表面のランダムドットは鉛直面上に分布している。この拘束条件から、相互標定により、相対三次元モデルにおけるカメラ位置(1)と(9)における位置と姿勢が求まる。

例えば、ステレオ画像で対応するランダムドット柱１２１〜１２３のドットから得た特徴点の中から、図８（Ａ）のＰ_１，Ｐ_２，Ｐ_３を選択する。ここで、Ｐ_１，Ｐ_２，Ｐ_３は鉛直面上に分布するという拘束条件が課せられる。そして、Ｐ_１，Ｐ_２，Ｐ_３の画面中における位置をｐ_１，ｐ_２，ｐ_３とした場合に、Ｐ_１とｐ_１、Ｐ_２とｐ_２、Ｐ_３とｐ_３を結ぶ３つの方向線を設定する。この場合、この３本の方向線の交点Ｏが当該画像を撮影したカメラ１３２の位置（投影中心）となる。また、点Ｏと画面の中心を結ぶ方向線の延長方向がカメラ１３２の光軸方向となり、カメラ１３２の向き（姿勢）が求まる。

この段階でＰ_１，Ｐ_２，Ｐ_３の絶対位置関係は未知なので、この場合における図８（Ａ）の三次元モデルは相対三次元モデルとなる。この相対三次元モデルを得る処理が相互標定である。

ここで、Ｐ_１とＰ_２がランダムドット柱１２１の上辺の端点であれば、回転台１１２に固定されたローカル座標系におけるそれら端点の座標は既知であるので、上記相対三次元モデルにスケールが与えられる。こうして絶対標定が行なわれ、当該座標系におけるカメラの外部標定要素が判明する。この方法において、複数あるターゲット１１３の位置情報を併用することもできる。

また、３つ以上のターゲット１１３の位置情報から各カメラ位置におけるカメラの外部標定要素を求めることもできる。例えば、図１１の(1)位置から３つのターゲット１１３が見えているとする。この場合、Ｐ_１，Ｐ_２，Ｐ_３をこれら３つのターゲット１１３の位置とすると、Ｐ_１，Ｐ_２，Ｐ_３の位置は既知なので、点Ｏの座標が求まる。また、点Ｏと画面の中心を結ぶ方向からカメラの姿勢が判明する。こうして、３つのターゲット１１３が見えている(1)の位置におけるカメラの外部標定要素が判る。

また、カメラ位置が判れば、図８（Ｂ）の前方交会法により、多数存在する位置が既知でない特徴点の当該座標系（回転台１１２に固定されたローカル座標系）における位置も計算できる。そして、多数の特徴点の位置が判れば、それらの位置に基づく図８（Ａ）の後方交会法によるカメラ位置の算出も行われる。

実際には、上述した一連の方法によるカメラ１３１〜１３３の外部標定要素の算出のための数式は、多数の特徴点の座標も含めた多数の行列要素を有した計算式となる。この計算式において、未知数が収束するまで繰り返し計算が行なわれることで、カメラ１３１〜１３３の外部標定要素が求められる。また、適切なタイミングでバンドル調整計算部２９７によるバンドル調整計算が行なわれ、誤差の最小化が行なわれる。

背面除去部２４７は、撮影した画像中から被計測対象となる背面を除去する。この背面の除去は、色の差を利用して行われる。この技術については、特開２０１８−１９７６８５号公報に記載されている。

特徴点抽出部２５０は、カメラ１３１〜１３３が撮影した画像の中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分、更には周囲と色彩や明度が異なっている部分等が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。

周辺マスク作成用カメラ位置選択部２５１は、周辺マスクの作成に必要なカメラ視点（カメラ位置）を選択する。例えば、図２のカメラ３とカメラ４のカメラ位置の選択が周辺マスク作成用カメラ位置選択部２５１で行われる。周辺マスク作成用ステレオ画像取得部２５２は、周辺マスクの作成に必要なステレオ画像を取得する。例えば、図２のカメラ３が計測対象物３０を撮影した画像とカメラ４が計測対象物３０を撮影した画像の取得が周辺マスク作成用ステレオ画像取得部２５２で行われる。

周辺マスク作成部２５３は、図２〜図５に関連して説明した方法により、周辺マスクを作成する。対応点特定部２６０は、異なる視点から撮影した２枚以上の画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の画像中で抽出された特徴点と同じ特徴点を他方の画像中で特定する。この特徴点の対応関係を特定する処理は、例えば、Ｆｅａｔｕｒｅ−Ｂａｓｅｄ（特徴抽出）法としてのＳＩＦＴやＳＵＲＦ、Ｋａｚｅ、……や、Ａｒｅａ‐Ｂａｓｅｄ（面積相関）法としてのテンプレートマッチングを用いて行われる。テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。対応点の特定は、基本２枚の画像や２つの点群位置データを対象に行われるが、３枚以上の画像や３つ以上の点群位置データを対象として行うこともできる。

複数の画像間の対応関係を求める技術については、例えば特開２０１３−１７８６５６号公報や特開２０１４−３５７０２号公報に記載されている技術を利用することができる。なお、特開２０１３−１７８６５６号公報や特開２０１４−３５７０２号公報には、特徴点の抽出に係る技術、特徴点の三次元位置を求める技術についても記載されており、これらの技術は、本願明細書中で説明する技術に利用できる。

三次元座標算出部２７０は、特徴点抽出部１５０が画像中から抽出した特徴点の三次元位置を前方交会法により算出する。対象物を構成する多数の特徴点の三次元位置を算出することで、当該対象物を三次元座標が特定された点の集合として把握可能な点群位置データが得られる。更には、この点群位置データに基づき三次元モデルを作成することができる。

図８（Ｂ）には、前方交会法の原理が示されている。前方交会法では、異なる複数点（図８（Ｂ）の場合は、Ｏ_１とＯ_２の２点）から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める。

図８（Ｂ）には、異なるカメラ位置Ｏ_１とＯ_２から外部標定要素が既知のカメラを用いて重複する領域を撮影した場合が示されている。ここで、一方の画像における未知点Ｐの画面座標がｐ_１であり、他方の画像における未知点Ｐの画面座標がｐ_２である。カメラ位置Ｏ_１とＯ_２は既知であり、またそれらの位置におけるカメラの姿勢も既知であるので、Ｏ_１とｐ_１を結ぶ方向線とＯ_２とｐ_２を結ぶ方向線の交点Ｐの座標が計算できる。

三次元モデル作成部２８０は、多数の撮影画像を解析することで得られた三次元点群位置データに基づいて三次元モデルを作成する。例えば、得られた多数の特徴点の三次元座標からなる三次元点群位置データを用いてｔｉｎ（不整三角形網）を作成し、撮影対象物の三次元モデルの作成が行われる。点群位置データに基づいて三次元モデルを作成する技術に関しては、例えば、ＷＯ２０１１／０７０９２７号公報、特開２０１２−２３０５９４号公報、特開２０１４―３５７０２号公報に記載されている。利用する三次元座標系としては、例えば回転台１１２に固定され、回転台１１２の回転中心の位置を原点としたローカル座標が用いられる。

記憶部２９０は、三次元計測装置２００で利用される各種のデータ、動作プログラム、動作の結果得られた各種のデータ等を記憶する。記憶部２９０の他に外部の記憶装置（外付けハードディスク装置やデータ記憶用サーバ等）を用いることも可能である。

回転制御部２９５は、回転台１１２を回転させるモータ（図示せず）を駆動するモータ駆動装置１４０（図６参照）に制御信号を送り、モータの動作制御を行う。回転制御部２９５の機能により、回転台１１２の回転のタイミングや回転速度の設定が行われる。回転台１１２の回転は、ロータリーエンコーダにより検出され、この検出値に基づき回転制御部２９５は回転台１１２の回転を制御する。

撮影タイミング制御部２９６は、カメラ１３１，１３２，１３３に撮影タイミングを決める制御信号を送り、撮影動作の制御を行う。カメラ１３１，１３２，１３３は、撮影タイミング制御部２９６に制御されて、回転する回転台１１２およびその上に配置された植物１２０の撮影を行う。例えば、回転台１１２を５〜１０回転／分の回転速度で回転させ、その際にカメラ１３１，１３２，１３３のそれぞれは、０．１〜０．５秒間隔で繰り返し静止画像の撮影を行う。

４．処理の一例
以下、回転台１１２上の植物１２０の点群位置データを得、更にこの点群位置データに基づき植物１２０の三次元モデルを作成する処理の一例を説明する。以下の処理は、三次元計測システム１００を用いて行われる。以下に説明する処理を実行するプログラムは、記憶部２９０に記憶され、三次元計測装置２００によって実行される。当該プログラムは、適当な記憶媒体や記憶サーバ等に記憶され、そこから提供される形態も可能である。

（撮影）
まず、回転台１１２とランダムドット柱１２１〜１２３が写るようにカメラ１３１〜１３３の位置と姿勢を設定する。その上で撮影を行う。撮影は、計測対象の植物１２０を載せた回転台１１２を等速で回転させながら、特定の時間間隔でカメラ１３１〜１３３により行う。

撮影は、例えば、回転台１１２が等速で１回転する間に等時間間隔で７２枚の静止画像が撮影される条件、すなわち５°異なる角度から７２回撮影する条件で行う。この場合、３台のカメラ１３１〜１３３から７２枚×３＝２１６枚の画像が撮影される。この画像データは、三次元計測装置２００に送られ、画像データ受付部２１０で受け付けられる。画像データ受付部２１０で受け付けられた画像データは、記憶部２９０に記憶される。回転速度やシャッター間隔は、植物の種類や取得したい点群密度に対応させて任意に設定できる。

植物１２０を撮影した画像データを得たら、各撮影画像から背面を除去する処理を行う。この処理は、図７の背面除去部２４７で行われる。

こうして、鉛直上方から見て、周囲３６０°を等間隔に７２分割した方向からの３組（７２×３＝２１６枚）の撮影画像が得られる。以下、この２１６枚の画像を基に処理を行う。この２１６枚の画像は、計測対象物である植物１２０を囲む円周上の等角な７２カ所の位置（カメラ位置）（上下３段で計２１６枚）から植物１２０を撮影した画像となる。

（カメラ位置の特定）
まず、計測対象物を囲むカメラ位置を求める。カメラ位置の特定に係る処理は、カメラ１３１〜１３３のそれぞれにおいて行われる。まず、図１１に示す手法を用いて等角な角度位置にある複数箇所のカメラ位置を算出する。例えば、図１１には等角な４箇所のカメラ位置の選択を２回に別けて行う場合が示されている。

図１１に示す処理の手順の一例を示す。まず、図１１に示すような上方見て角度位置が９０°異なる４箇所のカメラ位置(1),(9),(17),(25)を選択する（ステップＳ１０１）。この段階でのカメラ位置の選択は、回転台１１２の回転位置とカメラ１３１〜１３３の撮影タイミングに基づき行われる。この処理は、図７のカメラ位置選択部２２０で行われる。なお、きりの良い位置にカメラ位置がない場合は、最も近い位置のカメラ位置が選択される。

次に、ステップＳ１０１で選択された位置から撮影した画像の中からステレオ画像を選択する（ステップＳ１０２）。この場合、カメラ位置で考えて、(1)と(9)、(9)と(17)、(17)と(25)というように、隣接するカメラ位置がステレオ画像のカメラ位置として選択される。この処理は、図７のステレオ画像選択部２２１で行われる。なお、この段階で背面の除去を行ってもよい。

次に、選択されたステレオ画像からの特徴点の抽出（ステップＳ１０３）を行う。この処理は、特徴点抽出部２５０で行われる。ここで抽出される特徴点には、植物１２０、回転台１１２およびランダムドット柱１２１〜１２３の特徴点が含まれる。次に、ステレオ画像間における特徴点の対応関係の特定（ステレオマッチング）を行う（ステップＳ１０４）。また、ステレオ画像間における共通に写っているターゲット１１３の検出を行う(ステップＳ１０５)。

次に、対応関係を特定した特徴点を用いた後方交会法により、ステップＳ１０１で選択したカメラと特徴点の相対位置関係を算出する相互標定を行う（Ｓ１０６）。またこの際、同時にステレオ画像に写った対応点とカメラ位置の相対位置関係が前方交会法を用いて特定される。

次に、ステップＳ１０６で求められた相対位置関係に特徴点から得られるスケールやターゲット１１３の位置から実寸法が与えられ、絶対標定が行なわれる（ステップＳ１０７）。この処理により、カメラの外部標定要素（位置と姿勢）とステップＳ１０４で対応関係が特定された特徴点の位置が求まる。最後にバンドル調整計算を行ない誤差の最小化を行う（ステップＳ１０８）。

Ｓ１０６〜Ｓ１０８の処理は、図７の外部標定要素算出部２４５、三次元座標算出部２７０およびバンドル調整計算部２９７で行なわれる。以上の処理により、図１１（Ａ）のカメラ位置(1),(9),(17),(25)が算出される。以上の処理は、カメラ１３１〜１３３のそれぞれにおいて行われる。

以上の処理を繰り返すことで、徐々にカメラ位置を増やしながらのカメラ位置の算出が全ての画像を対象として行われる。例えば、図１１（Ａ）に係るＳ１０１〜Ｓ１０６の処理が行なった後、図１１（Ｂ）に示すように、新たな４箇所のカメラ位置に関してＳ１０１〜１０６の処理を繰り返す。この場合、新たに求めるカメラ位置が図１１（Ｂ）に示す(5),(13),(21),(29)である。

この場合、図１１（Ａ）に示す(1),(9),(17),(25)のカメラ位置を初期値として、新たなカメラ位置(5),(13),(21),(29)が計算される。この際、初期値として扱われるカメラ位置(1),(9),(17),(25)は再計算される。

上記の処理では、既に求められているカメラ位置を初期値として、その時点で対象となっている全てのカメラ位置の計算を行う。この計算は、カメラ位置を増やしながら最終的に全ての画像が対象となるように、繰り返し行われる。こうして、全ての画像におけるカメラ位置を算出する。

（計測対象物の三次元計測）
全ての画像における回転台１１２に対するカメラ位置を求めたら、今度は隣接するカメラ位置でステレオ画像を構成し、当該ステレオ画像から抽出される特徴点の三次元座標位置を算出する。この際、図１１の処理で求めた粗な点群の位置データも利用される。図１０は、この処理のフローチャートの一例である。

処理が開始されると、隣接または近接する視点位置（カメラ位置）から植物１２０を撮影した２枚の画像をステレオ画像として選択する（ステップＳ２０１）。選択の候補となる画像は、カメラ１３１〜１３３が撮影した合計２１６枚の画像である。この処理は、ステレオ画像選択部２２１で行われる。選択する２枚の画像は、異なるカメラが撮影したものであってもよい。なお、重複した対象を撮影した３枚状以上の画像をステレオ画像として選択することもできる。

次に、ステップＳ２０１で選択したステレオ画像において、背面を除去する処理を行う（ステップＳ２０２）この処理は、図７の背面除去部２４７で行われる（ステップＳ２０２）。次に、背面を除去したステレオ画像からの特徴点の抽出を行う（ステップＳ２０３）。この処理は、図７の特徴点抽出部２５０で行われる。

次に、周辺マスクの作成に利用する画像を取得するためのカメラの位置を選択する（ステップＳ２０４）。この処理では、ステップＳ２０１で選択したステレオ画像を得たカメラ位置の両側から一組のカメラ位置を選択する。例えば、図２のカメラ１とカメラ２の画像がステップＳ２０１で選択された場合、その両サイドのカメラ３とカメラ４の位置がステップＳ２０４で選択される。

次に、ステップＳ２０４で選択したカメラ位置から撮影した画像を周辺マスク作成用ステレオ画像として取得する（ステップＳ２０５）。例えば、図２のカメラ３とカメラ４が撮影した計測対象物３０の画像がステップＳ２０５で取得される。

次に、図２〜図５に示す原理を利用して周辺マスクを作成する（ステップＳ２０６）。この際、背面の除去を行うことで得られる計測対象物の画像のエッジ部分の情報を利用して、図２〜図５に示す原理を利用した周辺マスクの作成を行う。例えば、図２には、周辺マスク１０が設定される例が示されている。

次に、ステップＳ２０３で抽出した特徴点のステレオ画像間での対応関係の特定を行う（ステップＳ２０７）。この処理は、図７の対応点特定部２６０で行われる。この処理では、ステップＳ２０６で作成した周辺マスクでマスクされる領域では対応点の特定が禁止される。つまり、ステップＳ２０６で作成した周辺マスクの領域では、対応点の特定は行わない。

例えば、図２には、周辺マスク１０が設定され、そこからのカメラ１とカメラ２のステレオ画像からの対応点の特定が禁止された例が示されている。この例によれば、周辺マスク１０を利用することで、図１の△点や□点で示される誤対応点の検出が防止される。

また、ステレオ画像中からのターゲット１１３の検出を行う（ステップＳ２０８）。この処理はターゲット検出部２４０で行われる。ターゲットの検出はステップＳ２０２〜Ｓ２０８の間で行えばよい。

次に、ステップＳ２０７でステレオ画像間での対応関係が特定された特徴点の三次元位置の算出を行う（ステップＳ２０９）。この際、図１１の処理で位置を特定した特徴点を初期値として用いる。この処理は、三次元座標算出部２７０で行われる。特徴点の三次元位置は、回転台１１２に固定された座標系での座標として算出される。この位置が特定された特徴点が三次元点群となり、植物１２０の点群位置データが得られる。

次に、ステップＳ２０１の前段階に戻り、ステップＳ２０１以下の処理が繰り返される。例えば、カメラＮ、カメラＮ＋１、カメラＮ＋２、カメラＮ＋３・・・・と並んでいる場合に、カメラＮとカメラＮ＋１の撮影画像をステレオ画像とした図１０の処理、カメラＮ＋１とカメラＮ＋２の撮影画像をステレオ画像とした図１０の処理、カメラＮ＋２とカメラＮ＋３の撮影画像をステレオ画像とした図１０の処理、・・・を全ての画像を対象に順次行う。

新たな組み合わせのステレオ画像が選択されると、その段階で未知の対応点（ステレオ画像を構成する画像の中で対応する未知な特徴点）が抽出され、その位置が算出される。この処理を繰り返すことで、利用する全ての画像から順次選択されたステレオ画像中で共通する特徴点の三次元位置の算出が行われる。こうして、三次元計測の対象である植物１２０を、三次元座標が判明した点の集合として捉えた点群位置データが得られる。

植物１２０の点群位置データ得たら、それに基づき植物１２０の三次元モデルを作成する。この処理は、既知の処理であるので説明は省略する。三次元モデルの作成については、例えば、国際公開番号ＷＯ２０１１/０７０９２７号公報、特開２０１２−２３０５９４号公報、特開２０１４−３５７０２号公報等に記載されている。

（むすび）
以上述べた実施形態では、異なる第１の視点（図２のカメラ２）および第２の視点（図２のカメラ１）から重複する撮影対象（図２の計測対象物３０）を撮影したステレオ画像を得る画像データ受付部２１０（図７参照）と、前記ステレオ画像において対応する特徴点を特定する対応点検出部２６０（図７参照）と、前記第１の視点（図２のカメラ２）の前記第２の視点（図２のカメラ１）から離れる側からの第１の補助視点（図２のカメラ４）の選択、および前記第１の視点（図２のカメラ２）の前記第２の視点（図２のカメラ１）の側からの第２の補助視点（図２のカメラ３）の選択を行う補助視点選択部（周辺マスク作成用カメラ位置選択部２５１）と、前記第１の補助視点（図２のカメラ４）から前記撮影対象を撮影した第１の補助画像（図２のカメラ４が撮影した画像）と前記第２の補助視点（図２のカメラ３）から前記撮影対象を撮影した第２の補助画像（図２のカメラ３が撮影した画像）とを取得する補助画像取得部（周辺マスク作成用ステレオ画像取得部２５２）と、前記第１の補助視点（図２のカメラ４）から見て前記撮影対象（計測対象物３０）の影となり、且つ、前記第２の補助視点（図２のカメラ３）から見て前記撮影対象（計測対象物３０）の影とならない領域をマスクする周辺マスク１０を作成する周辺マスク作成部２５３とを備え、前記周辺マスク１０でマスクされる領域における前記対応する特徴点の特定が制限される三次元計測装置２００が示されている。

三次元計測装置２００では、周辺マスクを用いることで、図２の△点や□点といったカメラ１とカメラ２の撮影画像から得られるステレオ画像間での誤対応点の検出が防止される。

（その他）
回転台１１２の回転を精密に制御し、撮影時に回転を停止し、静止させた状態とする態様も可能である。例えば撮影時に長い露光時間が必要な場合や、対象が振動により生じた揺れが収束するまでに、この手法を利用することができる。また、計測の対象は植物に限定されない。

計測対象を回転させずに固定し、計測対象に向けたカメラを円周上で移動させつつ撮影を行ってもよい。この場合、カメラが移動する円周の中心を基準にカメラの角度位置が把握される。また、計測対象とカメラの位置関係を相対的に固定してもよい。この場合、計測対象を中心とした円周上に多数のカメラを配置した状態とし、各カメラ位置からの撮影を行う。この場合、カメラが配置された円周の中心を基準に角度位置が把握される。

本発明は、図６の形態に限定されず、ステレオ画像を用いた三次元計測の技術に広く適用できる。

１０…周辺マスク、２０…背面、３０…計測対象物、４１…方向線、４２…方向線、１００…３Ｄ計測システム、１１１…土台、１１２…回転台、１１３…ターゲット、１２０…測定対象物である植物、１２１〜１２３…ランダムドット柱、１２４…鉢、１２５…２次元バーコード表示、１３１〜１３３…カメラ、２００…ＰＣを利用した３Ｄ計測処理装置。

Claims (6)

1. 異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得部と、
   前記ステレオ画像において対応する特徴点を特定する対応点特定部と、
   前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択部と、
   前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得部と、
   前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定部と
   を備え、
   前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測装置。
2. 前記第２の補助視点が前記第２の視点の前記第１の視点から離れる側から選択される請求項１に記載の画像を用いた三次元計測装置。
3. 前記マスク領域は、
   前記第１の補助視点と前記第１の補助視点から見た前記撮影対象の縁の部分とを結ぶ第１の方向線と、
   第２の補助視点と前記第２の補助視点から見た前記第１の補助視点からは死角となる前記撮影対象の縁の部分とを結ぶ第２の方向線と
   の交点の前記第１の視点から見た後方であって、前記第１の方向線と前記第２の方向線で囲まれる領域である請求項１または２に記載の画像を用いた三次元計測装置。
4. 前記マスク領域において、前記ステレオ画像における対応点の特定が禁止されている請求項１〜３のいずれか一項に記載の画像を用いた三次元計測装置。
5. 異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得ステップと、
   前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、
   前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、
   前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、
   前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップと
   を有し、
   前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測方法。
6. コンピュータに読み取らせて実行させるプログラムであって、
   コンピュータに
   異なる第１の視点および第２の視点から撮影対象を撮影したステレオ画像を得るステレオ画像取得ステップと、
   前記ステレオ画像において対応する特徴点を特定する対応点特定ステップと、
   前記第１の視点の前記第２の視点から離れる側からの第１の補助視点の選択、および前記第１の視点の前記第２の視点の側からの第２の補助視点の選択を行う補助視点選択ステップと、
   前記第１の補助視点から前記撮影対象を撮影した第１の補助画像と前記第２の補助視点から前記撮影対象を撮影した第２の補助画像とを取得する補助画像取得ステップと、
   前記第１の補助視点から見て前記撮影対象の影となり、且つ、前記第２の補助視点から見て前記撮影対象の影とならない領域をマスク領域として設定するマスク領域設定ステップと
   を実行させ、
   前記対応する特徴点の特定が前記マスク領域において制限される画像を用いた三次元計測用プログラム。

Images