JP2004037396A

JP2004037396A - Three-dimensional data acquiring apparatus

Info

Publication number: JP2004037396A
Application number: JP2002197898A
Authority: JP
Inventors: Ryosuke Shibazaki; 柴崎　亮介; Masafumi Nakagawa; 中川　雅史; Tomohito Noso; 野宗　智仁
Original assignee: Foundation for the Promotion of Industrial Science
Current assignee: Foundation for the Promotion of Industrial Science
Priority date: 2002-07-05
Filing date: 2002-07-05
Publication date: 2004-02-05
Anticipated expiration: 2022-07-05
Also published as: JP4247371B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a three-dimensional data acquiring apparatus for performing measurement, being easily carried, and suitably used for creating a three-dimensional model. <P>SOLUTION: A video camera 2 is capable of continuously picking up images by changing its location and attitude and acquiring image data on an image pickup area 4. A laser measuring device 3 for measuring the distance to a point of measurement 6 by laser 9 is rotatably mounted to the video camera 2 and is capable of scanning the area 4 with the laser 9 at predetermined intervals. The distance L between the laser measuring device 3 and the point of measurement 6 is acquired as distance data, and the angle of the measuring device 3 to the video camera 2 is acquired as angle data. Characteristic points are set on the basis of them. By computing changes in the relative location and attitude of the video camera 2 at image pickup and converting each image data into image data viewed from a set reference location, it is possible to create a three-dimensional point cloud model which expresses an object of image pickup by point expression. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物を点表現で表した三次元点群モデルを作製可能な三次元データ取得装置に関するものである。
【０００２】
【従来の技術】
従来、対象物を点表現で表した三次元点群モデルを作製する三次元データ取得装置が開発されている。この三次元データ取得装置としては、対象物の距離と角度を測定できるトータルステーションに、レーザーによる距離測定手段を組み付けた固定式のものが知られている。これによれば、対象物の距離と角度を同時に測定できるほか、その測定結果を自動的に記録することが可能である。また、平面的に対象物を高速に走査できるレーザースキャナを３脚の上に設置したシステムもある。これも対象物の距離と角度を同時に測定できる。さらに、簡易なものとしては、ビデオカメラだけを利用して対象物の画像を移動しながら撮像し、画像データから３次元点群データを算出するシステムがある。しかし、精度が不安定であるため実用的ではなく、さらに精度を高める工夫としてジャイロを装着したシステムもある。これはジャイロにより３次元データ取得装置の位置や姿勢変化を検出して、３次元点群モデルを作成するものである。
【０００３】
【発明が解決しようとする課題】
しかし、このような三次元データ取得装置はトータルステーションや大型の平面走査型レーザースキャナ、あるいは高精度ジャイロを備えているため大型化し、前記取得装置の運搬に手間や費用がかかり、組立にも手間がかかるという問題があった。特に、測定対象が遠方（例えば離島など）にある場合には、その問題が顕著であった。
【０００４】
また、測定対象が他の物や測定対象自身の形状により一部掩蔽されている場合には、取得装置の位置や姿勢を変えて測定を行う必要があるが、測定を行うには前記取得装置を地面に三脚等で固定する必要があったため、足場などの条件により取得装置の設置が制限されてしまい、三次元点群モデルを作製するのに十分なデータを得られないおそれがあるという問題があった。
本発明は、このような事情に鑑みてなされたもので、測定や運搬を容易に行うことができ、三次元モデルを作製するのに好適に用いることができる三次元データ取得装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載した発明は、位置や姿勢を変化させて連続的に撮像可能とし、撮像対象となる撮像エリアの画像データを取得可能な撮像手段に、レーザーにより測定点までの距離を測定する距離測定手段を回動可能に組み付けて、前記撮像エリアに所定間隔でレーザーを走査可能とし、前記距離測定手段と測定点との距離を距離データとして取得するとともに、前記距離測定手段の撮像手段に対する角度を角度データとして取得し、前記撮像手段の位置や角度を変えて撮像された複数の画像データから、撮像エリアの少なくとも一部が共通している画像データの組を選定し、この組を構成する各画像データにおいて、距離データおよび角度データが取得されている部位を含むように、共通の特徴点を設定し、前記共通の特徴点の各画像上の位置データから、前記組を構成する画像データを撮像した撮像手段の相対的位置姿勢変化を見いだして、同時に、特徴点の距離データおよび角度データから撮像手段の相対的位置姿勢変化の縮尺を算出して、設定された基準位置からみた画像データに各画像データおよび測定点データを変換することで、前記撮像対象を点表現で表した三次元点群モデルを作製可能としたことを特徴とする三次元データ取得装置である。
【０００６】
この発明によれば、前記撮像手段に前記距離測定手段を組み付けることで、取得された画像データ、距離データおよび角度データから撮像手段の相対的位置変化を算出しているため、撮像対象の三次元点群モデルを作製することができる。これにより、前記取得装置にトータルステーションや大型の平面走査型レーザースキャナが不要となるため、取得装置のコンパクト化を図ることができ携帯に適したものとすることができる。したがって、取得装置の設置に適した足場でなくても撮像を行うことが可能となり、測定や運搬の手間を大きく低減することができる。
【０００７】
請求項２に記載した発明は、請求項１に記載したものであって、前記撮像手段がビデオカメラであることを特徴とする三次元データ取得装置である。
この発明によれば、レーザーの発振周期に追従させて画像データを取得することができ、また、ビデオカメラにより取得した画像データを用いてテクスチャ情報をも取得することができるため、前記取得装置を大型化することなく、前記三次元点群モデルにテクスチャ情報を合成することができ、利便性を高めることができる。
【０００８】
請求項３に記載した発明は、請求項１または請求項２に記載したものであって、前記組を構成する各画像データのうち、一の画像データにおいて、前記相対的位置変化の算出に用いた特徴点以外の特徴点を含むエリアを指定エリアとし、この指定エリアを前記三次元点群モデルに投影して投影エリアとするとともに、この投影エリアを他の画像データに対応させて探索エリアとし、該探索エリア内にて特徴点を探索し、特徴点の三次元座標を算出することを特徴とする三次元データ取得装置である。
【０００９】
この発明によれば、特徴点の探索を、画像データのみならず距離データを用いて行うため、探索精度を高めることができるとともに、探索された特徴点に基づいて三次元点群モデルを修正することができ、三次元点群モデルの精度を高めることができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態における三次元データ取得装置を図面と共に説明する。
図１は本発明の実施の形態における三次元データ取得装置（以下、適宜「取得装置」という）１の概略構成図である。同図に示したように、前記取得装置１は、撮像手段であるビデオカメラ２にレーザー距離測定器３を回動可能に組み付けて一体化した構造となっている。
【００１１】
前記ビデオカメラ２は、位置や姿勢を変化させて連続的に撮像可能（例えば一秒間に３０フレーム程度）であり、撮像対象となる撮像エリア４を画像データとして取得することが可能である。また、前記レーザー距離測定器３は、前記ビデオカメラ２に回動可能に取り付けられ、前記撮像エリア４内の測定点６の距離を距離データとして、また測定点６、６間の角度を角度データとして取得することが可能である。
【００１２】
このようにビデオカメラ２とレーザー距離測定器３とを用いることにより、撮像対象１１の画像データ５と、撮像対象１１までの距離データ７とを同時に取得することができる。本実施の形態においては、撮像手段として連続的に撮像可能なビデオカメラ２を用いているため、レーザー９の発振周期（例えば１０Ｈｚ）に追従させて画像データ５を取得することができる。また、詳細を後述するように、前記画像データ５からテクスチャ情報を取得することができる。
【００１３】
図２は図１に示したビデオカメラ２による撮像工程を示した説明図である。図２に示したように、ビデオカメラ２の移動経路１２が略直線状となるように移動させながら連続的に撮像エリア４を撮像して画像データ５を取得している。本実施の形態においては、ビデオカメラ２の移動速度を、連続して撮像される撮像エリア４（例えば４Ａ、４Ｂ）の少なくとも一部が重なるように調整している。
【００１４】
図３は図１に示したレーザー距離測定器３による距離測定工程を示した説明図である。レーザー距離測定器３は前記ビデオカメラ２と一体的に移動するとともに、ビデオカメラ２に対して上下方向に回動可能に設けられている。このため、前記撮像エリア４を縦断するようにレーザー９を走査させて、これらの測定点６の距離を測定し、この測定した距離のデータを距離データとして取得できるようにしている。また、図３においては省略しているが、前記レーザー距離測定器３は各撮像エリア４（４Ａ、４Ｂ、、）において幅方向（矢印１２に沿う方向）に所定時間間隔ずらして略扇形（図３参照）に走査することができるようにしている。これにより、前記連続して撮像される２つの撮像エリア４同士が重なる共通エリア８内において、距離データ７が取得される測定点６を設けることが可能となる。この２つの撮像エリア４において距離データ７が取得された測定点６を特徴点１５とする（これについては後述する）。
【００１５】
図４は図３に示したレーザー距離測定器３の距離測定工程のより詳細な説明図である。図４（ａ）はレーザー距離測定器３を用いて、測定点６までの距離Ｌを取得する工程を示した説明図である。また、図４（ｂ）は基準点Ｏを原点とした三次元座標系ｘｙｚであり、図４（ｃ）はこの三次元座標系ｘｙｚにおけるレーザー距離測定器３の三次元座標（Ｘ０、Ｙ０、Ｚ０）と対象点６の三次元座標（Ｘ、Ｙ、Ｚ）、レーザー距離測定器３の向きである方向ベクトル（α、β、γ）を示している。撮像対象１１を構成する各点の基準点Ｏからの三次元座標を求めることができれば、三次元点群モデル１０を作製することができる。以下に三次元点群モデル１０の作製工程について説明する。
【００１６】
図５は図１に示した三次元データ取得装置１による三次元点群モデル１０の作製工程を示した全体説明図である。まず、三次元点群モデル１０を作製するのに必要なデータの取得を行う（ステップＳ１）。
【００１７】
より具体的には、以下のように行う。図６は図１に示した三次元データ取得装置１による三次元データ取得工程を示す説明図である。図７は図６に示した三次元データ取得工程のより詳細な説明図である。これらの図に示したように、取得装置１は、撮影対象１１に対して略直線状（緩やかな曲線状）に移動していく。
【００１８】
このとき、前記ビデオカメラ２により連続的に画像データ５を取得する（ステップＳ３）とともにレーザー距離測定器３により距離データ７を取得していく（ステップＳ２）。また、連続する画像データ５は撮像対象１１が入るように移動させるとともに撮像エリア４に共通エリア８を含むように移動させていく。これらの距離データ７および画像データ５から、連続して撮像された画像データ（すなわち共通エリア８を含んでいる画像データ）５を一組（３つ）ずつ選定する。
【００１９】
本実施の形態における三次元データ取得装置１は、従来の設置型の三次元データ取得装置とは異なり、移動しながら撮像を行うことができる。このため、三次元点群モデル１０を作製するには、三次元データ取得装置１の移動経路１２のデータ、つまり平行移動と姿勢角度変化のデータが必要となる。この移動経路１２のデータを画像データ５を基に空間後方解を利用して算出する。そして、連続して撮像された画像データ５から、共通エリア８を含んだ隣接する３枚一組の画像データ５を取り出し、各組において上述した特徴点１５を用いて相互標定を行う。これらの画像データ５に含まれる３枚の画像から３つのペアを生成できるが、その３つのペア全てに対して相互標定を行うことにより、隣接する３枚の画像をそれぞれ撮像した時点でのビデオカメラ２の相対的な位置姿勢変化を算出するのである（ステップＳ４）。
【００２０】
相互標定とは、ある同一の地上点に対応するそれぞれの両像上の点において、その光束が交会するという射影幾何学の原理を用いるものである。この２枚の画像データ５の回転パラメータと移動パラメータを導く、求められる外部標定要素を三次元データ取得装置１の位置姿勢変化とするのである。
【００２１】
相互標定を行うにあたっては、２枚の画像データ５上において対応する特徴点１５を抽出する必要があるが、本実施の形態においては、ステレオマッチング法を用いることにより、特徴点１５の抽出の自動化を図っている。
図８は基準座標系における特徴点１５の座標とこれを撮像した取得装置１の２つの座標系との関係を示した説明図である。図８において、選択される座標系とそれに対応する変量のとり方としては、左側のビデオカメラ２（取得装置１）の座標系を固定する方法を用いる。
【００２２】
図８において、モデル座標系をビデオカメラ２の左の座標系にとる。このとき、左側のビデオカメラ２の投影中心は（０、０、０）であり、ビデオカメラ２の傾きはない。従って、標定要素は右側のビデオカメラ２投影中心（Ｂｘ、Ｂｙ、Ｂｚ）およびビデオカメラ２の傾き（ω、φ、κ）である。Ｂｘを単位長にし、ｂｙ＝Ｂｙ／Ｂｘ、ｂｚ＝Ｂｚ／Ｂｘの変量をとれば、これに傾きの３つの変量を加えて５つの独立な変量となる。
【００２３】
ここで、共面条件式は次のようになる。
【数１】

ここで、（Ｘ１、Ｙ１、Ｚ１）（Ｘ２、Ｙ２、Ｚ２）は次の値をとる。
【数２】

標定要素の近似値をκ^０、φ^０、ω^０、ｂｙ^０、ｂｚ^０とし、その補正量をΔκ、Δφ、Δω、Δｂｙ、Δｂｚとすると、上記の共面条件式は次のように近似値のまわりにテーラー展開され、線形化される。
【数３】

上式の微係数および定数項は（Ｘ１、Ｙ１、Ｚ１）（Ｘ２、Ｙ２、Ｚ２）を用いて計算する。この計算により次の観測方程式が得られる。
【数４】

上式に最小二乗法をあてはめ、微小補正量Δκ、Δφ、Δω、Δｂｙ、Δｂｚを求め、次の式に近似値を補正し、収束するまで計算を繰り返す。
【数５】

以上で標定要素の解を求めることができる。
【００２４】
このようにして、隣接する３枚一組の画像をそれぞれ撮像した時点でのビデオカメラ２の相対的な回転、平行移動経路をそれぞれ算出し、算出した相対的な回転、平行移動経路を、それぞれの共通する時点でオーバーラップさせながら始点から順に連結していくことで、ビデオカメラ２の位置姿勢軌跡（移動経路１２および姿勢変化１３）を導くことができる（ステップＳ５）。なお、算定された測量器の一連の位置姿勢変化は、実際の計測対象物の大きさに対する縮尺係数が決まっていない。そのため、距離データも取得された特徴点について、レーザーにより取得された実距離データを測量器の位置姿勢変化から算定される特徴点までの距離で除する（割る）ことによって、縮尺係数を決定する（ステップＳ６）。そして、三次元点群モデル１０を作製する（ステップＳ７）。
【００２５】
ここで、前記連続した画像データ５における特徴点１５を用いて取得装置１の位置姿勢変化を導くには、取得装置１の移動経路１２は撮像対象１１に対し直線状または略扇型の曲線状であることが望まれる。移動経路１２が極端に変動すると、特徴点の座標も極端に変化するため、特徴点１５の軌跡を捉えることが困難となる。本実施の形態においては、上述したように、移動経路１２の角度変化が２０度以内の扇形（略直線状）になるように移動しており、これにより、特徴点１５の座標変化が緩やかになるようにしている。
【００２６】
また、上述したように、本実施の形態においては、撮像手段としてビデオカメラ２を用いているため、画像データ５からテクスチャ情報を取得して（ステップＳ８）、三次元点群モデル１０にテクスチャ情報を合成することができる。これにより、前記取得装置１を大型化することなく、前記三次元点群モデル１０にテクスチャ情報を合成することができ、利便性を高めることができる。
【００２７】
図１０〜図１３は実施の形態における相互標定による位置姿勢算出手法の精度の検証結果を示している。これらの図において、検証は、ビデオカメラ２の回転軸を固定し、平行移動のみさせながら記録した画像データ５を用いた。
このとき、ビデオカメラ２の回転パラメータの真値は（ω、φ、κ）＝（０．０^０、０．０^０、０．０^０）である。この真値に対して、本実施の形態で行った位置姿勢算出方法を実施例としてその精度を検証した。また、比較例としてビデオカメラ２に３軸姿勢センサジャイロを装着し、直接的に測量器の位置姿勢変化を検出した場合を検証した。なお、用いたジャイロ自体の精度は、ロール角及びピッチ角は±１．５×（計測角度）×１０％であり、ヨー角においては、（計測角度）×１０％＋（ドリフト毎秒２°以下）である。図１０はビデオカメラ２のロール角ωの精度を実施例と比較例とにおける検証結果を示し、図１１はピッチ角φの精度を実施例と比較例とにおける検証結果を示し、図１２はヨー角κの精度を実施例と比較例とにおける検証結果を示している。これらの図において、線Ａは比較例を示し、線Ｂは実施例を示し、線Ｃは真値を示している。
【００２８】
これらの図からわかるように、本実施例における位置姿勢変化の算出手法は比較例であるジャイロを用いた位置姿勢変化と同程度の位置姿勢算出が可能である。つまり、本実施例の画像データ５を用いた位置姿勢算出手法は、ジャイロのような位置姿勢センサを必要としない点で三次元データ取得装置１を軽量化し、携帯性を高めることができる。また、三次元点群モデル１０に合成するテクスチャデータを画像データ５から同時に取得できるため、利便性が増す。
【００２９】
また、上述の検証結果から、ビデオカメラ２のω角に誤差が出やすいことが示された。つまり、位置姿勢算出手法において、探索時間が長時間であったり、探索距離が長距離であったり、もしくは多くの連続画像を使う場合には、ビデオカメラ２のω角の誤差を最小限にすることが必要となる。これは、画像データ５上のどの点をステレオマッチングに使うか（すなわちどの点を特徴点１５として設定するか）に大きく影響される。
【００３０】
図９は実際の点を写真座標に表した時の関係を示した説明図である。図９に示したように、２枚の写真ｌ１、ｌ２において、奥の点の写真座標Ｐ１、Ｐ’１はあまり変化しないが、手前の点の写真座標Ｐ２、Ｐ’２は大きく変化することがわかる。したがって、この図からわかるように、ステレオマッチングに用いる点（特徴点１５）は、三次元座標上において、ビデオカメラ２の主点から奥行き方向に近い点と遠い点の両方を用いれば、ω角を精度よく算出することができる。また、ステレオマッチングに用いる点の分布は一様な平面上ではなく、なるべく奥行き方向に分散するように選ぶのがよい。この点の数としては一組の画像データ５において最小６つの点を設定すれば、ビデオカメラ２の位置姿勢変化を算出することができるが、精度を高めるために１２個以上の点を設定することが望ましい。
【００３１】
また、ステレオマッチングにより三次元点群モデル１０の形状を修正することができる（ステップＳ９）。これについて説明する。図１３は画像データ５のみを用いた特徴点１５の求める場合（比較例）を示した説明図である。図１３に示したように、この場合には、特徴点１５を求めるために、探索エリア１７を幅広く設定する必要がある。図１４（ａ）、図１４（ｂ）は比較例における特徴点１５の探索工程を示した説明図である。これらの図に示したように、画像データ５Ａ、５Ｂに共通する特徴点１５を含むエリア（指定エリア）１４を画像データ５Ａにおいて指定しても、画像データ５Ｂにおいて指定エリア１４を探索するためには、探索エリア１７を幅広く設定する必要があり、探索時間がかかってしまう。また、誤差も大きくなることを避けられない。
【００３２】
これに対し、画像データ５のみならず、レーザー９による距離データ７を用いることによって、特徴点１５の探索を容易にすることができるとともに精度を高めることができる。これについて図１５、図１４（ｃ）、図１４（ｄ）を用いて説明する。図１５は作製した三次元点群モデル１０とレーザー９の距離データとの関係を示した説明図である。図１４（ｃ）、図１４（ｄ）は実施例における特徴点１５の探索工程を示した説明図である。すなわち、図１４（ｄ）に示したように、画像データ５Ａにおいて、特徴点１５を探索し、その周辺のエリアを指定エリア１４として指定するとともに、三次元点群モデル１０において前記指定エリア１４を投影させた投影エリア１８を求める。そして、画像データ５Ｂにおいて、この投影エリア１８に対応するエリアを探索エリア１６とすることにより、比較例における探索エリア１７を探索する場合に比べて容易に探索を行うことができるとともに探索精度を高めることができる。また、このようにして探索した特徴点１５を三次元点群モデル１０に反映させることにより、三次元点群モデル１０の精度をさらに高めることができる。
【００３３】
図１６は実施例（レーザー併用のマッチング）と比較例（画像のみでのマッチング）におけるマッチング成功率と計算時間を示した説明図である。この図に示したように、マッチングの成功率を３０％も高めることができるとともに、計算時間を略半分に低減することができる。
【００３４】
また、取得装置１の移動時に、時間とともに移動した様子を印にし、ビデオカメラ２に計測される時間とその印を利用してフレーム間のＸ軸方向の移動距離を求めることにより、三次元点群モデル１０の精度を高めることができる。また、一度に長距離を測定するのではなく、細かく移動距離や測定距離を分割して、間に中継点を作ることによって、始点と中継点との距離でそれぞれセットごとにモデル１０を幾何補正することによっても三次元点群モデル１０の精度を高めることができる。
【００３５】
以上説明したように、本実施の形態における三次元データ取得装置１においては、大型のトータルステーションやジャイロを用いずに構成しているため、小型化や軽量化を図ることができ、携帯に適した構造にすることができる。よって、取得装置１の設置に適した足場でなくても撮像を行うことが可能となり、測定や運搬の手間を大きく低減することができる。
【００３６】
なお、上述した実施の形態においては、撮像手段としてビデオカメラを用いた場合について説明したが、本発明はこれに限らず、例えばデジタルカメラを用いて行ってもよい。
【００３７】
【発明の効果】
以上説明したように、請求項１に記載した発明によれば、取得装置のコンパクト化を図ることができ携帯に適したものとすることができる。したがって、取得装置の設置に適した足場でなくても撮像を行うことが可能となり、測定や運搬の手間を大きく低減することができる。
【００３８】
請求項２に記載した発明によれば、レーザーの発振周期に追従させて画像データを取得することができるとともに、前記取得装置を大型化することなく、前記三次元点群モデルにテクスチャ情報を合成することができ、利便性を高めることができる。
【００３９】
請求項３に記載した発明によれば、特徴点の探索精度を高めることができるとともに、探索された特徴点に基づいて精度を三次元点群モデルを修正することができ、三次元点群モデルの精度を高めることができる。
【図面の簡単な説明】
【図１】図１は本発明の実施の形態における三次元データ取得装置の概略説明図である。
【図２】図１に示したビデオカメラによる撮像工程を示した説明図である。
【図３】図１に示したレーザー距離測定器による距離測定工程を示した説明図である。
【図４】図３に示したレーザー距離測定器の距離測定工程のより詳細な説明図である。
【図５】図１に示した三次元データ取得装置による三次元モデル作製工程を示した全体説明図である。
【図６】図１に示した三次元データ取得装置による三次元データ取得工程を示す説明図である。
【図７】図６に示した三次元データ取得工程のより詳細な説明図である。
【図８】基準座標系における特徴点の座標とこれを撮像した取得装置の２つの座標系との関係を示した説明図である。
【図９】実際の点を写真座標に表した時の関係を示した説明図である。
【図１０】角度ωの精度を実施例と比較例とで比較した検証結果を示した図である。
【図１１】角度φの精度を実施例と比較例とで比較した検証結果を示した図である。
【図１２】角度κの精度を実施例と比較例とで比較した検証結果を示した図である。
【図１３】比較例における特徴点の求め方を示した説明図である。
【図１４】特徴点の探索範囲を実施例と比較例とで比較した説明図である。
【図１５】実施例における特徴点の求め方を示した説明図である。
【図１６】実施例と比較例におけるマッチング成功率と計算時間を示した説明図である。
【符号の説明】
１　三次元データ取得装置
２　ビデオカメラ
３　レーザー距離測定器
４　撮像エリア
５　画像データ
６　測定点
７　距離データ
８　共通エリア
９　レーザー
１０　三次元点群モデル
１１　撮像対象
１２　移動経路
１３　姿勢変化
１４　指定エリア
１５　特徴点
１６、１７　探索エリア
１８　投影エリア[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a three-dimensional data acquisition device capable of producing a three-dimensional point cloud model representing an object in a point representation.
[0002]
[Prior art]
Conventionally, a three-dimensional data acquisition device for producing a three-dimensional point cloud model representing an object in a point expression has been developed. As this three-dimensional data acquisition device, there is known a fixed type in which a total distance station capable of measuring a distance and an angle of an object is combined with a distance measuring means using a laser. According to this, the distance and the angle of the object can be measured simultaneously, and the measurement result can be automatically recorded. There is also a system in which a laser scanner that can scan an object at high speed in a plane is installed on three legs. This also allows the distance and angle of the object to be measured simultaneously. Further, as a simple system, there is a system in which an image of an object is captured while moving using only a video camera, and three-dimensional point cloud data is calculated from the image data. However, it is not practical because the accuracy is unstable, and there is a system equipped with a gyro as a device for further improving the accuracy. This is to generate a three-dimensional point group model by detecting a change in the position or posture of the three-dimensional data acquisition device using a gyro.
[0003]
[Problems to be solved by the invention]
However, since such a three-dimensional data acquisition device is equipped with a total station, a large flat-scanning laser scanner, or a high-precision gyro, it is large-sized, and it takes time and money to transport the acquisition device, and also takes time to assemble. There was such a problem. In particular, when the object to be measured is at a distant place (for example, at a remote island), the problem is remarkable.
[0004]
Further, when the measurement target is partially obscured by another object or the shape of the measurement target itself, it is necessary to change the position and orientation of the acquisition device and perform measurement. Because it was necessary to fix the camera to the ground with a tripod, etc., the installation of the acquisition device was limited by conditions such as scaffolding, and there was a possibility that sufficient data could not be obtained to create a three-dimensional point cloud model. was there.
The present invention has been made in view of such circumstances, and provides a three-dimensional data acquisition apparatus that can easily perform measurement and transportation and can be suitably used for producing a three-dimensional model. With the goal.
[0005]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention according to claim 1 enables a continuous imaging by changing a position or a posture, and a laser to an imaging unit capable of acquiring image data of an imaging area to be imaged. A distance measuring means for measuring the distance to the measurement point is rotatably assembled, laser can be scanned at predetermined intervals in the imaging area, and the distance between the distance measuring means and the measurement point is obtained as distance data, A set of image data in which at least a part of an imaging area is common from a plurality of image data obtained by changing an angle of the distance measurement unit with respect to an imaging unit as angle data and changing a position and an angle of the imaging unit. Is selected, and a common feature point is set so as to include a part where distance data and angle data have been acquired in each image data constituting the set. From the position data of each feature point on each image, a relative position and orientation change of the imaging unit that has captured the image data constituting the set is found, and at the same time, the relative position of the imaging unit is calculated from the distance data and the angle data of the feature points. By calculating the scale of the change of the target position and posture, and converting each image data and measurement point data into image data viewed from a set reference position, a three-dimensional point cloud model representing the imaging target in a point representation is created. A three-dimensional data acquisition device characterized in that it is made possible.
[0006]
According to this invention, since the relative position change of the imaging unit is calculated from the acquired image data, distance data, and angle data by assembling the distance measurement unit with the imaging unit, the three-dimensional A point cloud model can be created. This eliminates the need for a total station or a large flat-scanning laser scanner in the acquisition device, so that the acquisition device can be made more compact and suitable for carrying. Therefore, it is possible to perform imaging without using a scaffold suitable for installing the acquisition device, and it is possible to greatly reduce labor for measurement and transportation.
[0007]
According to a second aspect of the present invention, there is provided the three-dimensional data acquisition apparatus according to the first aspect, wherein the imaging unit is a video camera.
According to the present invention, image data can be obtained by following the oscillation cycle of the laser, and texture information can also be obtained using image data obtained by a video camera. Texture information can be combined with the three-dimensional point cloud model without increasing the size, and convenience can be improved.
[0008]
The invention described in claim 3 is the invention described in

claim

1 or 2, wherein one of the image data constituting the set is used for calculating the relative position change in one image data. An area including a feature point other than the specified feature point is defined as a designated area, and the designated area is projected onto the three-dimensional point cloud model to form a projection area, and the projection area is defined as a search area corresponding to other image data. A three-dimensional data acquisition apparatus for searching for a feature point in the search area and calculating three-dimensional coordinates of the feature point.
[0009]
According to the present invention, since the search for the feature point is performed using not only the image data but also the distance data, the search accuracy can be improved, and the three-dimensional point group model is corrected based on the searched feature point. And the accuracy of the three-dimensional point cloud model can be improved.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a three-dimensional data acquisition device according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram of a three-dimensional data acquisition device (hereinafter, appropriately referred to as an “acquisition device”) 1 according to an embodiment of the present invention. As shown in the figure, the acquisition device 1 has a structure in which a laser distance measuring device 3 is rotatably mounted on a video camera 2 as an image pickup means.
[0011]
The video camera 2 is capable of continuously capturing images while changing its position and orientation (for example, about 30 frames per second), and is capable of acquiring an image capturing area 4 to be captured as image data. The laser distance measuring device 3 is rotatably attached to the video camera 2, and the distance between the measuring points 6 in the imaging area 4 is used as distance data, and the angle between the

measuring points

6 and 6 is used as angle data. It is possible to get as.
[0012]
By using the video camera 2 and the laser distance measuring device 3 in this manner, the image data 5 of the imaging target 11 and the distance data 7 to the imaging target 11 can be obtained at the same time. In the present embodiment, since the video camera 2 capable of continuously capturing images is used as the image capturing means, the image data 5 can be obtained by following the oscillation cycle of the laser 9 (for example, 10 Hz). Further, as will be described in detail later, texture information can be obtained from the image data 5.
[0013]
FIG. 2 is an explanatory diagram showing an imaging step by the video camera 2 shown in FIG. As shown in FIG. 2, the image data 5 is obtained by continuously imaging the imaging area 4 while moving the moving path 12 of the video camera 2 so as to be substantially linear. In the present embodiment, the moving speed of the video camera 2 is adjusted so that at least a part of the imaging area 4 (for example, 4A, 4B) where images are continuously captured overlaps.
[0014]
FIG. 3 is an explanatory diagram showing a distance measuring process by the laser distance measuring device 3 shown in FIG. The laser distance measuring device 3 is provided so as to move integrally with the video camera 2 and to be rotatable up and down with respect to the video camera 2. For this reason, the laser 9 is scanned so as to traverse the imaging area 4 to measure the distance between these measurement points 6, and data of the measured distance can be obtained as distance data. Although not shown in FIG. 3, the laser distance measuring device 3 is substantially sector-shaped (FIG. 3) shifted in the width direction (direction along the arrow 12) in each imaging area 4 (4A, 4B,. 3). This makes it possible to provide a measurement point 6 from which distance data 7 is acquired in the common area 8 where the two imaging areas 4 that are continuously imaged overlap each other. The measurement point 6 at which the distance data 7 is obtained in the two imaging areas 4 is defined as a feature point 15 (this will be described later).
[0015]
FIG. 4 is a more detailed explanatory view of the distance measuring step of the laser distance measuring device 3 shown in FIG. FIG. 4A is an explanatory diagram showing a process of acquiring the distance L to the measurement point 6 using the laser distance measuring device 3. FIG. 4B is a three-dimensional coordinate system xyz with the reference point O as the origin, and FIG. 4C is a three-dimensional coordinate system (X0, Y0, Y0) of the laser distance measuring device 3 in the three-dimensional coordinate system xyz. Z0), the three-dimensional coordinates (X, Y, Z) of the target point 6 and the direction vector (α, β, γ) that is the direction of the laser distance measuring device 3 are shown. If the three-dimensional coordinates of each point constituting the imaging target 11 from the reference point O can be obtained, the three-dimensional point group model 10 can be manufactured. Hereinafter, a manufacturing process of the three-dimensional point cloud model 10 will be described.
[0016]
FIG. 5 is an overall explanatory diagram showing a production process of the three-dimensional point cloud model 10 by the three-dimensional data acquisition device 1 shown in FIG. First, data necessary for producing the three-dimensional point cloud model 10 is obtained (step S1).
[0017]
More specifically, it is performed as follows. FIG. 6 is an explanatory diagram showing a three-dimensional data acquisition step by the three-dimensional data acquisition device 1 shown in FIG. FIG. 7 is a more detailed explanatory diagram of the three-dimensional data acquisition step shown in FIG. As shown in these drawings, the acquisition device 1 moves substantially linearly (slowly curved) with respect to the imaging target 11.
[0018]
At this time, the image data 5 is continuously acquired by the video camera 2 (step S3), and the distance data 7 is acquired by the laser distance measuring device 3 (step S2). Further, the continuous image data 5 is moved so that the imaging target 11 is included, and is moved so that the imaging area 4 includes the common area 8. From the distance data 7 and the image data 5, image data 5 (that is, image data including the common area 8) 5 continuously imaged are selected one by one (three).
[0019]
The three-dimensional data acquisition device 1 according to the present embodiment can perform imaging while moving, unlike a conventional stationary three-dimensional data acquisition device. For this reason, in order to produce the three-dimensional point cloud model 10, data of the movement path 12 of the three-dimensional data acquisition device 1, that is, data of parallel movement and attitude angle change is required. The data of the movement route 12 is calculated based on the image data 5 by using a spatial backward solution. Then, a set of three sets of adjacent image data 5 including the common area 8 is extracted from the image data 5 continuously captured, and mutual orientation is performed using the above-described feature point 15 in each set. Although three pairs can be generated from the three images included in the image data 5, by performing mutual orientation on all three pairs, the video at the time when the three adjacent images are respectively captured is obtained. The relative position / posture change of the camera 2 is calculated (step S4).
[0020]
Mutual orientation uses the principle of projective geometry, in which the luminous flux intersects at a point on each of the two images corresponding to a certain ground point. The obtained external orientation element for deriving the rotation parameter and the movement parameter of the two pieces of image data 5 is the change in the position and orientation of the three-dimensional data acquisition device 1.
[0021]
In performing the mutual orientation, it is necessary to extract corresponding feature points 15 on the two pieces of image data 5. In the present embodiment, the stereo matching method is used to automate the extraction of the feature points 15. I am planning.
FIG. 8 is an explanatory diagram showing the relationship between the coordinates of the feature point 15 in the reference coordinate system and the two coordinate systems of the acquisition device 1 that has captured the image. In FIG. 8, a method of fixing the coordinate system of the video camera 2 (acquisition device 1) on the left side is used as a coordinate system to be selected and a variable corresponding thereto.
[0022]
In FIG. 8, the model coordinate system is set to the left coordinate system of the video camera 2. At this time, the projection center of the left video camera 2 is (0, 0, 0), and the video camera 2 does not tilt. Therefore, the orientation elements are the right video camera 2 projection center (Bx, By, Bz) and the inclination (ω, φ, κ) of the video camera 2. If Bx is set to the unit length and the variables of by = By / Bx and bz = Bz / Bx are taken, three variables of the slope are added to obtain five independent variables.
[0023]
Here, the coplanar conditional expression is as follows.
(Equation 1)

Here, (X1, Y1, Z1) (X2, Y2, Z2) take the following values.
(Equation 2)

Assuming that the approximate values of the orientation elements are κ ⁰ , φ ⁰ , ω ⁰ , by ⁰ , bz ⁰ and the correction amounts are Δκ, Δφ, Δω, Δby, Δbz, the above coplanar conditional expression is approximated as follows. It is tailored and linearized around the value.
[Equation 3]

The differential coefficients and constant terms in the above equation are calculated using (X1, Y1, Z1) (X2, Y2, Z2). By this calculation, the following observation equation is obtained.
(Equation 4)

The least squares method is applied to the above equation to obtain the small correction amounts Δκ, Δφ, Δω, Δby, and Δbz, the approximate values are corrected to the following equations, and the calculation is repeated until convergence.
(Equation 5)

Thus, the solution of the orientation element can be obtained.
[0024]
In this way, the relative rotation and parallel movement path of the video camera 2 at the time of capturing each set of three adjacent images are calculated, and the calculated relative rotation and parallel movement path are respectively calculated. The position and orientation trajectory (movement path 12 and posture change 13) of the video camera 2 can be derived by sequentially connecting from the start point while overlapping at the same point in time (step S5). In the calculated series of changes in the position and orientation of the surveying instrument, the scale factor for the actual size of the measurement target is not determined. Therefore, for a feature point for which distance data has also been acquired, the scale factor is determined by dividing (dividing) the actual distance data acquired by the laser by the distance to the feature point calculated from the change in the position and orientation of the surveying instrument. (Step S6). Then, a three-dimensional point cloud model 10 is created (step S7).
[0025]
Here, in order to guide the change in the position and orientation of the acquisition device 1 using the feature points 15 in the continuous image data 5, the moving path 12 of the acquisition device 1 has a linear or substantially fan-shaped curve with respect to the imaging target 11. It is desired that If the movement route 12 fluctuates extremely, the coordinates of the feature points also change extremely, making it difficult to capture the trajectory of the feature points 15. In the present embodiment, as described above, the movement path 12 is moved so that the angle change becomes a sector shape (substantially linear shape) within 20 degrees, whereby the coordinate change of the feature point 15 is moderate. I am trying to become.
[0026]
Also, as described above, in the present embodiment, since the video camera 2 is used as the imaging means, texture information is obtained from the image data 5 (step S8), and the texture information is stored in the three-dimensional point group model 10. Can be synthesized. Thereby, the texture information can be synthesized with the three-dimensional point cloud model 10 without increasing the size of the acquisition device 1, and the convenience can be improved.
[0027]
10 to 13 show verification results of the accuracy of the position and orientation calculation method based on mutual orientation in the embodiment. In these figures, the verification used the image data 5 recorded while fixing the rotation axis of the video camera 2 and performing only translation.
At this time, the true values of the rotation parameters of the video camera 2 are (ω, φ, κ) = (0.0 ⁰ , 0.0 ⁰ , 0.0 ⁰ ). The accuracy of this true value was verified using the position and orientation calculation method performed in the present embodiment as an example. As a comparative example, a case where a three-axis attitude sensor gyro was attached to the video camera 2 and a change in the position and attitude of the surveying instrument was directly detected was verified. The accuracy of the gyro used was as follows: roll angle and pitch angle were ± 1.5 × (measurement angle) × 10%, and yaw angle was (measurement angle) × 10% + (drift 2 ° or less per second or less) ). 10 shows the verification results of the roll angle ω of the video camera 2 in the embodiment and the comparative example, FIG. 11 shows the verification results of the pitch angle φ in the embodiment and the comparative example, and FIG. The results of verification of the accuracy of the angle κ in the example and the comparative example are shown. In these figures, line A shows a comparative example, line B shows an example, and line C shows a true value.
[0028]
As can be seen from these figures, the position and orientation change calculation method according to the present embodiment can calculate a position and orientation similar to the position and orientation change using a gyro as a comparative example. That is, the position and orientation calculation method using the image data 5 according to the present embodiment can reduce the weight of the three-dimensional data acquisition device 1 and improve portability in that a position and orientation sensor such as a gyro is not required. Further, since the texture data to be synthesized with the three-dimensional point cloud model 10 can be simultaneously obtained from the image data 5, the convenience is improved.
[0029]
Further, the above-described verification results show that an error easily occurs in the ω angle of the video camera 2. That is, in the position and orientation calculation method, when the search time is long, the search distance is long, or when many continuous images are used, the error of the ω angle of the video camera 2 is minimized. It is necessary. This is greatly affected by which point on the image data 5 is used for stereo matching (that is, which point is set as the feature point 15).
[0030]
FIG. 9 is an explanatory diagram showing a relationship when an actual point is represented by photographic coordinates. As shown in FIG. 9, in the two photographs l1 and l2, the photograph coordinates P1 and P'1 of the back point do not change much, but the photograph coordinates P2 and P'2 of the point in front change greatly. I understand. Therefore, as can be seen from this figure, the point (feature point 15) used for stereo matching can be obtained by using both a point close to and far from the principal point in the depth direction from the principal point of the video camera 2 on the three-dimensional coordinates. Can be accurately calculated. The distribution of points used for stereo matching is preferably selected not to be distributed on a uniform plane but to be distributed in the depth direction as much as possible. As for the number of points, if a minimum of six points are set in one set of image data 5, the change in the position and orientation of the video camera 2 can be calculated. However, in order to increase the accuracy, 12 or more points are set. It is desirable.
[0031]
Further, the shape of the three-dimensional point group model 10 can be corrected by stereo matching (step S9). This will be described. FIG. 13 is an explanatory diagram showing a case where a feature point 15 is obtained using only the image data 5 (comparative example). As shown in FIG. 13, in this case, it is necessary to set the search area 17 widely in order to obtain the feature point 15. FIGS. 14A and 14B are explanatory diagrams showing a search process of the feature point 15 in the comparative example. As shown in these figures, even if an area (designated area) 14 including a feature point 15 common to the

image data

5A and 5B is designated in the image data 5A, it is necessary to search for the designated area 14 in the image data 5B. Requires that the search area 17 be set broadly, which takes a long search time. In addition, it is inevitable that the error also increases.
[0032]
On the other hand, by using not only the image data 5 but also the distance data 7 by the laser 9, the search for the feature point 15 can be facilitated and the accuracy can be improved. This will be described with reference to FIGS. 15, 14C and 14D. FIG. 15 is an explanatory diagram showing the relationship between the produced three-dimensional point cloud model 10 and the distance data of the laser 9. FIG. 14C and FIG. 14D are explanatory diagrams showing a search process of the feature point 15 in the embodiment. In other words, as shown in FIG. 14D, a feature point 15 is searched in the image data 5A, an area around the feature point 15 is designated as the designated area 14, and the designated area 14 is designated in the three-dimensional point group model 10. A projected projection area 18 is obtained. By setting the area corresponding to the projection area 18 as the search area 16 in the image data 5B, the search can be performed more easily and the search accuracy can be improved as compared with the case of searching the search area 17 in the comparative example. be able to. In addition, by reflecting the feature points 15 searched in the three-dimensional point cloud model 10, the accuracy of the three-dimensional point cloud model 10 can be further improved.
[0033]
FIG. 16 is an explanatory diagram showing the matching success rate and the calculation time in the embodiment (matching with laser combined use) and the comparative example (matching with images only). As shown in this figure, the success rate of matching can be increased by as much as 30%, and the calculation time can be reduced to approximately half.
[0034]
When the acquisition device 1 moves, the movement of the acquisition device 1 with time is marked, and the time measured by the video camera 2 and the mark are used to determine the movement distance in the X-axis direction between the frames. The accuracy of the group model 10 can be improved. Also, instead of measuring long distances at once, the distance between the starting point and the relay point is geometrically corrected for each set by dividing the moving distance and the measurement distance finely and creating a relay point between them. By doing so, the accuracy of the three-dimensional point cloud model 10 can be improved.
[0035]
As described above, since the three-dimensional data acquisition device 1 according to the present embodiment is configured without using a large total station or a gyro, it can be reduced in size and weight and is suitable for carrying. Can be structured. Therefore, it is possible to perform imaging even if the scaffold is not suitable for installation of the acquisition device 1, and it is possible to greatly reduce labor for measurement and transportation.
[0036]
In the above-described embodiment, a case has been described in which a video camera is used as an imaging unit. However, the present invention is not limited to this, and may be performed using, for example, a digital camera.
[0037]
【The invention's effect】
As described above, according to the first aspect of the present invention, it is possible to reduce the size of the acquisition device and make it suitable for carrying. Therefore, it is possible to perform imaging without using a scaffold suitable for installing the acquisition device, and it is possible to greatly reduce labor for measurement and transportation.
[0038]
According to the invention described in claim 2, it is possible to acquire image data by following the oscillation cycle of the laser, and to synthesize texture information with the three-dimensional point cloud model without increasing the size of the acquisition device. And convenience can be improved.
[0039]
According to the invention described in claim 3, it is possible to improve the accuracy of searching for a feature point, and to correct the accuracy of the three-dimensional point cloud model based on the searched feature points. Accuracy can be improved.
[Brief description of the drawings]
FIG. 1 is a schematic explanatory diagram of a three-dimensional data acquisition device according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing an imaging step by the video camera shown in FIG.
FIG. 3 is an explanatory view showing a distance measuring step by the laser distance measuring device shown in FIG. 1;
FIG. 4 is a more detailed explanatory view of a distance measuring step of the laser distance measuring device shown in FIG. 3;
FIG. 5 is an overall explanatory diagram showing a three-dimensional model production process by the three-dimensional data acquisition device shown in FIG.
FIG. 6 is an explanatory diagram showing a three-dimensional data acquisition step by the three-dimensional data acquisition device shown in FIG.
FIG. 7 is a more detailed explanatory diagram of the three-dimensional data acquisition step shown in FIG. 6;
FIG. 8 is an explanatory diagram showing the relationship between the coordinates of a feature point in a reference coordinate system and two coordinate systems of an acquisition device that has captured the feature point.
FIG. 9 is an explanatory diagram showing a relationship when an actual point is represented by photographic coordinates.
FIG. 10 is a diagram showing a verification result of comparing the accuracy of the angle ω between the embodiment and the comparative example.
FIG. 11 is a diagram showing a verification result of comparing the accuracy of the angle φ between the embodiment and the comparative example.
FIG. 12 is a diagram showing a verification result of comparing the accuracy of an angle κ between an example and a comparative example.
FIG. 13 is an explanatory diagram showing how to obtain feature points in a comparative example.
FIG. 14 is an explanatory diagram comparing a search range of a feature point between an embodiment and a comparative example.
FIG. 15 is an explanatory diagram showing how to find a feature point in the embodiment.
FIG. 16 is an explanatory diagram showing a matching success rate and calculation time in an example and a comparative example.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 3D data acquisition apparatus 2 Video camera 3 Laser distance measuring device 4 Imaging area 5 Image data 6 Measurement point 7 Distance data 8 Common area 9 Laser 10 3D point group model 11 Imaging target 12 Moving path 13 Attitude change 14 Designated area 15 Feature points 16, 17 Search area 18 Projection area

Claims

位置や姿勢を変化させて連続的に撮像可能とし、撮像対象となる撮像エリアの画像データを取得可能な撮像手段に、レーザーにより測定点までの距離を測定する距離測定手段を回動可能に組み付けて、前記撮像エリアに所定間隔でレーザーを走査可能とし、
前記距離測定手段と測定点との距離を距離データとして取得するとともに、前記距離測定手段の撮像手段に対する角度を角度データとして取得し、
前記撮像手段の位置や角度を変えて撮像された複数の画像データから、撮像エリアの少なくとも一部が共通している画像データの組を選定し、この組を構成する各画像データにおいて、距離データおよび角度データが取得されている部位を含むように、共通の特徴点を設定し、
前記共通の特徴点の各画像上の位置データから、前記組を構成する画像データを撮像した撮像手段の相対的位置姿勢変化を見いだして、
同時に、特徴点の距離データおよび角度データから撮像手段の相対的位置姿勢変化の縮尺を算出して、
設定された基準位置からみた画像データに各画像データおよび測定点データを変換することで、
前記撮像対象を点表現で表した三次元点群モデルを作製可能としたことを特徴とする三次元データ取得装置。A distance measuring unit that measures the distance to a measurement point by a laser is rotatably assembled to an imaging unit that enables continuous imaging by changing the position and orientation and that can acquire image data of the imaging area to be imaged. The laser can be scanned at a predetermined interval in the imaging area,
Acquiring the distance between the distance measurement unit and the measurement point as distance data, and acquiring the angle of the distance measurement unit with respect to the imaging unit as angle data,
From a plurality of image data obtained by changing the position and the angle of the image pickup means, a set of image data having at least a part of an image pickup area common is selected, and distance data is set in each image data constituting the set. And a common feature point so as to include the part where the angle data has been acquired,
From the position data of each of the common feature points on each image, find the relative position and orientation change of the imaging unit that has captured the image data that constitutes the set,
At the same time, the scale of the relative position and orientation change of the imaging means is calculated from the distance data and the angle data of the feature points,
By converting each image data and measurement point data to image data viewed from the set reference position,
3. A three-dimensional data acquisition apparatus, wherein a three-dimensional point cloud model representing the object to be imaged in a point representation can be produced.

前記撮像手段がビデオカメラであることを特徴とする請求項１に記載の三次元データ取得装置。The three-dimensional data acquisition device according to claim 1, wherein the imaging unit is a video camera.

前記組を構成する各画像データのうち、一の画像データにおいて、前記相対的位置変化の算出に用いた特徴点以外の特徴点を含むエリアを指定エリアとし、
この指定エリアを前記三次元点群モデルに投影して投影エリアとするとともに、この投影エリアを他の画像データに対応させて探索エリアとし、該探索エリア内にて特徴点を探索し、特徴点の三次元座標を算出することを特徴とする請求項１または請求項２に記載の三次元データ取得装置。Of each image data constituting the set, in one image data, an area including a feature point other than the feature point used for calculating the relative position change is defined as a designated area,
The designated area is projected onto the three-dimensional point cloud model to form a projection area, and the projection area is set as a search area corresponding to other image data, and a feature point is searched in the search area. The three-dimensional data acquisition device according to claim 1 or 2, wherein the three-dimensional coordinates are calculated.