JP6635649B2 - データ重ね合わせプログラム及びデータ重ね合わせ方法 - Google Patents

Description

本発明はデータ重ね合わせプログラム及びデータ重ね合わせ方法に関する。

近年、航空機にレーザーセンサーを搭載し、このレーザーセンサー用いて地上にレーザーを照射し、その反射を測定することで、地面、建物、樹木等を含めた地上の三次元データを取得することができるようになってきている。

一方で、フリーハンドで撮影された複数枚の連続写真上で、オーバーラップした場所を自動で認識し、その多視点画像から三次元データを作成するＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）という技術が、例えば下記非特許文献１にされている。

そして、ＳｆＭを応用して、例えば下記非特許文献２で示されるように、多視点で撮影される高解像度カメラから三次元データを容易に取得できる装置が開発され、三次元データを航空機から詳細に取得できるようになってきている。

ｈｔｔｐｓ：／／ｗｗｗ．ｃｓ．ｃｏｒｎｅｌｌ．ｅｄｕ／〜ｓｎａｖｅｌｙ／ｂｕｎｄｌｅｒ／ ｈｔｔｐ：／／ｗｗｗ．ａｃｕｔｅ３ｄ．ｃｏｍ／ｓｍａｒｔ３ｄｃａｐｔｕｒｅ／

上記のとおり、上空から三次元データを取得する技術が確立されてきているが、森林域について上空からデータを取得しようとする場合、樹木の葉等によって光が遮られ、得られる三次元データは森林上部表面に限られてしまい、森林バイオマスの評価に必要な樹木の幹部データを取得することができないといった課題が残る。この課題に対しては、森林内にレーザーセンサー等の装置を持ち込み、三次元データを取得する必要がある。

この結果、上空からの測定や撮影等によって得た三次元データと、森林内に装置を持ち込み取得した三次元データそれぞれが独立して取得されることとなるが、これらは異なる方法によって取得された三次元データであって、データの融合は極めて困難であった。これに対しＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いてデータの融合を図ろうとしても、森林内においては障害物が多く、１ｍ〜５ｍ程度のＧＰＳの位置ずれは不可避であり、正確に上空からの撮影等によって得られた三次元データと森林内において取得した三次元データの融合はやはり極めて困難であった。

そこで、本発明は、上記課題に鑑み、より容易に、二つの三次元データ群（点群データ）を融合することのできるデータ重ね合わせプログラム及びデータ重ね合わせ方法を提供することを目的とする。

上記課題を解決する本発明の一観点に係るデータ重ね合わせプログラムは、コンピュータに、第一の点群データに基づき少なくとも３点の第一の特徴点を抽出する処理、第二の点群データに基づき少なくとも３点の第二の特徴点を抽出する処理、第一の特徴点と前記第二の特徴点を重ね合わせる処理、第一の点群データ及び前記第二の点群データの融合処理、を行わせるためのものである。

また、本発明の他の一観点に係るデータ重ね合わせ方法は、第一の点群データに基づき少なくとも３点の第一の特徴点を抽出し、第二の点群データに基づき少なくとも３点の第二の特徴点を抽出し、第一の特徴点と前記第二の特徴点を重ね合わせ、第一の点群データ及び前記第二の点群データの融合を行う。

以上、本発明によって、より容易に、二つの三次元データ群（点群データ）を融合することのできるデータ重ね合わせプログラム及びデータ重ね合わせ方法を提供することができる。

実施形態に係るプログラムのフローの概略を示す図である。 実施形態に係るプログラムが処理する点群データのイメージを示す図である。 実施形態に係るプログラムにおいて用いる最大点抽出フィルタ処理のフローの概略を示す図である。 実施形態に係る最大点抽出フィルタ処理のイメージを示す図である。 実施形態に係る最大点抽出フィルタ処理のイメージを示す図である。 実施形態に係る最大点抽出フィルタ処理のイメージを示す図である。 実施形態に係る最大点抽出フィルタのイメージを示す図である。 実施形態に係る最大点抽出フィルタ処理のイメージを示す図である。 実施形態に係る第一の特徴点と第二の特徴点の重ね合わせにおける三角形の重ね合わせのイメージを示す図である。 実施形態において、重ねあわされた点群データのイメージを示す図である。 実施形態において、一方の点群データ同士を融合する処理のフローの概略を示す図である。 実施形態において、地表面データの作成に関するイメージを示す図である。 実施形態において、抽出した樹木の断面データのイメージ図である。 樹木の断面データから樹木幹中心を特定する処理のイメージを示す図である。 実施例により重ねあわされた点群データを示す図である。

以下、本発明の実施形態について図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態、実施例に記載された例示にのみ限定されるわけではない。

（点群データ同士の重ね合わせ処理）
まず、本実施形態に係るデータ重ね合わせプログラム（以下「本プログラム」という。）は、コンピュータに、（１）第一の点群データに基づき少なくとも３点の第一の特徴点を抽出する処理、（２）第二の点群データに基づき少なくとも３点の第二の特徴点を抽出する処理、（３）第一の特徴点と前記第二の特徴点を重ね合わせる処理、第一の点群データ及び前記第二の点群データの融合処理、を行わせるためのものである。図１に、本プログラムが行う処理のフローのイメージを示しておく。

本実施形態において、「点群データ」とは、平面及び高さ方向の位置情報を含むデータの集合をいう。より具体的にはｘ、ｙ、ｚ方向における三次元的な位置情報を含む点データの集合であってもよいが、円座標、円柱座標等の極座標系を採用して三次元的に表現された点データの集合であっても良い。なお本実施形態では説明の観点から直交座標系の点データの集合からなる点群の場合を採用するが、上記のとおり円座標、円柱座標等の極座標系を採用した点データの集合からなる点群データであっても良い。なお、本実施形態において、「第一の点群データ」、「第二の点群データ」とは、異なる点群データであることを意味するものであって、「第一」「第二」自体に特別の技術的意味は含まれない。この点群データのイメージ図について図２に示しておく。

本プログラムは、点群データ二つを重ね合わせることができる限りにおいて、様々な点群データを採用することができる。その種類は限定されるわけではないが、一方は航空機等を用いて計測された点群データとし他方を森林内において計測された森林内の点群データとすることは好ましい一例である。航空機等を用いた計測により取得できる点群データは広い面積に対して計測を行うことができる一方で、深さ方向、特に樹木等の内部の計測が容易でないところ、森林内での計測はこの内部の情報を含んでいる。これらのデータを融合させることで非常に正確で有用な情報を得ることができる。

また、本実施形態では、点群データに基づき、特徴点を抽出する。ここで「特徴点」とは、点群データによって表現される三次元的形状のうち特徴的な位置の点をいう。本実施形態において「特徴点」としては、上記である限りにおいて限定されるわけではないが、例えば樹木の頂点に相当する位置の点データであることは好ましく、更には、樹木の頂点のうち上位三点の樹木の頂点データであることがより好ましい。

なお、本実施形態において、「第一の特徴点」とは、「第一の点群データ」に基づき抽出される特徴点をいい、「第二の特徴点」とは、「第二の点群データ」に基づき抽出される特徴点をいい、上記と同様、「第一」、「第二」自体に特別の技術的な意味は含まれない。

また本実施形態において、特徴点を抽出する処理は、上記意味の特徴点を抽出することができる限りにおいて限定されるわけではなく、様々な処理を採用することができるが、最大点抽出フィルタ処理、又は、最小点抽出フィルタ処理を用いることが好ましい。

ここで、最大点抽出フィルタ処理について説明する。本実施形態に係る最大点抽出フィルタ処理は具体的には、（１）メッシュを設定する処理、（２）メッシュ内における最大値を抽出する処理、（３）メッシュの中心点の値を、上記（２）で抽出した最大値に置き換える処理、（４）メッシュの位置をずらして上記（２）〜（３）の処理を繰り返し行い最大点抽出フィルタを作成する処理、（５）処理前の点群データに対して上記最大点抽出フィルタをかけて特徴点を抽出する処理、を備えている。この処理のフローの概略図を図３に示しておく。

図４乃至図８は、本フィルタ処理を説明するための図である。本図において枠の縦横は、平面方向における座標（ｘｙ座標）に応じた位置を示し、その枠内の数値はその座標における高さ（ｚ座標）のデータを示す。

本フィルタ処理は、まず、（１）メッシュを設定する。より具体的にはメッシュの大きさを設定する。ここでメッシュとは、点群に対して一度にどの程度の範囲の点群を処理するのかといった範囲を示す値である。例えばメッシュを３×３とすれば、ｘｙ方向において３×３＝９個の点群をメッシュとすることを意味する。図４の例では、３×３のメッシュを設定した場合の例を示している。

次に、本フィルタ処理では、（２）メッシュ内における最大値を抽出する処理を行う。具体的には、メッシュ内にある高さのデータのうちから最大のものを抽出する。この最大のものがメッシュ内の位置の最大点ということになる。図４の例では最大値は８であることがわかる。

そして、本フィルタ処理では、（３）メッシュの中心点の値を、上記（２）で抽出した最大値に置き換える。図５の例では、メッシュの中心点の値が８に置き換えた場合の例を示している。

そして、本フィルタ処理では、（４）メッシュの位置をずらして上記（１）〜（３）の処理を繰り返し行い、最大点抽出フィルタを作成する処理を行う。図６は一つ位置をずらしてメッシュを設定しなおした場合の例を示す。なお、隣接するメッシュは少なくとも一部重複していることが好ましい。このようにすることでよりフィルタの精度を高めることができる。またこの結果作成されたフィルタのイメージを図７に示しておく。

そして、本フィルタ処理では、（５）処理前の点群データに対して上記最大点抽出フィルタをかけて特徴点を抽出する処理を行う。より具体的には、高さの差分をとり、差分の少ない点を特徴点として特定する処理を行う。図８の例では、最大点抽出フィルタに設定された高さデータから当初の高さデータを差し引いた場合の例を示している。最大点抽出フィルタでは、メッシュ内の最大の点を抽出していく処理を行うため、当初の点群データにおける最大点ではその差分は小さく、その他の点では差分は大きくなるという傾向を示す。したがって、この最大点抽出フィルタとの差分の小さな点を特定し、これを特徴点として採用することができる。なお、本実施形態では少なくとも３つの特徴点を特定するため、差分の少ない点から上位３点を特徴点として採用することができる。もちろん、特徴点は３以上あってもよい。

以上の処理によって、特徴点を抽出することができる。なお、上記は最大点抽出フィルタ処理について説明したが、これを最小値とすれば最小点抽出フィルタ処理が可能となる。またこの場合、上記説明で「最大点」とあるのを「最小点」とし、適宜微修正を行うことで対応することができる。

そして、本プログラムでは、上記のように、各点群データに対し３点以上の特徴点を抽出した後、第一の特徴点と第二の特徴点を重ね合わせる処理を行う。

第一の特徴点と第二の特徴点の重ね合わせは、それぞれの位置座標が最も近い関係にある、好ましくは一致する関係となるよう移動、回転、又は拡大若しくは縮小を行う処理である。本実施形態では、それぞれの点群において三点の特徴点を抽出しているため、この三点で三角形を形成し、この三角形同士が最も重なりの良い状態となるよう計算により求めることが好ましい。この場合のイメージ図を図９に示しておく。

上記において、三角形同士を重ね合わせる方法としては、特に限定されるわけではないが、例えば、三角形の重心点を求め、この三角形の重心点から各頂点に線を伸ばし、この線間のなす角度を求め、この角度が一致するよう回転、移動、拡大若しくは縮小のそれぞれの量を求める処理を行う。

そして、本プログラムでは、第一の特徴点と第二の特徴点を重ね合わせる処理を行った際、求めた移動、回転、又は拡大若しくは縮小のそれぞれの量を点群データの各点に対し行い、重ね合わせの処理を行う。

そして、本プログラムでは、第一の点群と第二の点群を融合して一つの三次元データとして格納する。なお、点群データ同士の融合は、完全に融合させることとしてもよいが、位置データを融合する一方、後の他の処理や使用者の視覚上のわかりやすさの観点から、第一の点群データ、第二の点群データのいずれであったかを示すデータ（例えば色データ）を付加する構成としても良い。この場合のイメージを図１０に示しておく。

本実施形態では、データの取り扱いの容易性の観点から第一の点群データと第二の点群データを融合させる処理としているが、場合によっては、第一の点群データと、第二の点群データとを別に保持し、他方の点群データと融合させるための変換後の点群データを第一の点群データ又は第二の点群データとは別に作成し、保持しておくことも好ましい。

以上、発明によって、より容易に、二つの三次元データ群（点群データ）を融合することのできるデータ重ね合わせプログラムを提供することができ、上記プログラムは、コンピュータによって実行されることで、データ重ね合わせ方法を行うこととなる。また具体的に説明すると、通常、地形等の形状に関する情報を含む点群データの場合、ＧＰＳ等のデータ（以下単に「ＧＰＳデータ」という。）が付加されていればこのＧＰＳデータを利用することで二つの点群データ同士の位置合わせを行うことができると考える。しかしながら、ＧＰＳデータは取得の状況によって誤差が生じてしまうため、この誤差を解消しない限り正確な重ね合わせはできない。特に森林内における計測の場合は森林内の樹木による電波の乱反射等の障害により誤差は大きく、この誤差の解消は非常に困難を極める。ところが、本プログラムによる処理を用いると、特徴点を抽出し、これらの融合を図ることで、ＧＰＳデータを有していなくても正確に特徴点を抽出し、これらの重ね合わせを行うことができるといった極めて優れた効果を有する。

なお、第一の点群データと第二の点群データの重ね合わせは、一方の点群データに対して移動等の変換処理を施して他方の点群データに重ね合わせる処理を行うが、一方の点群データがＧＰＳデータを含む航空機からの計測による点群データである場合、ＧＰＳデータの誤差は比較的小さくなるため、こちらの点群データに合わせておくことがＧＰＳによる位置データを含ませることができるため好ましい。一方、双方の点群データにＧＰＳデータが含まれていない場合、森林内における計測の方が正確であるため、森林内において取得した点群データに重ね合わせることが好ましい。

（一方の点群データの融合）
ところで、一方の点群データにおいて、点群データは複数の点群データの融合によって作成される場合がある。これは、例えば点群データが森林内にレーザーセンサー等の装置を用いて作成される場合に有用である。具体的に説明すると、森林内にレーザーセンサー等の装置を配置する場合、森林中の樹木の幹等によってレーザーが遮断され影の部分が生じる。そのため、この影をなくすよう複数の位置にレーザーセンサー等を配置し、そのそれぞれの位置において点群データを取得し、データ同士を融合して一つの点群データとすることが好ましいのである。

ところが、森林内の測定により取得される森林点群データ（以下「森林点群データ」という。）においても、位置あわせが非常に困難であるといった課題がある。たとえＧＰＳを利用しようとしても、上記のとおり、森林内においては幹や葉による電波の乱反射による障害によってＧＰＳデータの誤差が大きく、融合は容易でないといった問題がある。

そこで、本実施形態では、複数の森林点群データを融合して一つの点群データを得ようとする場合、（１）第一の森林点群データに基づき第一の地表面データを作成する処理、（２）第二の森林点群データに基づき第二の地表面データを作成する処理、（３）第一の森林点群データに基づき少なくとも３つの第一の樹木幹中心点データを作成する処理、（４）第二の森林点群データに基づき少なくとも３つの第二の樹木幹中心点データを作成する処理、（５）第一の樹木幹中心データと前記第二の樹木幹中心データを重ね合わせる処理、（６）第一の森林点群データと前記第二の森林点群データを融合する処理を行う。このフローの概略図を図１１に示しておく。

まず、（１）第一の森林点群データに基づき第一の地表面データを作成する。ここで「地表面データ」とは、地表形状、具体的には地表高さの情報を含む点群データをいう。

地表面データの作成方法としては、上記地表面データを作成することができる限りにおいて限定されるわけではないが、平面方向に沿って高さデータ及び隣接する点データ間の変化量（地表面の傾き）を求めていき、この変化量が所定の閾値を超えている場合は地表ではなくなっている部分（例えば穴や木の幹の部分）になったと判断し、この部分のデータを削除する。そして、この処理を平面全体に行い、残った部分の点データの集合を地表面データとして作成、記録することができる。なお、除去された部分のデータについては、データのある部分の端部同士を接続することで平坦面を形成することができる。この場合のイメージ図（断面）を図１２に示しておく。

なお、本実施形態において、「第一の森林点群データ」、「第二の森林点群データ」とは、異なる点群データであること、「第一の地表面データ」「第二の地表面データ」とは、異なる地表面データを意味するものであって、「第一」「第二」自体に特別な技術的意味は含まれない。

次に、本実施形態では、（２）第二の森林点群データに基づき第二の地表面データを作成する処理を行うが、これは上記（１）と同様の処理を第二の森林点群データに同様の処理を行うことで実現できる。

次に、本方法では、（３）第一の森林点群データに基づき少なくとも３つの第一の樹木幹中心点データを作成する。「樹木幹中心点データ」とは、樹木の幹の中心点の位置に対応するデータをいう。

なおここで、樹木幹中心点データを作成するに当たり、本方法では、地形図に基づき森林点群データに対して高さ補正を行っておくことが好ましい。このようにすることで樹木の地面からの高さを正確に算出することができるようになる。具体的には、当初の点群データから地表面データを差し引いておくことが好ましい。このようにすることで、地面の高さをデータ処理から除去することができるようになる。

また第一の樹木幹中心点データを作成する手順としては、様々な方法を採用することができ、限定されるわけではないが、例えば、（３−１）樹木の断面データを抽出し、（３−２）この断面データから樹木幹中心データを算出する手順を例示することができる。

ここで、樹木の断面データの抽出は、特に限定されるわけではないが、地表面から所定の高さの点群データを抽出し、その集合の度合いの強い所定の範囲にある点群データの集合を幹の断面データとして抽出する処理が好ましい。このような処理により、樹木の断面を効率的に抽出することができる。またこの場合において、予め抽出対象とする特徴のある幹を少なくとも３本特定しておくことが好ましい。このようにしておくことで、後述の重ね合せ処理及び融合処理の対象を簡単に行うことができるようになる。なお、この場合において、抽出した樹木の断面データのイメージ図を図１３に示しておく。

またここで断面データから樹木幹中心データを算出する手順としては、特に限定されるわけではないが、抽出した樹木の断面データの形成する形状を円形状の一部として仮定し、この中心点を求める方法としておくことは好ましい一例である。より具体的には、樹木の断面データのいずれか２点の点データを抽出し、この２点を結んだ直線の中心を通る垂線を求め、これら処理を複数回行い、この交点を樹木幹中心データとしておくことが好ましい。この場合のイメージ図を図１４に示しておく。ただしこの場合において、樹木の幹形状は必ずしも円形状ではないため、複数の垂線が同じ点で交差しない場合も想定される。したがって、複数交点が生じるような場合は、更にこれらの点の中心又は重心点を樹木幹中心データとして採用しておくことが好ましい。

なお、樹木幹中心データを算出した後、ｒａｄｉａｌ ｂａｓｉｓ Ｆｆｕｎｃｔｉｏｎ（ＲＤＦ）を用いて、樹木の断面形状を推定する処理を行っておくことも好ましい一例である。このようにすることで、樹木の断面データにおける点群データの密度の濃淡によらず、中心点からの距離による分布を推定することができ、この推定に基づき樹木の断面形状を推定することができる。

また、本実施形態では（４）第二の森林点群データに基づき少なくとも３つの第二の樹木幹中心点データを作成する処理を行うが、これは上記第一の森林点群データに対する処理と同様の処理を行っておくことが好ましい。なおこの場合において、抽出する樹木幹中心点データは同じ樹木を指定しておくことが好ましい。

また第一の樹木幹中心データと前記第二の樹木幹中心データを重ね合わせる処理は、限定されるわけではないが、各森林点群データ中における少なくとも３つの樹木幹中心データが形成する三角形同士を重ね合わせる処理とすることができる。この処理は、上記において述べた第一の点群データ及び第二の点群データの重ね合わせと同様の処理を採用することができる。

そして、本プログラムでは、（６）第一の森林点群データと前記第二の森林点群データを融合する。なお、点群データ同士の融合は、完全に融合させることとしてもよいが、位置データを融合する一方、後の他の処理や使用者の視覚上のわかりやすさの観点から、第一の森林点群データ、第二の森林点群データのいずれであったかを示すデータ（例えば色データ）を付加する構成としても良い。

以上、本プログラムによると、森林内の複数個所で撮影した森林点群データを簡便に重ね合せ、融合させることができるようになる。特に、本方法によると、幹の中心を少なくとも３点特定し、これらによって特定される特徴を一致させる処理（具体的な例としては三角形を重ね合せる処理）を行わせることで、簡便に二つの異なる森林点群データを抽出することができ、重ね合せ、融合することができるようになる。

ここで、上記実施形態に係る方法について実際に点群データを取得し、このデータ融合について処理を行った。以下具体的に説明する。

まず、飛行機で取得した航空写真データ及びＳｆＭを用いて第一の点群データを取得した。この結果取得した第一の点群データについて図１５（ａ）に示しておく。

次に、森林内にレーザー測定装置を用い、森林内における点群データの取得を行った。

そして、上記実施形態において用いた手法により、第一の点群データと第二の点群データから３点ずつ特徴点を抽出し、これらを重ね合わせることで第一の点群データと第二の点群データとを重ね合わせ、融合した。この結果を図１５（ｂ）に示しておく。なお本図において、これらの点群データは色を異ならせて表示している。

この結果、正確なＧＰＳデータを用いずとも、二つの点群データを正確に重ね合わせ、融合することができることを確認し、本発明の効果について確認することができた。

本発明は、データ重ね合わせプログラム及びデータ重ね合わせ方法として産業上利用可能性がある。

Claims (4)

1. 航空機による空からの森林測定によって取得された点群データを第一の点群データとし、
   地上における森林測定によって取得された点群データを第二の点群データとし、
   特徴点を樹木の頂点とし、
   コンピュータに、
   前記第一の点群データに基づき少なくとも３点の第一の特徴点を抽出する処理、
   前記第二の点群データに基づき少なくとも３点の第二の特徴点を抽出する処理、
   前記第一の特徴点と前記第二の特徴点を重ね合わせる処理、
   前記第一の点群データ、前記第二の点群データのいずれであったかを示すデータを付加する処理、
   を行わせるためのデータ重ね合わせプログラム。
2. 請求項１記載のデータ重ね合わせプログラムにおいて、
   前記第一の特徴点と前記第二の特徴点を重ね合わせる処理の後に、
   前記第一の点群データと前記第二の点群データを融合する融合処理を付加したことを特徴とするデータ重ね合わせプログラム。
3. 航空機による空からの森林測定によって取得された点群データを第一の点群データとし、
   地上における森林測定によって取得された点群データを第二の点群データとし、
   特徴点を樹木の頂点とし、
   前記第一の点群データに基づき少なくとも３点の第一の特徴点を抽出し、
   前記第二の点群データに基づき少なくとも３点の第二の特徴点を抽出し、
   前記第一の特徴点と前記第二の特徴点を重ね合わせ、
   前記第一の点群データ、前記第二の点群データのいずれであったかを示すデータを付加する、データ重ね合わせ方法。
4. 請求項３記載のデータ重ね合わせ方法において、
   前記第一の特徴点と前記第二の特徴点を重ね合わせた後に、
   前記第一の点群データと前記第二の点群データを融合する融合処理を付加したことを特徴とするデータ重ね合わせ方法。