JP6534296B2 - ３次元モデル生成装置、３次元モデル生成方法、及びプログラム - Google Patents

Description

本発明はステレオ写真測量を用いて３次元モデルを生成する技術に関し、特に、ステレオ写真測量に、レーザスキャナによるレーザ計測を併用する技術、及び都市空間の３次元モデル生成に関する。

従来、視差を有した空中写真から建物や道路などを含む都市空間の３次元モデルを自動的に作成する手法があった。当該手法はステレオ写真測量により地物表面の計測点の３次元座標を求め、３次元形状モデルとして、計測点を頂点としたＴＩＮ（Triangulated Irregular Network）などのポリゴンモデルを生成することができる。さらに当該手法では、航空写真から得られる画像情報を、３次元形状モデルに貼り付けるテクスチャとして利用することができ、現実空間に近い質感を観察者に与えることができる３次元モデルを生成することができる。

また、地物の形状を計測する技術として、レーザスキャナを用いて、地物の形状を表す３次元点群データを取得するレーザ計測技術が存在する。例えば、モービルマッピングシステム（Mobile Mapping System：ＭＭＳ）では、車両に搭載したレーザスキャナを用い道路を走行しつつ、地物の形状を表す３次元点群データを取得する。

特開２００４−３４８５７５号公報 特開２００２−７４３２３号公報

ステレオ写真測量では、視差を有する複数の写真間にて対応する特徴点を見つけるステレオマッチング処理が行われる。航空機等から撮影した空中写真にはオクルージョンや影が存在することなどから、当該ステレオマッチング処理にてマッチングミスが生じ、その結果、誤った座標を有したステレオ写真測量点が得られ３次元モデルの形状が崩れるという問題があった。特に、路面にてマッチングミスがしばしば起こり、また、基本的に平坦な路面に生じる誤った測量点による凸凹は観察者に認識され易く質感が損なわれ易いという問題があった。

また、ステレオマッチングを正しく行うことが難しいことから、概してステレオ写真測量点の密度は比較的粗くなる。そのため、ステレオ写真測量による３次元モデルは、道路に立設された標識など小さい地物の形状や地物表面の細かな凹凸を捉えにくい。また、樹冠部のように特徴点の対応付けが難しい地物の形状も捉えにくい。

一方、レーザ計測では座標精度の高い点群を得ることが可能である。しかし、航空レーザ計測では地物との距離が比較的大きいためレーザ計測点群の密度は比較的低くなる。この点、ＭＭＳは比較的高い密度のレーザ計測点群を得ることができる。しかし、例えば、建物の屋上など、地上のレーザスキャナから死角となる部分の計測はできない。また、レーザ計測点群は３次元座標以外の情報、例えば明るさや色といった画像情報を有さないこともあり、レーザ計測点群から計測点相互の関係を特定しポリゴンモデルを生成することはステレオ写真測量ほどには容易ではない。

また、ステレオ写真測量により得られる測量点群とＭＭＳにより得られるレーザ計測点群との両方を用いて３次元モデルを生成することが考えられるが、両点群を単純に組み合わせても、ステレオ写真測量の誤った測量点による上述の問題が根本的に解消する訳ではない。

本発明は上記問題点を解決するためになされたものであり、ステレオ写真測量とレーザ計測とを併用して、精度が向上した３次元モデルを生成することを可能とすることを目的とする。

（１）本発明に係る３次元モデル生成装置は、対象空間を複数視点から撮影した画像及びレーザスキャナにより当該対象空間にて取得したレーザ計測点群に基づいて、当該対象空間内の地物表面の３次元モデルを生成する装置であって、前記画像を用いたステレオ写真測量により前記地物表面から抽出した写真測量点群を、前記３次元モデルの形状を表すモデル構成点群として取得する点群取得手段と、前記レーザ計測点群のうち、前記写真測量点群から予め定めた第１距離内に存在する近傍レーザ計測点を前記モデル構成点群に加える点群追加手段と、前記写真測量点群のうち前記近傍レーザ計測点との距離が、前記第１距離より短く設定された第２距離以下であるものを前記モデル構成点群から除く点群整理手段と、を有する。

（２）上記（１）の３次元モデル生成装置において、さらに、前記レーザ計測点群に基づいて前記地物表面のうち地表領域を特定する地表領域特定手段と、前記写真測量点群のうち水平面上での位置が前記地表領域内にある地表領域写真測量点群を前記モデル構成点群から除く地表領域点群除去手段と、を有し、前記点群追加手段は、前記写真測量点群のうち前記地表領域写真測量点群を除いた非地表領域写真測量点群について前記近傍レーザ計測点を求め、前記レーザ計測点群のうち当該近傍レーザ計測点及び前記地表領域を構成する地表レーザ計測点を前記モデル構成点群に加える構成とすることができる。

（３）上記（２）の３次元モデル生成装置において、さらに、前記レーザ計測点群のうち前記モデル構成点群内に対応する点が存在せず、かつ水平面上での位置が前記地表領域内にあり、かつ地表面からの高さが予め定めた基準高さ以上である地表領域上方レーザ計測点を付帯モデル構成点群として抽出する付帯点群抽出手段と、前記モデル構成点群を頂点とするポリゴンモデルを生成し、当該ポリゴンモデルと前記付帯モデル構成点群とを併合した前記３次元モデルを生成するモデル生成手段と、を有する構成とすることができる。

（４）上記（３）の３次元モデル生成装置において、さらに、前記対象空間を分割して複数の部分空間を設定し、当該各部分空間内における前記レーザ計測点群の分布について主成分分析を行って、当該分布が柱状である前記部分空間の前記レーザ計測点群を柱状点群として抽出する柱状点群抽出手段を有し、前記モデル生成手段は、前記柱状点群を前記付帯モデル構成点群としてさらに前記３次元モデルに併合する構成とすることができる。

（５）上記（３）及び（４）の３次元モデル生成装置において、前記モデル生成手段は、前記画像に基づいて生成されるテクスチャを前記ポリゴンモデルに貼り付ける構成とすることができる。

（６）本発明に係る３次元モデル生成方法は、対象空間を複数視点から撮影した画像及びレーザスキャナにより当該対象空間にて取得したレーザ計測点群に基づいて、当該対象空間内の地物表面の３次元モデルを生成する方法であって、前記画像を用いたステレオ写真測量により前記地物表面から抽出した写真測量点群を、前記３次元モデルの形状を表すモデル構成点群として取得する点群取得ステップと、前記レーザ計測点群のうち、前記写真測量点群から予め定めた第１距離内に存在する近傍レーザ計測点を前記モデル構成点群に加える点群追加ステップと、前記写真測量点群のうち前記近傍レーザ計測点との距離が、前記第１距離より短く設定された第２距離以下であるものを前記モデル構成点群から除く点群整理ステップと、を有する。

（７）本発明に係るプログラムは、コンピュータを、対象空間を複数視点から撮影した画像及びレーザスキャナにより当該対象空間にて取得したレーザ計測点群に基づいて、当該対象空間内の地物表面の３次元モデルを生成する３次元モデル生成装置として機能させるためのプログラムであって、当該コンピュータを、前記画像を用いたステレオ写真測量により前記地物表面から抽出した写真測量点群を、前記３次元モデルの形状を表すモデル構成点群として取得する点群取得手段、前記レーザ計測点群のうち、前記写真測量点群から予め定めた第１距離内に存在する近傍レーザ計測点を前記モデル構成点群に加える点群追加手段、及び、前記写真測量点群のうち前記近傍レーザ計測点との距離が、前記第１距離より短く設定された第２距離以下であるものを前記モデル構成点群から除く点群整理手段、として機能させる。

本発明によればステレオ写真測量に基づく３次元モデルを、レーザ計測点群を用いて整形し、３次元モデルの精度を向上させることができる。

本発明の実施形態に係る都市空間３Ｄモデル生成システムの概略の構成を示すブロック図である。 本発明の実施形態に係る都市空間３Ｄモデル生成システムが写真測量点群に基づく３次元ＴＩＮモデルとＭＭＳで取得したレーザ計測点群とから３次元モデルを生成する処理の概略のフロー図である。 レーザ計測点群分類手段による点群分類処理の概略を説明するフロー図である。 モデル構成点群生成処理及び３次元ＴＩＮ生成処理の概略のフロー図である。 建物の部分垂直断面における密度調整写真測量点群の位置を示す模式図である。 図５に示す密度調整写真測量点群に密度調整近傍レーザ計測点群を加えた状態を示す模式図である。 図６に示すモデル構成点群を整理する処理を示す模式図である。 付帯物追加処理の概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）である都市空間３Ｄモデル生成システム２について、図面に基づいて説明する。本システムは、対象空間を複数視点から撮影した画像、及びレーザスキャナにより当該対象空間にて取得したレーザ計測点群に基づいて、対象空間内の地物表面の３次元モデルを生成する３次元モデル生成装置である。具体的には、都市空間３Ｄモデル生成システム２は視差を有した空中写真からステレオ写真測量技術により生成された３次元ＴＩＮモデルを、レーザ計測点群を用いて整形し、元の３次元ＴＩＮモデルより精度が向上した３次元ＴＩＮモデルを生成する。

レーザ計測点群は例えば、モービルマッピングシステム（ＭＭＳ）により取得される。ＭＭＳでは、自動車に搭載されたレーザスキャナは車体の上部から斜め下方向や斜め上方向にレーザを照射する。レーザの光軸は横方向に走査され、走査角度範囲内にて微小角度ごとにレーザパルスが発射される。レーザの発射から反射光の受信までの時間に基づいて距離が計測され、またその際、レーザの発射方向、時刻、及び車体の位置・姿勢などが計測される。それら計測データから、レーザパルスを反射した点の３次元座標を表す点群データが求められる。また、ＭＭＳに代えて、レーザスキャナを地上に設置して計測を行いレーザ計測点群データを取得しても良い。点群データが地物表面の３次元形状を表すには、地物表面の凹凸などの形状変化のスケールに応じた密度でレーザスキャンが行われる必要がある。この点、車両や三脚等の高さから行うレーザスキャンの走査密度、距離精度及びフットプリントの大きさは、例えば、地物の形状を数センチメートル程度の精度で捉えることができる諸元を有し、地物表面の形状を航空レーザや衛星レーザなどに比べて高精度に検出することが可能である。

図１は、都市空間３Ｄモデル生成システム２の概略の構成を示すブロック図である。本システムは、演算処理装置４、記憶装置６、入力装置８及び出力装置１０を含んで構成される。演算処理装置４として、本システムの各種演算処理を行う専用のハードウェアを作ることも可能であるが、本実施形態では演算処理装置４は、コンピュータ及び、当該コンピュータ上で実行されるプログラムを用いて構築される。

当該コンピュータのＣＰＵ（Central Processing Unit）が演算処理装置４を構成し、後述する点群取得手段２０、点群追加手段２２、点群整理手段２４及びモデル生成手段２６として機能する。さらに演算処理装置４は後述するレーザ計測点群分類手段３０、地表領域特定手段３２、地表領域点群除去手段３４、付帯点群抽出手段３６及び柱状点群抽出手段４０として機能する。

記憶装置６はコンピュータに内蔵されるハードディスクなどで構成される。記憶装置６は演算処理装置４を点群取得手段２０、点群追加手段２２、点群整理手段２４、モデル生成手段２６、地表領域特定手段３２、地表領域点群除去手段３４、付帯点群抽出手段３６及び柱状点群抽出手段４０として機能させるためのプログラム及びその他のプログラムや、本システムの処理に必要な各種データを記憶する。例えば、記憶装置６は、処理対象データとして３次元モデル生成の対象空間の空中写真、又は空中写真からステレオ写真測量により抽出された点群データ（写真測量点群）や当該写真測量点群に基づく３次元ＴＩＮモデルを格納される。また記憶装置６は、対象空間からレーザ計測技術で得た点群（レーザ計測点群）を格納される。

入力装置８は、キーボード、マウスなどであり、ユーザが本システムへの操作を行うために用いる。また、入力装置８には、他のシステムからデータを入力するインターフェース装置が含まれ得る。

出力装置１０は、ディスプレイ、プリンタなどであり、本システムにより求められた３次元モデルを画面表示、印刷等によりユーザに示す等に用いられる。

点群取得手段２０は、整形対象とする３次元モデルの形状を表すモデル構成点群として、空中写真を用いたステレオ写真測量により地物表面から抽出した写真測量点群を取得する。例えば、点群取得手段２０は視差を有した空中写真にて地物表面の同じ点（特徴点）を見つけるステレオマッチング処理を行い、三角測量の原理に基づいて特徴点の３次元座標を算出する。得られた複数の特徴点が写真測量点群となる。このステレオ写真測量は基本的に既に公知の手法で行うことができる。また、ステレオ写真測量による写真測量点群の算出処理を演算処理装置４にて行わず、点群取得手段２０は、本システムでの処理対象とするモデル構成点群として、予め他の３次元ＴＩＮモデル生成システム等で算出され記憶装置６に格納された写真測量点群を記憶装置６から読み込んでもよい。また、当該写真測量点群を、入力装置８を介して他のシステムから取得してもよい。

点群追加手段２２はレーザ計測点群のうち、点群取得手段２０が取得した写真測量点群から予め定めた距離Ｌ_１内に存在する近傍レーザ計測点をモデル構成点群に加える。写真測量点群との距離が比較的近距離であるレーザ計測点は、写真測量点群が抽出された地物に起因して取得されたと考えることが可能である。そこで、本システムでは点群追加手段２２により近傍レーザ計測点をモデル構成点群に加える。

距離Ｌ_１は、写真測量点群が抽出された地物との関連性が認められる程度に近距離に設定される。ここで、一般に、形状のサンプリングにてサンプリング点の間隔が大きくなるほど、サンプリング点群は形状の特徴を捉えにくくなる。この点、ＭＭＳで得られるレーザ計測点群は、基本的に空中写真から得られる写真計測点群に比べて高い密度を有するので、写真計測点群が捉え損なっている地物形状の特徴、例えば地物形状の凹凸などの変化を捉えることが可能である。そこで、写真計測点群の密度が粗いほど距離Ｌ_１を緩和し大きく設定して近傍レーザ計測点を抽出することで、当該近傍レーザ計測点は写真計測点群が捉え損なっている地物形状の特徴を好適に捉えることができる。例えば、Ｌ_１は写真計測点群の平均的な間隔と同程度に設定することができる。本実施形態ではＬ_１は１メートルとする。

なお、後述する地表領域点群除去手段３４により、点群取得手段２０にてモデル構成点群として取得した写真測量点群から地表領域写真測量点群を除く処理を行った場合には、点群追加手段２２は、写真測量点群のうち地表領域写真測量点群を除いた非地表領域写真測量点群について近傍レーザ計測点を求める。そして、点群追加手段２２は、当該近傍レーザ計測点をモデル構成点群に加え、また、レーザ計測点群のうち地表領域を構成する地表レーザ計測点をモデル構成点群に加える。

点群整理手段２４は点群取得手段２０が取得した写真測量点群のうち近傍レーザ計測点との距離がＬ_２以下であるものをモデル構成点群から除く。距離Ｌ_２は距離Ｌ_１より短く設定される。つまり、点群追加手段２２にて近傍レーザ計測点をモデル構成点群に追加する一方、点群整理手段２４にて一部の写真測量点が削除される。近傍レーザ計測点との距離がＬ_２以下である写真測量点を削除する当該処理は、削除される写真測量点をその近傍レーザ計測点で置き換える、又は削除される写真測量点とその近傍レーザ計測点との一対のモデル構成点を当該近傍レーザ計測点で代表させる意味合いを有する。ここで、互いに近接する写真測量点と近傍レーザ計測点とのうち近傍レーザ計測点ではなく写真測量点を削除する理由は、写真測量点よりレーザ計測点の方が座標精度が高いからである。つまり、ステレオマッチングの誤差により写真測量点の座標精度は概してレーザ計測点の座標精度より低い。そこで、写真測量点を削除して近傍レーザ計測点をモデル構成点として残すことで、マッチングミスで得られた写真測量点をモデル構成点から排除し、好適な形状に整形された３次元モデルが得られ、３次元モデルの精度を向上させることができる。

Ｌ_２は大きいほど大きなマッチングミス誤差を有する写真測量点を排除できる一方、例えば、地物表面を正しく捉えている写真測量点をより離れた３次元座標に対応付け易くなる。正しい写真測量点を近傍レーザ計測点で置換することは、生成される３次元モデルの形状に関しては、Ｌ_２が大きいほどモデル構成点の数が減少するという影響をもたらすが、これは３次元モデルの観察者の視覚には比較的影響しないと考えられる。一方、テクスチャマッピングにおいて写真測量点に対応付けられた輝度や色の情報を近傍レーザ計測点の座標に対応付ける単純な処理では、Ｌ_２が大きくなるほどテクスチャの変形・歪みが目立つようになり得る。よって、この点を考慮してＬ_２を設定することが好適である。本実施形態ではＬ_２は５０センチメートル（５０ｃｍ）とする。

なお、上述のテクスチャの歪みを抑制しつつ、マッチングミスによる３次元モデルの変形の好適な整形を図るために、例えば、写真測量で生成された元の３次元ＴＩＮモデルの表面に沿った方向に対するＬ_２（Ｌ_２Ｔとする）と、表面に交差する方向に対するＬ_２（Ｌ_２Ｌとする）とを異ならせ、Ｌ_２Ｔ＜Ｌ_２Ｌとなる異方性を有する設定としてもよい。Ｌ_２Ｌを大きく設定することで、マッチングミスによる３次元モデルの変形の修正可能範囲が大きくなる。一方、Ｌ_２Ｔを小さく設定することで、写真測量点での画像情報を近傍レーザ計測点の座標に対応付けることによるテクスチャの歪みを制限することができる。具体的には、直交座標系ξ_１ξ_２ξ_３のうち２軸ξ_１，ξ_２を３次元ＴＩＮモデルの表面に沿った軸とし、当該座標系における近傍レーザ計測点から写真測量点へのベクトルを（Δξ_１，Δξ_２，Δξ_３）とすると、点群整理手段２４は例えば、（Δξ_１／Ｌ_２Ｔ）^２＋（Δξ_２／Ｌ_２Ｔ）^２＋（Δξ_３／Ｌ_２Ｌ）^２≦１となる写真測量点をモデル構成点群から削除する。

また、上述のテクスチャの歪みを回避するため、写真測量点と空中写真の画像情報とを対応付けず、点群整理手段２４で整形された３次元モデルに対して、改めてテクスチャマッピング処理を行う構成としてもよい。

モデル生成手段２６は点群整理手段２４による処理後のモデル構成点群を頂点とするポリゴンモデルを生成する。モデル生成手段２６は、当該ポリゴンモデルに空中写真の画像情報から得られるテクスチャを貼り付けることもできる。また、モデル生成手段２６は、当該ポリゴンモデルと、後述する付帯モデル構成点群とを併合した３次元モデルを生成することができる。

レーザ計測点群分類手段３０はレーザ計測点群を複数種類の地物ごとの点群に分類する。例えば、レーザ計測点群分類手段３０は柱状点群抽出手段４０を含む。柱状点群抽出手段４０は、レーザ計測点群のうち、道路標識のポールや樹木の幹などの縦方向に伸びる柱状の地物に対応するものを柱状点群として抽出する。このほか、レーザ計測点群分類手段３０は、樹冠部のように縦横に広がりを有したボリュームのある地物、路面（地面）のように平らな地物などに対応するレーザ計測点群を抽出する。

地表領域特定手段３２はレーザ計測点群に基づいて地物表面のうち路面などの地表領域を特定する。

地表領域点群除去手段３４は写真測量点群のうち水平面上での位置が地表領域内にある地表領域写真測量点群をモデル構成点群から除く。

付帯点群抽出手段３６は、レーザ計測点群のうち、地表領域点群除去手段３４により地表領域写真測量点群を除く処理を行った場合に点群追加手段２２によりモデル構成点群に追加されない点であり、かつ水平面上での位置が地表領域内にあり、かつ地表面からの高さが予め定めた基準高さＨ_Ｌ以上である地表領域上方レーザ計測点を付帯モデル構成点群として抽出する。例えば、写真測量点群が検出されにくい街路樹の樹冠部や道路上方の交通標識から得られるレーザ計測点群が地表領域上方レーザ計測点となり、付帯モデル構成点群となり得る。路面上方にハングオーバーする道路案内標識や樹冠部などが表現される一方、路面上の人や車両を除去された都市空間モデルを生成するために、基準高さＨ_Ｌは人や自動車の高さより高く設定される。

付帯モデル構成点群は上述したようにモデル生成手段２６によりモデル構成点群に基づくポリゴンモデルと併合され３次元モデルの一部となる。また本実施形態では、柱状点群抽出手段４０により抽出された柱状点群も付帯モデル構成点群として３次元モデルに併合する。

図２は都市空間３Ｄモデル生成システム２が写真測量点群に基づく３次元ＴＩＮモデル５０とＭＭＳで取得したレーザ計測点群５２とから３次元モデルを生成する処理の概略のフロー図である。

レーザ計測点群５２はレーザ計測点群分類手段３０により、地物表面の形状に応じて分類され（点群分類処理Ｓ２）、その後、３次元ＴＩＮモデル５０を構成する写真測量点群とマージされる（モデル構成点群生成処理Ｓ４）。このモデル構成点群生成処理Ｓ４は点群追加手段２２及び点群整理手段２４により行われ、モデル構成点群として、写真測量点群とレーザ計測点群とが合成される。その際、レーザ計測点群のうち、写真測量点群から予め定めた距離Ｌ_１内に存在する近傍レーザ計測点がモデル構成点群に加えられる。また、写真測量点群のうち近傍レーザ計測点との距離がＬ_２以下であるものがモデル構成点群から削除される。

さらに本実施形態では、地表領域特定手段３２により路面などの地表領域を特定する。ここで都市における代表的な地表は路面であるので以下の説明では基本的に、地表を路面で代表させる。地表領域点群除去手段３４は、水平面上での位置が路面領域内にある地表領域写真測量点群をモデル構成点群から除き、一方、点群追加手段２２は地表領域を構成する地表レーザ計測点として点群分類処理Ｓ２にて路面に分類された点群をモデル構成点群に加える。

モデル生成手段２６は、モデル構成点群生成処理Ｓ４で生成されたモデル構成点群を頂点とする新たな３次元ＴＩＮモデル５４を生成する（３次元ＴＩＮ生成処理Ｓ６）。またモデル生成手段２６は新たな３次元ＴＩＮモデル５４に、元の３次元ＴＩＮモデル５０から取り出したテクスチャを貼り付けるテクスチャマッピング処理Ｓ８も行う。

さらにモデル生成手段２６は、付帯点群抽出手段３６により抽出される地表領域上方レーザ計測点、及び点群分類処理Ｓ２にて柱状点群抽出手段４０により抽出された柱状点群を、付帯モデル構成点群として３次元ＴＩＮモデル５４に合成する（付帯物追加処理Ｓ１０）。これにより、ＴＩＮモデルでは表現することが難しかった樹木、道路標識などの地物が付帯モデル構成点群として表示され、より現実空間に近い質感を有した３次元モデル５６が生成される。

図３はレーザ計測点群分類手段３０による点群分類処理Ｓ２の概略を説明するフロー図である。レーザ計測点群分類手段３０は、対象空間を複数の部分空間に分ける（ステップＳ２０）。本実施形態では、対象空間を三次元直交格子（メッシュ）状に単純分割して直方体形状の部分空間を生成する。例えば、部分空間は幅Ｗ、奥行きＤ及び高さＨがそれぞれ３０センチメートルの立方体とすることができる。なお、レーザ計測点群分類手段３０を構成するプログラムでは、幅Ｗ、奥行きＤ及び高さＨはパラメータ化されており、例えば、ユーザが入力装置８を用いて変更することができる。

部分空間内にて、レーザ計測点群が地物の形状を捉えていないと推定できるほどレーザ計測点の数が少ない場合は、当該部分空間内のレーザ計測点はノイズであるとして処理対象から除外される（ステップＳ２２）。ステップＳ２２におけるノイズ判定の閾値を超える数の点群を含む部分空間については、点群平滑化処理Ｓ２４が行われる。例えば、点群の平滑化手法として公知の移動最小二乗法を用いることができる。

平滑化処理後、柱状点群抽出処理Ｓ２６が行われ、部分空間から柱状点群６０が抽出される。柱状点群抽出処理Ｓ２６では例えば、主成分分析を行い、部分空間内のレーザ計測点群の分布を特徴づける方向を求める。当該主成分分析によりレーザ計測点群の分布が大きい方向から順に第１主成分、第２主成分、第３主成分が求まり、これら各主成分に対応して第１〜第３固有値Ｅｖ_１〜Ｅｖ_３が算出される。固有値はそれに対応する主成分の方向における点群の分散値であり、Ｅｖ_１＞Ｅｖ_２＞Ｅｖ_３である。ここで、Ｅｖ_１／Ｅｖ_２が大きくなるほどレーザ計測点群は第１主成分の方向に沿って細長く分布する。また、Ｅｖ_１とＥｖ_２とが同程度の場合、Ｅｖ_３がＥｖ_１，Ｅｖ_２に比べて十分に小さければレーザ計測点群は平面状に分布し、Ｅｖ_３が大きくなるにつれて分布形状は湾曲した面となる。

柱状点群抽出手段４０は主成分分析の固有値を評価し、Ｅｖ_１≫Ｅｖ_２となるレーザ計測点群を柱状点群として抽出する。例えば、Ｅｖ_１＞０．８となるレーザ計測点群を柱状点群６０として抽出する。

レーザ計測点群分類手段３０は柱状点群抽出処理Ｓ２６で、柱状点群として抽出されずに残ったレーザ計測点群について例えば２次多項式曲面を用いた移動最小二乗法により点群平滑化処理Ｓ２８を行う。そして当該平滑化で得られた曲面の法線ベクトル６２を計算する（ステップＳ３０）。

レーザ計測点群分類手段３０は、部分空間内における平滑化されたレーザ計測点群の曲率解析を行う（ステップＳ３２）。具体的には、部分空間内における法線ベクトル６２の分布について主成分分析を行い、第１主成分の固有値Ｐｃ_１，第２主成分の固有値Ｐｃ_２を算出する。ここでＰｃ_１＞Ｐｃ_２である。

Ｐｃ_２が閾値より大きな点群は、樹冠のように立体性（ボリューム）を有した形状を構成する点群（立体状点群６４）として分類される（ステップＳ３４）。

立体状点群６４の抽出で残ったレーザ計測点群について、例えば、水平面を構成する点群の抽出処理が行われる（ステップＳ３６）。例えば、曲率解析処理Ｓ３２で得られたＰｃ_１，Ｐｃ_２と法線ベクトル６２とに基づいて、法線が鉛直方向である平面構成する点群が水平面として抽出される。さらに当該水平面はその高さに基づいて、路面（路面点群６６）、車の屋根（車両屋根点群６８）、建物屋根（建物屋根点群７０）などに分類される（ステップＳ３８）。

水平面点群の抽出処理で抽出されずに残ったレーザ計測点群について、例えば、垂直面を構成する点群の抽出処理が行われる（ステップＳ４０）。例えば、曲率解析処理Ｓ３２で得られたＰｃ_１，Ｐｃ_２と法線ベクトル６２とに基づいて、法線が水平方向である平面構成する点群が垂直面として抽出される。当該垂直面は例えば、建物壁面（建物壁面点群７２）として分類される。

垂直面点群の抽出処理で残ったレーザ計測点群について、例えば、段差などのエッジ部分を構成する点群の抽出処理が行われる（ステップＳ４２）。エッジ部での曲率解析の第１主成分の方向はエッジに交差する方向となるので、Ｐｃ_１が閾値より大きいことに基づいてエッジを判別する。エッジ部の点群は例えば、道路エッジ（道路エッジ点群７４）として分類される。

エッジ点群の抽出処理で残ったレーザ計測点群について、高さと法線ベクトルとに基づいて斜面を構成する点群（斜面点群７６）の抽出処理が行われる（ステップＳ４４）。

なお、点群６４〜７６の分類処理Ｓ４６は例えば、Ｊｅｎｋｓの最適化法（自然階級分類法）を用いて行われる。

図４はモデル構成点群生成処理Ｓ４及び３次元ＴＩＮ生成処理Ｓ６の概略のフロー図である。既に述べたように、点群追加手段２２は近傍レーザ計測点、及び地表レーザ計測点をモデル構成点群に加える。レーザ計測点群分類手段３０により分類された路面点群６６を地表レーザ計測点とすることもできるが、本実施形態では以下に述べるステップＳ５０〜Ｓ５４の処理により、路面点群６６から地表レーザ計測点を生成する。当該処理は例えば点群追加手段２２が行う。

路面点群６６を用いて３次元ＴＩＮを生成する（ステップＳ５０）。当該処理では、ＴＩＮを構成する三角形を、一旦、路面点群６６の任意の３点の組み合わせについて生成する。その後、不必要な三角形を削除し、ＴＩＮを整理する（ステップＳ５２）。具体的には以下の条件（ａ１）〜（ａ３）のいずれかを満たす三角形を削除する。
（ａ１）３メートルより長い辺を有する。
（ａ２）最大辺が最小辺の２．５倍より大きい。
（ａ３）最小内角が２０度未満である、又は最大内角が１２０度より大きい。

なお、上記各条件の長さ、倍率、角度の具体的な数値は経験的に設定され、上記以外の数値とすることもできる。

レーザ計測点群５２は写真測量点群に比べるとかなり高い密度となる。本システムではレーザ計測点群５２と３次元ＴＩＮモデル５０を構成する元の写真測量点群との密度をおおよそ同じにしてマージする。ここでは、その密度を基準密度と称する。基準密度はレーザ計測点群５２の密度と元の写真測量点群の密度との間に設定される。本実施形態では基準密度は点群の間隔が約５０センチメートルとなる密度とする。都市空間３Ｄモデル生成システム２はステップＳ５２の処理で整理された路面のＴＩＮをリメッシュし、ＴＩＮを構成する頂点を基準密度に応じた密度に調整する（ステップＳ５４）。これにより元のレーザ計測点群５２より点の数が減り単純化された点群が得られる。当該調整後のＴＩＮの頂点を密度調整路面点群と称する。

また、点群取得手段２０は写真測量点群に基づく３次元ＴＩＮモデル５０をリメッシュし、写真測量点群を基準密度に応じた密度に調整する（ステップＳ５６）。例えば、３次元ＴＩＮモデル５０の頂点間に内挿点を設定し、元の写真測量点群より点の数が増加した点群が生成される。当該調整後の写真測量点群を密度調整写真測量点群と称する。

密度調整写真測量点群の全体をモデル構成点群とし点群整理手段２４の処理対象とすることもできるが、本実施形態では、地表領域特定手段３２により路面領域を特定し、地表領域点群除去手段３４により、密度調整写真測量点群のうち水平面上での位置が路面領域内にある地表領域写真測量点群を除いた非地表領域写真測量点群を求め、当該非地表領域写真測量点群をモデル構成点群として点群整理手段２４の処理対象とする（ステップＳ５８）。

地表領域特定手段３２は例えば、路面点群６６を水平面に投影した点群投影画像を生成し、当該画像を予め定めたサイズの格子状に区切り、点群を含む格子を画素値「１」の画素、点群を含まない格子を画素値「０」の画素とした二値化画像を生成する。そして当該二値化画像にて互いに異なる値を有する領域間の境界線を設定する。これにより、点群を含む領域に対応する路面領域が特定される。

点群追加手段２２は、路面点群６６を除くレーザ計測点群５２のうち、ステップＳ５８にて求めた非地表領域写真測量点群について距離Ｌ_１以内である近傍レーザ計測点群を求める（ステップＳ６０）。点群追加手段２２は当該近傍レーザ計測点群を基準密度に応じた密度に調整する（ステップＳ６２）。

点群整理手段２４はステップＳ５８で求めた非地表領域写真測量点群のうち、ステップＳ６２で求めた密度調整近傍レーザ計測点群から距離Ｌ_２以下である点を、モデル構成点群から削除し、整理写真計測点群を生成する（ステップＳ６４）。

図５〜図７はモデル構成点群への近傍レーザ計測点群の追加と写真測量点群の削除・整理とを説明するための模式図である。図５〜図７は建物８０の部分垂直断面における点群の位置を示している。建物８０は屋根や壁面から水平方向に比較的小さな凸部８２を有する。

図５は密度調整写真測量点群を黒三角（▲）及び白三角（△）で示している。そのうち黒三角（▲）は元の写真測量点であり、白三角（△）は密度調整により内挿された点である。建物８０の壁面の特徴点に対応する写真測量点の１つである点８４はステレオマッチング処理の誤差に伴い位置誤差が大きくなった点を表している。

図６は、モデル構成点群として図５の密度調整写真測量点群に密度調整近傍レーザ計測点群（×印）を加えた状態を示している。一点鎖線９０は密度調整写真測量点から距離Ｌ_１となる領域の境界を模式的に示しており、当該境界より内側のレーザ計測点群が近傍レーザ計測点として抽出され、当該近傍レーザ計測点群を基準密度にダウンサンプリングして密度調整近傍レーザ計測点群が生成される。

写真測量点群の密度は比較的低いため、凸部８２に必ずしも写真測量点が得られるとは限らず、３次元ＴＩＮモデル５０は凸部８２の形状を表現できるとは限らない。これに対して、レーザ計測点群５２は凸部８２のような小さな形状変化を捉えることができる。凸部８２の表面から得られたレーザ計測点９２は近傍レーザ計測点としてモデル構成点群に加えられ得るので、写真測量点群と近傍レーザ計測点群とをマージした３次元ＴＩＮモデル５４は凸部８２の形状を表現することができる。つまり３次元ＴＩＮモデル５４は当初の３次元ＴＩＮモデル５０より詳細な地物形状を表現可能である。

図７はモデル構成点群を整理する処理を示している。当該整理処理では距離Ｌ_２内に近傍レーザ計測点が存在する密度調整写真測量点がモデル構成点群から削除される。いくつかの密度調整写真測量点について、当該点から距離Ｌ_２内となる３次元領域の境界１００を点線の円で模式的に示した。当該境界１００の内側に近傍レーザ計測点が存在する密度調整写真測量点はモデル構成点群から削除される。一方、境界１００の内側に近傍レーザ計測点が存在しない密度調整写真測量点、及び密度調整近傍レーザ計測点はモデル構成点群として残される。図７では整理処理でモデル構成点群として残される点を○印で囲んでいる。

整理処理の結果、例えば、マッチングミスで得られた写真測量点８４は削除される。写真測量点が削除される部分の地物形状は、写真測量点より精度が高い近傍レーザ計測点で表現される。なお、建物壁面の写真測量点１０２は、凸部８２に遮られてＭＭＳのレーザが当たらない領域に位置し、距離Ｌ_２内に近傍レーザ計測点が存在しないため、モデル構成点群として残る。また、建物屋上面の写真測量点１０４も同様にしてモデル構成点群として残る。このようにレーザ計測点が欠落する領域では写真測量点がモデル構成点として残り、地物形状を補完することができる。整理処理後のモデル構成点を点線でつないだ形状１０６は３次元ＴＩＮモデル５４に相当し、一方、図５にて密度調整写真測量点群を点線でつないだ形状８６は３次元ＴＩＮモデル５０に相当する。形状１０６は形状８６と比較すると、マッチングミスで生じた写真測量点８４による壁面の凹みが整形され、また凸部８２に対応する形状８２ａが捉えられており、建物８０の形状をより好適に表現している。

モデル生成手段２６はステップＳ６４で求めた整理写真計測点群、ステップＳ６２で求めた密度調整近傍レーザ計測点群、及びステップＳ５４で求めた密度調整路面点群をモデル構成点群として３次元ＴＩＮモデル５４を生成する（ステップＳ６６）。その際、ＴＩＮを構成する三角形を、一旦、モデル構成点群の任意の３点の組み合わせについて生成する。その後、不必要な三角形を削除し、ＴＩＮを整理する。具体的には以下の条件（ｂ１）〜（ｂ３）のいずれかを満たす三角形を削除する。
（ｂ１）１．５メートルより長い辺を有する。
（ｂ２）最大辺が最小辺の２．５倍より大きい。
（ｂ３）最小内角が２０度未満である、又は最大内角が１２０度より大きい。

なお、上記各条件の長さ、倍率、角度の具体的な数値は経験的に設定され、上記以外の数値とすることもできる。また、本実施形態ではモデル生成手段２６はステップＳ６４，Ｓ６２，Ｓ５４で求めた点群からなるＴＩＮを基準密度より低密度にリメッシュし単純化する。例えば、モデル構成点群の間隔が約１５０センチメートルとなるようにリメッシュを行う。

上述したモデル構成点群生成処理Ｓ４及び３次元ＴＩＮ生成処理Ｓ６で生成された３次元ＴＩＮモデル５４に対して、モデル生成手段２６はテクスチャマッピング処理Ｓ８を行う。例えば、当該処理Ｓ８はＵＶマッピングとすることができる。

さて、ＭＭＳによるレーザ計測点群５２は空中写真に基づく写真測量点群に比べて、地表付近では高密度であり、より多くの情報を有している。そこで本システム２は、レーザ計測点群５２のうち３次元ＴＩＮモデル５４の生成に利用されなかった点群から、都市空間モデルの付加情報を抽出し、３次元ＴＩＮモデル５４に追加する、付帯物追加処理Ｓ１０を行う。

図８は付帯物追加処理Ｓ１０の概略のフロー図である。付帯点群抽出手段３６は、レーザ計測点群５２から路面点群６６を除いた非路面レーザ計測点群を求める（ステップＳ１００）。そして非路面レーザ計測点群のうち３次元ＴＩＮモデル５４を構成するモデル構成点群と重複すると考えられるものを削除する（ステップＳ１０２）。具体的には、非路面レーザ計測点群のうちモデル構成点群から距離Ｌ_３以下である点を当該モデル構成点群に対応する点として削除する。例えば、距離Ｌ_３はＬ_２と同じく５０センチメートルに設定することができる。

３次元ＴＩＮモデル５４のモデル構成点群に含まれるレーザ計測点群５２は密度調整近傍レーザ計測点及び密度調整路面点群である。ここで近傍レーザ計測点は写真測量点群から距離Ｌ_１内の点であり、写真測量点群を基準にして抽出されるので、写真測量点群が得られない地物から得られたレーザ計測点群は基本的には近傍レーザ計測点として抽出されない。例えば、道路標識など小さい地物や樹冠部のように特徴点の対応付けが難しい地物からは写真測量点が抽出されないことが多分にあると考えられ、その場合、それら地物について近傍レーザ計測点群が抽出されず、よってそれら地物表面のレーザ計測点群は３次元ＴＩＮモデル５４のモデル構成点群に含まれない。そのため、ステップＳ１０２の処理では、レーザ計測点群５２のうち道路標識や樹木など３次元ＴＩＮモデル５４に表現されない地物に対応する点は削除されないことが期待できる。

ちなみに、距離Ｌ_３を３次元ＴＩＮモデル５４における密度調整近傍レーザ計測点の間隔と同じかそれ以上に設定することで、密度調整前の近傍レーザ計測点群は基本的に密度調整後の近傍レーザ計測点群からＬ_３内の空間に含まれ、ステップＳ１０２の処理にて好適に削除される。つまり、３次元ＴＩＮモデル５４の表面に付帯モデル構成点が不必要に抽出され、それが表示されてモデルの質感が損なわれることが防止される。

付帯点群抽出手段３６はステップＳ１０２で得られた点群を高さで分類し（ステップＳ１０４）、路面領域の上方に位置し、かつ基準高さＨ_Ｌ未満の点群を削除する（ステップＳ１０６）。これにより残った点群が付帯モデル構成点群として３次元ＴＩＮモデル５４に合成され、都市空間モデルに道路標識や樹冠部が表示される（ステップＳ１０８）。

高さ分類は例えば、Ｊｅｎｋｓの最適化法（自然階級分類法）を用いて行うことができ、当該分類結果に基づいて基準高さＨ_Ｌを設定することができる。また例えば、Ｈ_Ｌは例えば、３メートル程度の予め定めた値とすることもできる。路面領域はステップＳ５８の説明で述べたように地表領域特定手段３２により求めることができる。

本実施形態ではステップＳ１０８にて、柱状点群６０も付帯モデル構成点群とする。これにより、Ｈ_Ｌ未満の高さに存在する道路標識のポールや樹木の幹などが３次元ＴＩＮモデル５４に合成され、都市空間モデルに表示される。

付帯モデル構成点群は３次元ＴＩＮモデル５４が表示される仮想的な対象空間に例えば、点描で合成表示される。ステップＳ１０６で抽出される点群や柱状点群６０は基準密度に調整されておらず、レーザ計測点群の比較的高い密度を有するので、点描により好適に視認可能に表示される。付帯モデル構成点群を３次元ＴＩＮモデル５４に合成表示することで、より現実空間に近い質感の３次元モデル５６が得られる。

２ 都市空間３Ｄモデル生成システム、４ 演算処理装置、６ 記憶装置、８ 入力装置、１０ 出力装置、２０ 点群取得手段、２２ 点群追加手段、２４ 点群整理手段、２６ モデル生成手段、３０ レーザ計測点群分類手段、３２ 地表領域特定手段、３４ 地表領域点群除去手段、３６ 付帯点群抽出手段、４０ 柱状点群抽出手段、５０，５４ ３次元ＴＩＮモデル、５２ レーザ計測点群、５６ ３次元モデル。

Claims (7)

1. 対象空間を複数視点から撮影した画像及びレーザスキャナにより当該対象空間にて取得したレーザ計測点群に基づいて、当該対象空間内の地物表面の３次元モデルを生成する３次元モデル生成装置であって、
   前記画像を用いたステレオ写真測量により前記地物表面から抽出した写真測量点群を、前記３次元モデルの形状を表すモデル構成点群として取得する点群取得手段と、
   前記レーザ計測点群のうち、前記写真測量点群から予め定めた第１距離内に存在する近傍レーザ計測点を前記モデル構成点群に加える点群追加手段と、
   前記写真測量点群のうち前記近傍レーザ計測点との距離が、前記第１距離より短く設定された第２距離以下であるものを前記モデル構成点群から除く点群整理手段と、
   を有することを特徴とする３次元モデル生成装置。
2. 請求項１に記載の３次元モデル生成装置において、
   前記レーザ計測点群に基づいて前記地物表面のうち地表領域を特定する地表領域特定手段と、
   前記写真測量点群のうち水平面上での位置が前記地表領域内にある地表領域写真測量点群を前記モデル構成点群から除く地表領域点群除去手段と、を有し、
   前記点群追加手段は、前記写真測量点群のうち前記地表領域写真測量点群を除いた非地表領域写真測量点群について前記近傍レーザ計測点を求め、前記レーザ計測点群のうち当該近傍レーザ計測点及び前記地表領域を構成する地表レーザ計測点を前記モデル構成点群に加えること、
   を特徴する３次元モデル生成装置。
3. 請求項２に記載の３次元モデル生成装置において、
   前記レーザ計測点群のうち前記モデル構成点群内に対応する点が存在せず、かつ水平面上での位置が前記地表領域内にあり、かつ地表面からの高さが予め定めた基準高さ以上である地表領域上方レーザ計測点を付帯モデル構成点群として抽出する付帯点群抽出手段と、
   前記モデル構成点群を頂点とするポリゴンモデルを生成し、当該ポリゴンモデルと前記付帯モデル構成点群とを併合した前記３次元モデルを生成するモデル生成手段と、
   を有することを特徴とする３次元モデル生成装置。
4. 請求項３に記載の３次元モデル生成装置において、
   前記対象空間を分割して複数の部分空間を設定し、当該各部分空間内における前記レーザ計測点群の分布について主成分分析を行って、当該分布が柱状である前記部分空間の前記レーザ計測点群を柱状点群として抽出する柱状点群抽出手段を有し、
   前記モデル生成手段は、前記柱状点群を前記付帯モデル構成点群としてさらに前記３次元モデルに併合すること、
   を特徴とする３次元モデル生成装置。
5. 請求項３又は請求項４に記載の３次元モデル生成装置において、
   前記モデル生成手段は、前記画像に基づいて生成されるテクスチャを前記ポリゴンモデルに貼り付けること、を特徴とする３次元モデル生成装置。
6. 対象空間を複数視点から撮影した画像及びレーザスキャナにより当該対象空間にて取得したレーザ計測点群に基づいて、当該対象空間内の地物表面の３次元モデルを生成する３次元モデル生成方法であって、
   前記画像を用いたステレオ写真測量により前記地物表面から抽出した写真測量点群を、前記３次元モデルの形状を表すモデル構成点群として取得する点群取得ステップと、
   前記レーザ計測点群のうち、前記写真測量点群から予め定めた第１距離内に存在する近傍レーザ計測点を前記モデル構成点群に加える点群追加ステップと、
   前記写真測量点群のうち前記近傍レーザ計測点との距離が、前記第１距離より短く設定された第２距離以下であるものを前記モデル構成点群から除く点群整理ステップと、
   を有することを特徴とする３次元モデル生成方法。
7. コンピュータを、対象空間を複数視点から撮影した画像及びレーザスキャナにより当該対象空間にて取得したレーザ計測点群に基づいて、当該対象空間内の地物表面の３次元モデルを生成する３次元モデル生成装置として機能させるためのプログラムであって、
   当該コンピュータを、
   前記画像を用いたステレオ写真測量により前記地物表面から抽出した写真測量点群を、前記３次元モデルの形状を表すモデル構成点群として取得する点群取得手段、
   前記レーザ計測点群のうち、前記写真測量点群から予め定めた第１距離内に存在する近傍レーザ計測点を前記モデル構成点群に加える点群追加手段、及び、
   前記写真測量点群のうち前記近傍レーザ計測点との距離が、前記第１距離より短く設定された第２距離以下であるものを前記モデル構成点群から除く点群整理手段、
   として機能させることを特徴とするプログラム。

Images