JP2015114954A - 撮影画像解析方法 - Google Patents

Abstract

【課題】 ３次元復元の解析精度を向上させる。
【解決手段】 航空機に搭載したカメラによって、２つの異なる点から異なる撮影方向で同じ領域を撮影した画像を用いて３次元復元を行う。この際、航空機の機軸に対してヨー角が３方向となるように、カメラを設置し、３次元復元の対象となる領域の周辺を格子状の軌跡で飛行しながら撮影する。軌跡上の各地点では、同時に３方向に向けて撮影した画像を得ることができる。カメラの方向が３０°ずつ異なっている場合、直交する２つの軌跡上で撮影した画像間における撮影方向の相対角は、３０°〜１５０°の範囲で分布する。３次元復元を行うための解析装置は、このように多くの撮影方向の組み合わせで得られた画像の中から、相対角が９０°よりも小さくなるものを選択して３次元復元を行う。かかる画像を用いることによって、３次元復元の解析精度を向上させることができる。
【選択図】 図３

Description

本発明は、航空機等の移動体から地物を撮影した画像を解析して、撮影地点と地物との相対的な位置関係を特定する技術に関する。

地物の形状を３次元的に表した３次元地図においては、地物の３次元モデルを精度良く、かつ低い処理負荷で生成することが求められる。このような技術の一つとして、３次元復元の利用が検討されている。
３次元復元処理とは、複数の地点から撮影した複数の画像間の特徴点の対応関係に基づいて、撮影された地物の３次元点群を得る処理である。３次元復元を利用すれば、処理の対象範囲内の画像を航空機等から複数撮影し、この画像を解析することで、対象範囲を表す３次元の点群を得ることができる。かかる点群が得られれば、それを解析することによって３次元モデルを生成することも可能となる。画像間の特徴点の対応関係を判断するための技術として、ＳＩＦＴ（Scale-Invariant Feature Transform）などが利用される。

従来、３次元復元のための画像の撮影方法としては、以下に示すように、対象領域を直線状または格子状に飛行しながら撮影する方法がとられている。
特許文献１は、ヘリコプターに搭載したカメラで撮影した画像に基づき、市街地の３次元モデルを生成する技術を開示しており、ヘリコプターで対象となる領域を直線状に往復等しながら格子状の経路で撮影する方法を開示している。
特許文献２は、同様に、カメラを搭載したヘリコプターで直線経路を飛行しながら撮影した画像から、３次元モデルで使用するテクスチャを生成する技術を開示している。

特開２００５−６１９３１号公報 特開２００５−６３１２９号公報

３次元モデルを広範囲で生成しようとすると、直線的な経路で格子状に撮影を行うことが効率的である。また、このように直線的な経路で撮影を行っておくと、その後の画像データの管理も、比較的容易となる。
しかしながら、実際、格子状の経路で撮影をしてみると、ＳＩＦＴ等による特徴点のマッチング、ひいては３次元復元の結果が十分な精度で得られない領域が生じることが判明した。かかる課題は、航空機から撮影する場合に限らず、移動体から撮影する場合に共通に生じ得る課題である。また、ＳＩＦＴを利用するか否かに関わらず、複数の画像間の特徴点を対応づける際に共通の課題であった。
本発明は、かかる課題を解決し、撮影地点と地物との相対的な位置関係を精度良く特定可能とすることを目的とする。

本発明は、
移動体から撮影した画像を解析する撮影画像解析方法であって、
（Ａ）前記移動体に、その進行方向に対して複数のヨー方向に向けて複数台のカメラを設置し、格子状の経路を移動しながら、複数の地点で前記カメラによる撮影を行い、画像データを生成するステップと、
（Ｂ）コンピュータによって前記画像データを解析するステップとを備え、
前記ステップ（Ｂ）は、前記コンピュータが実行するステップとして、
（Ｂ１）前記撮影された画像データを読み込むステップと、
（Ｂ２）前記画像データのうち、共通の領域を異なる撮影方向から撮影し、かつその撮影方向の差異が９０°より小さい関係にある複数の画像データを選択するステップと、
（Ｂ３）前記選択された画像データ間で対応する特徴点を求め、該画像データの撮影位置と該特徴点との３次元空間内での相対的な位置関係を解析するステップとを備える撮影画像解析方法と構成することができる。

本願の発明者は、種々の実験に基づき、従来技術において、特徴点のマッチングが十分な精度で得られなくなる原因が、マッチングに利用する画像の撮影方向が９０°以上開いている点にあることを見いだした。例えば、ビルの平面形状が矩形であることを考えると、撮影方向が９０°以上異なれば、同一のビルであっても、全く異なる面を撮影することになるため、マッチングすることができなくなってしまう。マッチング精度の低下には、ビルの平面以外にも種々の要因が考えられるが、いずれにしてもマッチングに使用する画像同士の撮影方向の差異は、９０°より小さくすることが好ましいことが実験および解析によって見いだされた。

こうした原因を踏まえ、本発明によれば、画像を撮影する際に、ヨー方向が異なる複数台のカメラを用いるため、直線的な経路上の各点において複数方向で撮影した画像を得ることができる。この結果、得られた画像間の撮影方向の差異、つまり撮影方向同士の間の角度が多様となり、それが９０°より小さくなる画像の組み合わせが得られやすくなる。本発明では、撮影方向がかかる関係にある画像を用いて、特徴点を求め、該画像データの撮影位置と該特徴点との３次元空間内での相対的な位置関係を求める解析を行うため、その精度を向上させることが可能となる。

本発明において、格子状の経路とは、直線状の経路を組み合わせることによって格子が描かれていれば足りる。必ずしも一つの格子を完成させた後、隣の格子に移動する経路に限定されるものではない。また、格子は、種々の形状とすることができ、平行四辺形などとしてもよいし、五角形以上であってもよい。
本発明において、画像データ間で特徴点を求め、位置関係を解析する方法は、ＳＩＦＴを含む種々の方法で行うことができる。
本発明の解析によって得られた相対的な位置関係は、種々の目的に利用することができる。例えば、かかる相対的な位置関係に基づき、画像内の各点の３次元的な絶対座標を解析する３次元復元に利用してもよい。また、相対的な位置関係に基づき、各画像の撮影位置および撮影方向を特定し、ユーザが指定した視点、視線方向に応じて、それに該当する画像を表示するシステムを構築するために利用してもよい。
本発明における移動体としては、例えば、航空機を利用することができるが、車両、歩行者などとしてもよい。

本発明の撮影画像解析方法においては、
前記カメラは、前記移動体の進行方向に対し、片側に３方向備えられているものとしてもよい。
撮影方向が９０°より小さくなる組み合わせの画像を得るためには、片側に複数を設置しておくことが好ましい。カメラの数は、２台でもよいが、３台とすると、９０°になる組み合わせが多様になり、解析に用いることができる画像が増えるため、精度向上を図ることができる。３台以上を設けても良いが、カメラの台数が増えることによるコスト増加を抑制することを考えると、３台が最も好ましいと言える。
上記態様は、両側にカメラを備えることを排除する趣旨ではない。片側に３台のカメラを備えつつ、反対側に、１台または複数台のカメラを備えるようにしてもよい。

また、本発明の撮影画像解析方法においては、
前記経路は、直交格子状の経路であるものとしてもよい。
直交格子、即ち、各格子の内角が９０°の格子の場合、仮に、単一のカメラで撮影すると、格子点の付近では、撮影方向が９０°異なる画像ばかりの組み合わせとなり、解析精度が極端に低下しやすくなる。本発明によれば、複数方向に撮影しているため、こうした弊害を回避することができる。従って、本発明は、このような直交格子を利用する場合に、有用性が高くなる。

本発明は、上述した各特徴を全て備えている必要はなく、適宜、一部を省略したり、組み合わせたりして構成することができる。また、本発明は、撮影画像解析方法としての構成の他、以下に示す撮影画像解析システムとして構成することもできる。
即ち、進行方向に対して複数のヨー方向に向けて複数台のカメラが設置された移動体から撮影した画像を解析する撮影画像解析システムであって、
前記移動体が格子状の経路を移動しながら、複数の地点で前記カメラによる撮影を行って生成した画像データを読み込む画像データ入力部と、
前記画像データのうち、共通の領域を異なる撮影方向から撮影し、かつその撮影方向の差異が９０°より小さい関係にある複数の画像データを選択する画像データ選択部と、
前記選択された画像データ間で対応する特徴点を求め、該画像データの撮影位置と該特徴点との３次元空間内での相対的な位置関係を解析する解析部とを備える撮影画像解析システムである。
かかる撮影画像解析システムによっても、撮影画像解析方法で説明したのと同様、精度の高い解析を実現することが可能となる。撮影画像解析システムにおいても、撮影画像解析方法で説明した種々の特徴を適用可能である。

本発明は、さらに、上述の撮影画像解析方法を、コンピュータに実行させるコンピュータプログラムとして構成してもよいし、かかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体（光磁気ディスク、フラッシュメモリ、ハードディスクなどコンピュータが読取り可能な種々の媒体を含む）として構成してもよい。

航空機による撮影軌跡を示す説明図である。 ３次元モデル生成システムの構成を示す説明図である。 撮影用の航空機におけるカメラの設置状態を示す説明図である。 特徴点の解析結果を示す説明図である。 特徴点の解析結果を示す説明図である。 ３次元点群生成処理のフローチャートである。 マッチング画像選択処理のフローチャートである。 ３次元モデル生成処理のフローチャートである。

以下、航空機から撮影した画像を解析し、３次元復元を行って、さらに３次元モデルを生成する３次元モデル生成システムを例にとって、本発明の実施例を説明する。

Ａ．撮影軌跡：
図１は、航空機による撮影軌跡を示す説明図である。航空機１００で対象領域の上空を飛行しながら撮影する際の軌跡を示した。下側の図に示す通り、航空機１００は、軌跡Ｐ１のように折り返しながら飛行し、その後、軌跡Ｐ２のように折り返しながら飛行する。こうすることによって、右上に示すように、軌跡Ｐ１、Ｐ２によって、正方形または長方形のメッシュＭを形成させることができる。本実施例では、このように矩形のメッシュを形成する軌跡で飛行するものとした。
矩形のメッシュを形成するための軌跡は、図示した例に限らず、種々の軌跡をとることができる。また、メッシュは、必ずしも矩形でなくてもよく、平行四辺形や五角形以上の多角形など、種々の形状をとることができる。

Ｂ．システム構成：
図２は、３次元モデル生成システムの構成を示す説明図である。３次元モデル生成システムは、航空機１００で撮影した画像を解析して、地物ごとの３次元形状を表す３次元モデルを生成するシステムである。航空機に搭載され、地域の写真の画像データを取得する装置を撮影管理装置と呼ぶ。画像データから３次元モデルを生成する装置を、３次元モデル生成装置２００と呼ぶ。本発明の撮影画像解析装置は、３次元モデル生成装置２００の一機能として実現されている。以下、それぞれの構成について順に説明する。

（１）撮影管理装置の構成：
撮影管理装置は、航空機１００に搭載されている。航空機１００は、固定翼、回転翼いずれでもよく、有人／無人のいずれであってもよい。
撮影管理装置には、撮影用のカメラ１０１、位置情報を取得するためのセンサであるＧＰＳ（Global
Positioning System）１０２、および図示する各機能ブロックが備えられている。機能ブロックは、それぞれの機能を実現するためのコンピュータプログラムを、コンピュータにインストールすることによって構成することもできるし、ハードウェア的に構成してもよい。
カメラ１０１は、３次元モデルを生成するための解析に使用される写真を撮影するためのものである。解析精度を向上させるためには、高解像度の写真が望ましい。本実施例では高解像度での撮影が可能な静止画用のディジタルカメラを用いた。十分な解像度が得られる場合には、動画撮影用のカメラを用いてもよい。

撮影シーケンス記憶部１１２は、撮影を行うための航空機の飛行経路および撮影ポイントを記憶している。撮影ポイントは、カメラ１０１の画角も考慮して設定されており、処理対象となる領域について、２０枚以上の写真が、それぞれ６０％程度以上は重複した状態で、順次撮影されるように設定されている。飛行経路の設定方法は図１で説明した通りである。飛行経路等は、予め別のコンピュータ等によって設定したものを、撮影シーケンス記憶部１１２に記憶させる方法をとってもよいし、撮影シーケンス記憶部１１２で設定するようにしてもよい。
有人の航空機を用いる場合、飛行経路に従って航空機を飛行させるのはパイロットの役目となる。かかる場合には、撮影シーケンス記憶部１１２は、パイロットに対し、適宜、設定された飛行経路に沿った飛行を支援するための情報を提供してもよい。
無人の航空機を用いる場合には、撮影シーケンス記憶部１１２は、飛行を制御する制御装置に、飛行経路に関する情報を送信するように構成してもよい。

撮影制御部１１０は、カメラ１０１を制御し、撮影シーケンス記憶部１１２で設定された撮影ポイントにおいて処理対象領域の写真を撮影する。航空機の現実の飛行経路と、撮影シーケンス記憶部１１２に記憶された経路とは誤差があるため、撮影制御部１１０は、かかる誤差も踏まえて、予め設定された撮影ポイント付近に到達したと判断される時点で撮影を行うようにしてもよい。
また、撮影シーケンスは、必ずしも撮影ポイントを特定する方法だけでなく、一定の時間周期で撮影を行うように設定してもよい。かかる場合には、撮影制御部１１０は、設定された時間間隔ごとに撮影を行うようカメラ１０１を制御することになる。
撮影制御部１１０は、いずれの方法で撮影を行う場合においても、カメラ１０１による撮影と同期して、ＧＰＳ１０２から撮影位置の位置情報を取得し、両者を関連づけて画像記録部１２０に記録する。
撮影制御部１１０は、自動的に撮影を行う態様として構成する他、航空機に搭乗した撮影者に対して、撮影タイミングを知らせるものとしてもよい。

（２）３次元モデル生成装置２００の構成：
３次元モデル生成装置２００には、図示する機能ブロックが備えられている。これらの機能ブロックは、それぞれの機能を実現するためのコンピュータプログラムを、コンピュータにインストールすることによって構成されるし、ハードウェア的に構成してもよい。
以下、各機能ブロックの機能について説明する。

画像データ記憶部２０１は、撮影管理装置１００で撮影、収集された画像データおよび撮影位置の位置情報を読込み、記憶する。撮影管理装置１００から画像データ記憶部２０１への画像データの受け渡しは、有線、無線または記録媒体を介して行うことができる。
３次元点群生成部２０２は、画像データ記憶部２０１の画像データおよび撮影位置を用いて、３次元点群を生成する。３次元点群とは、それぞれ３次元の座標値および法線ベクトルが付与された多数の点である。法線ベクトルとは、各点が存在すると推定される面の法線ベクトルを意味する。
本実施例では、画像データを撮影した時系列に並べると、前後の画像データ同士は、約６０％程度以上の面積が重複した状態で撮影されている。つまり、対象領域内の建物は、撮影ポイントが異なる複数の画像データに撮影されていることになる。従って、複数の画像データ内で相互に対応する点を特定できれば、いわゆる三角測量と同様の原理によってその点の３次元座標を特定することが可能となる。複数の画像データ内で対応する点を特定する技術としては、種々の技術が知られているが、本実施例では、画像特徴量の一例としてＳＩＦＴ（Scale-Invariant Feature Transform）と呼ばれる公知の技術を適用した。
同じ領域を撮影した画像であっても、対応する特徴点を見いだすのに適した組み合わせとそうでない組み合わせとが存在する。マッチング画像選択部２０２ａは、画像データ記憶部２０１に記憶された多数の画像データの中から、対応する特徴点を見いだす処理、即ちマッチングに適した画像の組み合わせを選択する機能を奏する。
３次元点群データ記憶部２０３は、３次元点群生成部２０２によって得られた３次元点群を記憶する。画像データに写っている部分を解析して得られた点群であるから、３次元点群は、主として建物等の外壁、屋根などの外面部分を表すものとなる。また、画像内には、地面、道路、街路樹、車両など建物以外も多数写っており、これらについても画像内の対応関係が特定される限り３次元点群は生成可能であるから、３次元点群には、こうした建物以外を表すものも多数含まれている。３次元点群は、それぞれ３次元の座標値と法線ベクトルを有しているが、これらの座標値、法線ベクトルは、地球座標系で定義されたものではなく、解析のために設定された架空の３次元空間における座標値である。
このように地球座標系での位置関係が特定されておらず、建物単位に区分もされていない３次元点群から、建物ごとに地図として利用可能な精度で位置座標を有する３次元ポリゴンを生成するのが、以下で示す各機能ブロックの機能である。

重力方向解析部２０４は、点群の重力方向を解析する。通常、直交座標系で地理的な位置が表されている場合には、重力方向はＺ軸方向と一致するが、３次元点群の座標系は地球座標系で定義されたものではないため、必ずしもＺ軸が重力方向になるとは限らない。重力方向解析部２０４は、解析によって重力方向を求めることによって、点群の座標系を地球座標系に対応づける第1段階としての機能を奏する。
点群分離処理部２０５は、点群を建物単位に分離する。３次元点群は、画像に写っている点の３次元座標を求めたものであり、建物単位で分離もされていなければ、建物の地面等との分離もされていない。点群分離処理部２０５は、かかる３次元点群を解析して、建物ごとの点群に分離する機能を奏する。
建物枠生成部２０６は、建物ごとに分離された点群に基づいて２次元的な外形形状を表す建物枠を生成する。
位置合わせ処理部２０７は、２次元地図データ２１０に記憶された２次元地図に複数の建物枠を適合させることによって、重力方向以外の座標系を地球座標系に対応づける機能を奏する。位置合わせ処理部２０７は、建物ごとに分離された点群を1つずつ２次元地図に適合させていくのではない。点群で表されている複数の建物全体を、その相対的な関係を概ね保った状態で、全体として２次元地図に適合させるのである。このように複数の建物全体を適合させることによって、精度良く位置合わせを行うことができる。
ポリゴン生成部２０８は、以上の処理によって２次元的な形状が定まった建物ごとに、点群に基づき側面および上面のポリゴンを生成する。
テクスチャ生成部２０９は、生成されたポリゴンの表面に貼り付けるテクスチャを、画像データ記憶部２０１に記憶された画像データによって生成する。
以上の処理で生成された３次元ポリゴンおよびテクスチャは、３次元モデルデータ２１１に格納される。

（３）カメラの設置状態：
図３は、撮影用の航空機におけるカメラの設置状態を示す説明図である。本実施例では、航空機１００に３台のカメラ１０１ａ〜１０１ｃを設置して、撮影を行う。図の上段に示すように、航空機の機軸、即ち前後の進行方向の軸を基準として、カメラ１０１ｂはヨー角が９０°の方向、即ち航空機の真横を撮影する方向に設置されている。カメラ１０１ａおよびカメラ１０１ｃは、それぞれカメラ１０１ｂとヨー角３０°の相対角を持たせて設置されている。つまり、機軸とのなす角は、カメラ１０１ｃが６０°、カメラ１０１ｂが９０°、カメラ１０１ａが１２０°となる。
カメラ１０１ａ〜１０１ｃは、飛行中に下方を効率的に撮影可能とするため、下向きのロール角を持たせて設置することが好ましい。

図の下段に、カメラ１０１ａ〜１０１ｃの設置角度の意味を示した。航空機が軌跡Ｐ１、Ｐ２を飛行しながら撮影を行った場合を考える。撮影は、多くの地点で行われるが、図中には、軌跡Ｐ１、Ｐ２上に代表的な地点を１点ずつ白丸で示した。軌跡Ｐ１上の撮影地点におけるカメラ１０１ａ〜１０１ｃの撮影方向を矢印ａ１〜ｃ１で示し、軌跡Ｐ２上の撮影地点におけるカメラ１０１ａ〜１０１ｃの撮影方向を矢印ａ２〜ｃ２で示した。それぞれの撮影方向を、軌跡Ｐ１を基準とする角度θで表すものとする。撮影方向ａ１、ｂ１、ｃ１は、θ＝１２０°、９０°、６０°と表される。軌跡Ｐ２上の撮影方向も、軌跡Ｐ１を基準として表すと、撮影方向ａ２、ｂ２、ｃ２は、θ＝３０°、０°、-３０°と表される。
３次元復元を行うため、軌跡Ｐ１、Ｐ２で撮影された画像を利用する場合を考える。両者の撮影方向の相対角を一覧表で示した。撮影方向ａ１、ａ２の２枚を利用すると考えると、両者の撮影方向の相対角は９０°となる。以下、同様にして、撮影方向ａ１、ｂ１、ｃ１と、撮影方向ａ２、ｂ２、ｃ２の各組み合わせに対する撮影方向が、図中に示す通り求められる。
３次元復元では、建物を９０°より小さい相対角で撮影した画像を用いることが好ましい。相対角が９０°以上の画像を用いてしまうと、建物の異なる面が撮影され、対応する特徴点が見いだされないことが多いからである。
かかる観点で、９０°よりも小さい画像の組み合わせを選択すると、撮影方向ｂ１、ｃ１と、ａ２、ｂ２との組み合わせが適していることが見いだされる。
このように、本実施例では、３方向にカメラを設置しているため、直交する軌跡を飛行した場合でも、３次元復元に適した画像を得ることができ、解析精度を向上させることができる。撮影方向ａ１、ａ２の組み合わせ、ｂ１、ｂ２の組み合わせ、ｃ１、ｃ２の組み合わせは、いずれも相対角が９０°になっていることを考えると、カメラ１０１ａ〜１０１ｃのいずれか１台しか設置されていない場合には、３次元復元に適した画像が得られないおそれがあることが分かる。

図４は、特徴点の解析結果（１）を示す説明図である。図の上段に示すように、直交する軌跡Ｐ１、Ｐ２上の撮影点ＣＰ１、ＣＰ２で撮影した画像を用いた結果を示した。画像ＩＭＧｂは、地点ＣＰ２において矢印で示す方向に撮影した場合の画像であり、画像ＩＭＧａは、地点ＣＰ１において矢印で示す方向に撮影した場合の画像である。画像ＩＭＧａ、ＩＭＧｂの撮影方向の相対角は９０°となっている。
図中に示した直線ＥＭは、画像ＩＭＧａ、ＩＭＧｂ間で、対応する特徴点を表している。特徴点の数は、比較的少ないことが分かる。また、この対応関係には、誤認識によるものも含まれている。

図５は、特徴点の解析結果（２）を示す説明図である。図の上段左側に示すように、航空機に３台のカメラを搭載して撮影した場合の解析結果を示した。上段右側に示す通り、矩形のメッシュの角の領域Ａにおける解析結果である。
先に図３で説明した通り、カメラを３台搭載している場合には、撮影地点ＣＰ１において撮影方向ａ１〜ａ３、撮影地点ＣＰ２において撮影方向ｂ１〜ｂ３の各３方向で撮影が行われる。この中で、撮影方向の相対角が９０°よりも小さくなる画像の組み合わせ、この場合は、撮影方向ａ１、ｂ３の組み合わせを用いた。画像ＩＭＧ１は撮影方向ａ１に対するもの、画像ＩＭＧ２は撮影方向ｂ３に対するものである。
図中に示した直線ＭＬは、画像ＩＭＧａ、ＩＭＧｂ間で、対応する特徴点を表している。特徴点の数は、先に示した図４と比較すると、非常に多くなっていることが分かる。解析結果における特徴点の誤認識も少ない。
このように、本実施例の撮影方法によれば、３次元復元における解析精度を非常に高めることが可能となる。

Ｂ．３次元点群生成処理：
次に撮影した画像から３次元点群を生成する処理について説明する。
飛行経路および撮影ポイントが決まると、これに従って、目標の周辺を飛行しながら撮影が行われる。撮影された画像データは、図１で説明した通り、逐次、撮影ポイントの位置座標とともに、撮影管理装置１００の画像記録部１２０に記録される。撮影が完了すると、画像データおよび位置座標は、３次元モデル生成装置２００に入力され、３次元点群が生成される。画像データの３次元モデル生成装置２００への読込みは、種々の方法で行うことができるが、本実施例では、記録媒体を介して読み込ませるものとした。

図６は、３次元点群生成処理のフローチャートである。３次元モデル生成装置２００の３次元点群生成部２０２が実行する処理であり、ハードウェア的には、３次元モデル生成装置２００のＣＰＵが実行する処理である。
処理を開始すると、３次元モデル生成装置２００は、処理対象となるメッシュ（図１参照）を設定する（ステップＳ１０）。未処理のメッシュを自動的に選択するようにしてもよいし、オペレータの指示によって設定するようにしてもよい。そして、指定されたメッシュに対して、特徴点の対応付けの解析に用いるマッチング画像の選択処理を行う（ステップＳ１１）。この処理は、撮影によって得られている多くの画像の中から、マッチングに適した画像を選択する処理である。処理内容については、後述する。
画像が選択されると、３次元モデル生成装置２００は、画像特徴量によるマッチングにより、画像間の特徴点の対応付けを行う（ステップＳ１２）。図中に特徴点の対応付けの様子を示した。図示するように画像１、画像２のそれぞれから、特徴点（図中の４つの×印）を抽出し、それぞれの特徴点同士の対応関係を認識するのである。画像特徴量によるマッチングは、画像内の色成分に基づいて特徴点を抽出し、画像間の対応関係を求める解析技術であり、解析原理およびアルゴリズムともに周知であるため、詳細な説明は省略する。ステップＳ１２では、画像間の特徴点同士を対応づけるものであれば、ＳＩＦＴなど、種々の手法を用いることができる。

こうして特徴点の対応関係が求まると、各特徴点の３次元座標および法線ベクトルを算出することができる（ステップＳ１３）。図中に算出原理を図示した。実施例で使用する各画像には、それぞれ撮影ポイントの位置情報が付されているため、複数の画像間で対応関係が得られた特徴点については、２つ以上の撮影ポイント１，２が対応づけられることになる。撮影ポイント１，２からの画角等に基づいて撮影した画像内の特徴点の位置を解析すれば、それぞれの撮影ポイント１，２から特徴点を視た方向を決定することができ、撮影ポイント１、２の座標値に対して特徴点の相対的な位置関係を特定することができる。ここで得られる特徴点の位置座標は、地球座標系での絶対的な位置座標ではなく、解析用の空間に設定された架空の３次元座標（ｘａ、ｙａ、ｚａ）上での座標値である。
法線ベクトルとは、各特徴点が存在すると推定される推定面の法線方向のベクトルである。実施例では、対応する画像において多数の特徴点が抽出され、各画像内の特徴点同士の相対的な位置関係が維持されることを前提として、画像間での特徴点の対応関係を認識する。このように特徴点同士の相対的な位置関係から、その特徴点が存在する推定面が特定され、その法線ベクトルを求めることができる。
これらの画像間の相対的位置関係、３次元座標および法線ベクトルの算出も、ＳｆＭ（Structure
from Motion）技術、およびそれを利用した手法として周知であるため、さらなる詳細な説明は省略する。
３次元座標および法線ベクトルが算出された特徴点の集合を、以下、３次元点群と呼ぶ。３次元モデル生成装置２００は、得られた３次元点群のデータを格納し（ステップＳ１４）、３次元点群生成処理を終了する。
本実施例では、撮影した画像データから３次元点群を取得しているが、以下の処理は、レーザ計測など、他の方法によって得られた３次元点群を用いて行うこともできる。

図７は、マッチング画像選択処理のフローチャートである。３次元点群生成処理（図６）のステップＳ１１に相当する処理である。この処理では、３次元モデル生成装置２００は、対象メッシュ周囲の画像データを入力する（ステップＳ２０）。図中に入力すべき画像データの様子を示した。中央の破線の部分が対象メッシュである。本実施例では、矩形状に飛行軌跡を設定しており、対象メッシュの辺を通過する軌跡も存在するが、先に図３に示したようにカメラは航空機の横から斜め下に向けて設置されており、航空機の直下を撮影することはできないため、対象メッシュを広範囲に撮影している画像は、対象メッシュよりも距離Ｄだけ離れた軌跡から撮影された画像となる。この距離Ｄは、カメラの画角、撮影時の高度などに応じて定めることができる。各軌跡上では、多数の箇所で撮影が行われているため、これらの画像が、ステップＳ２０での入力対象となる。

次に、３次元モデル生成装置２００は、撮影方向の相対角＜９０°となる画像の組み合わせを選択する（ステップＳ２１）。
図中に示すように、軌跡同士の交点に向かう側の撮影地点ｃｐにおける撮影方向ａ、ｂ、ｃの画像と、交点から離れる側の撮影地点ＣＰにおける撮影方向Ａ、Ｂ、Ｃの画像との間では、撮影方向ａ、Ｂの組み合わせ、ａ、Ｃの組み合わせ、およびｂ、Ｃの組み合わせが条件に合致する組み合わせとなる。３次元モデル生成装置２００は、これらの組み合わせに該当する画像を全て選択するようにしてもよいし、さらに、画質等の条件を考慮して選択すべき画像を絞り込んでも良い。
こうして選択された画像は、３次元点群生成に活用される。

Ｄ．３次元モデル生成処理：
図８は、３次元モデル生成処理のフローチャートである。先に説明した３次元点群データに基づいて、建物ごとの３次元形状を表す３次元モデルを生成するための処理である。この処理は、図２に示した重力方向解析部２０４、点群分離処理部２０５、建物枠生成部２０６、位置合わせ処理部２０７、ポリゴン生成部２０８、テクスチャ生成部２０９によって、それぞれ実現される処理である。ハードウェア的には、３次元モデル生成装置２００のＣＰＵが実行する処理となる。

図８には、全体の処理の流れを示した。
Ｄ１．重力方向解析処理：
３次元モデル生成処理では、まず重力方向解析処理が行われる（ステップＳ３０）。これは、重力方向解析部２０４の機能に相当する処理であり、３次元点群を解析して重力方向を以下の手順で、特定する処理である。
本実施例では、３次元点群全体の主成分分析を行い、第３主成分をまず仮の重力方向Ｇｔとして設定する。かかる方法で重力方向を特定できる理由は、次の通りである。本実施例の３次元点群は、目標を中心とする周辺の領域を撮影して得られるものである。撮影される建物が高層ビルであっても、その高さは、撮影される領域の水平方向の広がりに比べれば小さい。従って、３次元点群は、全体的に見れば、図示するように、比較的平たい領域に分布することとなる。
主成分分析とは、３次元空間内における３次元点群の分布を特徴づける方向を求めるものであり、３次元点群の分布が大きい方向から順に第１主成分、第２主成分、第３主成分となる。平たい領域に分布した３次元点群については、水平方向の分布に基づいて第１主成分、第２主成分が求まり、それに直交する方向が第３主成分となる。従って、第３主成分は、３次元点群の重力方向Ｇｔを表すことになる。ただし、点群の分布に基づく誤差が含まれているため、第３主成分は、あくまでも仮の重力方向を示すに過ぎない。
本実施例では、このように平たい領域に分布する３次元点群を利用するため、垂直方向と推測される面のみを抽出するなどといった複雑な前処理を行うまでなく、主成分分析により仮の重力方向を求めることが可能となる。

実施例の３次元点群は、３次元の位置座標とともに、法線ベクトルを有しているから、仮の重力方向が決まると、これに比較的沿う方向の法線ベクトルを有する点群を特定することができる。かかる点群を除外すれば、建物を構成する点群のうち、水平面を構成する点群を除外することができ、建物の垂直面を構成する点群を抽出することができる。また、こうして抽出された点群について、点間の距離および法線方向に基づいてクラスタリングを行えば、点群を建物の側面単位で分離することができる。そして、各面ごとに主成分分析を行い、第３主成分求めれば、それが側面の法線ベクトル方向となる。この法線ベクトルの精度は、第３固有値によって評価できる。つまり、第３固有値が大きいということは、法線方向に点群のばらつきが大きいことを示しており、法線の精度が低いことを表すからである。

こうして各側面の法線ベクトルが得られると、任意の２つの側面の法線ベクトルＶｉ、Ｖｊの外積Ｖｉ×Ｖｊを求めれば、重力方向Ｇが得られるはずである。ただし、法線ベクトルＶｉ、Ｖｊには、それぞれ誤差が含まれているから、こうして得られる重力方向Ｇにも誤差が含まれている。そこで、実施例では、得られている法線ベクトルから、平行ではない任意の組み合わせを選択して、外積により個別の重力方向を求め、その加重平均によって最終的な重力方向Ｇを算出する。加重平均における重み値としては、例えば、法線ベクトルＶｉ、Ｖｊの精度を表す第３固有値の和（ｅｉ＋ｅｊ）の逆数とすることができる。
以上の通り、３次元点群に対して統計的な処理を施すことにより、それぞれの点の位置座標および法線ベクトルに含まれる誤差の影響を抑制し、高い精度で重力方向を決定することが可能となる。

Ｄ２．点群分離処理：
次に、点群分離処理が行われる（ステップＳ３１）。これは、点群分離処理部２０５の機能に相当する処理であり、３次元点群を建物単位に分離する処理である。
この処理の過程で、まず、３次元モデル生成装置２００は、３次元点群を階層ごとに分離する。そして、各階層内で点間の距離によって点群のクラスタリングを行う。このうち、上下方向の法線ベクトルが多く含まれているクラスタには屋上面が存在すると判断することができるから、クラスタを屋上面が存在するものと、側面のみのものに分離することができる。その上で、屋上面が存在するクラスタから、そのクラスタが積層されている下の階層のクラスタを特定していく。この特定は、例えば、上下の階層に属するクラスタ間の２次元的な距離が所定値以下となるもの同士を、同じ建物で上下に重なっているものと判断することで行うことができる。高層階で分岐している複雑な形状の建物の場合、上の分岐部分は、下の階層で共通のクラスタに関連づけられるから、このツリー構造によって、全体が一つの建物であると認識される。
このようにクラスタの関連付けおよびツリー構造を利用することにより、特殊な形状の建物も含め、３次元点群を建物ごとに分離することが可能となる。

Ｄ３．建物枠生成処理：
次に、建物枠生成処理が行われる（ステップＳ３２）。これは、建物枠生成部２０６の機能に相当する処理であり、建物の２次元的な形状を特定する処理である。
この処理の過程で、まず、３次元モデル生成装置２００は、法線ベクトルに基づいて、３次元点群から側面の点群を抽出する。そして、分離された側面に沿わせて所定サイズのグリッドを配置し、点群を水平面に投影し、１又は複数の点が存在する格子を抽出する。この処理によって、処理対象となるべき点数は、建物枠に対応する位置にある格子点の数にまで減少される。このように処理対象となる点数を減らした上で、３次元モデル生成装置２００は、ほぼ直線的に配列されていると判断される部分について、点を間引くことで、建物枠を決定する。

Ｄ４．位置合わせ処理：
次に、位置合わせ処理が行われる（ステップＳ３３）。これは、位置合わせ処理部２０７の機能に相当する処理であり、３次元点群を２次元の地図に適合させる処理である。
本実施例における位置合わせ処理は、建物ごとに２次元地図データと対比して、形状や位置の微修正を行うものではない。本実施例では、目標の建物周辺の領域について３次元点群が得られており、これらの３次元点群は、建物ごとに上面、側面を再現するのと同様の精度で、建物間の相対的な位置関係も表しているはずである。かかる考え方の下、本実施例では、これまでの処理で得られている複数の建物枠の全体を，２次元地図に最も精度良く適合させ得る形状および位置の変換方法を見いだすのである。
かかる位置合わせは、得られた建物枠を構成する頂点と、２次元地図上の頂点との対応関係を種々の組み合わせで試行し、最も小さい変形で、３次元点群を２次元地図に適合させられる対応関係を特定する。かかる特定には、焼きなまし法、またはシミューレーテッドアニーリング法を用いることができる。
かかる方法によれば、建物ごとの形状、および建物の相対的な位置関係について、３次元点群が有する情報を十分に活用することができるため、精度良く位置合わせを行うことが可能となる。

Ｄ５．ポリゴン生成処理：
次に、ポリゴン生成処理が行われる（ステップＳ３４）。これは、ポリゴン生成部２０８の機能に相当する処理であり、建物ごとの３次元点群に基づいて、側面および上面のポリゴンを生成する処理である。
３次元モデル生成装置２００は、ここまでの処理によって得られた建物枠に基づいて上面を定義し、次にこれを下方に平行移動することで、各辺に対して建物の側面のポリゴンを設定する。上で分岐しているような特殊な形状の建物についても同様に、分岐している各上面を下方に平行移動することによって分岐部分の側面を生成し、また低階層の上面を下方に平行移動することによって低階層の側面ポリゴンを生成することができる。このように上面の形状を利用する他、建物枠生成処理で分離された側面の点群に基づいてポリゴンを定義してもよい。

Ｄ６．テクスチャ生成処理：
最後に、撮影した画像から、建物のテクスチャを生成するテクスチャ生成処理が行われ（ステップＳ３５）、３次元地図として利用可能な位置精度を有する建物ごとの３次元モデルが生成される。テクスチャ生成処理では、画像内に建物が写っており、かつ、処理対象のポリゴンが背面とはなっておらず、かつ、他のポリゴンによって遮蔽されていない画像を選択し、その中で処理対象ポリゴンの面積が最大となるものからテクスチャを切り出す処理を行う。

Ｅ．効果：
以上の実施例によれば、航空機にヨー角を３方向に変えたカメラを設置し、一つの撮影地点で３方向の撮影を行うことにより、矩形状の軌跡を飛行して撮影した場合でも、撮影方向の相対角が９０°よりも小さくなる画像の組み合わせを選択可能となるため、３次元復元における解析精度を飛躍的に向上させることが可能となる。
本発明は、必ずしも上述した実施例の全ての機能を備えている必要はなく、一部のみを実現するようにしてもよい。また、上述した内容に追加の機能を設けてもよい。
本発明は上述の実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。（１）実施例においてハードウェア的に構成されている部分は、ソフトウェア的に構成することもでき、その逆も可能である。
（２）航空機に設置するカメラは、２方向または４方向以上であってもよい。
（３）撮影時の軌跡は、矩形状ではなく平行四辺形や五角形以上の多角形であってもよい。
（４）３次元復元による解析結果は、３次元点群の生成以外の方法で利用することもできる。

本発明は、航空機等の移動体から地物を撮影した画像を解析して、撮影地点と地物との相対的な位置関係を特定するために利用可能である。

１００…航空機
１０１、１０１ａ、１０１ｂ、１０１ｃ…カメラ
１０２…ＧＰＳ
１１０…撮影制御部
１１２…撮影シーケンス記憶部
１２０…画像記録部
２００…３次元モデル生成装置
２０１…画像データ記憶部
２０２…３次元点群生成部
２０２ａ…マッチング画像選択部
２０３…３次元点群データ記憶部
２０４…重力方向解析部
２０５…点群分離処理部
２０６…建物枠生成部
２０７…位置合わせ処理部
２０８…ポリゴン生成部
２０９…テクスチャ生成部
２１０…２次元地図データ
２１１…３次元モデルデータ

Claims (4)

1. 移動体から撮影した画像を解析する撮影画像解析方法であって、
   （Ａ）前記移動体に、その進行方向に対して複数のヨー方向に向けて複数台のカメラを設置し、格子状の経路を移動しながら、複数の地点で前記カメラによる撮影を行い、画像データを生成するステップと、
   （Ｂ）コンピュータによって前記画像データを解析するステップとを備え、
   前記ステップ（Ｂ）は、前記コンピュータが実行するステップとして、
   （Ｂ１）前記撮影された画像データを読み込むステップと、
   （Ｂ２）前記画像データのうち、共通の領域を異なる撮影方向から撮影し、かつその撮影方向の差異が９０°より小さい関係にある複数の画像データを選択するステップと、
   （Ｂ３）前記選択された画像データ間で対応する特徴点を求め、該画像データの撮影位置と該特徴点との３次元空間内での相対的な位置関係を解析するステップとを備える撮影画像解析方法。
2. 請求項１記載の撮影画像解析方法であって、
   前記カメラは、前記移動体の進行方向に対し、片側に３方向備えられている撮影画像解析方法。
3. 請求項１または２記載の撮影画像解析方法であって、
   前記経路は、直交格子状の経路である撮影画像解析方法。
4. 進行方向に対して複数のヨー方向に向けて複数台のカメラが設置された移動体から撮影した画像を解析する撮影画像解析システムであって、
   前記移動体が格子状の経路を移動しながら、複数の地点で前記カメラによる撮影を行って生成した画像データを読み込む画像データ入力部と、
   前記画像データのうち、共通の領域を異なる撮影方向から撮影し、かつその撮影方向の差異が９０°より小さい関係にある複数の画像データを選択する画像データ選択部と、
   前記選択された画像データ間で対応する特徴点を求め、該画像データの撮影位置と該特徴点との３次元空間内での相対的な位置関係を解析する解析部とを備える撮影画像解析システム。