JP2015114954A - 撮影画像解析方法 - Google Patents
撮影画像解析方法 Download PDFInfo
- Publication number
- JP2015114954A JP2015114954A JP2013257905A JP2013257905A JP2015114954A JP 2015114954 A JP2015114954 A JP 2015114954A JP 2013257905 A JP2013257905 A JP 2013257905A JP 2013257905 A JP2013257905 A JP 2013257905A JP 2015114954 A JP2015114954 A JP 2015114954A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- shooting
- dimensional
- directions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】 3次元復元の解析精度を向上させる。
【解決手段】 航空機に搭載したカメラによって、2つの異なる点から異なる撮影方向で同じ領域を撮影した画像を用いて3次元復元を行う。この際、航空機の機軸に対してヨー角が3方向となるように、カメラを設置し、3次元復元の対象となる領域の周辺を格子状の軌跡で飛行しながら撮影する。軌跡上の各地点では、同時に3方向に向けて撮影した画像を得ることができる。カメラの方向が30°ずつ異なっている場合、直交する2つの軌跡上で撮影した画像間における撮影方向の相対角は、30°〜150°の範囲で分布する。3次元復元を行うための解析装置は、このように多くの撮影方向の組み合わせで得られた画像の中から、相対角が90°よりも小さくなるものを選択して3次元復元を行う。かかる画像を用いることによって、3次元復元の解析精度を向上させることができる。
【選択図】 図3
【解決手段】 航空機に搭載したカメラによって、2つの異なる点から異なる撮影方向で同じ領域を撮影した画像を用いて3次元復元を行う。この際、航空機の機軸に対してヨー角が3方向となるように、カメラを設置し、3次元復元の対象となる領域の周辺を格子状の軌跡で飛行しながら撮影する。軌跡上の各地点では、同時に3方向に向けて撮影した画像を得ることができる。カメラの方向が30°ずつ異なっている場合、直交する2つの軌跡上で撮影した画像間における撮影方向の相対角は、30°〜150°の範囲で分布する。3次元復元を行うための解析装置は、このように多くの撮影方向の組み合わせで得られた画像の中から、相対角が90°よりも小さくなるものを選択して3次元復元を行う。かかる画像を用いることによって、3次元復元の解析精度を向上させることができる。
【選択図】 図3
Description
本発明は、航空機等の移動体から地物を撮影した画像を解析して、撮影地点と地物との相対的な位置関係を特定する技術に関する。
地物の形状を3次元的に表した3次元地図においては、地物の3次元モデルを精度良く、かつ低い処理負荷で生成することが求められる。このような技術の一つとして、3次元復元の利用が検討されている。
3次元復元処理とは、複数の地点から撮影した複数の画像間の特徴点の対応関係に基づいて、撮影された地物の3次元点群を得る処理である。3次元復元を利用すれば、処理の対象範囲内の画像を航空機等から複数撮影し、この画像を解析することで、対象範囲を表す3次元の点群を得ることができる。かかる点群が得られれば、それを解析することによって3次元モデルを生成することも可能となる。画像間の特徴点の対応関係を判断するための技術として、SIFT(Scale-Invariant Feature Transform)などが利用される。
3次元復元処理とは、複数の地点から撮影した複数の画像間の特徴点の対応関係に基づいて、撮影された地物の3次元点群を得る処理である。3次元復元を利用すれば、処理の対象範囲内の画像を航空機等から複数撮影し、この画像を解析することで、対象範囲を表す3次元の点群を得ることができる。かかる点群が得られれば、それを解析することによって3次元モデルを生成することも可能となる。画像間の特徴点の対応関係を判断するための技術として、SIFT(Scale-Invariant Feature Transform)などが利用される。
従来、3次元復元のための画像の撮影方法としては、以下に示すように、対象領域を直線状または格子状に飛行しながら撮影する方法がとられている。
特許文献1は、ヘリコプターに搭載したカメラで撮影した画像に基づき、市街地の3次元モデルを生成する技術を開示しており、ヘリコプターで対象となる領域を直線状に往復等しながら格子状の経路で撮影する方法を開示している。
特許文献2は、同様に、カメラを搭載したヘリコプターで直線経路を飛行しながら撮影した画像から、3次元モデルで使用するテクスチャを生成する技術を開示している。
特許文献1は、ヘリコプターに搭載したカメラで撮影した画像に基づき、市街地の3次元モデルを生成する技術を開示しており、ヘリコプターで対象となる領域を直線状に往復等しながら格子状の経路で撮影する方法を開示している。
特許文献2は、同様に、カメラを搭載したヘリコプターで直線経路を飛行しながら撮影した画像から、3次元モデルで使用するテクスチャを生成する技術を開示している。
3次元モデルを広範囲で生成しようとすると、直線的な経路で格子状に撮影を行うことが効率的である。また、このように直線的な経路で撮影を行っておくと、その後の画像データの管理も、比較的容易となる。
しかしながら、実際、格子状の経路で撮影をしてみると、SIFT等による特徴点のマッチング、ひいては3次元復元の結果が十分な精度で得られない領域が生じることが判明した。かかる課題は、航空機から撮影する場合に限らず、移動体から撮影する場合に共通に生じ得る課題である。また、SIFTを利用するか否かに関わらず、複数の画像間の特徴点を対応づける際に共通の課題であった。
本発明は、かかる課題を解決し、撮影地点と地物との相対的な位置関係を精度良く特定可能とすることを目的とする。
しかしながら、実際、格子状の経路で撮影をしてみると、SIFT等による特徴点のマッチング、ひいては3次元復元の結果が十分な精度で得られない領域が生じることが判明した。かかる課題は、航空機から撮影する場合に限らず、移動体から撮影する場合に共通に生じ得る課題である。また、SIFTを利用するか否かに関わらず、複数の画像間の特徴点を対応づける際に共通の課題であった。
本発明は、かかる課題を解決し、撮影地点と地物との相対的な位置関係を精度良く特定可能とすることを目的とする。
本発明は、
移動体から撮影した画像を解析する撮影画像解析方法であって、
(A)前記移動体に、その進行方向に対して複数のヨー方向に向けて複数台のカメラを設置し、格子状の経路を移動しながら、複数の地点で前記カメラによる撮影を行い、画像データを生成するステップと、
(B)コンピュータによって前記画像データを解析するステップとを備え、
前記ステップ(B)は、前記コンピュータが実行するステップとして、
(B1)前記撮影された画像データを読み込むステップと、
(B2)前記画像データのうち、共通の領域を異なる撮影方向から撮影し、かつその撮影方向の差異が90°より小さい関係にある複数の画像データを選択するステップと、
(B3)前記選択された画像データ間で対応する特徴点を求め、該画像データの撮影位置と該特徴点との3次元空間内での相対的な位置関係を解析するステップとを備える撮影画像解析方法と構成することができる。
移動体から撮影した画像を解析する撮影画像解析方法であって、
(A)前記移動体に、その進行方向に対して複数のヨー方向に向けて複数台のカメラを設置し、格子状の経路を移動しながら、複数の地点で前記カメラによる撮影を行い、画像データを生成するステップと、
(B)コンピュータによって前記画像データを解析するステップとを備え、
前記ステップ(B)は、前記コンピュータが実行するステップとして、
(B1)前記撮影された画像データを読み込むステップと、
(B2)前記画像データのうち、共通の領域を異なる撮影方向から撮影し、かつその撮影方向の差異が90°より小さい関係にある複数の画像データを選択するステップと、
(B3)前記選択された画像データ間で対応する特徴点を求め、該画像データの撮影位置と該特徴点との3次元空間内での相対的な位置関係を解析するステップとを備える撮影画像解析方法と構成することができる。
本願の発明者は、種々の実験に基づき、従来技術において、特徴点のマッチングが十分な精度で得られなくなる原因が、マッチングに利用する画像の撮影方向が90°以上開いている点にあることを見いだした。例えば、ビルの平面形状が矩形であることを考えると、撮影方向が90°以上異なれば、同一のビルであっても、全く異なる面を撮影することになるため、マッチングすることができなくなってしまう。マッチング精度の低下には、ビルの平面以外にも種々の要因が考えられるが、いずれにしてもマッチングに使用する画像同士の撮影方向の差異は、90°より小さくすることが好ましいことが実験および解析によって見いだされた。
こうした原因を踏まえ、本発明によれば、画像を撮影する際に、ヨー方向が異なる複数台のカメラを用いるため、直線的な経路上の各点において複数方向で撮影した画像を得ることができる。この結果、得られた画像間の撮影方向の差異、つまり撮影方向同士の間の角度が多様となり、それが90°より小さくなる画像の組み合わせが得られやすくなる。本発明では、撮影方向がかかる関係にある画像を用いて、特徴点を求め、該画像データの撮影位置と該特徴点との3次元空間内での相対的な位置関係を求める解析を行うため、その精度を向上させることが可能となる。
本発明において、格子状の経路とは、直線状の経路を組み合わせることによって格子が描かれていれば足りる。必ずしも一つの格子を完成させた後、隣の格子に移動する経路に限定されるものではない。また、格子は、種々の形状とすることができ、平行四辺形などとしてもよいし、五角形以上であってもよい。
本発明において、画像データ間で特徴点を求め、位置関係を解析する方法は、SIFTを含む種々の方法で行うことができる。
本発明の解析によって得られた相対的な位置関係は、種々の目的に利用することができる。例えば、かかる相対的な位置関係に基づき、画像内の各点の3次元的な絶対座標を解析する3次元復元に利用してもよい。また、相対的な位置関係に基づき、各画像の撮影位置および撮影方向を特定し、ユーザが指定した視点、視線方向に応じて、それに該当する画像を表示するシステムを構築するために利用してもよい。
本発明における移動体としては、例えば、航空機を利用することができるが、車両、歩行者などとしてもよい。
本発明において、画像データ間で特徴点を求め、位置関係を解析する方法は、SIFTを含む種々の方法で行うことができる。
本発明の解析によって得られた相対的な位置関係は、種々の目的に利用することができる。例えば、かかる相対的な位置関係に基づき、画像内の各点の3次元的な絶対座標を解析する3次元復元に利用してもよい。また、相対的な位置関係に基づき、各画像の撮影位置および撮影方向を特定し、ユーザが指定した視点、視線方向に応じて、それに該当する画像を表示するシステムを構築するために利用してもよい。
本発明における移動体としては、例えば、航空機を利用することができるが、車両、歩行者などとしてもよい。
本発明の撮影画像解析方法においては、
前記カメラは、前記移動体の進行方向に対し、片側に3方向備えられているものとしてもよい。
撮影方向が90°より小さくなる組み合わせの画像を得るためには、片側に複数を設置しておくことが好ましい。カメラの数は、2台でもよいが、3台とすると、90°になる組み合わせが多様になり、解析に用いることができる画像が増えるため、精度向上を図ることができる。3台以上を設けても良いが、カメラの台数が増えることによるコスト増加を抑制することを考えると、3台が最も好ましいと言える。
上記態様は、両側にカメラを備えることを排除する趣旨ではない。片側に3台のカメラを備えつつ、反対側に、1台または複数台のカメラを備えるようにしてもよい。
前記カメラは、前記移動体の進行方向に対し、片側に3方向備えられているものとしてもよい。
撮影方向が90°より小さくなる組み合わせの画像を得るためには、片側に複数を設置しておくことが好ましい。カメラの数は、2台でもよいが、3台とすると、90°になる組み合わせが多様になり、解析に用いることができる画像が増えるため、精度向上を図ることができる。3台以上を設けても良いが、カメラの台数が増えることによるコスト増加を抑制することを考えると、3台が最も好ましいと言える。
上記態様は、両側にカメラを備えることを排除する趣旨ではない。片側に3台のカメラを備えつつ、反対側に、1台または複数台のカメラを備えるようにしてもよい。
また、本発明の撮影画像解析方法においては、
前記経路は、直交格子状の経路であるものとしてもよい。
直交格子、即ち、各格子の内角が90°の格子の場合、仮に、単一のカメラで撮影すると、格子点の付近では、撮影方向が90°異なる画像ばかりの組み合わせとなり、解析精度が極端に低下しやすくなる。本発明によれば、複数方向に撮影しているため、こうした弊害を回避することができる。従って、本発明は、このような直交格子を利用する場合に、有用性が高くなる。
前記経路は、直交格子状の経路であるものとしてもよい。
直交格子、即ち、各格子の内角が90°の格子の場合、仮に、単一のカメラで撮影すると、格子点の付近では、撮影方向が90°異なる画像ばかりの組み合わせとなり、解析精度が極端に低下しやすくなる。本発明によれば、複数方向に撮影しているため、こうした弊害を回避することができる。従って、本発明は、このような直交格子を利用する場合に、有用性が高くなる。
本発明は、上述した各特徴を全て備えている必要はなく、適宜、一部を省略したり、組み合わせたりして構成することができる。また、本発明は、撮影画像解析方法としての構成の他、以下に示す撮影画像解析システムとして構成することもできる。
即ち、進行方向に対して複数のヨー方向に向けて複数台のカメラが設置された移動体から撮影した画像を解析する撮影画像解析システムであって、
前記移動体が格子状の経路を移動しながら、複数の地点で前記カメラによる撮影を行って生成した画像データを読み込む画像データ入力部と、
前記画像データのうち、共通の領域を異なる撮影方向から撮影し、かつその撮影方向の差異が90°より小さい関係にある複数の画像データを選択する画像データ選択部と、
前記選択された画像データ間で対応する特徴点を求め、該画像データの撮影位置と該特徴点との3次元空間内での相対的な位置関係を解析する解析部とを備える撮影画像解析システムである。
かかる撮影画像解析システムによっても、撮影画像解析方法で説明したのと同様、精度の高い解析を実現することが可能となる。撮影画像解析システムにおいても、撮影画像解析方法で説明した種々の特徴を適用可能である。
即ち、進行方向に対して複数のヨー方向に向けて複数台のカメラが設置された移動体から撮影した画像を解析する撮影画像解析システムであって、
前記移動体が格子状の経路を移動しながら、複数の地点で前記カメラによる撮影を行って生成した画像データを読み込む画像データ入力部と、
前記画像データのうち、共通の領域を異なる撮影方向から撮影し、かつその撮影方向の差異が90°より小さい関係にある複数の画像データを選択する画像データ選択部と、
前記選択された画像データ間で対応する特徴点を求め、該画像データの撮影位置と該特徴点との3次元空間内での相対的な位置関係を解析する解析部とを備える撮影画像解析システムである。
かかる撮影画像解析システムによっても、撮影画像解析方法で説明したのと同様、精度の高い解析を実現することが可能となる。撮影画像解析システムにおいても、撮影画像解析方法で説明した種々の特徴を適用可能である。
本発明は、さらに、上述の撮影画像解析方法を、コンピュータに実行させるコンピュータプログラムとして構成してもよいし、かかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体(光磁気ディスク、フラッシュメモリ、ハードディスクなどコンピュータが読取り可能な種々の媒体を含む)として構成してもよい。
以下、航空機から撮影した画像を解析し、3次元復元を行って、さらに3次元モデルを生成する3次元モデル生成システムを例にとって、本発明の実施例を説明する。
A.撮影軌跡:
図1は、航空機による撮影軌跡を示す説明図である。航空機100で対象領域の上空を飛行しながら撮影する際の軌跡を示した。下側の図に示す通り、航空機100は、軌跡P1のように折り返しながら飛行し、その後、軌跡P2のように折り返しながら飛行する。こうすることによって、右上に示すように、軌跡P1、P2によって、正方形または長方形のメッシュMを形成させることができる。本実施例では、このように矩形のメッシュを形成する軌跡で飛行するものとした。
矩形のメッシュを形成するための軌跡は、図示した例に限らず、種々の軌跡をとることができる。また、メッシュは、必ずしも矩形でなくてもよく、平行四辺形や五角形以上の多角形など、種々の形状をとることができる。
図1は、航空機による撮影軌跡を示す説明図である。航空機100で対象領域の上空を飛行しながら撮影する際の軌跡を示した。下側の図に示す通り、航空機100は、軌跡P1のように折り返しながら飛行し、その後、軌跡P2のように折り返しながら飛行する。こうすることによって、右上に示すように、軌跡P1、P2によって、正方形または長方形のメッシュMを形成させることができる。本実施例では、このように矩形のメッシュを形成する軌跡で飛行するものとした。
矩形のメッシュを形成するための軌跡は、図示した例に限らず、種々の軌跡をとることができる。また、メッシュは、必ずしも矩形でなくてもよく、平行四辺形や五角形以上の多角形など、種々の形状をとることができる。
B.システム構成:
図2は、3次元モデル生成システムの構成を示す説明図である。3次元モデル生成システムは、航空機100で撮影した画像を解析して、地物ごとの3次元形状を表す3次元モデルを生成するシステムである。航空機に搭載され、地域の写真の画像データを取得する装置を撮影管理装置と呼ぶ。画像データから3次元モデルを生成する装置を、3次元モデル生成装置200と呼ぶ。本発明の撮影画像解析装置は、3次元モデル生成装置200の一機能として実現されている。以下、それぞれの構成について順に説明する。
図2は、3次元モデル生成システムの構成を示す説明図である。3次元モデル生成システムは、航空機100で撮影した画像を解析して、地物ごとの3次元形状を表す3次元モデルを生成するシステムである。航空機に搭載され、地域の写真の画像データを取得する装置を撮影管理装置と呼ぶ。画像データから3次元モデルを生成する装置を、3次元モデル生成装置200と呼ぶ。本発明の撮影画像解析装置は、3次元モデル生成装置200の一機能として実現されている。以下、それぞれの構成について順に説明する。
(1)撮影管理装置の構成:
撮影管理装置は、航空機100に搭載されている。航空機100は、固定翼、回転翼いずれでもよく、有人/無人のいずれであってもよい。
撮影管理装置には、撮影用のカメラ101、位置情報を取得するためのセンサであるGPS(Global
Positioning System)102、および図示する各機能ブロックが備えられている。機能ブロックは、それぞれの機能を実現するためのコンピュータプログラムを、コンピュータにインストールすることによって構成することもできるし、ハードウェア的に構成してもよい。
カメラ101は、3次元モデルを生成するための解析に使用される写真を撮影するためのものである。解析精度を向上させるためには、高解像度の写真が望ましい。本実施例では高解像度での撮影が可能な静止画用のディジタルカメラを用いた。十分な解像度が得られる場合には、動画撮影用のカメラを用いてもよい。
撮影管理装置は、航空機100に搭載されている。航空機100は、固定翼、回転翼いずれでもよく、有人/無人のいずれであってもよい。
撮影管理装置には、撮影用のカメラ101、位置情報を取得するためのセンサであるGPS(Global
Positioning System)102、および図示する各機能ブロックが備えられている。機能ブロックは、それぞれの機能を実現するためのコンピュータプログラムを、コンピュータにインストールすることによって構成することもできるし、ハードウェア的に構成してもよい。
カメラ101は、3次元モデルを生成するための解析に使用される写真を撮影するためのものである。解析精度を向上させるためには、高解像度の写真が望ましい。本実施例では高解像度での撮影が可能な静止画用のディジタルカメラを用いた。十分な解像度が得られる場合には、動画撮影用のカメラを用いてもよい。
撮影シーケンス記憶部112は、撮影を行うための航空機の飛行経路および撮影ポイントを記憶している。撮影ポイントは、カメラ101の画角も考慮して設定されており、処理対象となる領域について、20枚以上の写真が、それぞれ60%程度以上は重複した状態で、順次撮影されるように設定されている。飛行経路の設定方法は図1で説明した通りである。飛行経路等は、予め別のコンピュータ等によって設定したものを、撮影シーケンス記憶部112に記憶させる方法をとってもよいし、撮影シーケンス記憶部112で設定するようにしてもよい。
有人の航空機を用いる場合、飛行経路に従って航空機を飛行させるのはパイロットの役目となる。かかる場合には、撮影シーケンス記憶部112は、パイロットに対し、適宜、設定された飛行経路に沿った飛行を支援するための情報を提供してもよい。
無人の航空機を用いる場合には、撮影シーケンス記憶部112は、飛行を制御する制御装置に、飛行経路に関する情報を送信するように構成してもよい。
有人の航空機を用いる場合、飛行経路に従って航空機を飛行させるのはパイロットの役目となる。かかる場合には、撮影シーケンス記憶部112は、パイロットに対し、適宜、設定された飛行経路に沿った飛行を支援するための情報を提供してもよい。
無人の航空機を用いる場合には、撮影シーケンス記憶部112は、飛行を制御する制御装置に、飛行経路に関する情報を送信するように構成してもよい。
撮影制御部110は、カメラ101を制御し、撮影シーケンス記憶部112で設定された撮影ポイントにおいて処理対象領域の写真を撮影する。航空機の現実の飛行経路と、撮影シーケンス記憶部112に記憶された経路とは誤差があるため、撮影制御部110は、かかる誤差も踏まえて、予め設定された撮影ポイント付近に到達したと判断される時点で撮影を行うようにしてもよい。
また、撮影シーケンスは、必ずしも撮影ポイントを特定する方法だけでなく、一定の時間周期で撮影を行うように設定してもよい。かかる場合には、撮影制御部110は、設定された時間間隔ごとに撮影を行うようカメラ101を制御することになる。
撮影制御部110は、いずれの方法で撮影を行う場合においても、カメラ101による撮影と同期して、GPS102から撮影位置の位置情報を取得し、両者を関連づけて画像記録部120に記録する。
撮影制御部110は、自動的に撮影を行う態様として構成する他、航空機に搭乗した撮影者に対して、撮影タイミングを知らせるものとしてもよい。
また、撮影シーケンスは、必ずしも撮影ポイントを特定する方法だけでなく、一定の時間周期で撮影を行うように設定してもよい。かかる場合には、撮影制御部110は、設定された時間間隔ごとに撮影を行うようカメラ101を制御することになる。
撮影制御部110は、いずれの方法で撮影を行う場合においても、カメラ101による撮影と同期して、GPS102から撮影位置の位置情報を取得し、両者を関連づけて画像記録部120に記録する。
撮影制御部110は、自動的に撮影を行う態様として構成する他、航空機に搭乗した撮影者に対して、撮影タイミングを知らせるものとしてもよい。
(2)3次元モデル生成装置200の構成:
3次元モデル生成装置200には、図示する機能ブロックが備えられている。これらの機能ブロックは、それぞれの機能を実現するためのコンピュータプログラムを、コンピュータにインストールすることによって構成されるし、ハードウェア的に構成してもよい。
以下、各機能ブロックの機能について説明する。
3次元モデル生成装置200には、図示する機能ブロックが備えられている。これらの機能ブロックは、それぞれの機能を実現するためのコンピュータプログラムを、コンピュータにインストールすることによって構成されるし、ハードウェア的に構成してもよい。
以下、各機能ブロックの機能について説明する。
画像データ記憶部201は、撮影管理装置100で撮影、収集された画像データおよび撮影位置の位置情報を読込み、記憶する。撮影管理装置100から画像データ記憶部201への画像データの受け渡しは、有線、無線または記録媒体を介して行うことができる。
3次元点群生成部202は、画像データ記憶部201の画像データおよび撮影位置を用いて、3次元点群を生成する。3次元点群とは、それぞれ3次元の座標値および法線ベクトルが付与された多数の点である。法線ベクトルとは、各点が存在すると推定される面の法線ベクトルを意味する。
本実施例では、画像データを撮影した時系列に並べると、前後の画像データ同士は、約60%程度以上の面積が重複した状態で撮影されている。つまり、対象領域内の建物は、撮影ポイントが異なる複数の画像データに撮影されていることになる。従って、複数の画像データ内で相互に対応する点を特定できれば、いわゆる三角測量と同様の原理によってその点の3次元座標を特定することが可能となる。複数の画像データ内で対応する点を特定する技術としては、種々の技術が知られているが、本実施例では、画像特徴量の一例としてSIFT(Scale-Invariant Feature Transform)と呼ばれる公知の技術を適用した。
同じ領域を撮影した画像であっても、対応する特徴点を見いだすのに適した組み合わせとそうでない組み合わせとが存在する。マッチング画像選択部202aは、画像データ記憶部201に記憶された多数の画像データの中から、対応する特徴点を見いだす処理、即ちマッチングに適した画像の組み合わせを選択する機能を奏する。
3次元点群データ記憶部203は、3次元点群生成部202によって得られた3次元点群を記憶する。画像データに写っている部分を解析して得られた点群であるから、3次元点群は、主として建物等の外壁、屋根などの外面部分を表すものとなる。また、画像内には、地面、道路、街路樹、車両など建物以外も多数写っており、これらについても画像内の対応関係が特定される限り3次元点群は生成可能であるから、3次元点群には、こうした建物以外を表すものも多数含まれている。3次元点群は、それぞれ3次元の座標値と法線ベクトルを有しているが、これらの座標値、法線ベクトルは、地球座標系で定義されたものではなく、解析のために設定された架空の3次元空間における座標値である。
このように地球座標系での位置関係が特定されておらず、建物単位に区分もされていない3次元点群から、建物ごとに地図として利用可能な精度で位置座標を有する3次元ポリゴンを生成するのが、以下で示す各機能ブロックの機能である。
3次元点群生成部202は、画像データ記憶部201の画像データおよび撮影位置を用いて、3次元点群を生成する。3次元点群とは、それぞれ3次元の座標値および法線ベクトルが付与された多数の点である。法線ベクトルとは、各点が存在すると推定される面の法線ベクトルを意味する。
本実施例では、画像データを撮影した時系列に並べると、前後の画像データ同士は、約60%程度以上の面積が重複した状態で撮影されている。つまり、対象領域内の建物は、撮影ポイントが異なる複数の画像データに撮影されていることになる。従って、複数の画像データ内で相互に対応する点を特定できれば、いわゆる三角測量と同様の原理によってその点の3次元座標を特定することが可能となる。複数の画像データ内で対応する点を特定する技術としては、種々の技術が知られているが、本実施例では、画像特徴量の一例としてSIFT(Scale-Invariant Feature Transform)と呼ばれる公知の技術を適用した。
同じ領域を撮影した画像であっても、対応する特徴点を見いだすのに適した組み合わせとそうでない組み合わせとが存在する。マッチング画像選択部202aは、画像データ記憶部201に記憶された多数の画像データの中から、対応する特徴点を見いだす処理、即ちマッチングに適した画像の組み合わせを選択する機能を奏する。
3次元点群データ記憶部203は、3次元点群生成部202によって得られた3次元点群を記憶する。画像データに写っている部分を解析して得られた点群であるから、3次元点群は、主として建物等の外壁、屋根などの外面部分を表すものとなる。また、画像内には、地面、道路、街路樹、車両など建物以外も多数写っており、これらについても画像内の対応関係が特定される限り3次元点群は生成可能であるから、3次元点群には、こうした建物以外を表すものも多数含まれている。3次元点群は、それぞれ3次元の座標値と法線ベクトルを有しているが、これらの座標値、法線ベクトルは、地球座標系で定義されたものではなく、解析のために設定された架空の3次元空間における座標値である。
このように地球座標系での位置関係が特定されておらず、建物単位に区分もされていない3次元点群から、建物ごとに地図として利用可能な精度で位置座標を有する3次元ポリゴンを生成するのが、以下で示す各機能ブロックの機能である。
重力方向解析部204は、点群の重力方向を解析する。通常、直交座標系で地理的な位置が表されている場合には、重力方向はZ軸方向と一致するが、3次元点群の座標系は地球座標系で定義されたものではないため、必ずしもZ軸が重力方向になるとは限らない。重力方向解析部204は、解析によって重力方向を求めることによって、点群の座標系を地球座標系に対応づける第1段階としての機能を奏する。
点群分離処理部205は、点群を建物単位に分離する。3次元点群は、画像に写っている点の3次元座標を求めたものであり、建物単位で分離もされていなければ、建物の地面等との分離もされていない。点群分離処理部205は、かかる3次元点群を解析して、建物ごとの点群に分離する機能を奏する。
建物枠生成部206は、建物ごとに分離された点群に基づいて2次元的な外形形状を表す建物枠を生成する。
位置合わせ処理部207は、2次元地図データ210に記憶された2次元地図に複数の建物枠を適合させることによって、重力方向以外の座標系を地球座標系に対応づける機能を奏する。位置合わせ処理部207は、建物ごとに分離された点群を1つずつ2次元地図に適合させていくのではない。点群で表されている複数の建物全体を、その相対的な関係を概ね保った状態で、全体として2次元地図に適合させるのである。このように複数の建物全体を適合させることによって、精度良く位置合わせを行うことができる。
ポリゴン生成部208は、以上の処理によって2次元的な形状が定まった建物ごとに、点群に基づき側面および上面のポリゴンを生成する。
テクスチャ生成部209は、生成されたポリゴンの表面に貼り付けるテクスチャを、画像データ記憶部201に記憶された画像データによって生成する。
以上の処理で生成された3次元ポリゴンおよびテクスチャは、3次元モデルデータ211に格納される。
点群分離処理部205は、点群を建物単位に分離する。3次元点群は、画像に写っている点の3次元座標を求めたものであり、建物単位で分離もされていなければ、建物の地面等との分離もされていない。点群分離処理部205は、かかる3次元点群を解析して、建物ごとの点群に分離する機能を奏する。
建物枠生成部206は、建物ごとに分離された点群に基づいて2次元的な外形形状を表す建物枠を生成する。
位置合わせ処理部207は、2次元地図データ210に記憶された2次元地図に複数の建物枠を適合させることによって、重力方向以外の座標系を地球座標系に対応づける機能を奏する。位置合わせ処理部207は、建物ごとに分離された点群を1つずつ2次元地図に適合させていくのではない。点群で表されている複数の建物全体を、その相対的な関係を概ね保った状態で、全体として2次元地図に適合させるのである。このように複数の建物全体を適合させることによって、精度良く位置合わせを行うことができる。
ポリゴン生成部208は、以上の処理によって2次元的な形状が定まった建物ごとに、点群に基づき側面および上面のポリゴンを生成する。
テクスチャ生成部209は、生成されたポリゴンの表面に貼り付けるテクスチャを、画像データ記憶部201に記憶された画像データによって生成する。
以上の処理で生成された3次元ポリゴンおよびテクスチャは、3次元モデルデータ211に格納される。
(3)カメラの設置状態:
図3は、撮影用の航空機におけるカメラの設置状態を示す説明図である。本実施例では、航空機100に3台のカメラ101a〜101cを設置して、撮影を行う。図の上段に示すように、航空機の機軸、即ち前後の進行方向の軸を基準として、カメラ101bはヨー角が90°の方向、即ち航空機の真横を撮影する方向に設置されている。カメラ101aおよびカメラ101cは、それぞれカメラ101bとヨー角30°の相対角を持たせて設置されている。つまり、機軸とのなす角は、カメラ101cが60°、カメラ101bが90°、カメラ101aが120°となる。
カメラ101a〜101cは、飛行中に下方を効率的に撮影可能とするため、下向きのロール角を持たせて設置することが好ましい。
図3は、撮影用の航空機におけるカメラの設置状態を示す説明図である。本実施例では、航空機100に3台のカメラ101a〜101cを設置して、撮影を行う。図の上段に示すように、航空機の機軸、即ち前後の進行方向の軸を基準として、カメラ101bはヨー角が90°の方向、即ち航空機の真横を撮影する方向に設置されている。カメラ101aおよびカメラ101cは、それぞれカメラ101bとヨー角30°の相対角を持たせて設置されている。つまり、機軸とのなす角は、カメラ101cが60°、カメラ101bが90°、カメラ101aが120°となる。
カメラ101a〜101cは、飛行中に下方を効率的に撮影可能とするため、下向きのロール角を持たせて設置することが好ましい。
図の下段に、カメラ101a〜101cの設置角度の意味を示した。航空機が軌跡P1、P2を飛行しながら撮影を行った場合を考える。撮影は、多くの地点で行われるが、図中には、軌跡P1、P2上に代表的な地点を1点ずつ白丸で示した。軌跡P1上の撮影地点におけるカメラ101a〜101cの撮影方向を矢印a1〜c1で示し、軌跡P2上の撮影地点におけるカメラ101a〜101cの撮影方向を矢印a2〜c2で示した。それぞれの撮影方向を、軌跡P1を基準とする角度θで表すものとする。撮影方向a1、b1、c1は、θ=120°、90°、60°と表される。軌跡P2上の撮影方向も、軌跡P1を基準として表すと、撮影方向a2、b2、c2は、θ=30°、0°、-30°と表される。
3次元復元を行うため、軌跡P1、P2で撮影された画像を利用する場合を考える。両者の撮影方向の相対角を一覧表で示した。撮影方向a1、a2の2枚を利用すると考えると、両者の撮影方向の相対角は90°となる。以下、同様にして、撮影方向a1、b1、c1と、撮影方向a2、b2、c2の各組み合わせに対する撮影方向が、図中に示す通り求められる。
3次元復元では、建物を90°より小さい相対角で撮影した画像を用いることが好ましい。相対角が90°以上の画像を用いてしまうと、建物の異なる面が撮影され、対応する特徴点が見いだされないことが多いからである。
かかる観点で、90°よりも小さい画像の組み合わせを選択すると、撮影方向b1、c1と、a2、b2との組み合わせが適していることが見いだされる。
このように、本実施例では、3方向にカメラを設置しているため、直交する軌跡を飛行した場合でも、3次元復元に適した画像を得ることができ、解析精度を向上させることができる。撮影方向a1、a2の組み合わせ、b1、b2の組み合わせ、c1、c2の組み合わせは、いずれも相対角が90°になっていることを考えると、カメラ101a〜101cのいずれか1台しか設置されていない場合には、3次元復元に適した画像が得られないおそれがあることが分かる。
3次元復元を行うため、軌跡P1、P2で撮影された画像を利用する場合を考える。両者の撮影方向の相対角を一覧表で示した。撮影方向a1、a2の2枚を利用すると考えると、両者の撮影方向の相対角は90°となる。以下、同様にして、撮影方向a1、b1、c1と、撮影方向a2、b2、c2の各組み合わせに対する撮影方向が、図中に示す通り求められる。
3次元復元では、建物を90°より小さい相対角で撮影した画像を用いることが好ましい。相対角が90°以上の画像を用いてしまうと、建物の異なる面が撮影され、対応する特徴点が見いだされないことが多いからである。
かかる観点で、90°よりも小さい画像の組み合わせを選択すると、撮影方向b1、c1と、a2、b2との組み合わせが適していることが見いだされる。
このように、本実施例では、3方向にカメラを設置しているため、直交する軌跡を飛行した場合でも、3次元復元に適した画像を得ることができ、解析精度を向上させることができる。撮影方向a1、a2の組み合わせ、b1、b2の組み合わせ、c1、c2の組み合わせは、いずれも相対角が90°になっていることを考えると、カメラ101a〜101cのいずれか1台しか設置されていない場合には、3次元復元に適した画像が得られないおそれがあることが分かる。
図4は、特徴点の解析結果(1)を示す説明図である。図の上段に示すように、直交する軌跡P1、P2上の撮影点CP1、CP2で撮影した画像を用いた結果を示した。画像IMGbは、地点CP2において矢印で示す方向に撮影した場合の画像であり、画像IMGaは、地点CP1において矢印で示す方向に撮影した場合の画像である。画像IMGa、IMGbの撮影方向の相対角は90°となっている。
図中に示した直線EMは、画像IMGa、IMGb間で、対応する特徴点を表している。特徴点の数は、比較的少ないことが分かる。また、この対応関係には、誤認識によるものも含まれている。
図中に示した直線EMは、画像IMGa、IMGb間で、対応する特徴点を表している。特徴点の数は、比較的少ないことが分かる。また、この対応関係には、誤認識によるものも含まれている。
図5は、特徴点の解析結果(2)を示す説明図である。図の上段左側に示すように、航空機に3台のカメラを搭載して撮影した場合の解析結果を示した。上段右側に示す通り、矩形のメッシュの角の領域Aにおける解析結果である。
先に図3で説明した通り、カメラを3台搭載している場合には、撮影地点CP1において撮影方向a1〜a3、撮影地点CP2において撮影方向b1〜b3の各3方向で撮影が行われる。この中で、撮影方向の相対角が90°よりも小さくなる画像の組み合わせ、この場合は、撮影方向a1、b3の組み合わせを用いた。画像IMG1は撮影方向a1に対するもの、画像IMG2は撮影方向b3に対するものである。
図中に示した直線MLは、画像IMGa、IMGb間で、対応する特徴点を表している。特徴点の数は、先に示した図4と比較すると、非常に多くなっていることが分かる。解析結果における特徴点の誤認識も少ない。
このように、本実施例の撮影方法によれば、3次元復元における解析精度を非常に高めることが可能となる。
先に図3で説明した通り、カメラを3台搭載している場合には、撮影地点CP1において撮影方向a1〜a3、撮影地点CP2において撮影方向b1〜b3の各3方向で撮影が行われる。この中で、撮影方向の相対角が90°よりも小さくなる画像の組み合わせ、この場合は、撮影方向a1、b3の組み合わせを用いた。画像IMG1は撮影方向a1に対するもの、画像IMG2は撮影方向b3に対するものである。
図中に示した直線MLは、画像IMGa、IMGb間で、対応する特徴点を表している。特徴点の数は、先に示した図4と比較すると、非常に多くなっていることが分かる。解析結果における特徴点の誤認識も少ない。
このように、本実施例の撮影方法によれば、3次元復元における解析精度を非常に高めることが可能となる。
B.3次元点群生成処理:
次に撮影した画像から3次元点群を生成する処理について説明する。
飛行経路および撮影ポイントが決まると、これに従って、目標の周辺を飛行しながら撮影が行われる。撮影された画像データは、図1で説明した通り、逐次、撮影ポイントの位置座標とともに、撮影管理装置100の画像記録部120に記録される。撮影が完了すると、画像データおよび位置座標は、3次元モデル生成装置200に入力され、3次元点群が生成される。画像データの3次元モデル生成装置200への読込みは、種々の方法で行うことができるが、本実施例では、記録媒体を介して読み込ませるものとした。
次に撮影した画像から3次元点群を生成する処理について説明する。
飛行経路および撮影ポイントが決まると、これに従って、目標の周辺を飛行しながら撮影が行われる。撮影された画像データは、図1で説明した通り、逐次、撮影ポイントの位置座標とともに、撮影管理装置100の画像記録部120に記録される。撮影が完了すると、画像データおよび位置座標は、3次元モデル生成装置200に入力され、3次元点群が生成される。画像データの3次元モデル生成装置200への読込みは、種々の方法で行うことができるが、本実施例では、記録媒体を介して読み込ませるものとした。
図6は、3次元点群生成処理のフローチャートである。3次元モデル生成装置200の3次元点群生成部202が実行する処理であり、ハードウェア的には、3次元モデル生成装置200のCPUが実行する処理である。
処理を開始すると、3次元モデル生成装置200は、処理対象となるメッシュ(図1参照)を設定する(ステップS10)。未処理のメッシュを自動的に選択するようにしてもよいし、オペレータの指示によって設定するようにしてもよい。そして、指定されたメッシュに対して、特徴点の対応付けの解析に用いるマッチング画像の選択処理を行う(ステップS11)。この処理は、撮影によって得られている多くの画像の中から、マッチングに適した画像を選択する処理である。処理内容については、後述する。
画像が選択されると、3次元モデル生成装置200は、画像特徴量によるマッチングにより、画像間の特徴点の対応付けを行う(ステップS12)。図中に特徴点の対応付けの様子を示した。図示するように画像1、画像2のそれぞれから、特徴点(図中の4つの×印)を抽出し、それぞれの特徴点同士の対応関係を認識するのである。画像特徴量によるマッチングは、画像内の色成分に基づいて特徴点を抽出し、画像間の対応関係を求める解析技術であり、解析原理およびアルゴリズムともに周知であるため、詳細な説明は省略する。ステップS12では、画像間の特徴点同士を対応づけるものであれば、SIFTなど、種々の手法を用いることができる。
処理を開始すると、3次元モデル生成装置200は、処理対象となるメッシュ(図1参照)を設定する(ステップS10)。未処理のメッシュを自動的に選択するようにしてもよいし、オペレータの指示によって設定するようにしてもよい。そして、指定されたメッシュに対して、特徴点の対応付けの解析に用いるマッチング画像の選択処理を行う(ステップS11)。この処理は、撮影によって得られている多くの画像の中から、マッチングに適した画像を選択する処理である。処理内容については、後述する。
画像が選択されると、3次元モデル生成装置200は、画像特徴量によるマッチングにより、画像間の特徴点の対応付けを行う(ステップS12)。図中に特徴点の対応付けの様子を示した。図示するように画像1、画像2のそれぞれから、特徴点(図中の4つの×印)を抽出し、それぞれの特徴点同士の対応関係を認識するのである。画像特徴量によるマッチングは、画像内の色成分に基づいて特徴点を抽出し、画像間の対応関係を求める解析技術であり、解析原理およびアルゴリズムともに周知であるため、詳細な説明は省略する。ステップS12では、画像間の特徴点同士を対応づけるものであれば、SIFTなど、種々の手法を用いることができる。
こうして特徴点の対応関係が求まると、各特徴点の3次元座標および法線ベクトルを算出することができる(ステップS13)。図中に算出原理を図示した。実施例で使用する各画像には、それぞれ撮影ポイントの位置情報が付されているため、複数の画像間で対応関係が得られた特徴点については、2つ以上の撮影ポイント1,2が対応づけられることになる。撮影ポイント1,2からの画角等に基づいて撮影した画像内の特徴点の位置を解析すれば、それぞれの撮影ポイント1,2から特徴点を視た方向を決定することができ、撮影ポイント1、2の座標値に対して特徴点の相対的な位置関係を特定することができる。ここで得られる特徴点の位置座標は、地球座標系での絶対的な位置座標ではなく、解析用の空間に設定された架空の3次元座標(xa、ya、za)上での座標値である。
法線ベクトルとは、各特徴点が存在すると推定される推定面の法線方向のベクトルである。実施例では、対応する画像において多数の特徴点が抽出され、各画像内の特徴点同士の相対的な位置関係が維持されることを前提として、画像間での特徴点の対応関係を認識する。このように特徴点同士の相対的な位置関係から、その特徴点が存在する推定面が特定され、その法線ベクトルを求めることができる。
これらの画像間の相対的位置関係、3次元座標および法線ベクトルの算出も、SfM(Structure
from Motion)技術、およびそれを利用した手法として周知であるため、さらなる詳細な説明は省略する。
3次元座標および法線ベクトルが算出された特徴点の集合を、以下、3次元点群と呼ぶ。3次元モデル生成装置200は、得られた3次元点群のデータを格納し(ステップS14)、3次元点群生成処理を終了する。
本実施例では、撮影した画像データから3次元点群を取得しているが、以下の処理は、レーザ計測など、他の方法によって得られた3次元点群を用いて行うこともできる。
法線ベクトルとは、各特徴点が存在すると推定される推定面の法線方向のベクトルである。実施例では、対応する画像において多数の特徴点が抽出され、各画像内の特徴点同士の相対的な位置関係が維持されることを前提として、画像間での特徴点の対応関係を認識する。このように特徴点同士の相対的な位置関係から、その特徴点が存在する推定面が特定され、その法線ベクトルを求めることができる。
これらの画像間の相対的位置関係、3次元座標および法線ベクトルの算出も、SfM(Structure
from Motion)技術、およびそれを利用した手法として周知であるため、さらなる詳細な説明は省略する。
3次元座標および法線ベクトルが算出された特徴点の集合を、以下、3次元点群と呼ぶ。3次元モデル生成装置200は、得られた3次元点群のデータを格納し(ステップS14)、3次元点群生成処理を終了する。
本実施例では、撮影した画像データから3次元点群を取得しているが、以下の処理は、レーザ計測など、他の方法によって得られた3次元点群を用いて行うこともできる。
図7は、マッチング画像選択処理のフローチャートである。3次元点群生成処理(図6)のステップS11に相当する処理である。この処理では、3次元モデル生成装置200は、対象メッシュ周囲の画像データを入力する(ステップS20)。図中に入力すべき画像データの様子を示した。中央の破線の部分が対象メッシュである。本実施例では、矩形状に飛行軌跡を設定しており、対象メッシュの辺を通過する軌跡も存在するが、先に図3に示したようにカメラは航空機の横から斜め下に向けて設置されており、航空機の直下を撮影することはできないため、対象メッシュを広範囲に撮影している画像は、対象メッシュよりも距離Dだけ離れた軌跡から撮影された画像となる。この距離Dは、カメラの画角、撮影時の高度などに応じて定めることができる。各軌跡上では、多数の箇所で撮影が行われているため、これらの画像が、ステップS20での入力対象となる。
次に、3次元モデル生成装置200は、撮影方向の相対角<90°となる画像の組み合わせを選択する(ステップS21)。
図中に示すように、軌跡同士の交点に向かう側の撮影地点cpにおける撮影方向a、b、cの画像と、交点から離れる側の撮影地点CPにおける撮影方向A、B、Cの画像との間では、撮影方向a、Bの組み合わせ、a、Cの組み合わせ、およびb、Cの組み合わせが条件に合致する組み合わせとなる。3次元モデル生成装置200は、これらの組み合わせに該当する画像を全て選択するようにしてもよいし、さらに、画質等の条件を考慮して選択すべき画像を絞り込んでも良い。
こうして選択された画像は、3次元点群生成に活用される。
図中に示すように、軌跡同士の交点に向かう側の撮影地点cpにおける撮影方向a、b、cの画像と、交点から離れる側の撮影地点CPにおける撮影方向A、B、Cの画像との間では、撮影方向a、Bの組み合わせ、a、Cの組み合わせ、およびb、Cの組み合わせが条件に合致する組み合わせとなる。3次元モデル生成装置200は、これらの組み合わせに該当する画像を全て選択するようにしてもよいし、さらに、画質等の条件を考慮して選択すべき画像を絞り込んでも良い。
こうして選択された画像は、3次元点群生成に活用される。
D.3次元モデル生成処理:
図8は、3次元モデル生成処理のフローチャートである。先に説明した3次元点群データに基づいて、建物ごとの3次元形状を表す3次元モデルを生成するための処理である。この処理は、図2に示した重力方向解析部204、点群分離処理部205、建物枠生成部206、位置合わせ処理部207、ポリゴン生成部208、テクスチャ生成部209によって、それぞれ実現される処理である。ハードウェア的には、3次元モデル生成装置200のCPUが実行する処理となる。
図8は、3次元モデル生成処理のフローチャートである。先に説明した3次元点群データに基づいて、建物ごとの3次元形状を表す3次元モデルを生成するための処理である。この処理は、図2に示した重力方向解析部204、点群分離処理部205、建物枠生成部206、位置合わせ処理部207、ポリゴン生成部208、テクスチャ生成部209によって、それぞれ実現される処理である。ハードウェア的には、3次元モデル生成装置200のCPUが実行する処理となる。
図8には、全体の処理の流れを示した。
D1.重力方向解析処理:
3次元モデル生成処理では、まず重力方向解析処理が行われる(ステップS30)。これは、重力方向解析部204の機能に相当する処理であり、3次元点群を解析して重力方向を以下の手順で、特定する処理である。
本実施例では、3次元点群全体の主成分分析を行い、第3主成分をまず仮の重力方向Gtとして設定する。かかる方法で重力方向を特定できる理由は、次の通りである。本実施例の3次元点群は、目標を中心とする周辺の領域を撮影して得られるものである。撮影される建物が高層ビルであっても、その高さは、撮影される領域の水平方向の広がりに比べれば小さい。従って、3次元点群は、全体的に見れば、図示するように、比較的平たい領域に分布することとなる。
主成分分析とは、3次元空間内における3次元点群の分布を特徴づける方向を求めるものであり、3次元点群の分布が大きい方向から順に第1主成分、第2主成分、第3主成分となる。平たい領域に分布した3次元点群については、水平方向の分布に基づいて第1主成分、第2主成分が求まり、それに直交する方向が第3主成分となる。従って、第3主成分は、3次元点群の重力方向Gtを表すことになる。ただし、点群の分布に基づく誤差が含まれているため、第3主成分は、あくまでも仮の重力方向を示すに過ぎない。
本実施例では、このように平たい領域に分布する3次元点群を利用するため、垂直方向と推測される面のみを抽出するなどといった複雑な前処理を行うまでなく、主成分分析により仮の重力方向を求めることが可能となる。
D1.重力方向解析処理:
3次元モデル生成処理では、まず重力方向解析処理が行われる(ステップS30)。これは、重力方向解析部204の機能に相当する処理であり、3次元点群を解析して重力方向を以下の手順で、特定する処理である。
本実施例では、3次元点群全体の主成分分析を行い、第3主成分をまず仮の重力方向Gtとして設定する。かかる方法で重力方向を特定できる理由は、次の通りである。本実施例の3次元点群は、目標を中心とする周辺の領域を撮影して得られるものである。撮影される建物が高層ビルであっても、その高さは、撮影される領域の水平方向の広がりに比べれば小さい。従って、3次元点群は、全体的に見れば、図示するように、比較的平たい領域に分布することとなる。
主成分分析とは、3次元空間内における3次元点群の分布を特徴づける方向を求めるものであり、3次元点群の分布が大きい方向から順に第1主成分、第2主成分、第3主成分となる。平たい領域に分布した3次元点群については、水平方向の分布に基づいて第1主成分、第2主成分が求まり、それに直交する方向が第3主成分となる。従って、第3主成分は、3次元点群の重力方向Gtを表すことになる。ただし、点群の分布に基づく誤差が含まれているため、第3主成分は、あくまでも仮の重力方向を示すに過ぎない。
本実施例では、このように平たい領域に分布する3次元点群を利用するため、垂直方向と推測される面のみを抽出するなどといった複雑な前処理を行うまでなく、主成分分析により仮の重力方向を求めることが可能となる。
実施例の3次元点群は、3次元の位置座標とともに、法線ベクトルを有しているから、仮の重力方向が決まると、これに比較的沿う方向の法線ベクトルを有する点群を特定することができる。かかる点群を除外すれば、建物を構成する点群のうち、水平面を構成する点群を除外することができ、建物の垂直面を構成する点群を抽出することができる。また、こうして抽出された点群について、点間の距離および法線方向に基づいてクラスタリングを行えば、点群を建物の側面単位で分離することができる。そして、各面ごとに主成分分析を行い、第3主成分求めれば、それが側面の法線ベクトル方向となる。この法線ベクトルの精度は、第3固有値によって評価できる。つまり、第3固有値が大きいということは、法線方向に点群のばらつきが大きいことを示しており、法線の精度が低いことを表すからである。
こうして各側面の法線ベクトルが得られると、任意の2つの側面の法線ベクトルVi、Vjの外積Vi×Vjを求めれば、重力方向Gが得られるはずである。ただし、法線ベクトルVi、Vjには、それぞれ誤差が含まれているから、こうして得られる重力方向Gにも誤差が含まれている。そこで、実施例では、得られている法線ベクトルから、平行ではない任意の組み合わせを選択して、外積により個別の重力方向を求め、その加重平均によって最終的な重力方向Gを算出する。加重平均における重み値としては、例えば、法線ベクトルVi、Vjの精度を表す第3固有値の和(ei+ej)の逆数とすることができる。
以上の通り、3次元点群に対して統計的な処理を施すことにより、それぞれの点の位置座標および法線ベクトルに含まれる誤差の影響を抑制し、高い精度で重力方向を決定することが可能となる。
以上の通り、3次元点群に対して統計的な処理を施すことにより、それぞれの点の位置座標および法線ベクトルに含まれる誤差の影響を抑制し、高い精度で重力方向を決定することが可能となる。
D2.点群分離処理:
次に、点群分離処理が行われる(ステップS31)。これは、点群分離処理部205の機能に相当する処理であり、3次元点群を建物単位に分離する処理である。
この処理の過程で、まず、3次元モデル生成装置200は、3次元点群を階層ごとに分離する。そして、各階層内で点間の距離によって点群のクラスタリングを行う。このうち、上下方向の法線ベクトルが多く含まれているクラスタには屋上面が存在すると判断することができるから、クラスタを屋上面が存在するものと、側面のみのものに分離することができる。その上で、屋上面が存在するクラスタから、そのクラスタが積層されている下の階層のクラスタを特定していく。この特定は、例えば、上下の階層に属するクラスタ間の2次元的な距離が所定値以下となるもの同士を、同じ建物で上下に重なっているものと判断することで行うことができる。高層階で分岐している複雑な形状の建物の場合、上の分岐部分は、下の階層で共通のクラスタに関連づけられるから、このツリー構造によって、全体が一つの建物であると認識される。
このようにクラスタの関連付けおよびツリー構造を利用することにより、特殊な形状の建物も含め、3次元点群を建物ごとに分離することが可能となる。
次に、点群分離処理が行われる(ステップS31)。これは、点群分離処理部205の機能に相当する処理であり、3次元点群を建物単位に分離する処理である。
この処理の過程で、まず、3次元モデル生成装置200は、3次元点群を階層ごとに分離する。そして、各階層内で点間の距離によって点群のクラスタリングを行う。このうち、上下方向の法線ベクトルが多く含まれているクラスタには屋上面が存在すると判断することができるから、クラスタを屋上面が存在するものと、側面のみのものに分離することができる。その上で、屋上面が存在するクラスタから、そのクラスタが積層されている下の階層のクラスタを特定していく。この特定は、例えば、上下の階層に属するクラスタ間の2次元的な距離が所定値以下となるもの同士を、同じ建物で上下に重なっているものと判断することで行うことができる。高層階で分岐している複雑な形状の建物の場合、上の分岐部分は、下の階層で共通のクラスタに関連づけられるから、このツリー構造によって、全体が一つの建物であると認識される。
このようにクラスタの関連付けおよびツリー構造を利用することにより、特殊な形状の建物も含め、3次元点群を建物ごとに分離することが可能となる。
D3.建物枠生成処理:
次に、建物枠生成処理が行われる(ステップS32)。これは、建物枠生成部206の機能に相当する処理であり、建物の2次元的な形状を特定する処理である。
この処理の過程で、まず、3次元モデル生成装置200は、法線ベクトルに基づいて、3次元点群から側面の点群を抽出する。そして、分離された側面に沿わせて所定サイズのグリッドを配置し、点群を水平面に投影し、1又は複数の点が存在する格子を抽出する。この処理によって、処理対象となるべき点数は、建物枠に対応する位置にある格子点の数にまで減少される。このように処理対象となる点数を減らした上で、3次元モデル生成装置200は、ほぼ直線的に配列されていると判断される部分について、点を間引くことで、建物枠を決定する。
次に、建物枠生成処理が行われる(ステップS32)。これは、建物枠生成部206の機能に相当する処理であり、建物の2次元的な形状を特定する処理である。
この処理の過程で、まず、3次元モデル生成装置200は、法線ベクトルに基づいて、3次元点群から側面の点群を抽出する。そして、分離された側面に沿わせて所定サイズのグリッドを配置し、点群を水平面に投影し、1又は複数の点が存在する格子を抽出する。この処理によって、処理対象となるべき点数は、建物枠に対応する位置にある格子点の数にまで減少される。このように処理対象となる点数を減らした上で、3次元モデル生成装置200は、ほぼ直線的に配列されていると判断される部分について、点を間引くことで、建物枠を決定する。
D4.位置合わせ処理:
次に、位置合わせ処理が行われる(ステップS33)。これは、位置合わせ処理部207の機能に相当する処理であり、3次元点群を2次元の地図に適合させる処理である。
本実施例における位置合わせ処理は、建物ごとに2次元地図データと対比して、形状や位置の微修正を行うものではない。本実施例では、目標の建物周辺の領域について3次元点群が得られており、これらの3次元点群は、建物ごとに上面、側面を再現するのと同様の精度で、建物間の相対的な位置関係も表しているはずである。かかる考え方の下、本実施例では、これまでの処理で得られている複数の建物枠の全体を,2次元地図に最も精度良く適合させ得る形状および位置の変換方法を見いだすのである。
かかる位置合わせは、得られた建物枠を構成する頂点と、2次元地図上の頂点との対応関係を種々の組み合わせで試行し、最も小さい変形で、3次元点群を2次元地図に適合させられる対応関係を特定する。かかる特定には、焼きなまし法、またはシミューレーテッドアニーリング法を用いることができる。
かかる方法によれば、建物ごとの形状、および建物の相対的な位置関係について、3次元点群が有する情報を十分に活用することができるため、精度良く位置合わせを行うことが可能となる。
次に、位置合わせ処理が行われる(ステップS33)。これは、位置合わせ処理部207の機能に相当する処理であり、3次元点群を2次元の地図に適合させる処理である。
本実施例における位置合わせ処理は、建物ごとに2次元地図データと対比して、形状や位置の微修正を行うものではない。本実施例では、目標の建物周辺の領域について3次元点群が得られており、これらの3次元点群は、建物ごとに上面、側面を再現するのと同様の精度で、建物間の相対的な位置関係も表しているはずである。かかる考え方の下、本実施例では、これまでの処理で得られている複数の建物枠の全体を,2次元地図に最も精度良く適合させ得る形状および位置の変換方法を見いだすのである。
かかる位置合わせは、得られた建物枠を構成する頂点と、2次元地図上の頂点との対応関係を種々の組み合わせで試行し、最も小さい変形で、3次元点群を2次元地図に適合させられる対応関係を特定する。かかる特定には、焼きなまし法、またはシミューレーテッドアニーリング法を用いることができる。
かかる方法によれば、建物ごとの形状、および建物の相対的な位置関係について、3次元点群が有する情報を十分に活用することができるため、精度良く位置合わせを行うことが可能となる。
D5.ポリゴン生成処理:
次に、ポリゴン生成処理が行われる(ステップS34)。これは、ポリゴン生成部208の機能に相当する処理であり、建物ごとの3次元点群に基づいて、側面および上面のポリゴンを生成する処理である。
3次元モデル生成装置200は、ここまでの処理によって得られた建物枠に基づいて上面を定義し、次にこれを下方に平行移動することで、各辺に対して建物の側面のポリゴンを設定する。上で分岐しているような特殊な形状の建物についても同様に、分岐している各上面を下方に平行移動することによって分岐部分の側面を生成し、また低階層の上面を下方に平行移動することによって低階層の側面ポリゴンを生成することができる。このように上面の形状を利用する他、建物枠生成処理で分離された側面の点群に基づいてポリゴンを定義してもよい。
次に、ポリゴン生成処理が行われる(ステップS34)。これは、ポリゴン生成部208の機能に相当する処理であり、建物ごとの3次元点群に基づいて、側面および上面のポリゴンを生成する処理である。
3次元モデル生成装置200は、ここまでの処理によって得られた建物枠に基づいて上面を定義し、次にこれを下方に平行移動することで、各辺に対して建物の側面のポリゴンを設定する。上で分岐しているような特殊な形状の建物についても同様に、分岐している各上面を下方に平行移動することによって分岐部分の側面を生成し、また低階層の上面を下方に平行移動することによって低階層の側面ポリゴンを生成することができる。このように上面の形状を利用する他、建物枠生成処理で分離された側面の点群に基づいてポリゴンを定義してもよい。
D6.テクスチャ生成処理:
最後に、撮影した画像から、建物のテクスチャを生成するテクスチャ生成処理が行われ(ステップS35)、3次元地図として利用可能な位置精度を有する建物ごとの3次元モデルが生成される。テクスチャ生成処理では、画像内に建物が写っており、かつ、処理対象のポリゴンが背面とはなっておらず、かつ、他のポリゴンによって遮蔽されていない画像を選択し、その中で処理対象ポリゴンの面積が最大となるものからテクスチャを切り出す処理を行う。
最後に、撮影した画像から、建物のテクスチャを生成するテクスチャ生成処理が行われ(ステップS35)、3次元地図として利用可能な位置精度を有する建物ごとの3次元モデルが生成される。テクスチャ生成処理では、画像内に建物が写っており、かつ、処理対象のポリゴンが背面とはなっておらず、かつ、他のポリゴンによって遮蔽されていない画像を選択し、その中で処理対象ポリゴンの面積が最大となるものからテクスチャを切り出す処理を行う。
E.効果:
以上の実施例によれば、航空機にヨー角を3方向に変えたカメラを設置し、一つの撮影地点で3方向の撮影を行うことにより、矩形状の軌跡を飛行して撮影した場合でも、撮影方向の相対角が90°よりも小さくなる画像の組み合わせを選択可能となるため、3次元復元における解析精度を飛躍的に向上させることが可能となる。
本発明は、必ずしも上述した実施例の全ての機能を備えている必要はなく、一部のみを実現するようにしてもよい。また、上述した内容に追加の機能を設けてもよい。
本発明は上述の実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。(1)実施例においてハードウェア的に構成されている部分は、ソフトウェア的に構成することもでき、その逆も可能である。
(2)航空機に設置するカメラは、2方向または4方向以上であってもよい。
(3)撮影時の軌跡は、矩形状ではなく平行四辺形や五角形以上の多角形であってもよい。
(4)3次元復元による解析結果は、3次元点群の生成以外の方法で利用することもできる。
以上の実施例によれば、航空機にヨー角を3方向に変えたカメラを設置し、一つの撮影地点で3方向の撮影を行うことにより、矩形状の軌跡を飛行して撮影した場合でも、撮影方向の相対角が90°よりも小さくなる画像の組み合わせを選択可能となるため、3次元復元における解析精度を飛躍的に向上させることが可能となる。
本発明は、必ずしも上述した実施例の全ての機能を備えている必要はなく、一部のみを実現するようにしてもよい。また、上述した内容に追加の機能を設けてもよい。
本発明は上述の実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。(1)実施例においてハードウェア的に構成されている部分は、ソフトウェア的に構成することもでき、その逆も可能である。
(2)航空機に設置するカメラは、2方向または4方向以上であってもよい。
(3)撮影時の軌跡は、矩形状ではなく平行四辺形や五角形以上の多角形であってもよい。
(4)3次元復元による解析結果は、3次元点群の生成以外の方法で利用することもできる。
本発明は、航空機等の移動体から地物を撮影した画像を解析して、撮影地点と地物との相対的な位置関係を特定するために利用可能である。
100…航空機
101、101a、101b、101c…カメラ
102…GPS
110…撮影制御部
112…撮影シーケンス記憶部
120…画像記録部
200…3次元モデル生成装置
201…画像データ記憶部
202…3次元点群生成部
202a…マッチング画像選択部
203…3次元点群データ記憶部
204…重力方向解析部
205…点群分離処理部
206…建物枠生成部
207…位置合わせ処理部
208…ポリゴン生成部
209…テクスチャ生成部
210…2次元地図データ
211…3次元モデルデータ
101、101a、101b、101c…カメラ
102…GPS
110…撮影制御部
112…撮影シーケンス記憶部
120…画像記録部
200…3次元モデル生成装置
201…画像データ記憶部
202…3次元点群生成部
202a…マッチング画像選択部
203…3次元点群データ記憶部
204…重力方向解析部
205…点群分離処理部
206…建物枠生成部
207…位置合わせ処理部
208…ポリゴン生成部
209…テクスチャ生成部
210…2次元地図データ
211…3次元モデルデータ
Claims (4)
- 移動体から撮影した画像を解析する撮影画像解析方法であって、
(A)前記移動体に、その進行方向に対して複数のヨー方向に向けて複数台のカメラを設置し、格子状の経路を移動しながら、複数の地点で前記カメラによる撮影を行い、画像データを生成するステップと、
(B)コンピュータによって前記画像データを解析するステップとを備え、
前記ステップ(B)は、前記コンピュータが実行するステップとして、
(B1)前記撮影された画像データを読み込むステップと、
(B2)前記画像データのうち、共通の領域を異なる撮影方向から撮影し、かつその撮影方向の差異が90°より小さい関係にある複数の画像データを選択するステップと、
(B3)前記選択された画像データ間で対応する特徴点を求め、該画像データの撮影位置と該特徴点との3次元空間内での相対的な位置関係を解析するステップとを備える撮影画像解析方法。 - 請求項1記載の撮影画像解析方法であって、
前記カメラは、前記移動体の進行方向に対し、片側に3方向備えられている撮影画像解析方法。 - 請求項1または2記載の撮影画像解析方法であって、
前記経路は、直交格子状の経路である撮影画像解析方法。 - 進行方向に対して複数のヨー方向に向けて複数台のカメラが設置された移動体から撮影した画像を解析する撮影画像解析システムであって、
前記移動体が格子状の経路を移動しながら、複数の地点で前記カメラによる撮影を行って生成した画像データを読み込む画像データ入力部と、
前記画像データのうち、共通の領域を異なる撮影方向から撮影し、かつその撮影方向の差異が90°より小さい関係にある複数の画像データを選択する画像データ選択部と、
前記選択された画像データ間で対応する特徴点を求め、該画像データの撮影位置と該特徴点との3次元空間内での相対的な位置関係を解析する解析部とを備える撮影画像解析システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013257905A JP2015114954A (ja) | 2013-12-13 | 2013-12-13 | 撮影画像解析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013257905A JP2015114954A (ja) | 2013-12-13 | 2013-12-13 | 撮影画像解析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015114954A true JP2015114954A (ja) | 2015-06-22 |
Family
ID=53528672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013257905A Pending JP2015114954A (ja) | 2013-12-13 | 2013-12-13 | 撮影画像解析方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015114954A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105629980A (zh) * | 2015-12-23 | 2016-06-01 | 深圳速鸟创新科技有限公司 | 一种单相机倾斜摄影三维建模*** |
JP2017182182A (ja) * | 2016-03-28 | 2017-10-05 | 清水建設株式会社 | クラス判定装置、クラス判定方法、および、クラス判定プログラム |
CN107416221A (zh) * | 2017-08-24 | 2017-12-01 | 浙江迪澳普地理信息技术有限公司 | 一种固定翼无人机三相机倾斜摄影控制*** |
JP2018041142A (ja) * | 2016-09-05 | 2018-03-15 | 国立大学法人 東京大学 | 矩形領域検出方法、矩形領域検出装置及びプログラム |
JP2018097519A (ja) * | 2016-12-12 | 2018-06-21 | エーティーラボ株式会社 | メッシュ作成装置、メッシュ作成方法およびメッシュ作成プログラム |
JP2018205949A (ja) * | 2017-06-01 | 2018-12-27 | 株式会社豊田中央研究所 | 環境地図生成方法、環境地図生成装置、及び環境地図生成プログラム |
WO2021117388A1 (ja) | 2019-12-09 | 2021-06-17 | 富士フイルム株式会社 | 移動体、制御装置、及び撮像方法 |
WO2021117390A1 (ja) | 2019-12-09 | 2021-06-17 | 富士フイルム株式会社 | 画像処理方法、画像処理装置、及び画像処理プログラム |
WO2022209709A1 (ja) * | 2021-04-02 | 2022-10-06 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US11915411B2 (en) | 2018-04-11 | 2024-02-27 | Fujifilm Corporation | Structure management device, structure management method, and structure management program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004133556A (ja) * | 2002-10-08 | 2004-04-30 | Nippon Telegr & Teleph Corp <Ntt> | 三次元形状抽出方法及び三次元形状抽出プログラム及び三次元形状抽出プログラムを格納した記憶媒体 |
JP2005061931A (ja) * | 2003-08-11 | 2005-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 3次元形状の復元方法及びその装置並びに3次元形状の復元プログラム |
JP2005063129A (ja) * | 2003-08-12 | 2005-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 時系列画像からのテクスチャ画像獲得方法,テクスチャ画像獲得装置,テクスチャ画像獲得プログラムおよびそのプログラムを記録した記録媒体 |
JP2010045693A (ja) * | 2008-08-17 | 2010-02-25 | Kodaira Associates Kk | 路線の3次元動画生成用画像取得システム |
JP2012053896A (ja) * | 2009-05-18 | 2012-03-15 | Kodaira Associates Kk | 画像情報出力方法 |
-
2013
- 2013-12-13 JP JP2013257905A patent/JP2015114954A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004133556A (ja) * | 2002-10-08 | 2004-04-30 | Nippon Telegr & Teleph Corp <Ntt> | 三次元形状抽出方法及び三次元形状抽出プログラム及び三次元形状抽出プログラムを格納した記憶媒体 |
JP2005061931A (ja) * | 2003-08-11 | 2005-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 3次元形状の復元方法及びその装置並びに3次元形状の復元プログラム |
JP2005063129A (ja) * | 2003-08-12 | 2005-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 時系列画像からのテクスチャ画像獲得方法,テクスチャ画像獲得装置,テクスチャ画像獲得プログラムおよびそのプログラムを記録した記録媒体 |
JP2010045693A (ja) * | 2008-08-17 | 2010-02-25 | Kodaira Associates Kk | 路線の3次元動画生成用画像取得システム |
JP2012053896A (ja) * | 2009-05-18 | 2012-03-15 | Kodaira Associates Kk | 画像情報出力方法 |
Non-Patent Citations (1)
Title |
---|
末久博行: ""高精細3次元データ"", 画像ラボ, vol. 第20巻, 第8号, JPN6016044230, 10 August 2009 (2009-08-10), JP, pages 62 - 65, ISSN: 0003440937 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105629980A (zh) * | 2015-12-23 | 2016-06-01 | 深圳速鸟创新科技有限公司 | 一种单相机倾斜摄影三维建模*** |
CN105629980B (zh) * | 2015-12-23 | 2018-07-31 | 深圳速鸟创新科技有限公司 | 一种单相机倾斜摄影三维建模*** |
JP2017182182A (ja) * | 2016-03-28 | 2017-10-05 | 清水建設株式会社 | クラス判定装置、クラス判定方法、および、クラス判定プログラム |
JP2018041142A (ja) * | 2016-09-05 | 2018-03-15 | 国立大学法人 東京大学 | 矩形領域検出方法、矩形領域検出装置及びプログラム |
JP2018097519A (ja) * | 2016-12-12 | 2018-06-21 | エーティーラボ株式会社 | メッシュ作成装置、メッシュ作成方法およびメッシュ作成プログラム |
JP2018205949A (ja) * | 2017-06-01 | 2018-12-27 | 株式会社豊田中央研究所 | 環境地図生成方法、環境地図生成装置、及び環境地図生成プログラム |
CN107416221A (zh) * | 2017-08-24 | 2017-12-01 | 浙江迪澳普地理信息技术有限公司 | 一种固定翼无人机三相机倾斜摄影控制*** |
US11915411B2 (en) | 2018-04-11 | 2024-02-27 | Fujifilm Corporation | Structure management device, structure management method, and structure management program |
WO2021117388A1 (ja) | 2019-12-09 | 2021-06-17 | 富士フイルム株式会社 | 移動体、制御装置、及び撮像方法 |
WO2021117390A1 (ja) | 2019-12-09 | 2021-06-17 | 富士フイルム株式会社 | 画像処理方法、画像処理装置、及び画像処理プログラム |
WO2022209709A1 (ja) * | 2021-04-02 | 2022-10-06 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015114954A (ja) | 撮影画像解析方法 | |
JP6080642B2 (ja) | 3次元点群解析方法 | |
US20210141378A1 (en) | Imaging method and device, and unmanned aerial vehicle | |
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
US9981742B2 (en) | Autonomous navigation method and system, and map modeling method and system | |
WO2020135446A1 (zh) | 一种目标定位方法和装置、无人机 | |
JP2023022193A (ja) | ビデオベースの位置決め及びマッピングの方法及びシステム | |
CN109242855B (zh) | 基于多分辨率三维统计信息的屋顶分割方法、***及设备 | |
JP6080641B2 (ja) | 3次元点群解析方法 | |
CN107514993A (zh) | 基于无人机的面向单体建筑建模的数据采集方法及*** | |
CN111141264B (zh) | 一种基于无人机的城市三维测绘方法和*** | |
JP2014185947A (ja) | 3次元復元のための画像撮影方法 | |
WO2018061010A1 (en) | Point cloud transforming in large-scale urban modelling | |
JP2014529727A (ja) | 自動シーン較正 | |
CN113359782B (zh) | 一种融合lidar点云与图像数据的无人机自主选址降落方法 | |
JP6080640B2 (ja) | 3次元点群解析方法 | |
JP2012118666A (ja) | 三次元地図自動生成装置 | |
CN114766042A (zh) | 目标检测方法、装置、终端设备及介质 | |
CN114004977A (zh) | 一种基于深度学习的航拍数据目标定位方法及*** | |
WO2021131990A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US10275939B2 (en) | Determining two-dimensional images using three-dimensional models | |
WO2021051220A1 (zh) | 一种点云融合方法、设备、***及存储介质 | |
Rhee et al. | Investigation of 1: 1,000 scale map generation by stereo plotting using UAV images | |
US20210256732A1 (en) | Image processing method and unmanned aerial vehicle | |
JP5997664B2 (ja) | テクスチャ画像データの生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170515 |