JP2004038514A - 建物3次元形状復元方法と装置、及び建物3次元形状復元プログラムと該プログラムを記録した記録媒体 - Google Patents
建物3次元形状復元方法と装置、及び建物3次元形状復元プログラムと該プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004038514A JP2004038514A JP2002194068A JP2002194068A JP2004038514A JP 2004038514 A JP2004038514 A JP 2004038514A JP 2002194068 A JP2002194068 A JP 2002194068A JP 2002194068 A JP2002194068 A JP 2002194068A JP 2004038514 A JP2004038514 A JP 2004038514A
- Authority
- JP
- Japan
- Prior art keywords
- building
- information
- height
- contour
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】地上系からの撮影によって、建物外形と高さをもった立体的な建物の3次元形状モデルを低いコストで自動的に復元する。
【解決手段】全方位画像取得部101により全方位カメラによる全方位画像を取得し、位置情報取得部102により、全方位画像を撮影した際の位置情報を取得する。建物同定部107は、この位置情報を基に2次元ディタル地図から建物を同定する。建物シルエット投影部108は、同定した建物レイアウト情報に任意高さを与えて全方位画像上にシルエットを投影する。建物高さ算出部109は、全方位画像から建物輪郭抽出部105が抽出した建物輪郭と建物シルエットを前記高さを変化させながら比較し、最も類似度の高い時の高さを建物の高さとして算出する。建物形状モデル獲得部111は、算出された高さを基に建物側面平面獲得部110が獲得した建物側面平面から建物の3次元モデルを獲得する。
【選択図】 図1
【解決手段】全方位画像取得部101により全方位カメラによる全方位画像を取得し、位置情報取得部102により、全方位画像を撮影した際の位置情報を取得する。建物同定部107は、この位置情報を基に2次元ディタル地図から建物を同定する。建物シルエット投影部108は、同定した建物レイアウト情報に任意高さを与えて全方位画像上にシルエットを投影する。建物高さ算出部109は、全方位画像から建物輪郭抽出部105が抽出した建物輪郭と建物シルエットを前記高さを変化させながら比較し、最も類似度の高い時の高さを建物の高さとして算出する。建物形状モデル獲得部111は、算出された高さを基に建物側面平面獲得部110が獲得した建物側面平面から建物の3次元モデルを獲得する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、画像入力装置等により取得した画像データから、都市空間での建物の3次元形状または構造を、自動計測または自動獲得するコンピュータビジョン分野、画像計測並びに測量分野に関係する。
【0002】
【従来の技術】
従来、建物の3次元形状を自動で復元する手法には、ヘリコプターや航空機などにカメラや距離センサなどを搭載して測量する上空系からの手法と、車両などにカメラや距離センサなどを搭載して測量する地上系からの手法の大きく2つが存在した。
【0003】
地上系からの手法においては、建物外形情報を補うために2次元ディジタル地図を利用して建物の3次元形状を求めるような手法も行われている(信学論J84−D−II,pp.1921−1924,2001−8、情報処理学会研究報告CVIM−119,pp.25−32,1999−9など)。
【0004】
【発明が解決しようとする課題】
しかしながら、上空系からの手法では、建物外形と高さを同時にかつ、大域的に獲得できるメリットがあるが、データ獲得時に航空機等を利用する費用などのコストが大きいという問題がある。一方、地上系からの手法では、上空系からの手法と比較して低いコストでデータ獲得が可能であるが、道路に面した建物側面のみのモデル獲得しか行えず、建物外形を含めた立体的なモデル構築が困難であるという問題がある。
【0005】
図13に、地上系からでは建物外形を含めた建物すべての側面の形状を獲得することが困難である例を示す。図13におけるカメラの位置から建物を撮影した際に、右下の建物を例にとると、向かって右側面、下側面は画像上に投影されるため、形状復元が可能だが、上側面、左側面に関しては、そもそも画像上に投影されないため、形状を復元することができない。
【0006】
地上系からの手法において、建物外形情報を補うために2次元ディジタル地図を利用して建物の3次元形状を求めるような手法では、建物の位置と画像撮影位置のマッチングによる側面テクスチャの切り出しにのみ用いており、建物の高さとしては一定値を与えるものであった。
【0007】
本発明は、上記従来技術の問題点を解決するためのものであり、地上系からの撮影によって、建物外形と高さをもった立体的な建物の3次元形状モデルを低いコストで自動的に復元する方法と装置を提供することを課題としている。
【0008】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、画像入力手段の位置情報と、全方位を一度に撮像する画像入力手段を用いて景観を撮影して得た全方位画像を使って、被写体である建物に関する3次元的幾何情報を自動的に獲得、復元する方法であって、建物に関する2次元の形状や位置を表す建物レイアウト情報、画像入力手段の位置情報、並びに画像入力手段のカメラパラメータを使って、全方位画像に対して個々の建物を同定する第一のステップと、第一のステップで同定した個々の建物に対し、高さ情報を与えて建物の外観を表現するシルエット情報を生成し、さらに、全方位画像中において、その建物の輪郭情報を抽出し、双方の情報の差分を最小とするときの高さ情報を算出する第二のステップと、算出された高さ情報により、建物の3次元幾何情報を獲得して建物モデルを復元する第三のステップと、を有することを特徴とする建物3次元形状復元方法を解決手段とする。
【0009】
あるいは、上記の建物3次元形状復元方法において、第一のステップの前に、全方位画像中において、対象とする建物の輪郭情報を抽出し、その抽出した輪郭情報の中で、空間中での高さ方向の輪郭情報のみを輪郭垂線として抽出し、この輪郭垂線を、対象としている建物レイアウト情報に高さ情報を与えて生成したシルエット情報と比較して、その差分が最小となるように、画像入力手段の位置情報を補正し、このときの補正した位置情報を第一のステップの位置情報とするステップを有することを特徴とする建物3次元形状復元方法を解決手段とする。
【0010】
あるいは、画像入力手段の位置情報と、全方位を一度に撮像する画像入力手段を用いて景観を撮影して得た全方位画像を使って、被写体である建物に関する3次元的幾何情報を自動的に獲得、復元する装置であって、建物に関する2次元の形状や位置を表す建物レイアウト情報、画像入力手段の位置情報、並びに画像入力手段のカメラパラメータを使って、全方位画像に対して個々の建物を同定する手段と、同定した個々の建物に対し、高さ情報を与えて建物の外観を表現するシルエット情報を生成する手段と、全方位画像中において、その建物の輪郭情報を抽出する手段と、シルエット情報および建物の輪郭情報双方の差分を最小とするときの高さ情報を算出する手段と、算出された高さ情報により、建物の3次元幾何情報を獲得して建物モデルを復元する手段と、を有することを特徴とする建物3次元形状復元装置を解決手段とする。
【0011】
あるいは、上記の建物3次元形状復元装置において、全方位画像中において、抽出された対象とする建物の輪郭情報の中で、空間中での高さ方向の輪郭情報のみを輪郭垂線として抽出する手段と、この輪郭垂線を、対象としている建物レイアウト情報に高さ情報を与えて生成したシルエット情報と比較して、その差分が最小となるように、画像入力手段の位置情報を補正し、このときの補正した位置情報を同定する手段での位置情報とする手段を有することを特徴とする建物3次元形状復元装置を解決手段とする。
【0012】
あるいは、上記の建物3次元形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとしたことを特徴とする建物3次元形状復元プログラムを解決手段とする。
【0013】
あるいは、上記の建物3次元形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする建物3次元形状復元プログラムを記録した記録媒体を解決手段とする。
【0014】
本発明では、地上系の全方位カメラによる全方位画像を利用し、全方位画像を撮影した際の位置情報を用い、既存の2次元の建物レイアウト情報を全方位画像に投影して得られる曲線と、全方位画像中の建物の輪郭とを比較して高さを獲得し、建物外形と得られた高さから建物の3次元形状を復元することにより、低コスト、高速、かつ簡易的に都市の3次元モデルを獲得、復元する。
【0015】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【0016】
『実施形態例1』
本発明の第1の実施形態例について説明する。以下では、説明上、建物を底面から垂直方向に高さを与えた多角柱と仮定し、全方位カメラは、魚眼レンズをマウントしたものとし、この全方位カメラを車両に搭載して、移動しながら全方位画像を取得するものとする。また、建物レイアウト情報の一例としては、2次元ディジタル地図を用いる場合について説明する。魚眼レンズは、図2に示す等距離投影(投影式は、y=fθ)を用いるものとする。なお、本発明は、全方位カメラが魚眼レンズをマウントしたもの以外であっても、その投影式をあてはめることで実施可能である。
【0017】
図1は、実施形態例1の装置構成を示すブロック図である。
【0018】
本実施形態例は、全方位画像を取得する全方位画像取得部101、全方位画像撮影時の位置情報を取得する位置情報取得部102、取得された全方位画像を蓄積する全方位画像蓄積部103、取得された位置情報を蓄積する位置情報蓄積部104、撮影された全方位画像から建物輪郭を抽出する建物輪郭抽出部105、2次元ディジタル地図情報を蓄積する2次元ディジタル地図蓄積部106、全方位画像が撮影された位置情報を基に2次元ディジタル地図から建物を同定する建物同定部107、同定された建物レイアウト情報に任意の高さを与えて全方位画像上にシルエットを投影する建物シルエット投影部108、抽出された建物輪郭と投影された建物シルエットを高さを変化させながら比較して最も類似度の高い時の高さを建物の高さとして算出する建物高さ算出部109、算出された高さを基に建物側面平面を獲得する建物側面平面獲得部110、獲得された建物側面平面を建物の立体形状モデルとして獲得する建物形状モデル獲得部111、獲得された建物形状モデルを蓄積する建物形状モデル蓄積部112とから構成されている。
【0019】
本発明を説明する準備として、図3に示す座標系x−y−zを設定し、選択された建物平面形状を構成する線分をP1(X1,Y1,0)−P2(X2,Y2,0)、全方位画像が撮影された時の位置をA(Xa,Ya,Za)、車両の進行方向軸に対する線分A−P1,A−P2の角度をそれぞれφ1,φ2とする。また、空間中の点が全方位画像上に投影される時の座標系をi−jとする。以降では、空間中の点の座標を示すときにはx−y−z、全方位画像上に投影される点を示すときにはi−jの座標系を用いることとする。
【0020】
まず、処理が開始すると、位置Aをセンシングして、全方位カメラの座標値(Xa,Ya,Za)を取得する。このとき同時に、全方位画像Iaを取得する。
【0021】
図4に位置Aから放射状に直線をのばして建物を同定する例を示す。2次元ディジタル地図上で位置Aを中心として、放射状に0゜から360゜まで直線をのばし、直線に当たる建物を対象とする建物として同定する。図4の例では。位置Aから放射上に直線をのばして建物を探索した結果、網掛けのされている11戸の建物が同定されている。
【0022】
次に、輪郭抽出を行う。図5に全方位画像(左側)に対する輪郭抽出例(右側)を示す。全方位画像を画素の輝度の勾配値を利用した方法などで建物輪郭を求め、輪郭に当たる画素の値を1、輪郭にあたらない画素の値を0とする。図5では黒い画素の値を1、白い画素の値を0としている。
【0023】
図6に建物シルエットが投影される例を示す。同定された建物を構成する線分P1−P2に対して任意の高さhを与えて平面とし、その平面を全方位画像上にマッピングしたときの輪郭部分をシルエットと呼び、そのシルエットを全方位画像上の座標系i−jに投影する。投影されるシルエットにおいて点P1−P2に対応する点p1,p2の全方位画像上での位置(i1,j1)、(i2,j2)は、魚眼レンズの投影式より
i1=f×(tan−1(((X1−Xa)2−(Y1−Ya)2)1/2/h−Za))×cosφ1)
j1=f×(tan−1(((X1−Xa)2−(Y1−Ya)2)1/2/h−Za))×sinφ1)
i2=f×(tan−1(((X2−Xa)2−(Y2−Ya)2)1/2/h−Za))×cosφ2)
j2=f×(tan−1(((X2−Xa)2−(Y2−Ya)2)1/2/h−Za))×sinφ2)
となる。
【0024】
図7に類似度の算出と高さHの導入の例を説明する。建物のシルエット上にあたる輪郭抽出画像における画素の値を累積して得られる値を、建物シルエットと輪郭との類似度Snとし、高さhnを0からhmaxまで微少高さΔhずつ、ずらした時の類似度を求める。最も高い類似度Smaxをとる高さHを求め、そのときのHを建物の高さとして、3次元建物形状モデルを獲得する。図7における類似度算出の例の場合、輪郭画像と建物シルエットを比較した時、両画像上で1(黒)を示す画素の位置が一致する数は4つであるため、類似度Snは4となる。
【0025】
hmaxの設定に関しては、例えば日本における建物の高さがすぺて100[m]以下だと仮定した場合、hmaxの値を300に設定して処理を行う。これにより、20mの建物も100mの建物も高さを求めることが可能となる。
【0026】
図8に実施形態例1の処理フローを示す。なお、処理は図4で示した建物の同定において、同定された複数の建物すべてに対して繰り返し行われる。
【0027】
処理が開始すると、全方位画像取得部101において、全方位画像取得801により全方位カメラで撮影される全方位画像を取得する。取得された全方位画像は全方位画像蓄積部103に蓄積され、以下で用いられる。
【0028】
位置情報取得802では、位置情報取得部102において、全方位カメラで全方位画像が撮影された位置を一例としてGPSなどの位置情報をセンシングできる装置などで取得する。取得された位置情報は位置情報蓄積部104に蓄積され、以下で用いられる。2次元ディジタル地図803は、2次元ディジタル地図蓄積部106に建物レイアウト情報として保持される。建物同定804では、建物同定部107において、位置情報取得802で得られた位置情報から対象となる建物の同定を行い、同定された建物の数をCmaxとして保持し、同定された建物に対して順番に高さを算出する際の対象IDを開始番号として1を代入する。
【0029】
建物輪郭抽出805では、建物輪郭抽出部105において、全方位画像取得801で取得された全方位画像に対して輪郭抽出処理を行い、輪郭抽出画像を得る。
【0030】
初期設定、最大値設定806では、処理の初期値として高さhnと類似度の最大値Smaxに0を代入し、最大値設定として変化させる高さの最大値hmaxの値を設定する。
【0031】
建物シルエット投影807では、建物シルエット投影部108において、建物同定804で同定された建物を構成する線分に対して高さhnを与えた時の建物シルエット情報を取得する。以下、建物高さ算出部109において、類似度Sn算出808では、建物輪郭抽出805で得られた輪郭抽出画像と、建物シルエット投影807で取得された建物シルエット情報とを比較し、類似度Snを算出する。SnとSmaxの比較809では、類似度Sn算出808で算出された類似度Snと保持している類似度の最大値Smaxとを比較して、SnがSmaxより大きいかを判定する。判定の結果がYesであれば類似度の最大値Smaxと建物の高さHの更新810に、Noであれば高さ加算811に処理が継統する。SmaxとHの更新810では、SnとSmaxの比較809においてSnがSmaxよりも大きい場合にSmaxにSnの値を代入してSmaxを更新し、求める建物の高さHに保持されている高さhnの値を導入する。
【0032】
高さ加算811では、現在のhnに微少高さΔhを加算して処理を続行する。hnとhmaxの比較812では、保持している高さhnと最大値設定806で設定された変化させる高さの最大値hmaxとを比較して、hnがhmaxより小さいかを判定する。判定の結果がYesであれば建物シルエット投影807へ、Noであれば高さ決定813に処理が継続する。高さ決定813では保持されている高さHを類似度が最大値Smaxであった時の高さとして建物の高さを決定する。
【0033】
以下、建物側面平面獲得部110および建物形状モデル獲得部111において、3次元建物形状復元814では、高さ決定813で決定した高さHを建物同定804で同定された建物の高さとし、3次元の建物形状を復元する。cとCmaxとの比較815では、高さを算出する対象IDであるcと建物同定804で同定された建物の数Cmaxとを比較してcがCmaxと等しいかを判定する。判定の結果がYesであれば対象IDの加算917へ、Noであれば処理終了816へ処理が継続する。対象IDの加算817では、高さを算出する対象IDであるcに1を加算して、対象を次の建物に移す。処理終了816では、cとCmaxとの比較815で同定されたすべての建物に関して高さが算出された場合に処理を終了する。
【0034】
以上により建物外形を含んだ立体的な3次元都市空間を効率的に獲得することが可能となる。立体的な3次元都市空間を構成する建物の形状モデルは、例えば、建物形状モデル蓄積部112に蓄積されて利用される。
【0035】
『実施形態例2』
本発明の第2の実施形態例について説明する。ここでは、実施形態例1と異なる箇所のみ、記載している。
【0036】
図9は実施形態例2の装置構成を示すブロック図である。
【0037】
本実施形態例は、全方位画像を取得する全方位画像取得部101、全方位画像撮影時の位置情報を取得する位置情報取得部102、取得された全方位画像を蓄積する全方位画像蓄積部103、取得された位置情報を蓄積する位置情報蓄積部104、撮影された全方位画像から建物輪郭を抽出する建物輪郭抽出部105、2次元ディジタル地図情報を蓄積する2次元ディジタル地図蓄積部106、全方位画像が撮影された位置情報を基に2次元ディジタル地図から建物を同定する建物同定部107、同定された2次元ディジタル地図蓄積部106に蓄積されている建物レイアウト情報に任意の高さを与えて全方位画像上にシルエットを投影する建物シルエット投影部108、抽出された建物輪郭と高さを変化させながら投影された建物シルエットを比較して最も類似度の高い時の高さを建物の高さとして算出する建物高さ算出部109、算出された高さを基に建物側面平面を獲得する建物側面平面獲得部110、獲得された建物側面平面を元の建物レイアウトとし建物の立体形状モデルとして獲得する建物形状モデル獲得部111、獲得された建物形状モデルを蓄積する建物形状モデル蓄積部112、取得された建物輪郭から光学中心に向かう直線のみを抽出する輪郭垂線抽出部901、同定された建物レイアウト情報を構成する点に任意の高さを与えて得られる垂直線分のシルエットを取得する垂直シルエット投影部902、輪郭垂線と垂直シルエットの差が最小になるように位置情報を最適化する位置情報最適化部903とから構成されている。
【0038】
図10に実施形態例2を説明するための座標系を示す。選択された建物を構成する点をPn(Xn,Yn,0)、全方位画像が撮影された時の位置をA(Xa,Ya,Za)、進行方向の角度をρa、垂直シルエットの傾きをμn、輪郭垂線の傾きをξmとする。
【0039】
図11に垂直シルエットと輪郭垂線の例を示す。処理が開始すると、まず全方位画像を画素の輝度の勾配値を利用した方法などで建物輪郭を求め、輪郭に当たる画素の値を1、輪郭にあたらない画素の値を0とする。その二値画像に対してHough変換などによる直線検出処理を行い画像中の直線を検出する。検出された直線の中から光学中心を向いているものだけを輪郭垂線として抽出し、それらの直線の角度をξ1ξ2…ξMとする。
【0040】
次に、同定されたすべての建物を構成する点Pn(Xn,Yn,0)(n=1,2…N)に適当な高さを与えて得られる平面の垂直な線分を垂直シルエットとして取得する。取得された垂直シルエットの角度をμnとして獲得する。
【0041】
次に、直線の角度ξ1ξ2…ξMと直線の角度μ1μ2…μNとを比較し、最も角度が近いもの同士をそれぞれの直線に対応する直線とする。そして、対応する各々の直線について角度の差を算出し、それら角度の差の絶対値の合計を算出する。この時、必ずしもすべての直線が正しく対応付けされるとは限らないが、その場合において対応づけられている直線のみから算出しても、良好な結果を得ることができる。
【0042】
位置情報A(Xa,Ya,Za,ρa)を変化させて角度の差の合計が最小となるような位置情報A(Xaf,Yaf,Zaf,ρaf)を一般的な多次元の最適化手法(Numerical Methods That Work,pp.464−467,1970、Algorithms for Minimizationwithout Derivatives,Chapter7,1973、The State of the Art in Numerical Analysis,pp.259−262,1977など)を用いて求める。
【0043】
図12に実施形態例2の処理フローを示す。
【0044】
処理が開始すると、全方位画像取得部101において、全方位画像取得1201により全方位カメラで撮影される全方位画像を取得する。取得された全方位画像は、全方位画像蓄積部102に蓄積されて、以下で用いられる。
【0045】
位置情報取得1202では、位置情報取得部102において、全方位カメラで全方位画像が撮影された位置を取得する。取得された位置情報は、位置情報蓄積部104に蓄積されるとともに、以下で更新され、用いられる。2次元ディジタル地図1203は、2次元ディジタル地図蓄積部106において、建物レイアウト情報として保持されている。
【0046】
建物輪郭抽出1204では、建物輪郭抽出部105において、全方位画像取得1201で取得された全方位画像に対して輪郭抽出処理を行い、輪郭抽出画像を得る。以下、輪郭垂線抽出部901において、直線検出1205では、建物輪郭抽出1204で得られた輪郭抽出画像に対して直線検出を行う。フィルタリング1206の処理では、直線検出1205で得られた直線の中から、空間中で高さ方向の直線のみを選択するようにフィルタリング処理を行う。輪郭垂線算出1207では、フィルタリング1206で選択された直線の角度ξm(m=1,2,…M)を算出する。
【0047】
建物同定1208では、建物同定部107において、位置情報取得1202で得られた位置情報から対象となる建物の同定を行う。垂直シルエット算出1209では、建物シルエット投影部108において、建物同定1208で同定されたすべての建物を構成する点に高さを与えて得られる線分の垂直シルエットの角度μn(n=1,2,…N)を算出する。
【0048】
以下、位置情報最適化部903において、対応直線算出1210では、輪郭垂線算出1207で算出された直線の角度ξmと垂直シルエット算出部902での垂直シルエット算出1209で算出された直線の角度μnの角度を比較して、最も近い角度の直線を対応する直線として取得する。垂線の角度差算出1211では、対応直線算出1210で求めた対応する直線同士の角度の差を求め、すべての直線に関する角度差の絶対値の合計を算出する。最適化収束判断1212では、最適化処理1213とあわせて、垂線の角度差算出1211で算出される角度差の合計が最小になるように位置情報を最適化し、最適化が収束したかどうかを判断する。判断の結果がYesの場合は位置情報補正終了1214へ、Noの場合は最適化処理1213を継続する。
【0049】
位置情報補正終了1214では、最適化された位置情報を、補正された位置情報として決定し、補正処理を終了する。その後、実施形態例1における建物高さ算出と同様の処理を行う。
【0050】
これにより、位置情報獲得時の誤差などから発生するズレを補正することが可能となり、より高精度な3次元建物モデルを構築することができる。
【0051】
以上の方法により、道沿いに建物の画像を取得していくことにより、道沿いの建物すべての3次元形状を復元できることが容易にわかる。
【0052】
なお、ある建物に着目したとき、複数の地点から該当建物のHを求めることになるが、例として、該当建物から最も近い距離で求めたHを選択することができ、これにより、精度の高い高さ情報が取得できる。
【0053】
なお、図1および図9で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図8および図12で示した処理のステップをコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理のステップを実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、FD(フレキシブルディスク))や、MO、ROM、メモリカード、CD、DVD、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【0054】
【発明の効果】
本発明によれば、地上系の測定技術であるため、航空機等を使用して3次元建物モデルを生成する従来の上空系の測定技術に比べ、低コストに3次元建物モデルを生成することができる。また、2次元電子地図等の建物レイアウト情報を用いているので、建物の画像上に投影されない側面まで復元することができる。
【図面の簡単な説明】
【図1】本発明の実施形態例1の装置構成を示すブロック図である。
【図2】魚眼レンズの投影式を説明する図である。
【図3】実施形態例1の座標系を示す図である。
【図4】建物選択を説明する図である。
【図5】全方位画像に対する輪郭抽出の例を示す図である。
【図6】建物シルエットの例を示す図である。
【図7】建物高さHの算出方法を説明する図である。
【図8】本発明による方法の実施形態例1の処理フローを示す図である。
【図9】本発明の実施形態例2の装置構成を示すブロック図である。
【図10】実施形態例2の座標系を示す図である。
【図11】垂直シルエットと輪郭垂線の例を示す図である。
【図12】本発明による方法の実施形態例2の処理フローを示す図である。
【図13】地上系からは建物外形の獲得が困難であることを示す図である。
【符号の説明】
101…全方位画像取得部
102…位置情報取得部
103…全方位画像蓄積部
104…位置情報蓄積部
105…建物輪郭抽出部
106…2次元ディジタル地図蓄積部
107…建物同定部
108…建物シルエット投影部
109…建物高さ算出部
110…建物側面平面獲得部
111…建物形状モデル獲得部
112…建物形状モデル蓄積部
901…輪郭垂線抽出部
902…垂直シルエット投影部
903…位置情報最適化部
【発明の属する技術分野】
本発明は、画像入力装置等により取得した画像データから、都市空間での建物の3次元形状または構造を、自動計測または自動獲得するコンピュータビジョン分野、画像計測並びに測量分野に関係する。
【0002】
【従来の技術】
従来、建物の3次元形状を自動で復元する手法には、ヘリコプターや航空機などにカメラや距離センサなどを搭載して測量する上空系からの手法と、車両などにカメラや距離センサなどを搭載して測量する地上系からの手法の大きく2つが存在した。
【0003】
地上系からの手法においては、建物外形情報を補うために2次元ディジタル地図を利用して建物の3次元形状を求めるような手法も行われている(信学論J84−D−II,pp.1921−1924,2001−8、情報処理学会研究報告CVIM−119,pp.25−32,1999−9など)。
【0004】
【発明が解決しようとする課題】
しかしながら、上空系からの手法では、建物外形と高さを同時にかつ、大域的に獲得できるメリットがあるが、データ獲得時に航空機等を利用する費用などのコストが大きいという問題がある。一方、地上系からの手法では、上空系からの手法と比較して低いコストでデータ獲得が可能であるが、道路に面した建物側面のみのモデル獲得しか行えず、建物外形を含めた立体的なモデル構築が困難であるという問題がある。
【0005】
図13に、地上系からでは建物外形を含めた建物すべての側面の形状を獲得することが困難である例を示す。図13におけるカメラの位置から建物を撮影した際に、右下の建物を例にとると、向かって右側面、下側面は画像上に投影されるため、形状復元が可能だが、上側面、左側面に関しては、そもそも画像上に投影されないため、形状を復元することができない。
【0006】
地上系からの手法において、建物外形情報を補うために2次元ディジタル地図を利用して建物の3次元形状を求めるような手法では、建物の位置と画像撮影位置のマッチングによる側面テクスチャの切り出しにのみ用いており、建物の高さとしては一定値を与えるものであった。
【0007】
本発明は、上記従来技術の問題点を解決するためのものであり、地上系からの撮影によって、建物外形と高さをもった立体的な建物の3次元形状モデルを低いコストで自動的に復元する方法と装置を提供することを課題としている。
【0008】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、画像入力手段の位置情報と、全方位を一度に撮像する画像入力手段を用いて景観を撮影して得た全方位画像を使って、被写体である建物に関する3次元的幾何情報を自動的に獲得、復元する方法であって、建物に関する2次元の形状や位置を表す建物レイアウト情報、画像入力手段の位置情報、並びに画像入力手段のカメラパラメータを使って、全方位画像に対して個々の建物を同定する第一のステップと、第一のステップで同定した個々の建物に対し、高さ情報を与えて建物の外観を表現するシルエット情報を生成し、さらに、全方位画像中において、その建物の輪郭情報を抽出し、双方の情報の差分を最小とするときの高さ情報を算出する第二のステップと、算出された高さ情報により、建物の3次元幾何情報を獲得して建物モデルを復元する第三のステップと、を有することを特徴とする建物3次元形状復元方法を解決手段とする。
【0009】
あるいは、上記の建物3次元形状復元方法において、第一のステップの前に、全方位画像中において、対象とする建物の輪郭情報を抽出し、その抽出した輪郭情報の中で、空間中での高さ方向の輪郭情報のみを輪郭垂線として抽出し、この輪郭垂線を、対象としている建物レイアウト情報に高さ情報を与えて生成したシルエット情報と比較して、その差分が最小となるように、画像入力手段の位置情報を補正し、このときの補正した位置情報を第一のステップの位置情報とするステップを有することを特徴とする建物3次元形状復元方法を解決手段とする。
【0010】
あるいは、画像入力手段の位置情報と、全方位を一度に撮像する画像入力手段を用いて景観を撮影して得た全方位画像を使って、被写体である建物に関する3次元的幾何情報を自動的に獲得、復元する装置であって、建物に関する2次元の形状や位置を表す建物レイアウト情報、画像入力手段の位置情報、並びに画像入力手段のカメラパラメータを使って、全方位画像に対して個々の建物を同定する手段と、同定した個々の建物に対し、高さ情報を与えて建物の外観を表現するシルエット情報を生成する手段と、全方位画像中において、その建物の輪郭情報を抽出する手段と、シルエット情報および建物の輪郭情報双方の差分を最小とするときの高さ情報を算出する手段と、算出された高さ情報により、建物の3次元幾何情報を獲得して建物モデルを復元する手段と、を有することを特徴とする建物3次元形状復元装置を解決手段とする。
【0011】
あるいは、上記の建物3次元形状復元装置において、全方位画像中において、抽出された対象とする建物の輪郭情報の中で、空間中での高さ方向の輪郭情報のみを輪郭垂線として抽出する手段と、この輪郭垂線を、対象としている建物レイアウト情報に高さ情報を与えて生成したシルエット情報と比較して、その差分が最小となるように、画像入力手段の位置情報を補正し、このときの補正した位置情報を同定する手段での位置情報とする手段を有することを特徴とする建物3次元形状復元装置を解決手段とする。
【0012】
あるいは、上記の建物3次元形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとしたことを特徴とする建物3次元形状復元プログラムを解決手段とする。
【0013】
あるいは、上記の建物3次元形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする建物3次元形状復元プログラムを記録した記録媒体を解決手段とする。
【0014】
本発明では、地上系の全方位カメラによる全方位画像を利用し、全方位画像を撮影した際の位置情報を用い、既存の2次元の建物レイアウト情報を全方位画像に投影して得られる曲線と、全方位画像中の建物の輪郭とを比較して高さを獲得し、建物外形と得られた高さから建物の3次元形状を復元することにより、低コスト、高速、かつ簡易的に都市の3次元モデルを獲得、復元する。
【0015】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【0016】
『実施形態例1』
本発明の第1の実施形態例について説明する。以下では、説明上、建物を底面から垂直方向に高さを与えた多角柱と仮定し、全方位カメラは、魚眼レンズをマウントしたものとし、この全方位カメラを車両に搭載して、移動しながら全方位画像を取得するものとする。また、建物レイアウト情報の一例としては、2次元ディジタル地図を用いる場合について説明する。魚眼レンズは、図2に示す等距離投影(投影式は、y=fθ)を用いるものとする。なお、本発明は、全方位カメラが魚眼レンズをマウントしたもの以外であっても、その投影式をあてはめることで実施可能である。
【0017】
図1は、実施形態例1の装置構成を示すブロック図である。
【0018】
本実施形態例は、全方位画像を取得する全方位画像取得部101、全方位画像撮影時の位置情報を取得する位置情報取得部102、取得された全方位画像を蓄積する全方位画像蓄積部103、取得された位置情報を蓄積する位置情報蓄積部104、撮影された全方位画像から建物輪郭を抽出する建物輪郭抽出部105、2次元ディジタル地図情報を蓄積する2次元ディジタル地図蓄積部106、全方位画像が撮影された位置情報を基に2次元ディジタル地図から建物を同定する建物同定部107、同定された建物レイアウト情報に任意の高さを与えて全方位画像上にシルエットを投影する建物シルエット投影部108、抽出された建物輪郭と投影された建物シルエットを高さを変化させながら比較して最も類似度の高い時の高さを建物の高さとして算出する建物高さ算出部109、算出された高さを基に建物側面平面を獲得する建物側面平面獲得部110、獲得された建物側面平面を建物の立体形状モデルとして獲得する建物形状モデル獲得部111、獲得された建物形状モデルを蓄積する建物形状モデル蓄積部112とから構成されている。
【0019】
本発明を説明する準備として、図3に示す座標系x−y−zを設定し、選択された建物平面形状を構成する線分をP1(X1,Y1,0)−P2(X2,Y2,0)、全方位画像が撮影された時の位置をA(Xa,Ya,Za)、車両の進行方向軸に対する線分A−P1,A−P2の角度をそれぞれφ1,φ2とする。また、空間中の点が全方位画像上に投影される時の座標系をi−jとする。以降では、空間中の点の座標を示すときにはx−y−z、全方位画像上に投影される点を示すときにはi−jの座標系を用いることとする。
【0020】
まず、処理が開始すると、位置Aをセンシングして、全方位カメラの座標値(Xa,Ya,Za)を取得する。このとき同時に、全方位画像Iaを取得する。
【0021】
図4に位置Aから放射状に直線をのばして建物を同定する例を示す。2次元ディジタル地図上で位置Aを中心として、放射状に0゜から360゜まで直線をのばし、直線に当たる建物を対象とする建物として同定する。図4の例では。位置Aから放射上に直線をのばして建物を探索した結果、網掛けのされている11戸の建物が同定されている。
【0022】
次に、輪郭抽出を行う。図5に全方位画像(左側)に対する輪郭抽出例(右側)を示す。全方位画像を画素の輝度の勾配値を利用した方法などで建物輪郭を求め、輪郭に当たる画素の値を1、輪郭にあたらない画素の値を0とする。図5では黒い画素の値を1、白い画素の値を0としている。
【0023】
図6に建物シルエットが投影される例を示す。同定された建物を構成する線分P1−P2に対して任意の高さhを与えて平面とし、その平面を全方位画像上にマッピングしたときの輪郭部分をシルエットと呼び、そのシルエットを全方位画像上の座標系i−jに投影する。投影されるシルエットにおいて点P1−P2に対応する点p1,p2の全方位画像上での位置(i1,j1)、(i2,j2)は、魚眼レンズの投影式より
i1=f×(tan−1(((X1−Xa)2−(Y1−Ya)2)1/2/h−Za))×cosφ1)
j1=f×(tan−1(((X1−Xa)2−(Y1−Ya)2)1/2/h−Za))×sinφ1)
i2=f×(tan−1(((X2−Xa)2−(Y2−Ya)2)1/2/h−Za))×cosφ2)
j2=f×(tan−1(((X2−Xa)2−(Y2−Ya)2)1/2/h−Za))×sinφ2)
となる。
【0024】
図7に類似度の算出と高さHの導入の例を説明する。建物のシルエット上にあたる輪郭抽出画像における画素の値を累積して得られる値を、建物シルエットと輪郭との類似度Snとし、高さhnを0からhmaxまで微少高さΔhずつ、ずらした時の類似度を求める。最も高い類似度Smaxをとる高さHを求め、そのときのHを建物の高さとして、3次元建物形状モデルを獲得する。図7における類似度算出の例の場合、輪郭画像と建物シルエットを比較した時、両画像上で1(黒)を示す画素の位置が一致する数は4つであるため、類似度Snは4となる。
【0025】
hmaxの設定に関しては、例えば日本における建物の高さがすぺて100[m]以下だと仮定した場合、hmaxの値を300に設定して処理を行う。これにより、20mの建物も100mの建物も高さを求めることが可能となる。
【0026】
図8に実施形態例1の処理フローを示す。なお、処理は図4で示した建物の同定において、同定された複数の建物すべてに対して繰り返し行われる。
【0027】
処理が開始すると、全方位画像取得部101において、全方位画像取得801により全方位カメラで撮影される全方位画像を取得する。取得された全方位画像は全方位画像蓄積部103に蓄積され、以下で用いられる。
【0028】
位置情報取得802では、位置情報取得部102において、全方位カメラで全方位画像が撮影された位置を一例としてGPSなどの位置情報をセンシングできる装置などで取得する。取得された位置情報は位置情報蓄積部104に蓄積され、以下で用いられる。2次元ディジタル地図803は、2次元ディジタル地図蓄積部106に建物レイアウト情報として保持される。建物同定804では、建物同定部107において、位置情報取得802で得られた位置情報から対象となる建物の同定を行い、同定された建物の数をCmaxとして保持し、同定された建物に対して順番に高さを算出する際の対象IDを開始番号として1を代入する。
【0029】
建物輪郭抽出805では、建物輪郭抽出部105において、全方位画像取得801で取得された全方位画像に対して輪郭抽出処理を行い、輪郭抽出画像を得る。
【0030】
初期設定、最大値設定806では、処理の初期値として高さhnと類似度の最大値Smaxに0を代入し、最大値設定として変化させる高さの最大値hmaxの値を設定する。
【0031】
建物シルエット投影807では、建物シルエット投影部108において、建物同定804で同定された建物を構成する線分に対して高さhnを与えた時の建物シルエット情報を取得する。以下、建物高さ算出部109において、類似度Sn算出808では、建物輪郭抽出805で得られた輪郭抽出画像と、建物シルエット投影807で取得された建物シルエット情報とを比較し、類似度Snを算出する。SnとSmaxの比較809では、類似度Sn算出808で算出された類似度Snと保持している類似度の最大値Smaxとを比較して、SnがSmaxより大きいかを判定する。判定の結果がYesであれば類似度の最大値Smaxと建物の高さHの更新810に、Noであれば高さ加算811に処理が継統する。SmaxとHの更新810では、SnとSmaxの比較809においてSnがSmaxよりも大きい場合にSmaxにSnの値を代入してSmaxを更新し、求める建物の高さHに保持されている高さhnの値を導入する。
【0032】
高さ加算811では、現在のhnに微少高さΔhを加算して処理を続行する。hnとhmaxの比較812では、保持している高さhnと最大値設定806で設定された変化させる高さの最大値hmaxとを比較して、hnがhmaxより小さいかを判定する。判定の結果がYesであれば建物シルエット投影807へ、Noであれば高さ決定813に処理が継続する。高さ決定813では保持されている高さHを類似度が最大値Smaxであった時の高さとして建物の高さを決定する。
【0033】
以下、建物側面平面獲得部110および建物形状モデル獲得部111において、3次元建物形状復元814では、高さ決定813で決定した高さHを建物同定804で同定された建物の高さとし、3次元の建物形状を復元する。cとCmaxとの比較815では、高さを算出する対象IDであるcと建物同定804で同定された建物の数Cmaxとを比較してcがCmaxと等しいかを判定する。判定の結果がYesであれば対象IDの加算917へ、Noであれば処理終了816へ処理が継続する。対象IDの加算817では、高さを算出する対象IDであるcに1を加算して、対象を次の建物に移す。処理終了816では、cとCmaxとの比較815で同定されたすべての建物に関して高さが算出された場合に処理を終了する。
【0034】
以上により建物外形を含んだ立体的な3次元都市空間を効率的に獲得することが可能となる。立体的な3次元都市空間を構成する建物の形状モデルは、例えば、建物形状モデル蓄積部112に蓄積されて利用される。
【0035】
『実施形態例2』
本発明の第2の実施形態例について説明する。ここでは、実施形態例1と異なる箇所のみ、記載している。
【0036】
図9は実施形態例2の装置構成を示すブロック図である。
【0037】
本実施形態例は、全方位画像を取得する全方位画像取得部101、全方位画像撮影時の位置情報を取得する位置情報取得部102、取得された全方位画像を蓄積する全方位画像蓄積部103、取得された位置情報を蓄積する位置情報蓄積部104、撮影された全方位画像から建物輪郭を抽出する建物輪郭抽出部105、2次元ディジタル地図情報を蓄積する2次元ディジタル地図蓄積部106、全方位画像が撮影された位置情報を基に2次元ディジタル地図から建物を同定する建物同定部107、同定された2次元ディジタル地図蓄積部106に蓄積されている建物レイアウト情報に任意の高さを与えて全方位画像上にシルエットを投影する建物シルエット投影部108、抽出された建物輪郭と高さを変化させながら投影された建物シルエットを比較して最も類似度の高い時の高さを建物の高さとして算出する建物高さ算出部109、算出された高さを基に建物側面平面を獲得する建物側面平面獲得部110、獲得された建物側面平面を元の建物レイアウトとし建物の立体形状モデルとして獲得する建物形状モデル獲得部111、獲得された建物形状モデルを蓄積する建物形状モデル蓄積部112、取得された建物輪郭から光学中心に向かう直線のみを抽出する輪郭垂線抽出部901、同定された建物レイアウト情報を構成する点に任意の高さを与えて得られる垂直線分のシルエットを取得する垂直シルエット投影部902、輪郭垂線と垂直シルエットの差が最小になるように位置情報を最適化する位置情報最適化部903とから構成されている。
【0038】
図10に実施形態例2を説明するための座標系を示す。選択された建物を構成する点をPn(Xn,Yn,0)、全方位画像が撮影された時の位置をA(Xa,Ya,Za)、進行方向の角度をρa、垂直シルエットの傾きをμn、輪郭垂線の傾きをξmとする。
【0039】
図11に垂直シルエットと輪郭垂線の例を示す。処理が開始すると、まず全方位画像を画素の輝度の勾配値を利用した方法などで建物輪郭を求め、輪郭に当たる画素の値を1、輪郭にあたらない画素の値を0とする。その二値画像に対してHough変換などによる直線検出処理を行い画像中の直線を検出する。検出された直線の中から光学中心を向いているものだけを輪郭垂線として抽出し、それらの直線の角度をξ1ξ2…ξMとする。
【0040】
次に、同定されたすべての建物を構成する点Pn(Xn,Yn,0)(n=1,2…N)に適当な高さを与えて得られる平面の垂直な線分を垂直シルエットとして取得する。取得された垂直シルエットの角度をμnとして獲得する。
【0041】
次に、直線の角度ξ1ξ2…ξMと直線の角度μ1μ2…μNとを比較し、最も角度が近いもの同士をそれぞれの直線に対応する直線とする。そして、対応する各々の直線について角度の差を算出し、それら角度の差の絶対値の合計を算出する。この時、必ずしもすべての直線が正しく対応付けされるとは限らないが、その場合において対応づけられている直線のみから算出しても、良好な結果を得ることができる。
【0042】
位置情報A(Xa,Ya,Za,ρa)を変化させて角度の差の合計が最小となるような位置情報A(Xaf,Yaf,Zaf,ρaf)を一般的な多次元の最適化手法(Numerical Methods That Work,pp.464−467,1970、Algorithms for Minimizationwithout Derivatives,Chapter7,1973、The State of the Art in Numerical Analysis,pp.259−262,1977など)を用いて求める。
【0043】
図12に実施形態例2の処理フローを示す。
【0044】
処理が開始すると、全方位画像取得部101において、全方位画像取得1201により全方位カメラで撮影される全方位画像を取得する。取得された全方位画像は、全方位画像蓄積部102に蓄積されて、以下で用いられる。
【0045】
位置情報取得1202では、位置情報取得部102において、全方位カメラで全方位画像が撮影された位置を取得する。取得された位置情報は、位置情報蓄積部104に蓄積されるとともに、以下で更新され、用いられる。2次元ディジタル地図1203は、2次元ディジタル地図蓄積部106において、建物レイアウト情報として保持されている。
【0046】
建物輪郭抽出1204では、建物輪郭抽出部105において、全方位画像取得1201で取得された全方位画像に対して輪郭抽出処理を行い、輪郭抽出画像を得る。以下、輪郭垂線抽出部901において、直線検出1205では、建物輪郭抽出1204で得られた輪郭抽出画像に対して直線検出を行う。フィルタリング1206の処理では、直線検出1205で得られた直線の中から、空間中で高さ方向の直線のみを選択するようにフィルタリング処理を行う。輪郭垂線算出1207では、フィルタリング1206で選択された直線の角度ξm(m=1,2,…M)を算出する。
【0047】
建物同定1208では、建物同定部107において、位置情報取得1202で得られた位置情報から対象となる建物の同定を行う。垂直シルエット算出1209では、建物シルエット投影部108において、建物同定1208で同定されたすべての建物を構成する点に高さを与えて得られる線分の垂直シルエットの角度μn(n=1,2,…N)を算出する。
【0048】
以下、位置情報最適化部903において、対応直線算出1210では、輪郭垂線算出1207で算出された直線の角度ξmと垂直シルエット算出部902での垂直シルエット算出1209で算出された直線の角度μnの角度を比較して、最も近い角度の直線を対応する直線として取得する。垂線の角度差算出1211では、対応直線算出1210で求めた対応する直線同士の角度の差を求め、すべての直線に関する角度差の絶対値の合計を算出する。最適化収束判断1212では、最適化処理1213とあわせて、垂線の角度差算出1211で算出される角度差の合計が最小になるように位置情報を最適化し、最適化が収束したかどうかを判断する。判断の結果がYesの場合は位置情報補正終了1214へ、Noの場合は最適化処理1213を継続する。
【0049】
位置情報補正終了1214では、最適化された位置情報を、補正された位置情報として決定し、補正処理を終了する。その後、実施形態例1における建物高さ算出と同様の処理を行う。
【0050】
これにより、位置情報獲得時の誤差などから発生するズレを補正することが可能となり、より高精度な3次元建物モデルを構築することができる。
【0051】
以上の方法により、道沿いに建物の画像を取得していくことにより、道沿いの建物すべての3次元形状を復元できることが容易にわかる。
【0052】
なお、ある建物に着目したとき、複数の地点から該当建物のHを求めることになるが、例として、該当建物から最も近い距離で求めたHを選択することができ、これにより、精度の高い高さ情報が取得できる。
【0053】
なお、図1および図9で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図8および図12で示した処理のステップをコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理のステップを実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、FD(フレキシブルディスク))や、MO、ROM、メモリカード、CD、DVD、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【0054】
【発明の効果】
本発明によれば、地上系の測定技術であるため、航空機等を使用して3次元建物モデルを生成する従来の上空系の測定技術に比べ、低コストに3次元建物モデルを生成することができる。また、2次元電子地図等の建物レイアウト情報を用いているので、建物の画像上に投影されない側面まで復元することができる。
【図面の簡単な説明】
【図1】本発明の実施形態例1の装置構成を示すブロック図である。
【図2】魚眼レンズの投影式を説明する図である。
【図3】実施形態例1の座標系を示す図である。
【図4】建物選択を説明する図である。
【図5】全方位画像に対する輪郭抽出の例を示す図である。
【図6】建物シルエットの例を示す図である。
【図7】建物高さHの算出方法を説明する図である。
【図8】本発明による方法の実施形態例1の処理フローを示す図である。
【図9】本発明の実施形態例2の装置構成を示すブロック図である。
【図10】実施形態例2の座標系を示す図である。
【図11】垂直シルエットと輪郭垂線の例を示す図である。
【図12】本発明による方法の実施形態例2の処理フローを示す図である。
【図13】地上系からは建物外形の獲得が困難であることを示す図である。
【符号の説明】
101…全方位画像取得部
102…位置情報取得部
103…全方位画像蓄積部
104…位置情報蓄積部
105…建物輪郭抽出部
106…2次元ディジタル地図蓄積部
107…建物同定部
108…建物シルエット投影部
109…建物高さ算出部
110…建物側面平面獲得部
111…建物形状モデル獲得部
112…建物形状モデル蓄積部
901…輪郭垂線抽出部
902…垂直シルエット投影部
903…位置情報最適化部
Claims (6)
- 画像入力手段の位置情報と、全方位を一度に撮像する画像入力手段を用いて景観を撮影して得た全方位画像を使って、被写体である建物に関する3次元的幾何情報を自動的に獲得、復元する方法であって、
建物に関する2次元の形状や位置を表す建物レイアウト情報、画像入力手段の位置情報、並びに画像入力手段のカメラパラメータを使って、全方位画像に対して個々の建物を同定する第一のステップと、
第一のステップで同定した個々の建物に対し、高さ情報を与えて建物の外観を表現するシルエット情報を生成し、さらに、全方位画像中において、その建物の輪郭情報を抽出し、双方の情報の差分を最小とするときの高さ情報を算出する第二のステップと、
算出された高さ情報により、建物の3次元幾何情報を獲得して建物モデルを復元する第三のステップと、を有する
ことを特徴とする建物3次元形状復元方法。 - 請求項1に記載の建物3次元形状復元方法において、
第一のステップの前に、
全方位画像中において、対象とする建物の輪郭情報を抽出し、その抽出した輪郭情報の中で、空間中での高さ方向の輪郭情報のみを輪郭垂線として抽出し、この輪郭垂線を、対象としている建物レイアウト情報に高さ情報を与えて生成したシルエット情報と比較して、その差分が最小となるように、画像入力手段の位置情報を補正し、このときの補正した位置情報を第一のステップの位置情報とするステップを有する
ことを特徴とする建物3次元形状復元方法。 - 画像入力手段の位置情報と、全方位を一度に撮像する画像入力手段を用いて景観を撮影して得た全方位画像を使って、被写体である建物に関する3次元的幾何情報を自動的に獲得、復元する装置であって、
建物に関する2次元の形状や位置を表す建物レイアウト情報、画像入力手段の位置情報、並びに画像入力手段のカメラパラメータを使って、全方位画像に対して個々の建物を同定する手段と、
同定した個々の建物に対し、高さ情報を与えて建物の外観を表現するシルエット情報を生成する手段と、
全方位画像中において、その建物の輪郭情報を抽出する手段と、
シルエット情報および建物の輪郭情報双方の差分を最小とするときの高さ情報を算出する手段と、
算出された高さ情報により、建物の3次元幾何情報を獲得して建物モデルを復元する手段と、を有する
ことを特徴とする建物3次元形状復元装置。 - 請求項3に記載の建物3次元形状復元装置において、
全方位画像中において、抽出された対象とする建物の輪郭情報の中で、空間中での高さ方向の輪郭情報のみを輪郭垂線として抽出する手段と、
この輪郭垂線を、対象としている建物レイアウト情報に高さ情報を与えて生成したシルエット情報と比較して、その差分が最小となるように、画像入力手段の位置情報を補正し、このときの補正した位置情報を同定する手段での位置情報とする手段を有する
ことを特徴とする建物3次元形状復元装置。 - 請求項1または2に記載の建物3次元形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとした
ことを特徴とする建物3次元形状復元プログラム。 - 請求項1または2に記載の建物3次元形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする建物3次元形状復元プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002194068A JP2004038514A (ja) | 2002-07-03 | 2002-07-03 | 建物3次元形状復元方法と装置、及び建物3次元形状復元プログラムと該プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002194068A JP2004038514A (ja) | 2002-07-03 | 2002-07-03 | 建物3次元形状復元方法と装置、及び建物3次元形状復元プログラムと該プログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004038514A true JP2004038514A (ja) | 2004-02-05 |
Family
ID=31702852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002194068A Pending JP2004038514A (ja) | 2002-07-03 | 2002-07-03 | 建物3次元形状復元方法と装置、及び建物3次元形状復元プログラムと該プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004038514A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007045272A1 (en) * | 2005-10-17 | 2007-04-26 | Tele Atlas North America, Inc. | Method for generating an enhanced map |
CN107580157A (zh) * | 2016-07-05 | 2018-01-12 | 株式会社理光 | 图像处理装置、图像处理方法以及程序 |
CN110163960A (zh) * | 2018-02-08 | 2019-08-23 | 河南工业大学 | 一种快速精准非接触测绘古建筑的方法 |
CN111275088A (zh) * | 2020-01-16 | 2020-06-12 | 广东小天才科技有限公司 | 一种建筑模型的构建方法、***及存储介质 |
CN114417489A (zh) * | 2022-03-30 | 2022-04-29 | 宝略科技(浙江)有限公司 | 一种基于实景三维模型的建筑基底轮廓精细化提取方法 |
-
2002
- 2002-07-03 JP JP2002194068A patent/JP2004038514A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007045272A1 (en) * | 2005-10-17 | 2007-04-26 | Tele Atlas North America, Inc. | Method for generating an enhanced map |
JP2009511965A (ja) * | 2005-10-17 | 2009-03-19 | テレ アトラス ノース アメリカ インコーポレイテッド | 強化地図を生成する方法 |
CN107580157A (zh) * | 2016-07-05 | 2018-01-12 | 株式会社理光 | 图像处理装置、图像处理方法以及程序 |
CN107580157B (zh) * | 2016-07-05 | 2020-02-28 | 株式会社理光 | 图像处理装置、图像处理方法 |
CN110163960A (zh) * | 2018-02-08 | 2019-08-23 | 河南工业大学 | 一种快速精准非接触测绘古建筑的方法 |
CN111275088A (zh) * | 2020-01-16 | 2020-06-12 | 广东小天才科技有限公司 | 一种建筑模型的构建方法、***及存储介质 |
CN111275088B (zh) * | 2020-01-16 | 2024-02-20 | 广东小天才科技有限公司 | 一种建筑模型的构建方法、***及存储介质 |
CN114417489A (zh) * | 2022-03-30 | 2022-04-29 | 宝略科技(浙江)有限公司 | 一种基于实景三维模型的建筑基底轮廓精细化提取方法 |
CN114417489B (zh) * | 2022-03-30 | 2022-07-19 | 宝略科技(浙江)有限公司 | 一种基于实景三维模型的建筑基底轮廓精细化提取方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107316325B (zh) | 一种基于图像配准的机载激光点云与影像配准融合方法 | |
US20200090390A1 (en) | Mosaic oblique images and systems and methods of making and using same | |
US7509241B2 (en) | Method and apparatus for automatically generating a site model | |
KR100912715B1 (ko) | 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치 | |
CN113192193B (zh) | 基于Cesium三维地球框架的高压输电线路走廊三维重建方法 | |
US20140267254A1 (en) | Accurate Image Alignment to a 3D Model | |
JP7273927B2 (ja) | 画像ベースの測位方法及びシステム | |
Barazzetti et al. | True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach | |
JP2002157576A (ja) | ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体 | |
JP2009014628A (ja) | 位置計測装置及び位置計測方法 | |
CN112862966B (zh) | 地表三维模型构建方法、装置、设备及存储介质 | |
CN110766731A (zh) | 一种全景影像与点云自动配准的方法、装置及存储介质 | |
Wendel et al. | Automatic alignment of 3D reconstructions using a digital surface model | |
Hirschmüller et al. | Stereo vision based reconstruction of huge urban areas from an airborne pushbroom camera (HRSC) | |
JP2004038514A (ja) | 建物3次元形状復元方法と装置、及び建物3次元形状復元プログラムと該プログラムを記録した記録媒体 | |
JP3791186B2 (ja) | 景観モデリング装置 | |
CA2704656C (en) | Apparatus and method for modeling building | |
CN114387532A (zh) | 边界的识别方法及其装置、终端、电子设备和无人设备 | |
Barazzetti et al. | Stitching and processing gnomonic projections for close-range photogrammetry | |
Previtali et al. | An automatic multi-image procedure for accurate 3D object reconstruction | |
Zhang et al. | Tests and performance evaluation of DMC images and new methods for their processing | |
KR102107465B1 (ko) | 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법 | |
JP2004020398A (ja) | 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体 | |
Hsu | Geocoded terrestrial mosaics using pose sensors and video registration | |
Zheng et al. | A new flying range sensor: Aerial scan in omni-directions |