JP3791186B2 - 景観モデリング装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は建物等の対象物を撮影した画像から撮影された対象物の３次元形状を得る景観モデリング装置に関するものである。
【０００２】
【従来の技術】
図３０は、例えば、藤井稔，柴崎亮介，舘村純一著「実風景映像と３次元空間データの融合によるＧＩＳユーザインタフェースの実現の試み」写真測量とリモートセンシングＶｏｌ．３６， Ｎｏ．３，１９９７年発行に示された従来の景観モデリング装置を示すブロック図である。
【０００３】
図において、１０１は建物の水平断面の輪郭形状のデータが記憶されている建物ポリゴンデータ記憶装置、１０２は建物の階数のデータが記憶されている標高データ記憶装置、１０３は建物ポリゴンデータと標高データとから建物の３次元形状を演算する演算装置、１０４は演算装置１０３で演算された建物の３次元形状を表示する表示装置である。
【０００４】
図３１は地図及びこの地図から求められる各種のデータを示す図で、図３１（ａ）はモデリングする景観に対応する地図、図３１（ｂ）は地図から求められる建物ポリゴンデータ、図３１（ｃ）は各建物に対する階数と建物が設置されている地点の標高高度を示す標高値とを示す図ある。図において、１０５は地図、１０６は地図１０５上に描かれた建物で、建物の水平断面の輪郭であるポリゴンとして掲載されている。
【０００５】
図３２は表示装置１０４により表示されたモデリングされた景観を示す図である。図において、１０７はディスプレイモニタ上に再現された建物形状からなる景観、１０８はポリゴン、階数データ、及び標高データから復元された３次元建物形状、１０９はポリゴンで表される３次元建物形状１０８の底面、１１０は３次元建物形状１０８の１階あたりの平均的な高さである。
【０００６】
従来の景観モデリング装置では、図３１（ａ）に示すように、地図１０５上に描かれた各建物のポリゴン１０６について、図３１（ｂ）に示すように、建物の水平断面の輪郭を表すポリゴンの座標を建物ポリゴンデータとして建物ポリゴンデータ記憶装置１０１に記憶し、さらに、図３１（ｃ）に示すように、その建物の階数を示す階数データと建物が設置されている地点の標高高度を示す標高データを標高データ記憶装置１０２にあらかじめ記憶させておく。
【０００７】
地図１０５に示される都市の景観を再現する場合には、図３０に示した演算装置１０３において、各建物に対して、建物ポリゴンデータ記憶装置１０１に記憶されている建物ポリゴンデータにより示されるポリゴンを３次元建物形状１０８の底面１０９とし、予め定められている１階当たりの高さ（一定値）に、標高データ記憶手段１０２に記憶されている各建物の階数データを乗じて得られる値を高さとし、これらの底面及び高さを有する多角柱を形成する。
【０００８】
上記形成された多角柱の底面１０９が、その多角柱が存在する地点の標高データで与えられるの標高高度に置かれるように描画し３次元建物形状１０８とする。これにより、ディスプレイモニタ１０７上に建物形状１０８からなる景観１０７を描画する。
【０００９】
この３次元建物形状１０８は、同従来の技術の文献に記されたように、風景映像からそこに描かれた建物の情報を検索したり、あるいは、所在地を入力して対応する建物を特定したり、といった用途の他、景観シミュレーションや都市でのマイクロ波通信の見通しの判定に用いられる。
【００１０】
【発明が解決しようとする課題】
上記のような従来の景観モデリング装置では、建物の一階当たりの高さを一律に同じ値（一定値）にし、この一階当たりの高さに各建物の階数を乗ずることにより各建物の高さを決定していた。しかしながら、一般的には、建物は建物ごと、あるいは階ごとにその高さが異なる。そのため、従来の景観モデリング装置では、建物の正確な高さが得られず、景観も正しく再現されないという問題点があった。
【００１１】
また、建物の屋上に広告や給水塔などの設置物がある場合、その高さが反映されないため、やはり建物の正確な高さが得られず、景観も正しく再現されないという問題点があった。
【００１２】
また、従来、建物の正確な高さを与えようとすれば、建物ごとにその高さが記された設計資料を入手し、これを入力するか、または、やはり建物ごとに高さを実測しなければならず、大変な労力を必要とするという問題点があった。
【００１３】
さらにまた、建物が建っている場所の標高値は、通常、粗い格子点上でのみ値が測定されているため、坂の多い場所では、建物の正確な設置高度が得られず、景観が異なったものになるという問題点があった。
【００１４】
さらにまた、上記のような従来の景観モデリング装置では、建物の建物形状を地図上に示された建物の外周を示すポリゴンを底面とする多角柱で表現しているため、ポリゴンがその建物の敷地を表すデータとして与えられている場合、ポリゴンの形状と実際の建物の輪郭形状が異なり、景観が正しくモデリングされないという問題点があった。
【００１５】
本発明は、かかる問題点を解決するためになされたものであり、建物に対しその適切な高さを効率良く設定することにより、効率良く正しい景観を再現する景観モデリング装置を提供することを目的としている。
また、的確な輪郭形状を得ることにより、より正しく景観を再現する景観モデリング装置を提供することを目的としている。
【００１６】
【課題を解決するための手段】
本発明に係る景観モデリング装置は、同一の対象物を異なる方向から撮像した少なくとも２つの画像を記憶する画像記憶手段と、各画像の撮像時の撮像情報を記憶する撮像情報記憶手段と、対象物の水平断面の輪郭情報を記憶する形状記憶手段と、画像記憶手段に記憶されている各画像の特徴部を抽出する特徴部抽出手段と、特徴部抽出手段で抽出された各特徴部及び撮像情報記憶手段に記憶されている撮像情報を用いて特徴部の３次元位置情報を演算する位置情報演算手段と、位置情報演算手段で演算された特徴部の３次元位置情報及び形状記憶手段に記憶されている輪郭情報に基づいて、対象物の水平断面を含む平面への投影点が水平断面内に含まれる特徴部を選定し、選定された特徴部の３次元位置情報により対象物の高さを求める高さ設定手段と、形状記憶手段に記憶されている輪郭情報及び高さ設定手段で設定された対象物の高さに基づいて対象物の３次元形状を形成する３次元形状形成手段とを備えている。
【００１７】
また、対象物を構成し得る特徴部の３次元位置情報を求める３次元位置情報計測手段と、対象物の水平断面の輪郭情報を記憶する形状記憶手段と、３次元位置情報計測手段で求められた特徴部の３次元位置情報及び形状記憶手段に記憶されている輪郭情報に基づいて、対象物の水平断面を含む平面への投影点が水平断面内に含まれる特徴部を選定し、選定された特徴部の３次元位置情報により対象物の高さを求める高さ設定手段と、形状記憶手段に記憶されている輪郭情報及び高さ設定手段で設定された対象物の高さに基づいて対象物の３次元形状を形成する３次元形状形成手段とを備えている。
【００１８】
また、対象物を構成し得る特徴部の３次元位置情報及び対象物の水平断面の輪郭情報に基づいて、対象物の水平断面を含む平面への投影点が水平断面内に含まれる特徴部を選定し、選定された特徴部の３次元位置情報により対象物の高さを求める高さ設定手段と、輪郭情報及び高さ設定手段で設定された対象物の高さに基づいて対象物の３次元形状を形成する３次元形状形成手段とを備えている。
【００２４】
【発明の実施の形態】
実施の形態１．
図１はこの実施の形態１の景観モデリング装置を示すブロック図である。図において、１は建物等の対象物を異なる方向から撮影した少なくとも２枚の画像を記憶する画像記憶装置、２は画像記憶装置１に記憶されている画像を撮影した時のカメラの視点位置、光軸方向、画角情報等の撮像情報を各画像に対応して記憶する撮像情報記憶装置である。
【００２５】
３は対象物の水平断面の輪郭を表すポリゴンに関する情報を記憶する形状情報記憶装置、４は画像記憶装置１に記憶されている画像から特徴部である特徴点を抽出する特徴部抽出装置、５は特徴部抽出装置４で抽出された特徴点と撮像情報記憶装置２に記憶されている撮像情報とからこの特徴点の３次元の特徴点位置を演算する位置演算装置である。
【００２６】
６は位置演算装置５で演算された３次元の特徴点位置と形状情報記憶装置３に記憶されている対象物のポリゴンとにより対象物の高さを設定する高さ設定装置、７は高さ設定装置６で設定された対象物の高さと形状情報記憶装置３に記憶されている対象物のポリゴンとにより対象物の３次元形状を再現する３次元形状形成装置、８は３次元形状形成装置７で再現される３次元形状を表示する表示装置である。
【００２７】
図２は撮影する対象物及びこの対象物を撮影した画像を示す図で、図２（ａ）は撮影する対象物を示した図で、図２（ｂ）、（ｃ）はこの対象物を異なる方向から撮影したときの画像である。
【００２８】
図において、９は撮影する対象物、１０ａは撮像装置（図示しない）により対象物９を撮影したときの撮像装置の撮像地点、１０ｂは撮像地点１０ａとは異なる撮像地点で、この撮像地点１０ｂにおける撮像方向が撮像地点１０ａでの撮影方向とは異なる方向になるようにするものとする。矢印はこの撮像地点１０ａ、１０ｂでの各撮像方向を示している。１１ａ（１１ｂ）は撮像地点１０ａ（１０ｂ）において対象物９を撮影したときの画像、１２ａ（１２ｂ）は画像１１ａ（１１ｂ）上の対象物である。
【００２９】
画像記憶装置１には、対象となる実景観を撮影した複数の画像があらかじめ記憶されているものとする。これらの画像１１については、例えば、写真撮影された後にスキャナ入力、あるいはデジタルスチルカメラによって撮影したデータをデータ入力することにより記憶される。ここでは、画像１１は濃淡の多値画像とする。なお、ＲＧＢで表されるカラー画像についても、ＲＧＢの各成分ごとに以下で述べる特徴点の３次元座標の復元処理を実行することにより適用可能である。
【００３０】
撮像情報記憶装置２には、画像撮影時のカメラの視点位置と光軸方向、画角情報等の撮像情報が記憶される。画像の視点位置と光軸方向、画角情報についてはカメラにＧＰＳや電子ジャイロを取り付け、その出力を入力、あるいはキーボードにより撮影時の値を数値入力して記憶する。また逆に、画像に描かれた座標が既知である基準点の位置情報から計算して得てもよい。
【００３１】
図３は撮像情報記憶装置２に記憶されている撮像情報を示す図である。図３に示すように、撮像地点の３次元の位置座標である視点ｘ座標、視点ｙ座標、視点ｚ座標、光軸の方位角、俯角、及び光軸まわりのねじれ、そして、画角等の情報が各画像ごとに記録されている。
【００３２】
形状情報記憶装置３には、建物等の対象物の水平断面の外周を示すポリゴンがあらかじめ記憶されているものとする。ここで、ポリゴンとは、対象物の水平断面の輪郭を表したものである。以下、説明を簡単にするため、対象物を建物として説明する。なお、対象物は特に建物に限定するものではなく、ポリゴンと高さとから対象物の３次元形状が形成できるものであればよい。
【００３３】
図４（ａ）は対象となる景観に対応した地図と地図上の対象物形状を示す図である。図において、１３は対象となる景観に対応した地図、１４は地図１３上の建物形状で、建物の水平断面の外周を示したものである。
図４（ｂ）は図４（ａ）に示した建物形状の情報を読み取り、これらの情報から形成されたポリゴンを示す図である。図において、１５はポリゴンで、１５ａはポリゴン１５の複数の頂点、１５ｂは頂点１５ａ間を結ぶ線分である。
【００３４】
ポリゴンについてはスキャナ入力された地図を自動読み取りしてベクトル化、あるいは地図に描かれた建物形状を対話的に手入力して記憶する。このとき、対象となる景観において平坦でない部分が存在する場合には、それぞれのポリゴンに対し、対応する建物の地点の標高データも記憶する。この値は、地図より数値入力、あるいはすでに数値化されたデータより計算する。
【００３５】
図４（ｂ）に示したように、ポリゴンは、ｘｙ平面上の点列とこの点列を結ぶ線分で表される。なお、ポリゴンの形状は凸形状であるとする。もし凹部分が存在する場合には、凸の部分ポリゴンに分割して処理し、最後にそれらのうち最も高い高さをポリゴンの高さとする。
【００３６】
図５は形状情報記憶装置３に記憶されているポリゴンに関する情報を示す図である。図５に示すように、ポリゴンの頂点数、及び各ポリゴンの各頂点のｘ、ｙ座標が、ｘ座標値が最大となる点から、順次、反時計まわりの順に格納されている。
【００３７】
次に、図１に示した景観モデリング装置の動作について詳細に述べる。
本実施の形態における景観モデリング装置では、撮影した画像を用いて再現すべき建物の高さを求め、求めた高さに基づいて都市景観を再現するものである。以下、地平面をｘｙ平面とし、ｚ軸を高さ方向にとる。
【００３８】
まず、特徴部抽出装置４において、画像記憶装置１に記憶されている画像１１を用いて特徴点を抽出し、位置演算装置５において、この特徴点の３次元位置座標を求める。特徴点とは、周囲との色や明るさの違いにより、画像１１上に角や頂点として描かれる点である。建物の上面の角は、周囲の景観との見え方の違いから特徴点となる。
【００３９】
ここでは、説明を簡単にするため、画像上で周囲と輝度値が変化する点を特徴点として用い、その抽出には、例えば、蔵田武志，中村裕一，大田友一著「隠れ境界上の特徴点追跡」電子情報通信学会技術研究報告Ｖｏｌ．９５，Ｎｏ．４７０，５５〜６２頁，平成８年発行に記された手法により行う。
【００４０】
これは、画像Ｉ（ｉ，ｊ）の画素（ｉｏ，ｊｏ）に対し、その近傍の領域Ｗを考え、その
【００４１】
【数１】

【００４２】
の固有値の小さい方が、あらかじめ定めたしきい値以上になる画素を特徴点とするものである。ただし、ｗは重みづけの関数である。
なお、実際に特徴点を抽出する際には離散化して考え、例えば、その近傍領域Ｗを例えば３×３の領域とし、また、ｗを常に１として、
【００４３】
【数２】

【００４４】
とする。
【００４５】
そして、上記のように抽出された特徴点の３次元位置座標は、位置演算装置５において、例えば２枚の画像を用い、そこに写された特徴点の画素情報と、画像を撮影した視点の位置情報等の撮像情報により三角測量の原理により求める。
【００４６】
次に、高さ設定装置６において、特徴点の３次元位置座標により対象となる建物自体の高さを求める。図６は対象となる建物のポリゴンの位置と特徴点の位置との関係を示した図である。図において、１６は画像１１から抽出された特徴点で、１６ａは特徴点のｘｙ平面への射影が対象となるポリゴン内に存在しない特徴点で、三角印で表現している。１６ｂは特徴点のｘｙ平面への射影が対象となるポリゴン内に存在する特徴点で、丸印で表現し、その中で最も（ｚ成分が）高い特徴点を黒丸印で表現している。
【００４７】
建物自体の高さを求めるには、特徴部抽出装置４で抽出され、位置演算装置５で３次元位置座標が演算された特徴点がどの建物に属するのかを判定し、対象となる建物に属する特徴点の中で最も高さ（ｚ座標値）が高いものをその建物の高さの値とする。
【００４８】
ここで、特徴点がどの建物に属すかの判定は、特徴点の地平面（ｘｙ平面）への射影が、どのポリゴンの内部に入るかにより判定する。図６に示したように、特徴点のｘｙ平面への射影が、対象となる建物のポリゴン１５の内部に入る特徴点１６ｂ（図６において、丸印で示された特徴点）はその建物に属すると判定され、内部に入らない特徴点１６ａはこの建物の特徴点ではないとみなされる。すなわち、ポリゴン１５によって示される建物上の特徴点１６ｂは、当然、その射影がポリゴン１５内に含まれ、同時に、異なるポリゴンに含まれることはない。なお、特徴点がポリゴン内部に入るか否かは特徴点のｘｙ座標とポリゴンの座標とを比較することにより判定される。
【００４９】
また、このとき、最も高い特徴点の高さ（ｚ成分）の値を建物の高さとする。これは、建物の壁面においても特徴点が発生する可能性があるためである。このように高さを設定すると、屋上の設置物により高さが一定でない場合でも、マイクロ波の見通し判定を行うようなときには、最も高い地点の高さを想定できて、実際には見通しがきかないのに、見通せると誤って判定してしまうことがなく、正しい景観を実現できる。
【００５０】
このように、高さ設定装置６において建物の高さが設定されると、３次元形状形成装置７において、形状情報記憶装置３に記憶されている建物のポリゴンを底辺とし、上記設定された高さの値を高さとする多角柱を形成し、これらを表示装置８のディスプレイモニタ上に描画する。
【００５１】
さらに正確な景観モデリングを実現させるには、多角柱の底面が、その多角柱が存在する地点の標高データ（建物が建っている地点の標高を予め求めたもの）で与えられる標高高度に置かれるように描画させると良い。
【００５２】
本実施の形態では、対象物の３次元形状を多角柱で表しているが、これは特に限定するものではなく、対象物が曲面形状な時には、円柱あるいは角柱と円柱との組み合わせにより対象物の３次元形状を表現してもよい。
【００５３】
図７はこの実施の形態の動作を示すフローチャートである。
ステップＳＴ１では、特徴部抽出装置４により画像記憶装置１に記憶されている各画像の特徴部を抽出し、位置演算装置５により、抽出された画像の特徴点の３次元位置を演算する。これは、例えば、２枚の画像の特徴点間の対応付けによる三角測量の原理によって行う。その詳細を図８のフローチャートに示す。
【００５４】
図８は図７に示したステップＳＴ１での動作を説明するためのフローチャートである。
ステップＳＴ２１では、変数Ｎを０に初期化する。
ステップＳＴ２２では、未処理の画像が存在するか否かを判定し、存在すればステップＳＴ２３へ、そうでなければ（すべての画像について処理を終了していれば）、ステップＳＴ１を終了する。
ステップＳＴ２３では、照合する２枚の画像を選択する。これは例えば、撮影順で未処理の２枚の画像とする。
ステップＳＴ２４では、選択された各画像について、その画像の特徴点の抽出を行う。
【００５５】
ステップＳＴ２５では、２枚の画像の特徴点に対し、空間中の同一特徴点を表すものを対応付ける。これは、例えば、特徴点近傍の画素パターンの類似度を計算し、それがよく一致するものを対応付ける。類似度の計算は、例えば、近傍の３×３の領域内の各画素値の差をとってその二乗和を求め、この値が予め定められたしきい値より小さいほど良く一致するものとする。このようにして対応付けられた特徴点の組数をＭとする。
【００５６】
なお、このとき、画像を撮影するときの視点の位置により、対応点の存在位置は、一方の視線の他方への投影であるエピポーラ直線上に制限されるので、そのエピポーラ直線の近傍に対応点の探索範囲を狭めることで、処理の高速化を図ることもできる。
【００５７】
ステップＳＴ２６では、変数ｎを１に初期化する。
ステップＳＴ２７では、ステップＳＴ２５で対応づけられた各特徴点のｎ番目の特徴点組から、その特徴点の３次元位置座標を求める。これは以下のように行う。
【００５８】
図９は特徴点の３次元位置座標の演算方法を説明するための図である。図において、１０は撮像装置により画像１１を撮影したときの撮像装置の撮像地点（以下、視点と呼ぶこともある）、１１は撮像地点１０において撮影した画像、１７は画像１１上の特徴点、１８は視点１０から特徴点１７を見る視線ベクトル、１９は画像１１の光軸ベクトル、２０は実際の建物上の特徴点に対応する位置、２０ａは対になる他方の画像の視線ベクトルの射影による画像上のエピポーラ直線である。
【００５９】
図９（ａ）に示すように、画像の視点１０をｑ（ｑｘ，ｑｙ，ｑｚ）、光軸ベクトル１９をｕ（ｃｏｓαｃｏｓβ，ｓｉｎαｃｏｓβ，−ｓｉｎβ）とする。αは光軸ベクトル１９の方位角（光軸ベクトル１９のｘｙ平面への射影の方向）、βは光軸ベクトル１９のｘｙ平面に対する俯角（水平から見下ろす角度）である。また、画像１１の光軸まわりのねじれ（反時計まわりにとる）をγとし、画像サイズをＮｘ×Ｎｙ、焦点距離をｆとすると、画像１１中の画素Ｉ（ｉ，ｊ）を見る視線１８のベクトルｖは、
【００６０】
【数３】

【００６１】
で表される。これは、視点１０を原点Ｏ’とし、ｘ’軸を光軸ベクトル１９の方向に、ｙ’軸を画像１１のｉ軸と平行に逆方向に、ｚ’軸をｊ軸方向にとるカメラ座標系を定義し、このカメラ座標系にて表した視線１８、すなわち、視点１０（原点Ｏ’）から特徴画素１７に向かうベクトル（ｆ，−ｉ＋Ｎｘ／２，ｊ−Ｎｙ／２）を、絶対座標系に変換して得るものである。なお。焦点距離ｆは、画像１１の水平方向の画角をφとすると、
【００６２】
ｆ＝（Ｎｘ）／｛２ｔａｎ（φ／２）｝
【００６３】
で得られる。
図９（ｂ）に示すように。画像１１ａ中の画素Ｉ（ｉ，ｊ）と、他のもう一枚の画像１１ｂ中の画素Ｉ’（ｉ’，ｊ’）がともに特徴画素であり、かつ対応付けられているならば、これらの画像中の特徴点１７に対応する実際の建物の位置ｔ（特徴点の３次元位置）は、両者の視線１８であるｖ，ｖ’の延長上にあるので、
【００６４】
ｔ＝ａ ｖ＋ｑ
ｔ＝ａ’ｖ＋ｑ’
【００６５】
と表現される。ここで、ａおよびａ’はスカラのパラメータである。これよりａ及びａ’を計算し、特徴点１７の３次元位置ｔを求める。
そして、以上のようにして得られた特徴点１７の３次元座標を配列に格納する。例えば、ｎ番目の特徴点のｘ，ｙ，ｚ座標をそれぞれＸ［Ｎ＋ｎ］，Ｙ［Ｎ＋ｎ］，Ｚ［Ｎ＋ｎ］に格納する。
【００６６】
ステップＳＴ２８では、ｎに１加算する。
ステップＳＴ２９では、ｎがＭ以下かどうかを判定し、Ｍ以下ならステップＳＴ２７に、そうでなければステップＳＴ３０に進む。
ステップＳＴ３０では、特徴点数を示す変数ＮにＭを加算する。そして、ステップＳＴ２２に戻る。
【００６７】
続いて、図７に示したステップＳＴ２〜ステップＳＴ１１において高さ設定装置６により、建物の高さを求める。
ステップＳＴ２では、ポリゴン数を示す変数Ｋを形状情報記憶装置３から読み出し、変数ｋを１に初期化する。
ステップＳＴ３では、建物の高さを示す変数ｈを０に初期化し、特徴点を示す変数ｎを１に初期化する。
ステップＳＴ４では、ｎ番目の特徴点が、ｋ番目の建物の点かどうかを判定する。これは、ｎ番目の特徴点の地平面（ｘｙ平面）への射影がｋ番目のポリゴン内部または辺上にあるかどうかを判定することにより行う。この詳細を図１０のフローチャートにより説明する。
【００６８】
図１０は図７に示したステップＳＴ４での動作を説明するためのフローチャートである。
ここで、形状情報記憶装置３には、図５に示したように、ｋ番目のポリゴンの頂点数がＰ［ｋ］に、各ポリゴンの各頂点のｘ，ｙ座標がすべて配列Ｘｐ，Ｙｐに順に格納されている。なお、Ｘｐ［ｋ］［ｐ］、Ｙｐ［ｋ］［ｐ］はｋ番目のポリゴンのｐ番目の頂点の座標を示すものである。ただし、便宜上、Ｘｐ［ｋ］［Ｐ［ｋ］＋１］，Ｙｐ［ｋ］［Ｐ［ｋ］＋１］にもＸｐ［ｋ］［１］，Ｙｐ［ｋ］［１］を格納する。
【００６９】
ステップＳＴ４１では、変数ｐを１に初期化する。
ステップＳＴ４２では、特徴点のｘｙ平面への射影がｋ番目のポリゴンのｐ番目の頂点を起点としｐ＋１番目の頂点に向かう辺ベクトルの左右どちらにあるかを判定する。これは、
【００７０】
Ｄ＝（Ｘｐ［ｋ］［ｐ＋１］−Ｘ［ｎ］）（Ｙｐ［ｋ］［ｐ］−Ｙ［ｎ］）−（Ｘｐ［ｋ］［ｐ］−Ｘ［ｎ］）（Ｙｐ［ｋ］［ｐ＋１］−Ｙ［ｎ］）
【００７１】
により判定する。この値Ｄが負となれば、右側となる。これは、図４（ｂ）に示したように、ポリゴンは凸形状で頂点１５ａ列が反時計まわりになるように格納されているので、値Ｄが負であれば、ｘｙ平面への射影はポリゴン１５の外側にあることを示す。したがって、値Ｄが負である場合には、ｎ番目の特徴点はｋ番目のポリゴンに対応する建物の点ではない、すなわち、ｋ番目の建物の点ではないと判定することになり、ステップＳＴ４へ戻り、ステップＳＴ７に進む。そうでない場合、この値が正または０であればステップＳＴ４３に進み、ｐに１加算する。
【００７２】
ステップＳＴ４４では、ｐがＰ［ｋ］以下か否かを判定し、Ｐ［ｋ］以下であれば、ステップＳＴ４２に戻り、そうでなければ、ｎ番目の特徴点はｋ番目のポリゴンに対応する建物の点であると判定し、戻る。
【００７３】
ステップＳＴ５では、ｎ番目の特徴点のｚ座標、すなわち、高さをｈと比較し、ｈより大きければ、ステップＳＴ６でｈをその値に更新する。このように、より高い特徴点の値により建物の高さを設定するようにしていく。
ステップＳＴ７では、ｎに１加算する。
【００７４】
ステップＳＴ８では、ｎがＮ以下か否かを判定し、Ｎ以下であればステップＳＴ４に戻り、そうでなければステップＳＴ９に進む。
ステップＳＴ９では、ｋ番目の建物の高さＨ［ｋ］をｈとする。
ステップＳＴ１０では、ｋに１加算する。
ステップＳＴ１１では、ｋがＫ以下か否かを判定し、Ｋ以下であればステップＳＴ３に戻り、そうでなければステップＳＴ１２に進む。
以上のようにして、建物の高さを決定する。
【００７５】
ステップＳＴ１２では、３次元形状形成装置７により、建物を多角柱である建物形状によって表現し、景観を表示装置８に描画する。なお、ここで得られる高さＨ［ｋ］は、建物の最高点の標高を示している。各建物について、それが建設されている地点の標高データが配列Ｂ［ｋ］に得られているならば、ポリゴンを底面とし、高さＨ［ｋ］−Ｂ［ｋ］の多角柱を建物形状とし、これを、その底面がｚ＝Ｂ［ｋ］になるように設置、描画する。この場合、標高データＢ［ｋ］の精度がよくなくとも、建物の上面の高さは正確にＨ［ｋ］となるため、描画される景観も実際と合致したものになる。
【００７６】
本実施の形態では、撮像した画像の特徴点とポリゴンとから対象物の高さを設定するようにしているので、建物などの対象物の形状の高さを正確に求めることができ、対象物の形状を正確に復元できるとともに、画像の特徴点のみに的を絞って対象物の高さを求めているので、建物など物体の形状を詳細に復元する場合に比べて格段に容易に復元することができる。
【００７７】
実施の形態２．
本実施の形態では、実施の形態１で画像の特徴点から対象物の高さを求めているのに対し、画像の特徴線分から対象物の高さを求めるようにしたものである。
【００７８】
図１１はこの実施の形態２の景観モデリング装置を示すブロック図である。図において、２１は画像記憶装置１に記憶されている画像から特徴線分であるエッジを抽出する特徴部抽出装置、２２は撮像情報記憶装置２に記憶されている撮像情報を用いて特徴部抽出装置２１で抽出されたエッジの３次元エッジ位置を演算する位置演算装置、２３は位置演算装置２２で演算された３次元エッジ位置と形状情報記憶装置３に記憶されている形状情報に基づいて対象物の高さを設定する高さ設定装置である。その他は、実施の形態１で説明したものと同様であるので説明は省略する。
【００７９】
建物自体の高さを求めるには、特徴部抽出装置２１で抽出され、位置演算装置２２で３次元位置座標が演算されたエッジがどの建物に属するのかを判定し、対象となる建物に属するエッジの中で最も高さ（ｚ座標値）が高いものをその建物の高さの値とする。
【００８０】
高さ設定装置２３において、エッジの３次元位置座標により対象となる建物自体の高さを求める。図１２は対象となる対象物のポリゴンの位置とエッジの位置との関係を示した図である。図において、２４は画像から抽出されたエッジで、２４ａはエッジのｘｙ平面への射影が対象となるポリゴン内に存在しないエッジで、点線で表現している。２４ｂはエッジのｘｙ平面への射影が対象となるポリゴン内に存在するエッジで、実線で表現している。
【００８１】
建物自体の高さを求めるには、図１２に示すように、画像を用いて建物上のエッジ２４の３次元位置座標を求め、その高さ（ｚ座標値）により建物自体の高さを求める。エッジとは、周囲との色や明るさの違いにより、画像上に縁として描かれる線分要素である。例えば、建物の上面の辺は、周囲の景観との見え方の違いからエッジとなる。
【００８２】
エッジがどの建物に属すかの判定は、実施の形態１と同様に考えて、エッジの地平面（ｘｙ平面）への射影が、どのポリゴン１５の内部に入るかで判定する。図１２に示したように、ポリゴン１５に対する建物上のエッジは、その射影がポリゴン１５内に含まれ、同時に、異なるポリゴンに含まれることはない。また、このとき、最も高いエッジをもって建物の高さとする。
【００８３】
図１３はこの実施の形態２の動作を示すフローチャートである。
ステップＳＴ１０１、及びステップＳＴ１０４〜ステップＳＴ１０６以外のステップは実施の形態１の図７に示したステップと同様であるので説明は省略する。
【００８４】
ステップＳＴ１０１では、特徴部抽出装置２１により各画像のエッジを抽出し、位置演算装置２２により、この抽出された各画像のエッジの３次元位置を演算する。これも、例えば、ステレオマッチング法による。その詳細を図１４のフローチャートに示す。
【００８５】
図１４は図１３に示したステップＳＴ１０１の動作を説明するフローチャートである。図１４に示したフローチャートは図８に示したフローチャートとステップＳＴ１２４、ステップＳＴ１２５、ステップＳＴ１２７が異なるのみで、他のステップは同様であるので、説明は省略する。
【００８６】
ステップＳＴ１２４では、各画像について、その画像のエッジの抽出を行う。ここでいうエッジとは、画像上において周囲と輝度値が大きく異なる線分領域のことを意味する。このエッジの抽出には、例えば、江尻正員著「工業用画像処理」昭晃堂、昭和６３年発行に示されたラプラシアンフィルタを作用させる。その出力のゼロ交差位置がエッジを表すからこれを追跡し、線分に折れ線近似する。この近似線分の中で長さが予め定めたしきい値を超える線分をエッジとして抽出する。
【００８７】
ステップＳＴ１２５では、２枚の画像の各々の画像のエッジに対し、同一エッジに対応するものを対応付ける。これは、例えば、エッジ近傍の画素パターンの類似度を計算し、それがよく一致する場合に対応付ける。
類似度の計算は、例えば、双方のエッジの両端点について、近傍の各画素値の差をとってその二乗和を求め、この値があらかじめ定めたしきい値より小さい場合によく一致するとする。対応付けられたエッジの組数をＭとする。
【００８８】
ステップＳＴ１２７では、組数がｎ番目のエッジの対応から、そのエッジの３次元位置座標を求める。これは、そのエッジの両端の点の３次元位置を求め、その点を両端点とする線分とする。両端点の位置を求める手法は、実施の形態１に示したものと同一である。このようにして得られた３次元のエッジの座標を配列に格納する。ｎ番目のエッジの始点のｘ，ｙ，ｚ座標をそれぞれＳＸ［Ｎ＋ｎ］，ＳＹ［Ｎ＋ｎ］，ＳＺ［Ｎ＋ｎ］、終点のｘ，ｙ，ｚ座標をそれぞれＥＸ［Ｎ＋ｎ］，ＥＹ［Ｎ＋ｎ］，ＥＺ［Ｎ＋ｎ］に格納する。
【００８９】
図１３に示したステップＳＴ１０４では、ｎ番目のエッジが、ｋ番目の建物によるエッジか否かを判定する。これは、ｎ番目のエッジの地平面（ｘｙ平面）への射影がｋ番目のポリゴンの内部または辺上にあるかどうかを判定することにより行う。これは射影の両端点がともにポリゴンの内部または辺上であれば、射影も内部または辺上と判定する。この詳細を図１５のフローチャートにより説明する。
【００９０】
図１５は図１３に示したステップＳＴ１０４の動作を説明するフローチャートである。
ステップ１４２以外は実施の形態１の図１０に示したものと同様であるので、その他の説明は省略する。
【００９１】
ステップＳＴ１４２では、射影の両端点がｋ番目のポリゴンのｐ番目の頂点からｐ＋１番目の頂点に向けてみて左右どちらにあるかを判定する。これは、実施の形態１の判定方法と同様に、
【００９２】

【００９３】
により判定する。この値ＤｓとＤｅのどちらか一方でも負となれば、対応する端点は右側となり、エッジは対象となる建物のエッジではないと判定する。
【００９４】
図１３に示したステップＳＴ１０５では、ｎ番目のエッジの両端点についてｚ座標、すなわち、高さをｈと比較し、少なくとも一方がｈより大きければ、ステップＳＴ１０６でその大きい方の値にｈを更新する。すなわち、より高いエッジの高さを建物の高さとして設定するようにしていく。
【００９５】
本実施の形態では、エッジを用いて対象物の高さを設定し、景観を生成するようにしているので、特徴点により景観を生成する場合に比べ、画像上のノイズの影響を受けにくく、安定して正しい景観を得ることができる。
【００９６】
実施の形態３．
本実施の形態では、実施の形態１では画像の特徴点、実施の形態２では特徴線分から対象物の高さを求めているのに対し、画像の特徴領域から対象物の高さを求めるようにしたものである。
【００９７】
図１６はこの実施の形態３の景観モデリング装置を示すブロック図である。図において、３１は画像記憶装置１に記憶されている画像から特徴領域を抽出する特徴部抽出装置、３２は撮像情報記憶装置２に記憶されている撮像情報を用いて特徴部抽出装置３１で抽出された特徴領域の３次元領域位置を演算する位置演算装置、３３は位置演算装置３２で演算された３次元領域位置と形状情報記憶装置３に記憶されている形状情報に基づいて対象物の高さを設定する高さ設定装置である。その他は、実施の形態１で説明したものと同様であるので説明は省略する。
【００９８】
対象物の建物自体の高さを求めるには、特徴部抽出装置３１で抽出され位置演算装置３２で３次元位置座標が演算された領域がどの建物に属するのかを判定し、対象となる建物に属する領域の中で最も高さ（ｚ座標値）が高いものをその建物の高さの値とする。
【００９９】
高さ設定装置３３において、領域の３次元位置座標により対象となる建物自体の高さを求める。図１７は対象となる建物のポリゴンの位置と特徴領域の位置との関係を示した図である。図において、３４は画像から抽出された特徴領域で、３４ａはポリゴン１５の建物に属する特徴領域、３４ｂはポリゴン１５の建物に属さない特徴領域、３５ａは特徴領域３４ａの重心、３５ｂは特徴領域３４ｂの重心である。
【０１００】
建物自体の高さを求めるには、図１７に示すように、画像を用いて建物上の特徴領域３４の３次元位置座標を求め、その高さ（ｚ座標値）により建物自体の高さを求める。特徴領域とは、周囲との色や明るさの違いにより、画像上に領域として描かれる領域要素である。例えば、建物の面は、周囲の景観に比べると、ほぼ同様の色や明るさの領域となるから領域となる。
【０１０１】
特徴領域がどの建物に属すかの判定は、実施の形態１と同様に考えて、特徴領域の重心を求め、この重心の地平面（ｘｙ平面）への射影が、どのポリゴン１５の内部に入るかで判定する。図１７に示したように、特徴領域の重心のｘｙ平面への射影が、建物のポリゴン１５の内部に入る領域３４ａをポリゴン１４の建物に属すると判定し、内部に入らない領域３４ｂはこの建物の領域ではないとみなす。そして、この建物に属する領域の中で最も高い領域の高さ（ｚ成分）をもって建物の高さとする。
【０１０２】
本実施の形態では、領域の重心のｘｙ平面への射影がポリゴンの内部にあるか否かで領域がどの建物に属するものかを判定しているが、これは特に限定するものではなく、例えば、領域の周辺のｘｙ平面への射影がポリゴンの内部にあるか否かで領域がどの建物に属するかを判定してもよい。
【０１０３】
本実施の形態では、領域を用いて対象物の高さを設定し、景観を生成するようにしているので、特徴点やエッジを抽出するのに比べて容易に特徴部を抽出することができ、安定して正しい景観を得ることができる。
【０１０４】
実施の形態４．
本実施の形態は、実施の形態１〜３で求めた高さに基づいて再現された対象物の３次元形状である建物形状をディスプレイに撮像画像と重ねて表示し、再現された建物形状の高さが適切でない場合には、この建物形状の高さを修正するものである。
【０１０５】
図１８はこの実施の形態４の景観モデリング装置を示すブロック図である。図において、４１は例えば実施の形態１〜３で示したようにして求めた３次元形状を形成するのに必要なポリゴンや高さ等の建物形状情報を記憶する形状情報記憶装置、４２は撮像情報記憶装置２に記憶されている撮像情報により視点を一致させて、画像記憶手段１に記憶されている画像を表示させるとともに、形状情報記憶装置4１に記憶されている情報より形成される３次元形状を再現する３次元形状形成装置、４３は３次元形状形成装置４２で形成される３次元形状と画像とを表示する表示装置である。
【０１０６】
４４はマウスまたはキーボード等により構成される入力装置、４５は入力装置からの入力情報に基づいて対象物の３次元形状の高さを調節する高さ調整装置である。その他は、実施の形態１で説明したものと同様であるので説明は省略する。
【０１０７】
次に、図１８に示した景観モデリング装置の動作について説明する。
図１９はこの実施の形態４の景観モデリング装置の動作を説明する説明図である。図において、４６は表示装置４３のディスプレイ上に表示された景観、４７はディスプレイ上に表示された画像で、画像記憶装置１に記憶されている画像を表示したものである。４７ａは画像上の建物、４７ｂは画像上の山、４７ｃは画像上の道路である。４８はディスプレイ上に表示された対象物である建物の３次元形状、４９はカーソルである。
【０１０８】
この実施の形態４では、得られた３次元形状の高さが正しくない場合に、この３次元形状の高さが撮像画像上の対象物の高さになるように、画像上の対象物と得られた対象物の３次元形状とを照合し、この３次元形状の高さの値を対話的に調整するようにする。
【０１０９】
図１９（ａ）に示すように、表示装置４３により、撮像情報記憶手段２に記憶されている撮像情報に基づいて画像の視点と３次元形状の視点とが一致するようにして、画像記憶装置１に記憶されている画像と対象物の３次元形状とを重ねて表示させる。このとき、画像上の対象物と対象物の３次元形状との区別が容易になるように、画像上に描かれた対象物に対して、明白に区別できるような色や太さをもつ実線あるいは点線で対象物の３次元形状を表示する。
【０１１０】
ユーザーはこのように表示された照合結果を確認しながら、例えば、表示装置４３に表示されているマウスのカーソル４９により、高さの調整が必要な３次元形状を選択する。このとき、画像上の選択された３次元形状と他の３次元形状との区別が容易になるように、明白に区別できるような色や太さをもつ実線あるいは点線で選択された３次元形状を表示するものとする。そして、図１９（ｂ）に示すように選択された３次元形状の高さをマウスまたは数値入力等により適切な高さに調整する。
【０１１１】
図２０はこの実施の形態４の動作を示すフローチャートである。
ステップＳＴ３００は、実施の形態１の図７で示したフローチャートのステップＳＴ１〜ステップＳＴ１１までの動作を行う。ただし、得られた３次元形状の情報は形状情報記憶装置４１に記憶されるものとする。
【０１１２】
ステップＳＴ３０１では、選択された建物を示す変数ｋを１に初期化する。
ステップＳＴ３０２では、画像の視点位置と光軸方向及び焦点距離に合わせて３次元形状を画像に重ね書きし、その結果を表示装置４３におけるディスプレイ上に描画する。このとき、３次元形状は、例えばその多角柱を表す辺により表現する。つまり、３次元形状を、ポリゴンの各頂点とそれに高さＨ［ｋ］を与えた頂点の座標を、画像の視点位置と光軸方向および焦点距離に合わせて透視変換し、それらを辺で結ぶことによって描画する。また、選択された建物であるｋ番目の建物の建物形状は、その他の建物形状から見分けられるように、異なる色で、あるいは辺を太く描画する。
【０１１３】
以下のステップでは、高さ調整装置４５により、建物の高さを調整する動作を説明するものである。
ステップＳＴ３０３では、処理を続行するかどうかを判定し、続行しないならば終了する。ここでの判定は、例えば終了のときに、マウスやキーボードなどの入力装置４４により、特定の入力を与えることによって行う。
【０１１４】
ステップＳＴ３０４では、建物の選択を変更する入力があるかどうかを判定する。この変更も、マウスやキーボードなどの入力装置４４により、特定の操作を与えることによって行う。例えば、対応するポリゴンの番号を入力したり、あるいはマウスで画面上に描かれたカーソル４９を指定する３次元形状４８上に移動させ、マウスのボタン入力によって、３次元形状４８の番号を得るというように行う。変更入力がある場合は、ステップＳＴ３０５において、変数ｋを新たに選択された建物を示す番号に変更する。
【０１１５】
ステップＳＴ３０６では、選択された３次元形状４８の高さを変更する入力があるか否かを判定する。これも、マウスやキーボードなどの入力装置４４により、特定の操作を与えることによって行う。例えば、キーボードの特定のキーに高さの増加を対応させ、別のキーに減少を対応させ、そのキーが押されている場合、高さの値を一定値ずつ増加あるいは減少させるというように構成する。
【０１１６】
また、高さの値を直接数値入力してもよい。入力がある場合は、ステップＳＴ３０７において選択されたｋ番目の建物の高さの値Ｈ［ｋ］を変更し、ステップＳＴ３０２で新たに描画を行う。入力がない場合は、景観に変更がないため、描画は行わずにステップＳＴ３０３に進む。
【０１１７】
本実施の形態では、３次元形状を形成して描画された景観の中から高さが適切でない３次元形状を選択し、その高さを調節するようにしたので、一度求めた３次元形状をさらに改善することができ、より適切な３次元形状を得ることができる。
さらに、画像との対応を確認しながら３次元形状の高さを調整できるので、より的確な３次元形状（建物）の再現が可能になる。
【０１１８】
実施の形態５．
本実施の形態は、実施の形態１〜３で求めた高さに基づいて再現された対象物の３次元形状である建物形状をディスプレイに撮像画像と重ねて表示し、再現された建物形状の形状（ポリゴン）が適切でない場合には、この建物形状のポリゴンを修正するものである。
【０１１９】
図２１はこの実施の形態５の景観モデリング装置を示すブロック図である。図において、５１は地図を記憶する地図記憶装置、５２は地図記憶装置５１に記憶されている地図と形状情報記憶装置４１に記憶されているポリゴンとを描画する地図描画装置、５３は地図描画装置５２により描画される地図及びポリゴンと３次元形状形成装置４２により描画される３次元形状及び画像とを表示する表示装置、５４は入力装置４４からの入力情報に基づいて３次元形状のポリゴンの位置や形状を修正する形状調整装置である。その他は、実施の形態４で説明したものと同様であるので説明は省略する。
【０１２０】
本実施の形態５では、例えば、地図上に示されている建物形状がその建物自身の形状ではなく庭等建物自身以外を含む敷地を表すデータとして示されている場合等、形状情報記憶装置４１に記憶されているポリゴンが正しいものではない場合に、３次元形状である建物形状のポリゴンが撮像画像上の対象物のポリゴンとなるように、建物形状のポリゴンの位置や形状を対話的に調整するようにしたものである。
【０１２１】
なお、景観を撮影した画像が画像記憶装置１に、画像撮影時の視点位置、光軸方向、画角等の撮像情報が撮像情報記憶装置２に、地図が地図記憶装置５１にそれぞれ記憶され、さらに、建物を表すポリゴンとその高さが形状情報記憶装置４１に記憶されているとする。また、画像は濃淡画像でもカラー画像でもよく、形状記憶装置４１に記憶される建物の高さについては、例えば、実施の形態１〜３で示した方法で得ることができる。
【０１２２】
次に、図２１に示した景観モデリング装置の動作を図２２に示すフローチャートにより説明する。
図２２はこの実施の形態５の動作を説明するためのフローチャートである。
図２３は表示装置５３により表示される景観（３次元形状を含む）及び地図（ポリゴンを含む）を示した図である。図において、５５は景観（３次元形状を含む）表示部５５ａ及び地図（ポリゴンを含む）表示部５５ｂからなる表示装置５３のディスプレイ上の表示部、５６はディスプレイ上の地図表示部５５ｂに表示されている選択されたポリゴンである。その他は実施の形態４の図１９で説明したものと同様であるので説明は省略する。
【０１２３】
図２２に示したステップＳＴ４０１では、図２３に示したように、３次元形状形成装置４２により、建物の３次元形状４８（以下、建物形状と呼ぶこともある）を重ね書きした画像４７をディスプレイモニタの景観表示部５５ａに描画する。この際、建物形状４８は、その視点位置と光軸方向および焦点距離を画像４７のものに合わせて描画する。
【０１２４】
また、地図描画装置５２により、ポリゴン５６をその対象となる建物の位置に合わせて地図とともにディスプレイモニタの地図表示部５５ｂに描画する。このとき、建物形状４８は、その多角柱を表す辺により表現し、ポリゴン５６もその辺により表現する。図２３では、建物形状４８とポリゴン５６を太線等で表し、画像上の建物４７ａ、山４７ｂ、道路４７ｃまたは地図上のポリゴンと区別できるような様式で表現している。また、３次元形状４８に、陰面陰線消去の処理を施して描画している。
【０１２５】
以下に示すステップは、形状調整装置５４によりポリゴンの位置、形状を変更するときの動作を説明するものである。
ステップＳＴ４０２では、処理を続行するか否かを判定し、そうでなければ終了する。ここでの判定は、例えば、描画表示部５５ａに表示されている画像上の建物形状と求められた３次元形状の建物形状との形状が異なる、すなわち、画像上の建物形状の底辺と求められた３次元形状のポリゴンとが異なる場合に、ポリゴンの修正が必要と判定し、続行させ、逆に終了のときには、マウスやキーボードなどの入力装置４４により、特定の入力を与えることによって行う。
【０１２６】
ステップＳＴ４０３では、ポリゴン５６の頂点の位置を修正する入力があるか否かを判定する。これは以下のようにする。入力装置４４によりディスプレイモニタ上に描かれたカーソル４９を、地図表示部５５ｂ上に示された修正するポリゴン５６の一頂点上に移動させ、ボタン入力によりその頂点を指定する。この入力があった場合、修正入力があると判定する。
【０１２７】
ステップＳＴ４０４では、選択されたポリゴン５６上の頂点の座標を、カーソル４９の位置によって示される地図上の座標に変更する。
ステップＳＴ４０５では、ステップＳＴ４０１と同様の動作で、ポリゴン５６を重ね書きした地図と、建物形状４８を重ね書きした画像４７をディスプレイ４６に描画する。このとき、選択された頂点がその他の頂点から見分けられるように、建物形状４８の描画においては、建物形状４８中、頂点を垂直に伸ばした辺を異なる色で描画する。また、ポリゴン５６においても、頂点を異なる色で表示する。
【０１２８】
ステップＳＴ４０６では、位置の修正処理が終了したか否かを判定し、そうであればステップＳＴ４０１に進む。これは、入力装置４４によるボタン入力またはキー入力によって終了を指示する。このように、ステップＳＴ４０５で描画される景観と地図で建物形状４８を確認しながら、ステップＳＴ４０４でその頂点の位置を変更していく。
【０１２９】
図２４はポリゴンの頂点の位置を修正するときの動作を説明するための図で、図２４（ａ）は修正前の状態を示した図で、図２４（ｂ）は修正後の状態を示した図である。図において、４８ａは頂点５６ｂに対応し建物形状４８を構成する辺、５６ａはディスプレイ上に表示されている地図表示部５５ｂ上における選択されたポリゴンで、５６ｂはポリゴン５６ａを構成する頂点である。その他は、図２３で説明したものと同様であるので説明は省略する。
【０１３０】
このように、例えば、ステップＳＴ４０１において、図２４（ａ）に示したような景観が描画された場合には、図２４（ａ）に示した建物形状４８に対するポリゴン５６ａの頂点５６ｂを地図上で移動させ、ポリゴンの形状を適切な形状に変更する。この変更により、頂点５６ｂに対応する辺４８ａの位置も変更され、図２４（ｂ）に示す適切な建物形状に修正される。
【０１３１】
ここでは、１つの頂点の位置を移動するようにしているが、これは特に限定するものではなく、全ての頂点を移動させてもよい。例えば、ポリゴンの全ての頂点を同じ方向に同じ距離だけ移動させると、ポリゴンの形状は維持されたまま、ポリゴン自体を移動させることができる。従って、ある建物のポリゴンの位置のみが異なっている場合でも、正しいポリゴンの位置に修正することができる。
【０１３２】
次に、ステップＳＴ４０３において、ポリゴン５６の頂点の位置を修正する入力がなければ、ステップＳＴ４０７へ進む。
ステップＳＴ４０７では、ポリゴンの頂点を追加する入力があるか否かを判定する。これは以下のように実行する。入力装置４４によりディスプレイモニタ上に描かれたカーソル４９を、地図表示部５５ｂ上に示された頂点を追加するポリゴン５６の一辺上に移動させ、ボタンまたはキー入力によりその頂点を指定する。この入力があった場合、追加入力があると判定する。ただし、この場合のボタンまたはキー入力は、ステップＳＴ４０３で用いるボタンまたはキーとは異なるものを割り当てる。
【０１３３】
ステップＳＴ４０８では、選択された辺上に新たにポリゴン５６の頂点を追加する。このとき、ポリゴン５６の頂点数を１増加し、ｘ座標値最大のものを先頭に、反時計まわりに格納されるように配列を再構成する。そして、この追加された頂点を選択された頂点とみてステップＳＴ４０４に進む。以下、ステップＳＴ４０４以下は上記説明したものと同様であるので説明は省略する。
【０１３４】
図２５はポリゴンの形状を修正（頂点を追加）するときの動作を説明するための図で、図２５（ａ）は修正前の状態を示した図で、図２５（ｂ）は修正後の状態を示した図である。図において、４８ａは頂点５６ｂに対応し建物形状４８を構成する辺、５６ａはディスプレイ上に表示されている地図表示部５５ｂ上における選択されたポリゴンで、５６ｂはポリゴン５６ａを構成する頂点、５６ｃはポリゴン５６ａを構成する辺である。その他は、図２４で説明したものと同様であるので説明は省略する。
【０１３５】
このように、例えば、ステップＳＴ４０１において、図２５（ａ）に示したような景観が描画された場合には、図２５（ａ）に示したように、ポリゴン５６ａの辺５６ｃに頂点５６ｂを追加し、その位置を地図上で移動させることにより、頂点５６ｂに対応する辺４８ａを正しい位置に追加し、図２５（ｂ）に示す形状に変更していく。
【０１３６】
次に、ステップＳＴ４０７において、ポリゴンの頂点を追加する入力がなければ、ステップＳＴ４０９へ進む。
ステップＳＴ４０９では、ポリゴンの頂点を削除する入力があるか否かを判定する。これは以下のように実行する。入力装置４４によりディスプレイモニタ上に描かれたカーソル４９を、地図表示部５５ｂ上に示された削除する頂点上に移動させ、ボタンまたはキー入力によりその頂点を指定する。この入力があった場合、削除入力があると判定する。ただし、この場合のボタンまたはキー入力は、ステップＳＴ４０３及びステップＳＴ４０７で用いるボタンまたはキーとは異なるものを割り当てる。
【０１３７】
ステップＳＴ４１０では、ステップＳＴ４０５と同様に、選択された頂点とそれによる辺に異なる色を用いて、景観と地図を描画する。
ステップＳＴ４１１では、削除の確認を行い、ステップＳＴ４１２で選択された頂点を削除する。このとき、ポリゴン５６ａの頂点数を１減少させ、ｘ座標値最大のものを先頭に、反時計まわりに格納されるように配列を再構成する。
【０１３８】
図２６はポリゴンの形状を修正（頂点を削除）するときの動作を説明するための図で、図２６（ａ）は修正前の状態を示した図で、図２６（ｂ）は修正後の状態を示した図である。図において、４８ａは頂点５６ｂに対応し建物形状４８を構成する辺、５６ａはディスプレイ上に表示されている地図表示部５５ｂ上における選択されたポリゴンで、５６ｂはポリゴン５６ａを構成する頂点である。その他は、図２４で説明したものと同様であるので説明は省略する。
【０１３９】
このように、例えば、ステップＳＴ４１０において、図２６（ａ）に示したような景観が描画された場合には、図２６（ａ）に示したように、ポリゴン５６ａの削除する頂点５６ｂを選択し、その頂点５６ｂを削除することにより、頂点５６ｂに対応する辺４８ａを削除し、図２６（ｂ）に示す形状に変更していく。
【０１４０】
本実施の形態では、形状調整装置においてポリゴンの位置、形状を調整するようにしているが、この形状調整装置に記憶されている３次元形状の高さの値をも調整するようにすれば、３次元形状をより正確に再現させることができる。
【０１４１】
本実施の形態では、景観を撮像した画像と３次元形状との照合結果を確認しながら、その輪郭であるポリゴンの頂点の位置を調整するので、ポリゴンの位置や形状を調整することができ、正確な３次元形状を形成することが可能になる。
【０１４２】
また、景観を撮像した画像と３次元形状との照合結果を確認しながら、その輪郭であるポリゴンに頂点を追加するので、ポリゴンの形状を変更することができ、正確な３次元形状を形成することが可能になる。
また、景観を撮像した画像と３次元形状との照合結果を確認しながら、その輪郭であるポリゴンの頂点を削除するので、ポリゴンの形状を変更することができ、正確な３次元形状を形成することが可能になる。
【０１４３】
この際、地図上でポリゴンの指定と調整を行うことにより、ポリゴンどうしが重ならないため、容易に目的のポリゴンと頂点を指定でき、また、地図上に示された道路などの他のものとの位置関係から直感的に正しいポリゴンを得、容易に３次元形状を修正することができる。
また、３次元形状を随時修正して画像上に描画するため、容易に正確な３次元形状を得ることができる。
【０１４４】
実施の形態６．
図２７はこの実施の形態６の景観モデリング装置を示すブロック図である。図において、６１は建物形状を追加する形状追加装置である。その他は実施の形態５で説明したものと同様であるので説明は省略する。
【０１４５】
図２８は本実施の形態６の動作を説明するための説明図である。図において、６２は建物の突起部分、６２ａはポリゴン６３に高さの値を与えて得られる建物突起形状、６３は追加された建物の突起部の輪郭形状を示すポリゴン、６３ａはポリゴン６３の頂点である。
【０１４６】
本実施の形態６では、建物の建物形状を対話的に調整するように構成する。建物の形状は、ポリゴンに高さ値を与えてできる多角柱として表現しているが、図２８に示すように、例えばビルの給水塔や集合住宅のエレベータなどにより、その一部が突起している例も多い。このような場合、その最高点で建物形状を定めた場合、それ以外の部分では高さの差が大きくなって実際の景観と一致しなくなる。また、水平面においても突起していることもあり、この場合も景観が正しく再現されない。そこで、本実施の形態６では、突起部分を独立した建物形状とすることにより、実際の景観に一致させるものである。
【０１４７】
なお、景観を撮影した画像（濃淡画像でもカラー画像でもよい）が画像記憶装置１に、画像撮影時の視点位置、光軸方向、画角情報等の撮像情報が撮像情報記憶装置２に、地図が地図記憶装置５１にそれぞれ記憶され、さらに、建物等の対象物を表すポリゴンとその高さが形状情報記憶装置４１に記憶されているとする。また、建物の高さについては、本発明の実施の形態１〜３に示した方法で得てもよい。
【０１４８】
以下、図２７に示した景観モデリング装置の動作を図２９に示すフローチャートにより説明する。図２９は図２７に示した景観モデリング装置の動作を示すフローチャートである。
【０１４９】
ステップＳＴ５０１では、実施の形態５のステップＳＴ４０１と同様、図２３に示したように、３次元形状形成装置４２により、建物形状４８を重ね書きした画像４７をディスプレイモニタの景観表示部５５ａに描画する。この際、建物形状４８は、その視点位置と光軸方向および焦点距離を画像４７のものに合わせて描画する。また、地図描画装置５２により、地図上に、ポリゴン５６をその建物の位置に合わせてディスプレイモニタの地図表示部５５ｂ上に描画する。このとき、建物形状４８は、その多角柱を表す辺により表現し、ポリゴン５６もその辺により表現する。
【０１５０】
以下のステップは、形状追加装置６１により制御される動作である。
ステップＳＴ５０２では、処理を続行するか否かを判定し、そうでないならば終了する。ここでの判定は、例えば終了のときに、マウスやキーボードなどの入力装置４４により、特定の入力を与えることによって行う。
【０１５１】
ステップＳＴ５０３では、図２８に示したように、突起部分６２を有する建物に対応するポリゴン５６に対して突起部分６２を表す頂点を指定する。これは以下のように行う。マウスやキーボードなどの入力装置４４により、ディスプレイモニタ上に描かれたカーソル４９を、地図上に移動し、さらに突起部分６２を表す頂点とする位置にその辺にそって順次移動させ、それぞれにおいてボタンまたはキー入力により頂点６３ａを指定し、同時に地図上に描画していく。入力終了も、特定のボタンまたはキー入力を与えることによって行う。
【０１５２】
ステップＳＴ５０４では、ステップＳＴ５０３で指定された頂点６３ａで構成されるポリゴン６３を追加登録する。ここでは、ポリゴン数を示す変数Ｋを１増やし、追加されるポリゴン６３をその新しいＫ番目のポリゴンとする。入力された頂点６３ａのｐ番目の座標をその配列Ｘｐ［Ｋ］［ｐ］，Ｙｐ［Ｋ］［ｐ］に格納する。この場合もｘ座標値最大のものを先頭に、反時計まわりになるように構成する。さらに、頂点数を示すＰ［Ｋ］にステップＳＴ５０３で指定された頂点６３ａの数を格納し、高さＨ［Ｋ］をあらかじめ設定した初期値に設定する。建物突起形状６２の設置地点の標高Ｂ［Ｋ］は、その場所に最も近い値を用いる。また、建物突起形状６２に最も近い建物の標高値を用いてもよい。
【０１５３】
ステップＳＴ５０５では、ポリゴン６３によって生成される建物突起形状６２の高さを修正する。この動作は、本実施の形態４の図２０に示したフローチャートのステップＳＴ３０２からステップＳＴ３０７の動作に等しい。ただし、建物突起形状６３を建物形状とみなし、ステップＳＴ３０２の描画においては、ステップＳＴ５０１と同様、図２３に示したように景観に合わせ地図も描画する。また、新たに追加された建物突起形状６２ａの高さのみを修正するため、選択された建物を示すｋは常にＫとする。
【０１５４】
これにより、例えば当初図２８（ａ）に示したように描画された建物形状４８を、図２８（ｂ）に示したように建物突起形状６２ａと建物形状４８で表現することが可能になり、より正確に景観を再現することが可能になる。また、この際、地図上で建物突起形状６２を示すポリゴン６３を入力することにより、地図上に示された他のポリゴンや道路などとの位置関係から直感的に正しいポリゴンの形状を得、容易に建物形状を修正することができる。さらに、景観に重ね書きすることにより、建物突起形状を建物形状とともに確認しながら、その高さを調整することが可能になり、正確な景観を再現することが可能になる。
【０１５５】
なお、上記実施の形態１〜３では、特徴点、エッジ、あるいは領域の３次元位置座標の計測を、特徴点、エッジ、あるいは領域の検出とその近傍の画素値による対応付けにて行っているが、これは特に限定するものではなく、マウスやキーボードなどの入力装置を用いて、直接、画像上での特徴画素、特徴線分、あるいは特徴領域の位置と、その２つの画像間での対応を指示するようにして構成してもよい。
【０１５６】
また、本実施の形態１〜３では、特徴点、エッジ、あるいは領域の３次元位置座標の計測を、２つの画像により三角測量の原理に基づいて行ったが、より多くの画像を用いてこれを行うように構成してもよいし、また、これを他の方式、例えば、レーザーを使う距離計測手法などにより行うように構成してもよい。
【０１５７】
また、本実施の形態では、標高値Ｂ［ｋ］を用いたが、限られた領域であれば、地形は水平であるとみなし、地平面をｘｙ平面として、すべてＢ［ｋ］＝０として構成してもよい。
【０１５８】
また、上記実施の形態４〜６では、３次元形状形成装置と地図描画装置により選択された建物形状やポリゴンの辺の色を変えて表示するようにしているが、一般の建物形状や地図から識別できるようにすればよく、これらの線幅や破線など線種を変えて表示するように構成してもよい。
【０１５９】
また、上記実施の形態４〜６では、建物形状の高さは上記実施の形態１〜３に示した動作により得ているが、建物形状の高さを他の手法、例えば、従来の景観モデリング装置により得るように構成し、これによって得た建物形状に対し以下の動作を行うように構成してもよい。
【０１６０】
また、上記実施の形態５、６では、３次元形状形成装置と地図描画装置により描画される景観と地図とを同一ディスプレイモニタに表示したが、これを異なる表示装置に表示するように構成してもよい。
【０１６１】
また、本実施の形態６では、建物形状の建物突起形状を追加するものとして説明したが、地図上に示されていないが画像上に存在する建物の建物形状を新たに追加するものとして動作させてもよい。
【０１６２】
また、上記実施の形態における、特徴部抽出装置、位置演算装置、高さ設定装置、３次元形状形成装置、高さ調整装置、地図描画装置、形状調整装置、形状追加装置を用いたが、これらの動作を計算機によりソフトウェアで実行するように構成してもよい。
【０１６３】
また、上記実施の形態１〜６では、画像、画像撮影時のカメラの視点位置と光軸方向と画角情報、ポリゴンと高さに関する情報及び地図を異なる記憶装置に格納したが、これらを同一の記憶装置に格納するように構成してもよい。
【０１６４】
また、上記実施の形態１〜６で用いる画像は、航空機やヘリコプターより撮影した空中写真の画像であってよい。
【０１６５】
また、上記実施の形態１〜３で用いる画像は、濃淡の多値画像としたが、カラー画像を用いてもよい。この場合、建物の赤色灯のみを特徴点等の特徴部として抽出、あるいは、青や白、灰色領域は背景の空や雲とみなして、特徴図形の抽出を省略するといった構成にすることもできる。
【０１６６】
【発明の効果】
本発明は、以上説明したように構成されているので、以下に記載されたような効果を奏する。
【０１６７】
本発明に係る景観モデリング装置は、同一の対象物を異なる方向から撮像した少なくとも２つの画像を記憶する画像記憶手段と、各画像の撮像時の撮像情報を記憶する撮像情報記憶手段と、対象物の水平断面の輪郭情報を記憶する形状記憶手段と、画像記憶手段に記憶されている各画像の特徴部を抽出する特徴部抽出手段と、特徴部抽出手段で抽出された各特徴部及び撮像情報記憶手段に記憶されている撮像情報を用いて特徴部の３次元位置情報を演算する位置情報演算手段と、位置情報演算手段で演算された特徴部の３次元位置情報及び形状記憶手段に記憶されている輪郭情報に基づいて、対象物の水平断面を含む平面への投影点が水平断面内に含まれる特徴部を選定し、選定された特徴部の３次元位置情報により対象物の高さを求める高さ設定手段と、形状記憶手段に記憶されている輪郭情報及び高さ設定手段で設定された対象物の高さに基づいて対象物の３次元形状を形成する３次元形状形成手段とを備えているので、簡単な処理で建物の正確な高さが得られ、効率良く正しい景観を再現することができる。
【０１６８】
また、本発明に係る景観モデリング装置は、対象物を構成し得る特徴部の３次元位置情報を求める３次元位置情報計測手段と、対象物の水平断面の輪郭情報を記憶する形状記憶手段と、３次元位置情報計測手段で求められた特徴部の３次元位置情報及び形状記憶手段に記憶されている輪郭情報に基づいて、対象物の水平断面を含む平面への投影点が水平断面内に含まれる特徴部を選定し、選定された特徴部の３次元位置情報により対象物の高さを求める高さ設定手段と、形状記憶手段に記憶されている輪郭情報及び高さ設定手段で設定された対象物の高さに基づいて対象物の３次元形状を形成する３次元形状形成手段とを備えているので、簡単な処理で建物の正確な高さが得られ、効率良く正しい景観を再現することができる。
【０１６９】
また、本発明に係る景観モデリング装置は、対象物を構成し得る特徴部の３次元位置情報及び対象物の水平断面の輪郭情報に基づいて、対象物の水平断面を含む平面への投影点が水平断面内に含まれる特徴部を選定し、選定された特徴部の３次元位置情報により対象物の高さを求める高さ設定手段と、輪郭情報及び高さ設定手段で設定された対象物の高さに基づいて対象物の３次元形状を形成する３次元形状形成手段とを備えているので、簡単な処理で建物の正確な高さが得られ、効率良く正しい景観を再現することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１の景観モデリング装置を示す図である。
【図２】 対象物及びこの対象物を撮像した画像を示す図である。
【図３】 撮像情報記憶装置に記憶される撮像情報を示す図である。
【図４】 地図及び地図から形成されたポリゴンを示す図である。
【図５】 形状記憶装置に記憶されるポリゴンに関する情報を示す図である。
【図６】 本発明の実施の形態１の動作を説明するための図である。
【図７】 本発明の実施の形態１の動作を示すフローチャートである。
【図８】 本発明の実施の形態１の動作を示すフローチャートである。
【図９】 本発明の実施の形態１の動作を説明するための図である。
【図１０】 本発明の実施の形態１の動作を示すフローチャートである。
【図１１】 本発明の実施の形態２の景観モデリング装置を示す図である。
【図１２】 本発明の実施の形態２の動作を説明するための図である。
【図１３】 本発明の実施の形態２の動作を示すフローチャートである。
【図１４】 本発明の実施の形態２の動作を示すフローチャートである。
【図１５】 本発明の実施の形態２の動作を示すフローチャートである。
【図１６】 本発明の実施の形態３の景観モデリング装置を示す図である。
【図１７】 本発明の実施の形態３の動作を説明するための図である。
【図１８】 本発明の実施の形態４の景観モデリング装置を示す図である。
【図１９】 本発明の実施の形態４の動作を説明するための図である。
【図２０】 本発明の実施の形態４の動作を示すフローチャートである。
【図２１】 本発明の実施の形態５の景観モデリング装置を示す図である。
【図２２】 本発明の実施の形態５の動作を示すフローチャートである。
【図２３】 本発明の実施の形態５の動作を説明するための図である。
【図２４】 本発明の実施の形態５の動作を説明するための図である。
【図２５】 本発明の実施の形態５の動作を説明するための図である。
【図２６】 本発明の実施の形態５の動作を説明するための図である。
【図２７】 本発明の実施の形態６の景観モデリング装置を示す図である。
【図２８】 本発明の実施の形態６の動作を説明するための図である。
【図２９】 本発明の実施の形態６の動作を示すフローチャートである。
【図３０】 従来の景観モデリング装置を示すブロック図である。
【図３１】 地図、ポリゴン、及び高さ情報を示す図である。
【図３２】 従来の景観モデリング装置の動作を説明するための図である。
【符号の説明】
１ 画像記憶装置 ２ 撮像情報記憶装置
３ 形状情報記憶装置 ４ 特徴部抽出装置
５ 位置演算装置 ６ 高さ設定装置
７ ３次元形状形成装置 ８ 表示装置
９ 対象物 １０ 撮像地点
１１ 画像 １２ 画像上の対象物
１３ 地図 １４ 地図上の対象物形状
１５ ポリゴン １６ 特徴点
１７ 画像上の特徴点 １８ 視線ベクトル
１９ 光軸ベクトル ２０ 特徴点に対応する位置
２０ａ エピポーラ直線 ２１ 特徴部抽出装置
２２ 位置演算装置 ２３ 高さ設定装置
２４ エッジ ３１ 特徴部抽出装置
３２ 位置演算装置 ３３ 高さ設定装置
３４ 領域 ３５ 重心
４１ 形状情報記憶装置 ４２ ３次元形状形成装置
４３ 表示装置 ４４ 入力装置
４５ 高さ調整装置 ４６ ディスプレイ上の景観
４７ 画像 ４８ ディスプレイ上の３次元形状
４８ａ 建物形状を構成する辺 ４９ カーソル
５１ 地図記憶装置 ５２ 地図描画装置
５３ 表示装置 ５４ 形状調整装置
５５ 表示部 ５６ ポリゴン
６１ 形状追加装置 ６２ 突起部分
６３ ポリゴン
１０１ ポリゴンデータ記憶装置 １０２ 標高データ記憶装置
１０３ 演算装置 １０４ 表示装置
１０５ 地図 １０６ 地図上の建物
１０７ ディスプレイ上の景観 １０８ ３次元建物形状
１０９ 建物の底面 １１０ 建物の平均的高さ

Claims (7)

1. 同一の対象物を異なる方向から撮像した少なくとも２つの画像を記憶する画像記憶手段と、
   前記各画像の撮像時の撮像情報を記憶する撮像情報記憶手段と、
   前記対象物の水平断面の輪郭情報を記憶する形状記憶手段と、
   前記画像記憶手段に記憶されている各画像の特徴部を抽出する特徴部抽出手段と、
   前記特徴部抽出手段で抽出された各特徴部及び前記撮像情報記憶手段に記憶されている撮像情報を用いて前記特徴部の３次元位置情報を演算する位置情報演算手段と、
   前記位置情報演算手段で演算された特徴部の３次元位置情報及び前記形状記憶手段に記憶されている輪郭情報に基づいて、前記対象物の水平断面を含む平面への投影点が前記水平断面内に含まれる特徴部を選定し、選定された特徴部の３次元位置情報により前記対象物の高さを求める高さ設定手段と、
   前記形状記憶手段に記憶されている輪郭情報及び前記高さ設定手段で設定された対象物の高さに基づいて前記対象物の３次元形状を形成する３次元形状形成手段とを備えた景観モデリング装置。
2. 対象物を構成し得る特徴部の３次元位置情報を求める３次元位置情報計測手段と、
   前記対象物の水平断面の輪郭情報を記憶する形状記憶手段と、
   前記３次元位置情報計測手段で求められた特徴部の３次元位置情報及び前記形状記憶手段に記憶されている輪郭情報に基づいて、前記対象物の水平断面を含む平面への投影点が前記水平断面内に含まれる特徴部を選定し、選定された特徴部の３次元位置情報により前記対象物の高さを求める高さ設定手段と、
   前記形状記憶手段に記憶されている輪郭情報及び前記高さ設定手段で設定された対象物の高さに基づいて前記対象物の３次元形状を形成する３次元形状形成手段とを備えた景観モデリング装置。
3. 対象物を構成し得る特徴部の３次元位置情報及び前記対象物の水平断面の輪郭情報に基づいて、前記対象物の水平断面を含む平面への投影点が前記水平断面内に含まれる特徴部を選定し、選定された特徴部の３次元位置情報により前記対象物の高さを求める高さ設定手段と、
   前記輪郭情報及び前記高さ設定手段で設定された対象物の高さに基づいて前記対象物の３次元形状を形成する３次元形状形成手段とを備えた景観モデリング装置。
4. 位置情報演算手段は、少なくとも２枚の画像を用いた三角測量の原理に基づいて３次元位置情報を演算することを特徴とする請求項１に記載の景観モデリング装置。
5. ３次元位置情報計測手段は、レーザーを用いた距離計測手法により３次元位置情報を求めることを特徴とする請求項２に記載の景観モデリング装置。
6. 特徴部は特徴点、特徴線分、特徴領域のいずれかであることを特徴とする請求項１から３のいずれか一項に記載の景観モデリング装置。
7. 高さ設定手段は、選定された特徴部の中で最も高いものの高さを対象物の高さとすることを特徴とする請求項１から３のいずれか一項に記載の景観モデリング装置。

Images