JP2005173128A - 輪郭形状抽出装置 - Google Patents

Abstract

【課題】正射空中写真画像だけでなく、異なる撮影位置、角度、縮尺で撮影された単眼視空中写真画像であっても地図図形中の地物の輪郭形状を抽出する。
【解決手段】空中写真画像から地図図形中の地物の輪郭形状を抽出する輪郭形状抽出装置において、旧撮影空中写真画像と新撮影空中写真画像とを照合することによって、前記旧空中写真画像に基づいて作成された地図図形と前記新空中写真画像との位置合わせのためのパラメータを抽出するパラメータ抽出部と、前記抽出されたパラメータを用いて前記地図図形に対して幾何学的変換を行う幾何変換部と、前記新空中写真画像において、前記地図図形の地物に対応する画像領域を抽出する画像領域抽出部と、前記抽出された地物の画像領域から輪郭形状を抽出する輪郭形状抽出部と、を有する。
【選択図】 図１

Description

本発明は、地図作成に用いる地物の輪郭形状抽出装置に関し、特に、地図図形と空中写真（衛星写真、航空写真）画像との位置合わせを行い、空中写真画像の特徴解析結果を用いて、空中写真から地図図形中の地物の輪郭形状を抽出する輪郭形状抽出装置に関する。

従来、空中写真画像から地図図形中の地物の輪郭形状の抽出方法としては、地域を撮影した静止画像と、平面数値地図あるいは立体数値地図とを用いて、上記地図を上記画像が基づく座標系に座標変換して上記画像に照合し、画像における地物の形状および属性のモデルとして地図の図形を利用し、画像にける地物の形状や画素特性値（明るさ、色相、彩度）およびテクスチャを解析することにより、上記画像から図形の変化情報および新規地物情報を検出し、検出した図形変化情報および新規地物情報を上記地図に登録し地図情報を更新しすることによって、数値地図と静止画像との照合図を利用して、変化した図形や地図未記載の新規地物を検出する地図情報更新方法が提案されている（例えば、特許文献１参照）。

また、地図と画像との位置合わせ方法としては、ベクトル地図を構成する複数の座標点を変換パラメータを変化させつつ座標変換し、その座標点に対応する写真画像の輝度の統計量を計算する。そして統計量の分散が最小となった変換パラメータを求め、位置の一致不一致の判定処理を行なうことによって、自動的に写真画像とベクトル地図を重ね合わせて表示をする写真画像とベクトル地図の自動重ね合わせ方法が提案されている（例えば、特許文献２参照）。
特開２０００−３１０９４０号公報 特開平６−３２５１５０号公報

前述した従来技術では、自動的に正射画像とベクトル地図との位置合わせを行い、画像の特徴を解析することによって地物の領域と形状を抽出しており、異なる撮影位置、角度、縮尺で撮影された単眼視空中写真画像から地図図形中の地物の輪郭形状の抽出に関しては考慮されていなかった。

本発明は、正射空中写真画像だけでなく、異なる撮影位置、角度、縮尺で撮影された単眼視空中写真画像であっても地図図形中の地物の輪郭形状を抽出することができる輪郭形状抽出装置を提供することを目的とする。

本発明は、空中写真画像から地図図形中の地物の輪郭形状を抽出する輪郭形状抽出装置において、旧撮影空中写真画像と新撮影空中写真画像とを照合することによって、前記旧空中写真画像に基づいて作成された地図図形と前記新空中写真画像との位置合わせのためのパラメータを抽出するパラメータ抽出部と、前記抽出されたパラメータを用いて前記地図図形に対して幾何学的変換を行う幾何変換部と、前記新空中写真画像において、前記地図図形の地物に対応する画像領域を抽出する画像領域抽出部と、前記抽出された地物の画像領域から輪郭形状を抽出する輪郭形状抽出部と、を有する。

本発明によると、新空中写真画像と旧空中写真画像とを照合することによって、旧空中写真画像に基づいて作成された地図図形と新空中写真画像との位置合わせのためのパラメータを算出することができ、新空中写真画像における地図図形中の地物の存在可能な範囲を選択できる。また、選択された存在可能範囲において画像の特徴を解析することによって、新空中写真画像における地物の画像領域と輪郭形状を抽出できる。

これにより、正射空中写真画像だけでなく、異なる位置、角度、縮尺で撮影された単眼視空中写真画像や正射などの空中写真画像から、容易に地図図形中の地物にの輪郭形状を抽出することができる。

本発明に示す空中写真（衛星写真、航空写真）画像から地図図形中の地物の輪郭形状の抽出装置では、正射空中写真画像だけでなく、異なる撮影位置、角度、縮尺で撮影された単眼視画像、カラー画像だけでなく、白黒画像から対応する地物の形状を抽出する。

そのために、まず、地図図形の作成に利用した旧空中写真画像と新空中写真画像から代表的な画像位置（特徴点）を抽出し、新旧空中写真画像の特徴点の対応関係（マッチングペア）を選択することによって地図図形と新空中写真画像との位置合わせのためのパラメータを計算する。次に、抽出された位置合わせのためのパラメータを用いて地図図形と新空中写真画像との位置合わせを行った結果に基づいて、地図図形中の地物に対応する新空中写真画像における存在可能範囲を選択し、この存在可能範囲での画像特徴解析により新空中写真画像における地図図形中の地物の画像領域と輪郭形状を抽出する。

図１は、本発明の実施形態の輪郭形状抽出装置の機能ブロック図である。

本発明の実施形態の地物の輪郭形状抽出装置は、ＣＰＵ、メモリ及び入出力部を備え、ＣＰＵが動作することによって、新空中写真画像１０３、旧空中写真画像１０２、及び旧空中写真画像データに基づいて作成された地図図形１０１を入力データとし、パラメータ生成処理部１０４、幾何変換処理部１０５、画像領域抽出部１０６及び輪郭形状抽出部１０７を構成している。

パラメータ生成処理部１０４は、旧空中写真画像１０２に基づいて作成した地図図形１０１と新空中写真画像１０３との位置合わせを行うために、旧空中写真画像１０２及び新空中写真画像１０３から特徴点として代表的な画像位置を抽出し、両画像データから抽出された特徴点を一致させるために、地図図形１０１に回転、移動及び拡大・縮小による幾何学的変換するパラメータを生成する。

幾何変換部１０５は、パラメータ生成処理部１０４によって生成された位置合わせのためのパラメータを用いて、地図図形１０１（又は、新空中写真画像１０３）に幾何変換をして地図図形１０１と新空中写真画像１０３との位置合わせを行う。

画像領域抽出部１０６は、幾何変換部１０５によって位置合わせのために処理された地図図形１０１と新空中写真画像１０３とに基づいて新空中写真画像１０３における地図図形１０１の地物が存在可能範囲を選択する。そして、この存在可能範囲における画像特徴を解析することによって、新空中写真画像１０３における地図図形１０１の地物に対応する画像領域を抽出する。

輪郭形状抽出部１０７は、地図図形１０１から抽出された新空中写真画像１０３において地物が存在可能な画像領域から地物の輪郭形状を抽出する。

次に、空中写真画像１０３から地図図形１０１に対応する地物を抽出する処理の詳細について説明する。

図２は、本発明の実施の形態のパラメータ生成処理部１０４によって行われる位置合わせのためのパラメータ抽出処理のフローチャートである。具体的には、旧空中写真画像１０２及び新空中写真画像１０３に対して、以下の処理を行う。

まず、元画像（旧空中写真画像１０２及び新空中写真画像１０３）を用いて異なる解像度の画像を作成する。具体的には、公知の画像処理ツールを用いて元画像を２分の１又は４分の１まで縮小して異なる解像度の画像を作成する（ステップ２０１）。

次に、元画像及び作成された異なる解像度の画像において、各画素での勾配の強さを計算する（ステップ２０２）。この勾配の強さの計算は、適切なフィルタ（例えば、sobel、daub等のフィルタ）を用いて画素ごとにｘ軸の方向での勾配の強さ（数式１）と、ｙ軸の方向での勾配の強さ（数式２）を計算する。

そして、数式３によって各画素での勾配の強さを計算する。

次に、特徴点として代表的な画像位置を抽出する（ステップ２０３）。特徴点としては、例えば、建物の角や交差点を用いる。異なる解像度の各画像の中で、元画像の同一の位置に対応する画素での勾配の強さが予め決めた閾値より大きく、数式４に示すように予め決めた隣接範囲の中で勾配の強さが一番大きければ、元画像での画素位置を特徴点とする。

数式４において、ｍａｘ｛Ｇ（ｘ'，ｙ'）｝は数式５で示す隣接範囲中で最大値を示す関数である。

次に、抽出された特徴点の画像特徴と傾き方向を算出する（ステップ２０４）。特徴点の画像特徴の抽出では、まず、元画像の画素ごとに、予め決めた大きさの領域の中で、輝度の平均値と分散値を計算する。次に、この領域中にある画素の輝度値、平均輝度値及び輝度の分散値を算出し、特徴点の画像特徴とする。

特徴点の傾き角度の算出では、まず、所定の角度に定められたテンプレートを用い、所定の方向（例えば、０°、３０°、６０°、９０°、１２０°、１５０°の方向）において勾配角度を算出する。そして、予め定められた閾値より大きな勾配となる位置を境界位置として抽出する。次に、隣接かつ勾配角度の差が３０°より小さい境界点を線分点の候補位置として選択し、選択された境界点をハフ変換によって連結して線分情報を求める。そして、特徴点との距離が予め定められた閾値より小さい直線の中から、最も長い線分を選択して特徴点の傾き角度とする。最後に、選択された最も長い線分の長さが予め定められた閾値より小さければ、この画素は特徴点として適さないので、この画素を特徴点から排除する。

次に、旧空中写真画像１０２と新空中写真画像１０３との間で、抽出された特徴点の対応関係（マッチングペア）を選択する（ステップ２０５）。旧空中写真画像の特徴点グループ（数式６）と、新空中写真画像の特徴点グループ（数式７）との間での特徴点の対応関係の選択では、まず、両画像の特徴点の間で、数式８を用いて特徴点間の類似度を計算する。

数式８の中で、ｐ(ｘ，ｙ)とｑ(ｘ'，ｙ')それぞれは新、旧空中写真画像から抽出されたある特徴点ペアを表し、Ｍは対応関係を選択する領域（マッチングウィンド）の大きさを表す。

数式９、１０は新空中写真画像の特徴点ｐ(ｘ，ｙ) のマッチングウィンドの中に位置する画素と、旧空中写真画像の特徴点ｑ(ｘ'，ｙ')のマッチングウィンドの中に位置する画素との回転角度による位置対応関係を表す。

また、数式１１は、特徴点ｐ(ｘ，ｙ)とｑ(ｘ'，ｙ')の傾き角度の差を表す。

また、数式１２はマッチングウィンドの中に位置する画素の平均輝度値を表し、数式１３はマッチングウィンドの中に位置する画素の輝度分散値を表す。

次に、新空中写真画像の特徴点ｐ（ｘ，ｙ）が旧空中写真画像の特徴点グループの中のｑ(ｘ'，ｙ')との間で最も高い類似度を有し、逆に、旧空中写真画像の特徴点ｑ(ｘ'，ｙ')が新空中写真画像の特徴点グループの中のｐ(ｘ，ｙ)との間で最も高い類似度を有せば、この二つの特徴点を両画像間で対応関係を有する特徴点として選択する。このように選択された特徴点の対応関係を数式１４で表す。

次に、位置合わせのためのパラメータを算出する（ステップ２０６）。この位置合わせのためのパラメータは、地図図形１０１に対する回転、移動及び拡大・縮小による幾何学的変換のパラメータである。

位置合わせのための回転角度の算出では、まず、選択された対応する特徴点間の傾き角度の差を計算する。次に、求められた全ての特徴点のマッチングペア間の傾き角度の差のヒストグラムを求める。最後に、ヒストグラム中で一番大きな値を持つ角度差を新空中写真画像と旧空中写真画像との間の位置合わせのための回転角度とする。

位置合わせのための移動量（シフトベクトル）の算出では、まず、選択された対応する特徴点間の全てについてシフトベクトルを計算する。次に、すべての特徴点マッチングペア間のシフトベクトルの平均（平均シフトベクトル）を算出する。そして、ｘ軸、ｙ軸それぞれの方向で、平均シフトベクトルと同じ方向であり（同じ正負値を有し）、移動距離が予め定められた倍数を乗じて計算された平均シフト距離より小さくなる特徴点のマッチングペアを選択する。そして、もう一度平均シフトベクトルを求める。最後に、この平均シフトベクトルを、新空中写真画像と旧空中写真画像との間の位置合わせのためのシフトベクトルとする。

位置合わせのための拡大・縮小量（縮尺）の算出では、まず、前記マッチングペアとして選択された特徴点を、新空中写真画像に属する特徴点グループと旧空中写真画像に属する特徴点グループとに分ける。次に、それぞれの特徴点グループにおいて特徴点の間の距離の和を計算する。そして、距離の和の比率を、新空中写真画像と旧空中写真画像との間の位置合わせのための縮尺とする。

図３は、本発明の実施の形態の輪郭形状抽出部１０７によって行われる地図図形中の地物の輪郭形状抽出処理のフローチャートである。

まず、新空中写真画像１０３から地図図形１０１中の地物の存在可能範囲を選択する（ステップ４０１）。この存在可能範囲としては、例えば、地物の大きさの２倍や、地物の周囲数メートルの範囲を用いるとよい。幾何変換部１０５で地図図形１０１と新空中写真画像１０３との位置合わせを行うことによって、新空中写真画像１０３から地図図形１０１中の地物を中心として予め定められた大きさの周辺範囲を選択して地図図形１０１中の地物の存在可能範囲とする。

次に、上記地図図形ごとに選択された地物の存在可能範囲から境界と線分情報を抽出する（ステップ４０２）。まず、所定の角度に定められたテンプレートを用い、所定の方向（例えば、０°、３０°、６０°、９０°、１２０°、１５０°の方向）において勾配の強さと角度を算出する。そして、予め定められた閾値より大きな勾配となる位置を境界位置として抽出する。次に、隣接する勾配角度の差が３０°より小さい境界点を線分点の候補位置として選択し、選択された境界点をハフ変換によって連結して線分情報を求める。そして、ある地図図形より選択された地物の可能存在範囲から抽出された線分を候補線分とする。

次に、候補線分として抽出された線分と地図図形の線分の特徴を抽出する（ステップ４０３）。数式１５は図形の線分集合、数式１６は候補線分の集合を表す。

まず、それぞれの線分集合ごとに、ｉ番目の線分に対して、集合内の他の線分との相互関係を表す関係値を数式１７を用いて求め、線分の特徴とする。数式１７中で、数式１８は相互関係の種類の数を表す。本実施の形態では、３種類の相互関係を選択するので、Ｎ_rは３になる。具体

本発明では、３種類の相互関係を選択する。具体的に、図４に示すように、ある二本の線分ａｂ、ｃｄに対して、数式１９に示すように線分間の角度θを計算する。

さらに、数式２０に示すように直線ａｂの端点から直線ｃｄまでの最大距離ｄを計算する。

また、線分ａｂの端点ａから見て、線分ｃｄの頂点ｃ、ｄのうち遠い端点ｄを選択してａｄ間の距離を計算する。さらに、線分ａｂの端点ｂから見て、線分ｃｄの端点ｃ、ｄから遠い距離を持つ端点ｃを選択してｂｃ間の距離を計算し、数式２１に示すように、｜ａｂ｜＋｜ｃｄ｜と、｜ａｂ｜＋｜ｃｄ｜＋｜ａｄ｜＋｜ｂｃ｜との比の値を求める。

そして、ある線分に対して、同一の線分集合の中にあるすべての線分に対して数式１９、数式２０、数式２１に示す３種類の相互関係を表す値を求めてこの線分間の特徴とする。

次に、図形の線分と候補線分の間の特徴を比較する特徴マッチング処理を行う（ステップ４０４）。ステップ４０３によって求めた線分の特徴を用いて、数式２２によって、図形の線分と候補線分と間の類似度を求める。

そして、数式２３によって、図形の線分の間での相互関係と候補線分の中でのある両線分の間での相互関係との類似度を計算する。

この類似度を計算する際に、前述した３種類の相互関係（ｒ₁、ｒ₂、ｒ₃）を数式２４に示す重みで除することによって統一的に類似度を求める。この重みω_iは、ある相互関係に対して、全ての両図形線分の関係値と、全ての両候補線分の関係値との和を計算することによって算出する。

そして、類似度が予め定められた閾値τより小さければ０とし、その他の場合（予め定められた閾値τ以上の場合）は算出された値をそのままとする。

次に、上記抽出された候補線分から地図図形に対応する線分情報を選択する（ステップ４０５）。まず、数式２２を用いて、二つの線分集合の間で、線分間の類似度を計算する。次に、地図図形の線分と候補線分の間で、互いに一番高い類似度を持つ線分の組み合わせを選択する。

このように選択された線分対を数式２５で表す。

次に、地図図形１０１中の地物に対応する画像領域を抽出する（ステップ４０６）。ステップ４０５で選択された地図図形１０１に対応する線分を用いて対応する地物の画像領域を抽出する。

まず、地図図形１０１に対応する線分により囲む閉画像領域を抽出する。次に、閉領域のすべての位置において、領域の地図図形内包含率を計算する。最も高い包含率を持つ画像位置は、地図図形に対応する地物の画像位置とする。この画像位置で地図図形に包含された画像領域は、地図図形に対応する地物の画像領域とする。

次に、地図図形１０１中の地物の輪郭形状を抽出する（ステップ４０７）。
まず、地図図形１０１中の地物に対応する画像領域の境界位置で、所定の角度間隔で定められたテンプレートを用い、所定の方向（例えば、０°、３０°、６０°、９０°、１２０°、１５０°の方向）において勾配の強さと角度を算出する。そして、予め定められた閾値より大きな勾配となる位置を境界位置として抽出する。次に、隣接する勾配角度の差が３０°より小さい境界点を線分点の候補位置として選択し、選択された境界点をハフ変換によって連結して線分情報を求める。抽出された線分の集合を対応する地物の輪郭形状情報とする。

以上説明した輪郭形状抽出処理によると、地図図形中の地物毎に対応する地物の輪郭形状が抽出される。図５に示すように、まず、地図図形１０１中の地物３０１の新空中画像１０３における存在可能範囲３０２が選択される。次に、存在可能範囲３０２の中に存在する線分情報から地図図形１０１中の地物３０３に対応する線分が選択される。そして、抽出された地図図形１０１中の地物に対応する線分情報３０３を用いて地図図形１０１中の地物に対応する画像領域３０４が抽出される。最後に、抽出された地図図形１０１中の地物に対応する画像領域３０４から輪郭形状３０５が抽出される。

図６は、本発明の輪郭抽出処理を、地図図形１０１中の地物に適用した例を示す。

第１欄（図形）は、旧空中写真画像１０２から作成した図形データを示す。

第２欄（候補線分）は、幾何変換処理部１０５によって、地図図形１０１と新空中写真画像１０３との位置合わせ処理により選択された、図形に対応する地物の存在可能範囲から候補線分を抽出した結果を示す。

第３欄（選択された対応線分）は、ステップ４０４によって、新空中写真画像１０３から抽出された候補線分と図形の線分との特徴マッチングすることにより図形に対応する線分を選択した結果を示す。

第４欄（抽出された対応地物の画像領域）は、ステップ４０６によって、図形に対応する線分により閉領域を選択して特徴抽出により、地物に対応する画像領域を抽出した結果を示す。

第５欄（抽出された対応地物の輪郭形状）は、ステップ４０７によって、地図図形１０１中の地物に対応する画像領域から輪郭形状を抽出した結果を示す。

本発明の実施の形態では、地図図形１０１の作成に利用した旧空中写真画像１０２と新空中写真画像１０３から特徴点を抽出し、旧空中写真画像１０２と新空中写真画像１０３との特徴点の対応関係（マッチングペア）を選択することによって地図図形１０１と新空中写真画像１０３との位置合わせのためのパラメータを計算する。よって、正射空中写真画像だけでなく、異なる位置、角度、縮尺で撮影された単眼視空中写真画像や正射などの空中写真画像であっても位置合わせのためのパラメータを計算することができる。

また、抽出された位置合わせのためのパラメータを用いて地図図形１０１と新空中写真画像１０３との位置合わせを行った結果に基づいて、新空中写真画像１０３における地図図形１０１中の地物の存在可能範囲を選択し、この存在可能範囲において画像の特徴を解析することによって新空中写真画像１０３における地物に対応する画像領域と輪郭形状を抽出する。すなわち、予め画像領域を絞り込んでから輪郭形状を抽出するので、予め画像領域を絞り込まない場合と比較して、少ない計算量で輪郭形状を抽出にすることができる。

本発明は、地図作成や地図修正、及び航空、衛星画像解析システムなどにおける空中写真（衛星写真、航空写真）画像と地図データ（ベクトルデータ）とを重ね合わせる際に、空中写真画像からベクトル地図データに対応する地物の画像領域と輪郭形状とを抽出する場合に適用することができ。

本発明の実施形態の輪郭形状抽出装置の機能ブロック図である。 本発明の実施の形態のパラメータ抽出処理のフローチャートである。 本発明の実施の形態の輪郭形状抽出処理のフローチャートである。 線分間の相互関係の説明図である。 図形に対応する地物の輪郭形状の抽出の説明図である。 図形に対応する地物の輪郭形状の抽出の説明図である。

符号の説明

１０１ 地図図形
１０２ 旧空中写真画像データ
１０３ 新空中写真画像データ
１０４ パラメータ生成処理部
１０５ 幾何変換処理部
１０６ 画像領域抽出部
１０７ 輪郭形状抽出部

Claims (6)

1. 空中写真画像から地図図形中の地物の輪郭形状を抽出する輪郭形状抽出装置において、
   旧撮影空中写真画像と新撮影空中写真画像とを照合することによって、前記旧空中写真画像に基づいて作成された地図図形と前記新空中写真画像との位置合わせのためのパラメータを抽出するパラメータ抽出部と、
   前記抽出されたパラメータを用いて前記地図図形に対して幾何学的変換を行う幾何変換部と、
   前記新空中写真画像において、前記地図図形の地物に対応する画像領域を抽出する画像領域抽出部と、
   前記抽出された地物の画像領域から輪郭形状を抽出する輪郭形状抽出部と、を有することを特徴とする輪郭形状抽出装置。
2. 前記パラメータ生成部は、
   前記地図図形の作成で使用された旧空中写真画像と、新空中写真画像とから画像中の特徴点を抽出し、
   旧撮影空中写真画像と新撮影空中写真画像との間で対応する特徴点を選択し、
   前記選択した対応する特徴点の位置関係によって、前記地図図形と前記新空中写真画像との位置合わせのためのパラメータを計算することを特徴とする請求項１に記載の輪郭形状抽出装置。
3. 前記幾何変換部は、前記生成されたパラメータを用いて地図図形データと新空中写真画像との位置合わせを行うことを特徴とする請求項２に記載の輪郭形状抽出装置。
4. 前記画像領域抽出部は、
   前記地図図形データと前記新空中写真画像との位置合わせを行い、
   前記地図図形中の地物が前記新空中写真画像中に存在可能な範囲を選択し、
   当該存在可能な範囲中で画像特徴解析を行って、前記新空中写真画像中の前記地図図形中の地物に対応する画像領域を抽出することを特徴とする請求項３記載の輪郭形状抽出装置。
5. 前記輪郭形状抽出部は、前記抽出された地物に対応する新空中写真画像における画像領域から、当該地物の輪郭形状を示す線分を抽出することを特徴とする請求項４に記載の輪郭形状抽出装置。
6. 正射空中写真画像だけでなく、異なる位置、角度又は縮尺で撮影された単眼視空中写真画像から地図図形中の地物の輪郭形状抽出を対象とすることを特徴とする請求項１から５のいずれか一つに記載の輪郭形状抽出装置。

Images