JP2021005301A - 建物抽出処理装置及びプログラム - Google Patents

Abstract

【課題】容易に撮影画像から精度よく建物を抽出することのできる建物抽出処理装置及びプログラムを提供する。【解決手段】建物抽出処理装置は、所定の指標に応じて複数のグループに分類された建物の上空からの撮影画像を各々入力とし、建物の範囲を示す出力マップを各々出力とするように、撮影画像とこれに対応付けられた建物の範囲の教師データとを用いてそれぞれ学習された複数の学習済モデル１２２を有する検出部ＰＲ３と、撮影画像の入力に対して複数の学習済モデル１２２によりそれぞれ出力された複数の出力マップを所定の重み付け係数で重み付け加算した統合マップを得る統合部ＰＲ５と、撮影画像の入力に対して重み付け係数を出力するように、統合マップと教師データにおける建物の範囲との不一致度合に応じて重み付け係数が学習された学習済モデル１２３を有する割当部ＰＲ４と、を備える。【選択図】図２

Description

この発明は、建物抽出処理装置及びプログラムに関する。

近年、各種画像データから特定形状を抽出する処理の自動化、省力化及び高速化などのために、機械学習モデルを利用した画像認識技術の適用が広がってきている。航空写真及び衛星写真といった上空から俯瞰した撮影画像を解析して建物などの建築構造物を抽出する技術においても、機械学習モデルの生成及び利用が考慮されている。

しかしながら、抽出対象物の形状及び色調といった特徴が幅広い場合、これらを一括して検出可能な機械学習モデルを生成するのには手間がかかり、高い精度を得るのが難しいという問題がある。特許文献１には、対象物のコントラストに応じて２種類の機械学習モデルのいずれかを選択して当該対象物をより精度よく抽出する技術が開示されている。

特開２０１０−２９６０号公報

しかしながら、俯瞰した撮影画像から建物を抽出する場合、撮影画像内に多数の建物が混在していると、単純にいずれかの機械学習モデルを選択的に適用しても精度の向上を図れないという課題がある。

この発明の目的は、容易に撮影画像から精度よく建物を抽出することのできる建物抽出処理装置及びプログラムを提供することにある。

上記目的を達成するため、本発明の一の態様は、
所定の指標に応じて複数のグループに分類された建物の上空からの撮影画像を各々入力とし、前記建物の範囲を示す出力マップを各々出力とするように、前記撮影画像と当該撮影画像に対応付けられた前記建物の範囲の教師データとを用いてそれぞれ学習された複数の第１学習済モデルを有する検出部と、
建物の上空からの撮影画像の入力に対して前記複数の第１学習済モデルによりそれぞれ出力された複数の前記出力マップを所定の重み付け係数で重み付け加算した統合マップを得る統合部と、
建物の上空からの撮影画像の入力に対して前記重み付け係数を出力するように、前記統合マップと前記教師データにおける前記建物の範囲との不一致度合に応じて前記重み付け係数が学習された第２学習済モデルを有する割当部と、
を備えることを特徴とする建物抽出処理装置である。

また、本発明の他の一の態様は、
コンピュータを、
所定の指標に応じて複数のグループに分類された建物の上空からの撮影画像を各々入力とし、前記建物の範囲を示す出力マップを各々出力とするように、前記撮影画像と当該撮影画像に対応付けられた前記建物の範囲の教師データとを用いてそれぞれ学習された複数の第１学習済モデルを有する検出手段、
建物の上空からの撮影画像の入力に対して前記複数の第１学習済モデルによりそれぞれ出力された複数の前記出力マップを所定の重み付け係数で重み付け加算した統合マップを得る統合手段、
建物の上空からの撮影画像の入力に対して前記重み付け係数を出力するように、前記統合マップと、前記教師データにおける前記建物の範囲との不一致度合に応じて前記重み付け係数が学習された第２学習済モデルを有する割当手段、
として機能させることを特徴とするプログラムである。

本発明に従うと、撮影画像から容易かつ精度よく建物を抽出することができるという効果がある。

本実施形態の建物抽出処理装置である処理装置の構成を示すブロック図である。 建物抽出動作の処理の流れを機能的に示した図である。 検出部の各学習モデルの学習時における処理の流れを説明する図である。 学習データ生成処理の制御手順を示すフローチャートである。 判別学習モデル生成処理の制御手順を示すフローチャートである。 割当部の学習モデルの学習時における処理の流れを説明する図である。 割当学習モデル生成処理の制御手順を示すフローチャートである。 建物抽出処理の制御手順を示すフローチャートである。 学習データ生成処理の他の例を示すフローチャートである。 学習モデル生成処理の制御手順を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、第１実施形態の建物抽出処理装置（コンピュータ）である処理装置１の構成を示すブロック図である。

処理装置１は、例えば、通常のＰＣであってよく、制御部１１と、記憶部１２と、入出力インターフェイス１３と、操作受付部１４と、表示部１５などを備える。

制御部１１は、各種演算処理を行うプロセッサであり、例えば、ＣＰＵ（Central Processing Unit）などを備える。ＣＰＵは、記憶部１２からプログラムなどを読み込んで実行することで各種制御処理を行う。

記憶部１２は、ＲＡＭと、不揮発性メモリなどを備え、各種データを記憶する。ＲＡＭは、ＣＰＵに作業用のメモリ空間を提供し、一時データを記憶する。不揮発性メモリは、プログラム、設定データ及び建物抽出結果のデータなどを記憶保持する。不揮発性メモリとしては、フラッシュメモリが含まれ、あるいは、これに代えて又は加えてＨＤＤ（Hard Disk Drive）などが含まれてもよい。また、初期制御プログラムなどは、ＲＯＭ（Read Only Memory）に格納されていてもよい。プログラムには、後述の建物抽出処理に係るプログラム１２１、及び当該プログラム１２１で用いられる学習済モデル１２２、１２３が含まれる。

入出力インターフェイス１３は、周辺機器と接続するための接続端子１３１及び外部機器との間で信号の送受信を行うための通信部１３２などを備える。周辺機器としては、大型の補助記憶装置、例えば、データベース装置２１、並びにＣＤＲＯＭ、ＤＶＤ及びＢｌｕ−ｒａｙ（登録商標）などの可搬型記憶媒体（光ディスク）を読み取る光学読取装置２２などが挙げられる。また、可搬型記憶媒体に磁気テープが含まれ、この磁気テープを読み取る読取装置が周辺機器に含まれてもよい。接続端子としては、ＵＳＢ（Universal Serial Bus）など各種規格に応じたものが利用されてよい。あるいは、ＬＡＮ（Local Area Network）などのネットワーク回線を介して通信部が外部から取得するものであってもよい。データベース装置２１及び／又は可搬型記憶媒体に記憶されたデータには、ＤＳＭデータ２０１（Digital Surface Model）、ＤＥＭデータ２０２（Digital Elevation Model）、学習済モデル１２２、１２３の生成用の学習データ２０３、学習済モデル１２２、１２３の生成用の教師データ２０４、及び建物抽出処理に係るプログラム１２１により建物を抽出する対象の撮影画像データ２０５などが含まれる。

ＤＳＭデータ２０１及びＤＥＭデータ２０２は、水平面に平行な２次元面（２次元地図面）について、２次元地図面を区切った複数のメッシュごとに中心位置の水平座標と高度（標高値）とを対応付けたものである。ＤＳＭデータ２０１は、地上の構造物及び樹林などを含めた高度分布のデータであり、例えば、レーザプロファイラによって計測、取得されたものである。ＤＥＭデータ２０２は、水平面に平行な２次元面について、２次元地図面を区切った複数のメッシュごとに地表面の高度を水平座標と対応付けたものである。すなわち、ＤＥＭデータ２０２では、レーザプロファイラなどで取得されたＤＳＭデータから地上の構造物及び樹木などの高さを取り除いた高度値（標高）の分布を示す。同一位置におけるＤＳＭデータ２０１の値とＤＥＭデータ２０２の値の差分が建物などの高さに対応する。

学習データ２０３及び撮影画像データ２０５は、上空から俯瞰して（見下ろして）撮影された航空写真及び衛星写真などの可視光画像（撮影画像）のデータである。これらのデータは、オルソ補正がなされた画像（オルソ画像）であってもよい。学習データ２０３は、建物のサイズからその数倍程度に撮影画像データ２０５が一部ずつに区切られたブロックデータである。教師データ２０４では、学習データ２０３の各画素における建物の有無がそれぞれ２値データで示されている。これらについては、後に改めて説明する。

操作受付部１４は、例えば、キーボードやマウスなどの入力デバイスを備え、ユーザなど外部からの入力操作を受け付ける。入力デバイスには、タッチパネル（タッチセンサ）などが含まれていてもよい。

表示部１５は、制御部１１の制御により表示画面にメニュー、ステータス及び処理結果などの表示を行わせる。表示画面は、特には限られないが、例えば、液晶表示画面である。操作受付部１４がタッチパネルを有する場合には、表示画面は、当該タッチパネル（タッチセンサ）と重ねて設けられる。

次に、第１実施形態の建物抽出動作について説明する。
図２は、建物抽出動作の処理の流れを機能的に示した図である。

撮影画像データ２０５は、建物を抽出するエリアごとに処理に適したサイズのデータを単位として順次検出部ＰＲ３に入力される。検出部ＰＲ３は、異なる学習データにより学習された複数の学習済モデル１２２、ここでは、学習済モデルＡ〜Ｄ（第１学習済モデル）を含み、各々並列に撮影画像データ２０５の各エリアデータが入力される。各学習済モデルＡ〜Ｄは、特徴量抽出部ＰＲ３１及び判定部ＰＲ３２の処理を経て各エリアの画素ごと（プーリングなどでサイズが変更されている場合には、当該サイズの画素ごと）に建物である確率が配列された(建物の範囲を示す)出力マップＡ〜Ｄ（確率マップ）をそれぞれ出力する。なお、画素に対応する実サイズ（実際の一辺の長さ）などによっては、複数画素ごとに平均などされた値が出力されてもよい。

学習済モデルＡ〜Ｄは、それぞれ通常の画像認識アルゴリズムを利用したものであって、ここでは、ＣＮＮ（畳み込みニューラルネットワーク）が用いられている。特徴量抽出部ＰＲ３１の処理には、畳み込みとプーリングの各処理が対応し、判定部ＰＲ３２の処理には、全結合層又は畳み込み層の生成と建物である確率を算出する判定処理とが対応する。なお、説明上特徴量抽出部ＰＲ３１と判定部ＰＲ３２とが複数の学習済モデルＡ〜Ｄにまたがって示されているが、各係数は学習済モデルＡ〜Ｄで各々別個に定められてよい。

一方、撮影画像データ２０５の各エリアのデータは、割当部ＰＲ４にも並列に入力される。割当部ＰＲ４は、学習済モデル１２３、ここでは学習済モデルＥ（第２学習済モデル）を含み、撮影画像データ２０５が入力されて、特徴量抽出部ＰＲ４１及び判定部ＰＲ４２の処理を経て各出力マップＡ〜Ｄの妥当性（不一致度合。処理上は、以下のように出力マップＡ〜Ｄを統合した統合マップにおいて得られた建物である確率（０以上１以下）と、同エリアで実際に建物であるか否かを示す教師データ（０又は１の２値）との差分から各出力マップＡ〜Ｄにフィードバックされる）に応じた各画素の重み付け係数が配列された割当マップＡ〜Ｄが生成、出力される。すなわち、割当マップは、出力マップＡ〜Ｄと同サイズの２次元エリアの各画素についてそれぞれ重み付け係数が算出され、配列されている３次元データである。

出力マップＡ〜Ｄ及び割当マップＡ〜Ｄが得られると、これらは、統合部ＰＲ５に入力される。統合部ＰＲ５では、出力マップＡ〜Ｄの各画素値に対してそれぞれ割当マップＡ〜Ｄ（重み付け係数）の対応する配列位置（画素）における値（重み付け係数）を乗じることで重み付けをし、これらを加算し、統合マップを生成する（ＰＲ５）。すなわち、統合マップのｊ行ｋ列成分の値Ｓ_ｊｋ＝Σ_{ｉ＝Ａ〜Ｄ}（割当マップｉ_ｊｋ×出力マップｉ_ｊｋ）となる。統合マップにおける各配列位置（画素）の値を所定の基準値により二値化して、当該二値により建物であるか否かが特定される（ＰＲ６）。

次に、各学習済モデルＡ〜Ｅの生成（学習）手順について説明する。特には限られないが、ここでは、学習済モデルＡ〜Ｅの生成のための学習データＡ〜Ｅの設定及びこれらを用いた学習（学習済モデルＡ〜Ｅの生成）は、いずれも処理装置１で行われる。

図３は、検出部ＰＲ３に含まれる各学習モデルＡ〜Ｄの学習時（学習済モデル１２２の生成時）における処理の流れを説明する図である。
学習モデルＡ〜Ｄの学習処理で用いられる学習データ２０３は、上述のように、撮影画像データ２０５を小規模建物程度〜その数倍程度の大きさで区分したブロックデータに分割したものであり、この学習処理で用いられる教師データ２０４では、当該ブロックデータの各画素における建物有無が上述のように１ビット（２値）などで保持される。

指標値取得部ＰＲ２は、ブロックデータから建物面積や屋根の色相Ｈ（色情報）といった建物の特性に係るパラメータを指標（所定の指標）として取得し、また、対応する位置でのＤＳＭデータ２０１及びＤＥＭデータ２０２の差分（高度プロファイルデータ）から高さ取得部ＰＲ１で得られた建物の高さを指標（所定の指標）として取得する。これらの指標値とその基準値とに基づいて、例えば、高い建物か否か、面積の大きい建物か否かといった条件によりブロックデータが複数のグループに分類される。分類を示すデータは、ここでは、例えば、高さの高低を示す１ビットと面積の大小を示す１ビットの組み合わせなどで示されてよい。

判定部ＰＲ３２の学習モデルＡ〜Ｄは、それぞれ、上記指標に基づいて各々分類されたブロックデータ（上空からの撮影画像）を用いて（入力として）学習が行われる。ここでは、例えば、学習モデルＡ、Ｂの学習には、建物の面積が所定の基準面積以上か否か（大小）によって分類されたブロックデータがそれぞれ学習データＡ、Ｂとして用いられる。学習モデルＣ、Ｄの学習には、建物の高さが所定の基準高以上か否か（高低）によって分類されたブロックデータがそれぞれ学習データＣ、Ｄとして用いられる。学習データＡ〜Ｄは、各々別個に全ての内容が記憶されなくてもよく、各学習データＡ〜Ｄに属するブロックデータを特定する情報、すなわち、配列位置（順番）、アドレス、ポインタなどがそれぞれ保持されてもよいし、各ブロックデータに対して上述の分類を示すデータを付加して又は対応付けて保持しておいてもよい。

各学習モデルから出力された出力マップが教師データと比較されて、損失関数が算出され、これを適切に小さくするように、学習済モデルの特徴量抽出部ＰＲ３１及び判定部ＰＲ３２における各係数（パラメータ）にフィードバックされる。損失関数の具体的な種別は、特には限定されず、適宜選択されてよい。

図４は、学習データ生成処理の制御部１１による制御手順を示すフローチャートである。この学習データ生成処理は、予め学習データ２０３と教師データ２０４とが用意された状態で開始されて、各ブロックデータに対して各々分類を設定し、及び／又は各学習データＡ〜Ｄに含まれるブロックデータのリストを生成する処理である。下記では、両方の処理を行う旨示すが、どちらか一方であってもよい。

学習データ生成処理が開始されると、制御部１１（ＣＰＵ）は、学習データ２０３から画像データ（ブロックデータ）を取得する（ステップＳ１０１）。制御部１１は、画像データに対応する教師データを取得する（ステップＳ１０２）。制御部１１は、教師データに基づいて各画素が属する建物のエリアを特定し、当該建物の面積を算出する（ステップＳ１０３）。制御部１１は、建物の面積が所定の基準値以上であるか否かを判別する（ステップＳ１０４）。面積が基準値以上であると判別された場合には（ステップＳ１０４で“ＹＥＳ”）、当該ブロックデータの位置情報を学習データＡのリストに追加する。また、制御部１１は、対象ブロックデータの建物面積に係る分類を示す上記１ビットデータを定める（例えば「１」）。また、制御部１１は、追加部分に対応する教師データにその旨の設定を行う（ステップＳ１０５）。それから、制御部１１の処理は、ステップＳ１１１に移行する。

面積が基準値以上ではない（未満である）と判別された場合には（ステップＳ１０４で“ＮＯ”）、制御部１１は、当該ブロックデータの位置情報を学習データＢのリストに追加する。また、制御部１１は、対象ブロックデータの建物面積に係る分類を示す上記１ビットデータを定める（例えば「０」）。また、制御部１１は、追加部分に対応する教師データにその旨の設定を行う（ステップＳ１０６）。それから、制御部１１の処理はステップＳ１１１に移行する。

制御部１１は、取得している画像データ（ブロックデータ）の位置に対応するＤＳＭデータ２０１及びＤＥＭデータ２０２を取得する（ステップＳ１１１）。制御部１１は、ＤＳＭの値とＤＥＭの値の差分により、対象の建物の高さを算出、特定する（ステップＳ１１２）。この高さは、画素単位などでなく、対象の建物における最高点の高さであってよい。制御部１１は、特定された建物の高さが所定の基準高さ以上であるか否かを判別する（ステップＳ１１３）。基準高さ以上であると判別された場合には（ステップＳ１１３で“ＹＥＳ”）、制御部１１は、当該ブロックデータの位置情報を学習データＣのリストに追加する。また、制御部１１は、対象ブロックデータの高さに係る分類を示す上記１ビットデータを定める（例えば「１」）。また、制御部１１は、追加部分に対応する教師データにその旨設定する（ステップＳ１１４）。それから、制御部１１の処理は、ステップＳ１１６に移行する。

高さが基準高さ以上ではない（未満である）と判別された場合には（ステップＳ１１３で“ＮＯ”）、制御部１１は、当該ブロックデータの位置情報を学習データＤのリストに追加する。また、制御部１１は、対象がその高さに係る分類を示す上記１ビットデータを定める（例えば（「０」）。また、対応する教師データにその旨設定する（ステップＳ１１５）。それから、制御部１１の処理は、ステップＳ１１６に移行する。

ステップＳ１１６の処理に移行すると、制御部１１は、処理対象の画像データ（ブロックデータ）の処理が全て終了したか否かを判別する（ステップＳ１１６）。終了していないと判別された場合には（ステップＳ１１６で“ＮＯ”）、制御部１１の処理は、ステップＳ１０１に戻る。終了したと判別された場合には（ステップＳ１１６で“ＹＥＳ”）、制御部１１は、学習データ生成処理を終了する。

学習モデルＡ〜Ｄは、建物に係る複数の指標（面積及び高さなど）に基づきそれぞれ上記で得られた学習データＡ〜Ｄを用いて学習がなされることで、学習済モデルＡ〜Ｄとなる。
図５は、判別学習モデル生成処理の制御部１１による制御手順を示すフローチャートである。ここでは、学習モデルＡ〜Ｄにそれぞれ属するブロックデータの位置情報に係る上記リストが用いられるものとして説明する。

制御部１１は、学習データＡ〜Ｄのうちいずれかを選択する（ステップＳ２０１）。制御部１１は、選択された学習データのリストに含まれる画像データ（ブロックデータ）を１つ取得する（ステップＳ２０２）。

制御部１１は、取得した画像データ（ブロックデータ）を対応する学習モデルに入力させ、特徴量抽出部ＰＲ３１の処理を行わせて、特徴量情報を得る（ステップＳ２０３）。上述のように、特徴量抽出部ＰＲ３１は、ＣＮＮにおける畳み込み及びプーリングに対応し、これらの処理により特徴量情報として所定サイズの特徴マップが出力される。制御部１１は、特徴マップ（特徴量）の各値を平坦化し、結合（全結合）させるか、又は更に畳み込み処理を適用することで画素位置ごとに建物か否かの確率を示す出力マップ（確率マップ）を生成する（ステップＳ２０４）。制御部１１は、対応するエリアの教師データを取得し、出力データと各々比較して、一致の度合に応じた損失関数を算出する（ステップＳ２０５）。

制御部１１は、誤差逆伝播法などにより、損失関数を減少させるように特徴量抽出部ＰＲ３１における畳み込みのフィルタ値、及び判定部ＰＲ３２における全結合時の結合重み付け又は畳み込みのフィルタ値などの係数（パラメータ）をそれぞれ更新する（ステップＳ２０６）。

制御部１１は、選択されている学習データについての全ての画像データ（ブロックデータ）の処理が終了したか否かを判別する（ステップＳ２０７）。終了していないと判別された場合には（ステップＳ２０７で“ＮＯ”）、制御部１１の処理は、ステップＳ２０２に戻る。全ての画像データの処理が終了したと判別された場合には（ステップＳ２０７で“ＹＥＳ”）、制御部１１は、現在選択されている学習モデルを学習済モデルとして確定する。制御部１１は、学習データＡ〜Ｄの全てが選択されたか否かを判別する（ステップＳ２０８）。選択されていないと判別された場合には（ステップＳ２０８で“ＮＯ”）、制御部１１の処理は、ステップＳ２０１に戻る。全ての学習データＡ〜Ｄが選択されたと判別された場合には（ステップＳ２０８で“ＹＥＳ”）、制御部１１は、判別学習モデル生成処理を終了する。

なお、学習モデルの学習において、学習データのリストごとではなく、上述のブロックデータごとに分類データに基づいて入力される学習モデルが選択される場合には、各ブロックデータが複数の学習モデルに対応することがあるので、当該対応する複数の学習モデルに対して並列に入力され、各々の学習モデルのパラメータが独立に更新されてもよい。

割当部の学習モデルＥは、各種建物を含む学習データ２０３及び対応する教師データ２０４、並びに上記の学習済モデルＡ〜Ｄを用いて学習がなされる。この場合の学習データ２０３には、上記指標による分類は不要であるが、各分類に属する建物がバランスよく含まれているものであるとよい。あるいは、学習データ２０３は、単純に学習データＡ、Ｂを組み合わせたもの又は学習データＣ、Ｄを組み合わせたものであってもよい。

図６は、割当部ＰＲ４に含まれる学習モデルＥの学習時（学習済モデル１２３の生成時）における処理の流れを説明する図である。

学習データ２０３から取得された画像データ（ブロックデータ）は、検出部ＰＲ３の学習済モデルＡ〜Ｄ及び割当部ＰＲ４の学習モデルＥに入力される。学習済モデルＡ〜Ｄでは、特徴量抽出部ＰＲ３１及び判定部ＰＲ３２の処理を経てそれぞれ出力マップＡ〜Ｄが生成され、出力される。学習モデルＥでは、特徴量抽出部ＰＲ４１及び判定部ＰＲ４２の処理を経て割当マップＡ〜Ｄが生成、出力される。

統合部ＰＲ５では、出力マップＡ〜Ｄがそれぞれ割当マップＡ〜Ｄにより重み付けされて加算されることで、統合マップが生成、出力される。割当部ＰＲ４の学習では、この統合マップが教師データ２０４と比較されて、不一致の度合、すなわち損失関数が算出される。上記同様、損失関数の種別は、特に限られるものではない。この損失関数の値を小さくするように、特徴量抽出部ＰＲ４１及び判定部ＰＲ４２の各係数（パラメータ）にフィードバックされていくことで、学習モデルＥの学習が行われる。

図７は、割当学習モデル生成処理の制御部１１による制御手順を示すフローチャートである。
制御部１１は、学習データ２０３から本処理の対象の画像データ（ブロックデータ）を１つ取得する（ステップＳ３０１）。制御部１１は、画像データに対して畳み込み（設計に応じてプーリング）を行って特徴量（特徴マップ）を抽出する（ステップＳ３０２）。また、制御部１１は、得られた特徴量（特徴マップ）を平坦化及び全結合するか、又は更に畳み込み処理を適用することで、割当マップを生成する（ステップＳ３０３）。

制御部１１は、各学習済モデルＡ〜Ｄに上記学習モデルＥに入力されたものと同一の画像データを入力して、各々出力マップＡ〜Ｄを取得し、取得された出力マップＡ〜Ｄを、学習済モデルＡ〜Ｄに応じた各割当マップＡ〜Ｄでそれぞれ重み付けする（ステップＳ３０４）。制御部１１は、重み付けした出力マップを当該出力マップの画素ごとに加算して、統合マップを生成する（ステップＳ３０５）。

制御部１１は、教師データを取得して、統合マップの各画素における教師データの各画素の値（０又は１）との不一致度合に応じた損失関数を算出する（ステップＳ３０６）。制御部１１は、損失関数を減少させるように、誤差逆伝播法などにより割当マップの生成に係る特徴量抽出部ＰＲ４１のフィルタ及び判定部ＰＲ４２の全結合パラメータ又は畳み込みフィルタ値などの各係数を更新する（ステップＳ３０７）。

制御部１１は、学習データ２０３における本処理の対象の全ての画像データ（ブロックデータ）の処理が終了したか否かを判別する（ステップＳ３０８）。終了していないと判別された場合には（ステップＳ３０８で“ＮＯ”）、制御部１１の処理は、ステップＳ３０１に戻る。終了したと判別された場合には（ステップＳ３０８で“ＹＥＳ”）、学習済モデルＥを確定して割当学習モデル生成処理を終了する。

以上のようにして得られた学習済モデルＡ〜Ｄ（学習済モデル１２２）及び学習済モデルＥ（学習済モデル１２３）が実際の建物抽出処理に適用される。
図８は、建物抽出処理の制御部１１による制御手順を示すフローチャートである。
ここでは、建物を抽出する対象となる通常の撮影画像のデータを所定の面積（画素数）で分割した画像データ（上記エリアデータ）を順次設定して建物の抽出を行っていく。

制御部１１は、建物を抽出する対象の画像データ（エリアデータ）を取得する（ステップＳ４０１）。制御部１１は、画像データを学習済モデルＥに入力し、各学習済モデルＡ〜Ｄに対応した割当マップＡ〜Ｄを取得する（ステップＳ４０２；割当手段）。制御部１１は、画像データを学習済モデルＡ〜Ｄにそれぞれ入力し、建物の確率に係る出力マップＡ〜Ｄを各々取得する（ステップＳ４０３；検出手段）。

制御部１１は、各出力マップＡ〜Ｄをそれぞれ対応する割当マップＡ〜Ｄで重み付けする（ステップＳ４０４）。制御部１１は、重み付けされた出力マップを当該出力マップの画素ごとに加算して統合マップを生成する（ステップＳ４０５）。ステップＳ４０４、Ｓ４０５の処理が本実施形態のプログラムにおける統合手段を構成する。制御部１１は、統合マップの各画素について、値を所定の基準値と比較してその大小に応じて二値化する（ステップＳ４０６）。制御部１１は、基準値より大きい画素（例えば、二値で「１」の部分）を建物であると判定して抽出、出力する（ステップＳ４０７）。

制御部１１は、撮影画像データに対して設定可能なエリアデータが全て取得されたか否かを判別する（ステップＳ４０８）。取得されていない画像データ（エリアデータ）があると判別された場合には（ステップＳ４０８で“ＮＯ”）、制御部１１の処理は、ステップＳ４０１に戻る。全て取得されたと判別された場合には（ステップＳ４０８で“ＹＥＳ”）、制御部１１は、建物抽出処理を終了する。

図９は、学習データ生成処理の他の例を示すフローチャートである。
この学習データ生成処理は、建物の高さの代わりに色相Ｈを用いたものであり、ステップＳ１１１の処理が削除され、ステップＳ１１２、Ｓ１１３の処理がステップＳ１１２ａ、Ｓ１１３ａの処理に置き換えられている。その他の処理は同一であり、同一の処理内容には同一の符号を付して説明を省略する。

ステップＳ１０５、Ｓ１０６の処理が終了すると、制御部１１の処理は、ステップＳ１１２ａに移行する。制御部１１は、学習データ２０３において対象としている画像データ（ブロックデータ）から建物の屋根の色を特定し、色相Ｈを算出する（ステップＳ１１２ａ）。画像データ（ＲＧＢカラー画像データ）に用いられているＲＧＢの各輝度値から色相Ｈの算出は、従来周知のとおりに行われればよい。制御部１１は、色相Ｈが設定されている所定範囲内であるか否かを判別する（ステップＳ１１３ａ）。所定範囲は適宜定められるが、例えば、赤系の屋根は、色相Ｈの範囲０〜６０°及び３００〜３６０°として、他の色相の屋根と区分されてもよい。所定の範囲内にあると判別された場合には（ステップＳ１１３ａで“ＹＥＳ”）、制御部１１の処理は、ステップＳ１１４へ移行し、所定の範囲内にないと判別された場合には（ステップＳ１１３ａで“ＮＯ”）、制御部１１の処理は、ステップＳ１１５へ移行する。

上記では、判別学習モデル生成処理により学習済モデルＡ〜Ｄが生成されてから、当該学習済モデルＡ〜Ｄを用いて割当学習モデル生成処理を実行することとして説明したが、これらの処理が並列になされてもよい。

図１０は、学習モデル生成処理の制御部１１による制御手順を示すフローチャートである。この学習モデル生成処理は、上述の判別学習モデル生成処理と割当学習モデル生成処理とを統合して同時に行わせたものである。この処理では、判別学習モデル生成処理におけるステップＳ２０３〜Ｓ２０６の処理がそれぞれステップＳ２０３ａ〜Ｓ２０６ａの処理に置き換えられ、これに続いて割当学習モデル生成処理におけるステップＳ３０４〜Ｓ３０８の処理が実行される。割当学習モデル生成処理と同一の処理内容については、同一の符号を付して説明を省略する。

この処理では、上述のように、学習モデルごとではなく、ブロックデータごとに入力をして、当該ブロックデータが属するグループに対応する学習モデルＡ〜Ｄのみを学習させる場合について説明する。学習されない学習モデルについても、学習モデルＥの学習に利用されるので、並行にブロックデータが入力されて処理がなされ、出力マップを出力させる。

学習モデル生成処理が開始されると、制御部１１は、学習データ２０３からブロックデータを１つ取得する。制御部１１は、取得したブロックデータを学習モデルＡ〜Ｅにそれぞれ入力する（ステップＳ２０２ａ）。制御部１１は、各学習モデルで畳み込み処理などを行って特徴量を抽出する（ステップＳ２０３ａ）。制御部１１は、特徴マップＡ〜Ｅに基づいて、各々全結合又は畳み込み処理を行って、出力マップＡ〜Ｄ及び割当てマップを出力させる（ステップＳ２０４ａ）。

制御部１１は、入力したブロックデータに対応する教師データを取得し、当該ブロックデータが属するグループ（複数であってよい）の出力マップと比較して損失関数を算出する（ステップＳ２０５ａ）。制御部１１は、算出された算出関数に基づいて、上記グループの学習モデルに係る畳み込みのフィルタ及び全結合の重み付けなどに係るパラメータ（係数）を更新する（ステップＳ２０６ａ）。それから、制御部１１の処理は、ステップＳ３０４に移行する。

以上のように、本実施形態の処理装置１は、所定の指標、ここでは、建物の面積及び高さ（又は色相）に応じて複数のグループＡ〜Ｄに分類された建物の上空からの撮影画像（撮影画像データ２０５）を各々入力とし、建物の範囲を示す出力マップＡ〜Ｄを各々出力とするように、撮影画像と当該撮影画像に対応付けられた建物の範囲の教師データとを用いてそれぞれ学習された複数の学習済モデル１２２（学習済モデルＡ〜Ｄ）を有する検出部（ＰＲ３）と、建物の上空からの撮影画像の入力に対して複数の第１学習済モデル（学習済モデルＡ〜Ｄ）によりそれぞれ出力された複数の出力マップＡ〜Ｄを所定の重み付け係数（割当マップＡ〜Ｄ）で重み付け加算した統合マップを得る統合部（ＰＲ５）と、建物の上空からの撮影画像（撮影画像データ２０５）の入力に対して重み付け係数（割当マップＡ〜Ｄ）を出力するように、統合マップと教師データにおける建物の範囲との不一致度合に応じて重み付け係数（割当マップＡ〜Ｄ）が学習された学習済モデル１２３（学習済モデルＥ）を有する割当部（ＰＲ４）と、を備える。
建物では、必ずしも指標を挟んで完全に異なる形状、サイズや色合いを示すわけではなく、しばしば特性が混在する。したがって、建物の特性によっては他の分類に係る学習済モデルの方がより適切に建物を抽出可能となることも多い。したがって、上述のように、複数の学習済モデルを並列に用いて出力マップＡ〜Ｄを取得し、建物の特徴に応じた重み付け係数でこれら出力マップＡ〜Ｄを適宜に重み付けて建物を抽出することで、より精度よく撮影画像から建物を抽出することが可能になる。また、複数の建物が撮影画像内に存在し、これらの特性が分散していて各々明確に分離することのできない場合に、当該複数の学習済モデルを画素などの単位面積ごとに適宜に重み付けして加算することで、画像内の各建物を容易かつより精度よく抽出することが可能になる。

また、所定の指標には、建物面積、建物の高さ及び建物の屋根の色情報（色相Ｈ）のうち少なくともいずれかが含まれる。これらの指標は、建物の大きさ、形状などと比較的よい相関があり、個別に判別用の学習済モデルを構築することで、より精度のよい建物の範囲抽出が可能となる。

また、建物高さの情報は、撮影画像に対応する範囲の高度プロファイルデータ（ＤＳＭ及びＤＥＭ）から取得される。このように、建物の特徴情報は、撮影画像から取得されるもののみに限られなくてもよい。特に、高さの情報は、形状に加えて影などにも影響する一方で、上空からの各撮影画像データのみから取得するのは難しいので、外部から取得して活用することで、建物の抽出精度を向上させることができる。その一方で、複数のモデルを適宜な割合で重み付けて組み合わせることができるので、必ずしも高さで綺麗に分かれない建物形状をより適切に抽出することが可能となる。

また、複数のグループへの分類は、複数の指標（ここでは、面積、及び高さ又は色相）によりなされる。複数の指標に基づくグループ分けで多面的に学習モデルを構築し、これらを適宜な比率で組み合わせることで、より確実に正確な建物形状を抽出することが可能となる。

また、本実施形態の建物抽出処理用のプログラム１２１をコンピュータにインストールして動作させることで、専用のハードウェア構成を設けたり、特殊な部品を用いたりすることなく、撮影画像から容易かつより適切に撮影画像内の各種建物の形状を抽出することができる。

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、ＣＮＮを用いて出力マップ及び割当マップを取得したが、機械学習モデルはこれに限られない。他の手法が用いられてもよい。また、検出部ＰＲ３と割当部ＰＲ４とで異なる手法の機械学習モデルが用いられてもよい。

また、上記実施の形態では、建物の面積により２種類、高さ又は色相により２種類の合計４種類の学習済モデルを生成して統合し、建物を抽出したが、種別及び数はこれに限られない。また、上記では、２種類のパラメータが独立に判断されたが、組み合わせにより４種類の排他的な学習データＡ〜Ｄにより４種類の学習済モデルが生成されてもよい。

また、上記実施の形態では、屋根の色情報として色相Ｈを用いることとしたが、これに限られない。

また、上記実施の形態では、可視光画像を用いることとして説明したが、赤外波長が用いられてもよく、また、レーダー計測などが用いられたものであってもよい。

また、上記実施の形態では、記録媒体などの設定を含む画像形成制御処理に係るプログラム１２１のコンピュータ読み取り可能な媒体としてフラッシュメモリ又はＨＤＤなどを含む不揮発性メモリを有する記憶部１２を例に挙げて説明したが、不揮発性メモリは、具体的にこれらに限定されない。また、その他のコンピュータ読み取り可能な媒体として、例えば、ＣＤ−ＲＯＭ及びＤＶＤディスクなどの可搬型記憶媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した構成、処理内容及び手順などの具体的な細部は、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

１ 処理装置
１１ 制御部
１２ 記憶部
１２１ プログラム
１２２、１２３ 学習済モデル
１３ 入出力インターフェイス
１３１ 接続端子
１３２ 通信部
１４ 操作受付部
１５ 表示部
２１ データベース装置
２２ 光学読取装置
２０１ ＤＳＭデータ
２０２ ＤＥＭデータ
２０３ 学習データ
２０４ 教師データ
２０５ 撮影画像データ
ＰＲ１ 高さ取得部
ＰＲ２ 指標値取得部
ＰＲ３ 検出部
ＰＲ３１ 特徴量抽出部
ＰＲ３２ 判定部
ＰＲ４ 割当部
ＰＲ４１ 特徴量抽出部
ＰＲ４２ 判定部
ＰＲ５ 統合部

Claims (5)

1. 所定の指標に応じて複数のグループに分類された建物の上空からの撮影画像を各々入力とし、前記建物の範囲を示す出力マップを各々出力とするように、前記撮影画像と当該撮影画像に対応付けられた前記建物の範囲の教師データとを用いてそれぞれ学習された複数の第１学習済モデルを有する検出部と、
   建物の上空からの撮影画像の入力に対して前記複数の第１学習済モデルによりそれぞれ出力された複数の前記出力マップを所定の重み付け係数で重み付け加算した統合マップを得る統合部と、
   建物の上空からの撮影画像の入力に対して前記重み付け係数を出力するように、前記統合マップと前記教師データにおける前記建物の範囲との不一致度合に応じて前記重み付け係数が学習された第２学習済モデルを有する割当部と、
   を備えることを特徴とする建物抽出処理装置。
2. 前記所定の指標には、建物面積、建物の高さ及び建物の屋根の色情報のうち少なくともいずれかが含まれることを特徴とする請求項１記載の建物抽出処理装置。
3. 前記建物の高さの情報は、前記撮影画像に対応する範囲の高度プロファイルデータから取得されることを特徴とする請求項２記載の建物抽出処理装置。
4. 前記複数のグループへの分類は、複数の前記指標によりなされることを特徴とする請求項１〜３のいずれか一項に記載の建物抽出処理装置。
5. コンピュータを、
   所定の指標に応じて複数のグループに分類された建物の上空からの撮影画像を各々入力とし、前記建物の範囲を示す出力マップを各々出力とするように、前記撮影画像と当該撮影画像に対応付けられた前記建物の範囲の教師データとを用いてそれぞれ学習された複数の第１学習済モデルを有する検出手段、
   建物の上空からの撮影画像の入力に対して前記複数の第１学習済モデルによりそれぞれ出力された複数の前記出力マップを所定の重み付け係数で重み付け加算した統合マップを得る統合手段、
   建物の上空からの撮影画像の入力に対して前記重み付け係数を出力するように、前記統合マップと、前記教師データにおける前記建物の範囲との不一致度合に応じて前記重み付け係数が学習された第２学習済モデルを有する割当手段、
   として機能させることを特徴とするプログラム。

Images