JP7042690B2

JP7042690B2 - 学習用データ生成装置

Info

Publication number: JP7042690B2
Application number: JP2018098590A
Authority: JP
Inventors: 竜平濱口
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2018-05-23
Filing date: 2018-05-23
Publication date: 2022-03-28
Anticipated expiration: 2038-05-23
Also published as: JP2019204258A

Description

本発明は、上空から撮影した空中撮影画像において建物を認識する機械学習に用いる学習用データを生成する装置に関する。

航空画像や衛星画像等の空中撮影画像から建物を認識する機械学習モデルを生成する際には、学習用の空中撮影画像内に所定サイズの抽出窓を配置し、当該抽出窓内の画像（窓画像）を切り出して学習用データとして用いる。学習用データには例えば、数万枚の窓画像が必要となる。

従来の学習用データの作成方法では、例えば、学習用の空中撮影画像内のランダムな位置から窓画像を切り出す。また、下記特許文献１に示される技術では、窓画像から抽出される特徴を示す特徴情報に予め定められたルールを適用して、当該窓画像内に対象物が存在しているか否かを判定する一方、ユーザに窓画像を判読させて教師データを取得し、窓画像と教師データとを組み合わせて学習用データを生成する。

特開２０１６－１９２００７号公報

空中撮影画像に対してランダムに位置を選択して窓画像を切り出した場合、建物が存在していない窓画像が大半となり、切り出された窓画像に対して建物が存在する画像と存在しない画像とで割合が偏り、その結果、偏った学習用データが作成され得る。偏った学習用データを用いて生成された機械学習モデルは、当該偏り自体を学習する結果、精度よく建物を抽出することができなかった。また、窓画像から学習用データを生成し蓄積する際に、窓画像内に対象物が存在しているか否かを判定するだけでは、学習用データにおける上述の偏りは無くならない。

本発明は上記問題点を解決するためになされたものであり、空中撮影画像において建物を認識する機械学習に関し、偏りが抑制された学習用データを作成することができる学習用データ生成装置を提供することを目的とする。

（１）本発明に係る学習用データ生成装置は、上空から撮影した空中撮影画像において建物を認識する機械学習に用いる学習用データを生成する装置であって、前記学習用データの生成に用いる前記空中撮影画像内に所定サイズの抽出窓を配置し、当該抽出窓内の画像を窓画像として切り出す窓画像抽出手段と、建物の存在領域が表示された地図を用いて、前記抽出窓内の所定部分における建物領域の割合を算出し、前記窓画像に対応する建物領域割合を求める建物領域割合判定手段と、複数切り出された前記窓画像を、前記建物領域割合に応じて予め定められた複数のクラスに分類し前記学習用データとして格納する学習用データ格納手段と、を有する。

（２）上記（１）の学習用データ生成装置において、前記窓画像抽出手段は、複数の前記窓画像を切り出す際に、前記空中撮影画像内にてランダムな位置に前記抽出窓を設定する構成とすることができる。

（３）上記（１），（２）の学習用データ生成装置において、前記建物領域割合判定手段は、建物に関する予め定められた複数の種類ごとに前記建物領域割合を求め、前記学習用データ格納手段における前記複数のクラスは、前記種類ごとの前記建物領域割合に基づいて予め定められている構成とすることができる。

（４）上記（３）の学習用データ生成装置において、前記建物に関する前記種類は、建物の大きさに基づいて定められている構成とすることができる。

（５）上記（１）～（４）の学習用データ生成装置において、前記学習用データ格納手段は、前記クラスごとに前記学習用データの目標格納数を予め設定され、格納した前記窓画像の数が当該目標格納数に達した前記クラスについては前記窓画像の格納を停止する構成とすることができる。

（６）本発明に係るプログラムは、上空から撮影した空中撮影画像において建物を認識する機械学習に用いる学習用データを生成する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、前記学習用データの生成に用いる前記空中撮影画像内に所定サイズの抽出窓を配置し、当該抽出窓内の画像を窓画像として切り出す窓画像抽出手段、建物の存在領域が表示された地図を用いて、前記抽出窓内の所定部分における建物領域の割合を算出し、前記窓画像に対応する建物領域割合を求める建物領域割合判定手段、及び、複数切り出された前記窓画像を、前記建物領域割合に応じて予め定められた複数のクラスに分類し前記学習用データとして格納する学習用データ格納手段、として機能させる。

本発明によれば、空中撮影画像において建物を認識する機械学習に関し、偏りが抑制された学習用データを作成することができる。

本発明の実施形態に係る学習用データ生成システムの概略の構成を示すブロック図である。本発明の実施形態に係る学習用データ生成システムによる学習用データの生成に関する概略の処理フロー図である。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

図１は、実施形態である学習用データ生成システム２の概略の構成を示すブロック図である。学習用データ生成システム２は、上空から撮影した空中撮影画像に写った建物を認識する機械学習に用いる学習用データ（訓練データ）を生成する。学習用データ生成システム２は、演算処理装置４、記憶装置６、入力装置８及び出力装置１０を含んで構成される。演算処理装置４として、本システムの処理を行う専用のハードウェアを作ることも可能であるが、本実施形態では演算処理装置４は、コンピュータ及び、当該コンピュータ上で実行されるプログラムを用いて構築される。

当該コンピュータのＣＰＵ（Central Processing Unit）が演算処理装置４を構成し、後述する窓画像抽出手段２０、地図対応付け手段２２、建物領域割合判定手段２４及び学習用データ格納手段２６として機能する。

記憶装置６はコンピュータシステムに内蔵されるハードディスクなどで構成される。記憶装置６は演算処理装置４を窓画像抽出手段２０、地図対応付け手段２２、建物領域割合判定手段２４及び学習用データ格納手段２６として機能させるためのプログラム及びその他のプログラムや、本システムの処理に必要な各種データを記憶する。例えば、記憶装置６は、学習用データの生成処理における入力データとして空中撮影画像３０及び建物地図３２を予め記憶する。また、記憶装置６は、本システムにより生成される学習用データ３４を記憶する。

入力装置８はキーボード、マウスなどであり、ユーザが本システムへの操作を行うために用いる。

出力装置１０は例えば、生成された学習用データをユーザに示すディスプレイ、プリンタや、学習用データを他のシステムへ出力するインターフェース装置である。

空中撮影画像３０は、航空画像や衛星画像など、地表を上空から撮影した画像のデータであり、例えばオルソ画像である。空中撮影画像３０は建物を認識する学習に用いる学習用データを生成するために用意され、建物が存在する領域の画像と建物が存在しない領域の画像とを含む。後述するように、学習用データは空中撮影画像３０内の一部領域を切り出して生成される画像である。よって、基本的に空中撮影画像３０は学習用データとする画像より広範囲を撮影した画像である。また、機械学習により生成されるモデルの精度を確保するためには多数の学習用データが必要となる。よって、空中撮影画像３０として、生成する学習用データの数に応じて広い撮影面積の画像が用意される。なお、当該撮影面積は複数枚の空中撮影画像に分割することができ、本実施形態では空中撮影画像３０は複数枚の空中撮影画像からなるものとする。

また、後述するように本実施形態では、建物に関する複数の種類ごとに学習用データを生成するので、空中撮影画像３０を用意する際には、当該各種類の建物の画像が得られるようにすることが好適である。

建物地図３２は地表における建物の存在領域が表示された地図データであり、具体的には、建物の位置及び平面形状の情報を与える。建物地図３２は、教師あり学習に用いる学習用データを生成する際の正解データとして用いられる。そのため、建物地図３２は基本的に、空中撮影画像３０に撮影されている領域について用意される。建物地図３２として既存の住宅地図等を用いることができる。また、建物に関する複数の種類ごとに学習用データを生成する場合には、建物地図３２は各建物が当該複数の種類のいずれであるかを示す情報を含む。具体的には、本実施形態では、建物の複数の種類として、建物の大きさに関し「大（Ｌ）」、「中（Ｍ）」、「小（Ｓ）」の３サイズを設定することに対応し、建物地図３２は各建物に当該サイズを対応付けて記憶する。なお、建物の大きさはここでは建築面積で定義するが、建物の高さや容積で定義してもよい。また、建物の種類は、木造と非木造といった建物の構造に関するものとすることもできる。

学習用データ３４は、空中撮影画像３０から切り出された画像である。ここで、空中撮影画像３０内にて画像を切り出す領域を抽出窓と称し、当該領域から切り出される画像を窓画像と称する。つまり、学習用データ３４は空中撮影画像３０内に設定された抽出窓から切り出された窓画像である。また、記憶装置６は、学習用データ３４として、当該窓画像に対応する位置の建物地図３２を記憶する。

また、本実施形態では、学習用データ３４は、Ｌサイズの建物用の学習用データＤ_Ｌ、Ｍサイズの建物用の学習用データＤ_Ｍ、Ｓサイズの建物用の学習用データＤ_Ｓ、及び非建物領域用の学習用データＤ_Ａに分類される。

窓画像抽出手段２０は、記憶装置６から空中撮影画像３０を読み出し、当該空中撮影画像３０内に抽出窓を配置し、当該抽出窓内の画像を窓画像として切り出す。

抽出窓のサイズ、形状は予め定められる。例えば、抽出窓のサイズ、形状は、生成される学習用データ３４を用いて行う機械学習に対応して設定することができる。

空中撮影画像３０内にて互いに異なる複数の位置に抽出窓を設定して窓画像を切り出せば、１枚の空中撮影画像３０から複数の学習用データを生成することができる。つまり、空中撮影画像３０の枚数が少なくても多数の学習用データを生成できる。本実施形態では、窓画像抽出手段２０は抽出窓の位置を空中撮影画像３０内にてランダムに設定し、１枚の空中撮影画像３０から複数の学習用データを得ることを可能にする。

地図対応付け手段２２は、窓画像に建物地図３２から切り出した地図データを対応付ける。ここで、切り出した当該地図データをパッチ地図と呼ぶことにする。例えば、窓画像抽出手段２０にて窓画像の切り出しに用いたものと共通の抽出窓を建物地図３２に設定して、窓画像と同じ位置の地図データを建物地図３２から切り出しパッチ地図とする。

建物領域割合判定手段２４は、地図対応付け手段２２により切り出したパッチ地図を用いて、抽出窓内の所定部分における建物領域の割合を算出し、窓画像に対応する建物領域割合を求める。当該所定部分を算出対象領域と呼ぶことにすると、建物領域割合Ｒ_Ｂは算出対象領域における建物領域の面積Ｓ_Ｂを算出対象領域の面積Ｓ_０で除した値（Ｓ_Ｂ／Ｓ_０）で定義することができる。なお、建物領域割合判定手段２４はさらに、算出対象領域における建物が存在しない領域の割合（非建物領域割合）Ｒ_Ａを算出してもよい。Ｒ_ＡはＲ_Ａ＝１－Ｒ_Ｂで求められる。

また、建物に関し複数の種類を設定し、建物領域割合Ｒ_Ｂは当該種類ごとに算出することができる。具体的には、本実施形態では、建物の複数の種類として、建物の大きさに関し上述のように３サイズを設定するので、建物領域割合判定手段２４は、建物領域割合の算出対象領域内にてＬサイズの建物が占める割合をＬサイズ建物領域割合Ｒ_Ｌとして算出し、同様に、Ｍサイズ、Ｓサイズの建物についてＭサイズ建物領域割合Ｒ_Ｍ、Ｓサイズ建物領域割合Ｒ_Ｓを算出する。ここでは、建物地図３２において任意の建物はＬ、Ｍ、Ｓサイズのいずれかに対応付けられているとし、従って、Ｒ_Ｌ＋Ｒ_Ｍ＋Ｒ_Ｓ＝Ｒ_Ｂである。

建物領域割合の算出対象領域とする抽出窓の所定部分は抽出窓の一部、全部のどちらであってもよい。例えば、ＣＮＮ（Convolutional Neural Network）による機械学習の学習用データを生成する場合に、当該部分は抽出窓の中心に位置し、ＣＮＮの出力データのサイズに応じた大きさの矩形領域とすることができる。

学習用データ格納手段２６は、複数切り出された窓画像を、建物領域割合に応じて予め定められた複数のクラスに分類し、記憶装置６に学習用データ３４として格納する。例えば、建物領域割合判定手段２４が建物の種類を区別せずに、建物領域割合として単一のＲ_Ｂのみを求める場合には、Ｒ_Ｂと、予め設定された閾値ＴＨ_Ｂとの大小関係に基づいて、窓画像を２クラスに分類することができる。例えば、Ｒ_Ｂ≧ＴＨ_Ｂである窓画像は、「建物占有率が高い窓画像」というクラスに分類し、一方、Ｒ_Ｂ＜ＴＨ_Ｂ（又はＲ_Ａ＞１－ＴＨ_Ｂ）である窓画像は、「建物占有率が低い窓画像」というクラスに分類することができる。

また、学習用データ格納手段２６における複数のクラスは、建物領域割合判定手段２４により算出される建物の種類ごとの建物領域割合に基づいて予め設定することができる。例えば、本実施形態では、建物領域割合Ｒ_Ｌ，Ｒ_Ｍ，Ｒ_Ｓに基づいて窓画像を４つのクラスに分類する。なお、本実施形態における具体的な分類については後述する。

学習用データ格納手段２６は、クラスごとに学習用データの目標格納数を予め設定され、格納した窓画像の数が当該目標格納数に達したクラスについては窓画像の格納を停止する構成とすることができる。例えば、各クラスの目標格納数は同数とすることができる。この構成により、生成される学習用データの数についてクラス間での偏りを抑制することが可能となる。

図２は学習用データ生成システム２による学習用データの生成に関する概略の処理フロー図である。

窓画像抽出手段２０は記憶装置６に記憶されている複数枚の空中撮影画像３０からランダムに１枚選択する（ステップＳ５）。そして、窓画像抽出手段２０は選択した空中撮影画像３０内にてランダムな位置に抽出窓を設定し（ステップＳ１０）、抽出窓内の画像を窓画像として切り出す（ステップＳ１５）。一方、地図対応付け手段２２は建物地図３２から抽出窓に対応する位置の地図データをパッチ地図として切り出す（ステップＳ２０）。

建物領域割合判定手段２４はパッチ地図に示された建物の領域及びサイズに基づいて建物領域割合Ｒ_Ｌ，Ｒ_Ｍ，Ｒ_Ｓを算出する（ステップＳ２５）。具体的には、算出対象領域の画像を構成するピクセルの数をＳ_０とし、算出対象領域内のＬＭＳ各サイズの建物の領域のピクセル数をＳ_０で除した値をＲ_Ｌ，Ｒ_Ｍ，Ｒ_Ｓとする。さらに、建物領域割合判定手段２４は、Ｒ_Ａ＝１－（Ｒ_Ｌ＋Ｒ_Ｍ＋Ｒ_Ｓ）で与えられる非建物領域割合Ｒ_Ａを算出してもよい。

ここで、算出対象領域は窓画像の一部分とすることができる。一例として、ＣＮＮへ入力される窓画像のサイズを６４×６４ピクセルとすると、ＣＮＮの出力のサイズはそれより小さい例えば１６×１６ピクセルとすることができ、建物領域割合の算出対象領域は当該出力に合わせて、パッチ地図の中心の１６×１６ピクセルとすることができる。

学習用データ格納手段２６は、ステップＳ２５にて算出されたＲ_Ｌ，Ｒ_Ｍ，Ｒ_Ｓ，Ｒ_Ａと、これら割合に関して予め設定された閾値ＴＨ_Ｌ，ＴＨ_Ｍ，ＴＨ_Ｓ，ＴＨ_Ａとを用いて、ステップＳ１５にて抽出された窓画像を学習用データ３４の４つのクラスに分類する。

まず、学習用データ格納手段２６は、ステップＳ１５にて抽出された窓画像の非建物領域割合Ｒ_Ａが閾値ＴＨ_Ａより大きければ（ステップＳ３０にて「ＹＥＳ」の場合）、当該窓画像は「建物占有率が低い窓画像」であるとし、学習用データＤ_Ａとして収集するか否かを判断する（ステップＳ３１）。学習用データ格納手段２６は、学習用データＤ_Ａの収集が未完了、つまり学習用データＤ_Ａに既に格納されているデータ数が予め定めた目標格納数Ｎ_Ａ未満であれば（ステップＳ３１にて「ＮＯ」の場合）、当該窓画像を学習用データＤ_Ａとして記憶装置６に格納する（ステップＳ３２）。

一方、学習用データ格納手段２６は、ステップＳ３０にて「ＮＯ」、又はステップＳ３１にて「ＹＥＳ」と判定された窓画像、つまり学習用データＤ_Ａに格納されなかった窓画像については、建物領域割合Ｒ_Ｓが閾値ＴＨ_Ｓより大きければ（ステップＳ４０にて「ＹＥＳ」の場合）、当該窓画像は「Ｓサイズの建物占有率が高い窓画像」であるとし、学習用データＤ_Ｓとして収集するか否かを判断する（ステップＳ４１）。学習用データ格納手段２６は、学習用データＤ_Ｓの収集が未完了、つまり学習用データＤ_Ｓに既に格納されているデータ数が予め定めた目標格納数Ｎ_Ｓ未満であれば（ステップＳ４１にて「ＮＯ」の場合）、当該窓画像を学習用データＤ_Ｓとして記憶装置６に格納する（ステップＳ４２）。

同様に、学習用データ格納手段２６は、ステップＳ４０にて「ＮＯ」、又はステップＳ４１にて「ＹＥＳ」と判定され学習用データＤ_Ｓに格納されなかった窓画像については、建物領域割合Ｒ_Ｍが閾値ＴＨ_Ｍより大きければ（ステップＳ５０にて「ＹＥＳ」の場合）、当該窓画像を学習用データＤ_Ｍとして収集するか否かを判断する（ステップＳ５１）。学習用データ格納手段２６は、学習用データＤ_Ｍの収集が未完了、つまり学習用データＤ_Ｍに既に格納されているデータ数が予め定めた目標格納数Ｎ_Ｍ未満であれば（ステップＳ５１にて「ＮＯ」の場合）、当該窓画像を学習用データＤ_Ｍとして記憶装置６に格納する（ステップＳ５２）。

また、ステップＳ５０にて「ＮＯ」、又はステップＳ５１にて「ＹＥＳ」と判定され、学習用データＤ_Ｍに格納されなかった窓画像については、建物領域割合Ｒ_Ｌが閾値ＴＨ_Ｌより大きければ（ステップＳ６０にて「ＹＥＳ」の場合）、当該窓画像を学習用データＤ_Ｌとして収集するか否かを判断する（ステップＳ６１）。学習用データＤ_Ｌの収集が未完了、つまり学習用データＤ_Ｌに既に格納されているデータ数が予め定めた目標格納数Ｎ_Ｌ未満であれば（ステップＳ６１にて「ＮＯ」の場合）、学習用データ格納手段２６は当該窓画像を学習用データＤ_Ｌとして記憶装置６に格納する（ステップＳ６２）。

なお、窓画像と、当該窓画像と共通の抽出窓で切り出されたパッチ地図とを対応付けて学習用データとし、記憶装置６に格納することができる。

このようにして、或る窓画像に対する学習用データ３４のクラス分類が終わると、窓画像抽出手段２０は、４クラスの学習用データＤ_Ｌ，Ｄ_Ｍ，Ｄ_Ｓ，Ｄ_Ａのデータ数が全てそれぞれの目標格納数Ｎ_Ｌ，Ｎ_Ｍ，Ｎ_Ｓ，Ｎ_Ａに達しているかを調べ、いずれかのクラスが目標格納数に達していなければ（ステップＳ７０にて「ＮＯ」の場合）、ステップＳ５から処理を繰り返し、一方、全てのクラスが目標格納数に達していれば（ステップＳ７０にて「ＹＥＳ」の場合）、学習用データの生成処理を終了する。

閾値ＴＨ_Ｌ，ＴＨ_Ｍ，ＴＨ_Ｓ，ＴＨ_Ａは、必要とされる学習用データ３４の内容を考慮して設定することができる。例えば、閾値ＴＨ_Ｌ，ＴＨ_Ｍ，ＴＨ_Ｓ，ＴＨ_Ａは共通の値（例えば、０．２）とすることもできるし、異なる値とすることもできる。

また、建物領域割合を用いた学習用データ３４の分類の仕方は上述の例には限られず、必要とされる学習用データ３４の内容に応じて分類の条件、手順を設計することができる。例えば、上述の構成では窓画像が学習用データＤ_Ａ，Ｄ_Ｓ，Ｄ_Ｍ，Ｄ_Ｌの順に格納可能かを判断したが、この順序は変えることができる。また、例えば、窓画像のＲ_Ｌ，Ｒ_Ｍ，Ｒ_Ｓ，Ｒ_Ａのうち最大のものをＲ_λ（λはＬ，Ｍ，Ｓ，Ａのいずれか）と表すと、当該窓画像を学習用データＤ_λに分類する構成とすることができ、また、当該窓画像を学習用データＤ_λに格納するに際し、Ｒ_λが閾値ＴＨ_λより大きいことを条件として課す構成とすることもできる。

実施形態を用いて上に説明した本発明によれば、窓画像内の建物領域割合に応じて当該窓画像を複数のクラスに分類し、学習用データ３４はクラスごとに振り分けて格納される。つまり、本発明によれば、学習用データの数をクラスごとに制御することができ、クラスごとに所望の数の学習用データを生成することができる。また、クラス間での学習用データの数の偏りをなくすこともできる。

２学習用データ生成システム、４演算処理装置、６記憶装置、８入力装置、１０出力装置、２０窓画像抽出手段、２２地図対応付け手段、２４建物領域割合判定手段、２６学習用データ格納手段、３０空中撮影画像、３２建物地図、３４学習用データ。

Claims

上空から撮影した空中撮影画像において建物を認識する機械学習に用いる学習用データを生成する装置であって、
前記学習用データの生成に用いる前記空中撮影画像内に所定サイズの抽出窓を配置し、当該抽出窓内の画像を窓画像として切り出す窓画像抽出手段と、
建物の存在領域が表示された地図を用いて、前記抽出窓内の所定部分における建物領域の割合を算出し、前記窓画像に対応する建物領域割合を求める建物領域割合判定手段と、
複数切り出された前記窓画像を、前記建物領域割合に応じて予め定められた複数のクラスに分類し前記学習用データとして格納する学習用データ格納手段と、
を有することを特徴とする学習用データ生成装置。
請求項１に記載の学習用データ生成装置において、
前記窓画像抽出手段は、複数の前記窓画像を切り出す際に、前記空中撮影画像内にてランダムな位置に前記抽出窓を設定すること、を特徴とする学習用データ生成装置。
請求項１又は請求項２に記載の学習用データ生成装置において、
前記建物領域割合判定手段は、建物に関する予め定められた複数の種類ごとに前記建物領域割合を求め、
前記学習用データ格納手段における前記複数のクラスは、前記種類ごとの前記建物領域割合に基づいて予め定められていること、
を特徴とする学習用データ生成装置。
請求項３に記載の学習用データ生成装置において、
前記建物に関する前記種類は、建物の大きさに基づいて定められていること、を特徴とする学習用データ生成装置。
請求項１から請求項４のいずれか１つに記載の学習用データ生成装置において、
前記学習用データ格納手段は、前記クラスごとに前記学習用データの目標格納数を予め設定され、格納した前記窓画像の数が当該目標格納数に達した前記クラスについては前記窓画像の格納を停止すること、を特徴とする学習用データ生成装置。
上空から撮影した空中撮影画像において建物を認識する機械学習に用いる学習用データを生成する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、
前記学習用データの生成に用いる前記空中撮影画像内に所定サイズの抽出窓を配置し、当該抽出窓内の画像を窓画像として切り出す窓画像抽出手段、
建物の存在領域が表示された地図を用いて、前記抽出窓内の所定部分における建物領域の割合を算出し、前記窓画像に対応する建物領域割合を求める建物領域割合判定手段、及び、
複数切り出された前記窓画像を、前記建物領域割合に応じて予め定められた複数のクラスに分類し前記学習用データとして格納する学習用データ格納手段、
として機能させることを特徴とするプログラム。