JP7418281B2

JP7418281B2 - 地物の分類システム、分類方法及びそのプログラム

Info

Publication number: JP7418281B2
Application number: JP2020085247A
Authority: JP
Inventors: 知史山本; 晃一郎八幡; 陽平上野; 力草場; 直之橋本; 寛康吉川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2020-05-14
Filing date: 2020-05-14
Publication date: 2024-01-19
Anticipated expiration: 2040-05-14
Also published as: JP2021179839A

Description

本発明は、衛星画像等の空撮画像を用いた地物の分類技術に関する。

本発明の背景となる技術を説明する。以下の文章中で、抽出とは種別は何か分からない状態で認識することであり、類別とは種別まで特定したうえで認識することを意図する。

衛星画像は、一度の撮影で広域を撮影できる特性から、同一地域における地上の被覆状況を調査する用途に向いている。再利用ロケットの実利用に向けた研究、地球観測衛星の小型化、コンステレーション計画が世界中で進められており、衛星による地球観測は、高解像度ながら低コスト、高頻度撮影のトレンドにある。これらを背景に、判読すべき衛星画像の枚数は爆発的に増加する見込みとなっており、判読する人手の不足が懸念されている。よって、衛星画像を自動判読する技術への需要は年々高まっている。

画像判読に関連しては深層学習(Deep Learning)の適用事例が数多く報告されている。
しかしながら、デジタルカメラで撮影した一般的な写真と比べて、衛星画像は高精度な分類結果が出にくい。理由はいくつか考えられるが、第１に、衛星画像は直上から撮影した画像であり、基本的には上からの一面しか映らない極端な画像であることが主要因である。これにより、画像の上下にも意味がなく画像内の典型的な配置パタンの情報が存在せず、前景と背景の分離が難しくなってしまうなどの難しさが生じる。また、第２に、天気や太陽と地球の位置関係などにより、衛星画像の撮像条件が毎回異なることが自動判読を難しくしている別の要因である。特許文献１では、既知の3Dモデルが撮像条件の変化によってどのように見えるかという形をシミュレートすることで、ユーザの判読をサポートするような仕組みを提供している。また、第３に、衛星画像中には様々な地物が存在し、人が地物に対して付与したラベルのバリエーションが多すぎて機械学習の適用が難しい場合がある。見た目が異なる物や、サイズが全然違うものを同じクラスにするなど、人が与えるラベルには、計算機には理解が難しいことがある。例えば、市街地などを例にすると、様々なピクセル数で構成される建物を同一のクラスとして抽出する深層学習のモデルを生成すると、性能が劣化してしまうことが知られている。

衛星画像を自動判読する際には解像度調整に細心の注意が必要となる。特許文献２では建物分類のネットワークを組むとき、３段階のサイズ別検出器を学習させるマルチタスクネットワークとすることで、深層学習による分類性能が向上できる手法を開示している。３段階のサイズに区切るなどの人が無意識に使っている常識を併用することで建物や路面の抽出といったタスクは一定の成果が上がりつつある。

建物や路面の類別にあたっては、背景知識を持ったうえで画像の範囲外の情報も使って間接的に推論しなければならない難しさがあり、抽出タスクのように単純ではないが、前述のとおり衛星画像の取得コストは低下傾向にあり、多数の画像を使って認識することも選択肢になってきている。

特開２０１０－２７１８４５号公報特開２０１９－１７５１４０号公報

深層学習は他手法に比べて認識性能が高いが、建物や路面の機能を有するか類別したい用途には完全ではない。衛星画像の場合は、種類を特定するには背景知識のようなものが必要となり、エンドツーエンドで実行することは現実的には難しい。このようなときに、深層学習をエンドツーエンドで実行してしまうと、結果修正の手間が大きくなり、ラベリングにかかる総工数を減らせない問題がある。

本発明は、地物の分類において、ラベリングをアシストすることにより、作業工数を小さくすることを目的とする。

本発明では、建物と路面のそれぞれについて段階的に認識をかけることで、建物の抽出と類別を両立し、判断指標となった要因説明を提示しながらラベリングをアシストする手法を提示する。

上記課題を解決するための、本発明の「地物の分類システム」の一例を挙げるならば、
複数枚の空撮画像を用いて地物を分類する分類システムであって、複数の解像度で認識した抽出結果を統合して路面ポリゴンを抽出する路面ポリゴン抽出部と、複数の空撮画像ペアによる多眼ステレオで得られる三次元情報と前記路面ポリゴンを用いて建物ポリゴンを抽出する建物ポリゴン抽出部と、前記建物ポリゴンと前記路面ポリゴンを類別するための各ポリゴンの画像特徴と幾何情報を取り出して属性テーブルに格納する属性テーブル作成部と、前記属性テーブルを用いて建物ポリゴンを類別し、さらに、確度高く類別出来たポリゴンについて、他のポリゴンとの関係を評価して前記属性テーブルに追加更新し、類別処理を繰り返す類別部と、を有するものである。

本発明によれば、地物の分類において、ラベリングをアシストすることにより、作業工数を小さくすることができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

地物の分類方法の全体処理フロー図。地物の分類システムの機能ブロック構成図。建物ポリゴンと路面ポリゴンの抽出フロー図。整形済みポリゴンを得るフロー図。建物属性テーブルの作成フロー図。路面属性テーブルの作成フロー図。建物属性テーブルの一例を示す図。路面属性テーブルの一例を示す図。建物と路面の類別処理フロー図。抽出したエッジの取捨選択画面を示す図。類別したポリゴンの結果表示画面を示す図。本発明のハードウェア構成を説明する図。

本発明の実施の形態を、図面を参照しつつ説明する。

衛星画像から地物を類別する実施形態について説明する。本実施形態では、地上を撮影した衛星画像から、建物領域や路面領域を抽出し、建物領域については、例えば学校、病院、ショッピングモールなどに類別し、路面領域については、例えば駐車場、滑走路、道路などに類別する。

図１Ａに、地物の分類方法の全体処理のフロー図を示す。Ｓ１０１で衛星画像から建物ポリゴン（建物領域）及び路面ポリゴン（路面領域）を抽出する。そして、Ｓ１０２で建物ポリゴンおよび路面ポリゴンを整形して整形済みポリゴンを取得する。そして、Ｓ１０３で建物ポリゴンおよび路面ポリゴンの属性値を抽出して、属性テーブルを作成する。そして、Ｓ１０４で属性テーブルを用いて各ポリゴンの類別処理を行う。

建物ポリゴンおよび路面ポリゴンの抽出処理は図２で、抽出した建物ポリゴンおよび路面ポリゴンの整形処理は図３で説明する。建物属性テーブルの作成は図４で、路面属性テーブルの作成は図５で説明する。そして、建物および路面の類別処理を図８で説明する。

図１Ｂに、図１Ａの処理フローを行うための地物の分類システムの機能ブロック構成図を示す。分類システムは、衛星画像を取り込む画像入力部１１、衛星画像から路面ポリゴンを抽出する路面ポリゴン抽出部１２、路面ポリゴンを用いて衛星画像から建物ポリゴンを抽出する建物ポリゴン抽出部１３、抽出された建物ポリゴン及び路面ポリゴンから整形済みポリゴンを得る整形済みポリゴン取得部１４、各整形済みポリゴンから建物及び路面の属性テーブル１７を作成する属性テーブル作成部１５、属性テーブル１７に基づいて建物及び路面を類別する類別部１６を備えている。また、選択画面などを表示し、必要に応じてユーザからの入力を行うユーザインタフェース１８を備えている。

衛星画像は各ピクセルが実質の距離情報を持つ画像であり、空間解像度の良い画像になるほど、画像サイズが巨大になる特徴がある。ソフトウェアによる画像の自動判読をする場合、画像サイズが巨大すぎると演算能力が追い付かないことがよく発生する。特に深層学習では、GPU(Graphics Processor Unit)を使った超並列演算で大規模な演算を実現しているが、画像サイズが大きくなるとニューラルネットワーク規模が極端に大きくなってしまい、計算が困難になる問題がある。そのため、一般的には画像の解像度を調整してGPUへ入力するが、画像縮小した結果、もともとピクセルサイズが小さい地物は検出できなくなる可能性がある。そのため、画像の縮尺決定後、認識対象の地物のピクセルサイズに適合した学習データを用意するステップが基本のアプローチとなる。このとき、認識したい地物の大きさが小さい物から大きいものまで幅広く分布している場合や、大きさの分布そのものが未知の場合は、縮尺の決定が難しいことがある。このような場合、深層学習以外のアプローチで建物領域を検出するアプローチが有効なことがある。例えば、市街地における建物など、高さのある人工物を認識する時は、写真測量を用いて三次元化し、路面と判断されたところからの高度差を使って建物を抽出する方法が別のアプローチとして考えられる。三次元化したデータはDSM (Digital Surface Model)画像と呼ばれる二次元の画像の各ピクセルが地物の高度を表現する画像として取り扱うとよい。

衛星画像は前記の通り、各ピクセルが距離の情報を持つから、三次元点群はxyzの絶対座標を取得できる。ｙｘは緯度経度、ｚは高度に変換が可能である。DSM画像の等高線を引き、路面として抽出された領域との高度差が閾値以上の領域を人工的な建屋とみなすような処理をかけるとよい。なお、DSM画像の細かなピクセル欠落に対しては、膨張圧縮処理を用いて対処するとよい。

画像からの三次元化で重要となるのは、被写体とカメラの位置関係が偏らないことである。建物の全面が撮影されるように、衛星の撮影位置と角度にばらつきを持たせた撮影計画とセットにするとよい。しかし、衛星画像は撮影頻度が高くないため、三次元化できる枚数の衛星画像が収集されるまでの所要時間が長くなりがちである。収集時間が長くなると、地表において新たな構造物が建造されたり、自然物が整地されてしまう場合がある。この問題を解消するために、衛星コンステレーションによる高頻度撮影や、同一地点をビデオ撮影するモードを搭載した衛星を活用することでこれらの影響を軽減できる。

衛星画像を三次元化するのに十分な品質の画像セットが取得できなかった場合、すなわち、前記のように撮影条件にばらつきがなかった場合や、画像収集期間が長くなってしまった場合には、DSM画像のピクセルが欠落する可能性が高まる。三次元化の手法は、衛星画像のペアによるステレオ視で得られる三次元点群を統合するMulti View Stereoを想定する。できるだけ新しい衛星画像同士のペアを重視して、三次元点群を統合するとよい。具体的には、新しい衛星画像同士のペアで作られた三次元点群と、古い衛星画像同士のペアで作られた三次元点群を、同一地理座標上に重畳した時、前者の情報を優先するとよい。例えば複数のステレオペアで同一地点のｚ座標の数値を算出し、平均化する方法が考えられるが、新しい衛星画像同士のステレオペアであるほど平均化の際の重みを大きくするとよい。あるいは、新しい衛星画像同士のステレオペアを基準として、所定の年月以上経過した衛星画像を含むペアのｚ座標の逸脱度を判定し、逸脱度が高い場合、平均化の対象から外すとよい。

このようにして得られたDSM画像は、地面が全体的に傾いている場合があり、路面との高度差で建物を検出する処理と相性が悪い場合があるので、DEM(Digital Elevation model)と呼ばれる地表面の高さを表すラスタデータを使って傾斜を打ち消す処理を行うとよい。DEMは地表面の上に存在する地物を含めないため、地表からの地物の高さの情報だけが算出できる。

路面の検出では影や建物のオクルージョン等によって抽出漏れが発生し、正しい領域が抽出できないことがある。その場合、撮影条件の異なる複数の画像を用いて同一地点を認識させて結果を統合するとよい。例えば撮影角度の違う画像を使うと建物のオクルージョンの影響を除外できるし、撮影時間帯が異なる画像を用いて影の影響を除外してもよい。深層学習に入力できる画像サイズに比して、認識させたい路面ピクセルの占める割合が大きすぎる場合には、形状情報として使えなくなり精度が著しく劣化してしまう。そのため、認識させたい路面の幅が入力画像サイズに比べて大きい場合、広い範囲を認識できるようにズームアウト、すなわち入力画像サイズは固定で解像度をダウンサンプルすることで広範を映した画像を、１または複数段用意してそれぞれ認識を実行するとよい。これらの異なる解像度で認識した結果を重ね合わせて、得られた情報尤度を用いてセグメンテーションするとよい。解像度を半分にしていき、ターゲットとする路面の幅と入力画像サイズが一定の値を切ったところで、ズームアウトを止めるとよい。

図２に、建物ポリゴン及び路面ポリゴンを抽出するフロー図を示す。先ず、Ｓ２０１で画像から植物等の植生や水域などの自然物を除外する処理を行う。そして、路面抽出処理においては、Ｓ２０６のマルチ解像度化処理において、複数の解像度の画像を得る。そして、Ｓ２０７で各解像度の画像から路面を抽出し、Ｓ２０８で各解像度の路面の抽出結果を統合し、Ｓ２０９で正確な路面を抽出する。建物抽出処理においては、Ｓ２０２で三次元化を行い、Ｓ２０３でＤＳＭ画像とし、Ｓ２０４で傾斜補正を行い、Ｓ２０５で三次元化処理のはずれ値を除去するデノイズ処理を行う。そして、S210で、路面ポリゴンも用いて建物ポリゴンを抽出する。

建物ポリゴン及び路面ポリゴンを抽出は、図１Ｂのブロック構成図の、建物ポリゴン抽出部１３及び路面ポリゴン抽出部１２が行う。

以上のように、建物と路面を抽出したポリゴンはノイズを多く含むことが予測されるため、後処理としてポリゴンの境界を精錬して整形済みポリゴンを取得する。すなわち、図１Ａの処理フローの、S１０２の整形済みポリゴンの取得を行う。整形済みポリゴンの取得は、図１Ｂのブロック構成図の、整形済みポリゴン取得部１４が行う。

図３を用いて、抽出したポリゴンからユーザ所望の形状を取り出す処理について説明する。本実施形態のポリゴン精錬方法は、建物ポリゴンの精錬プログラムと、路面ポリゴンの精錬プログラムと、これらの途中経過を表示可能なユーザインタフェースによって実現され、インタラクティブなポリゴン抽出を可能とする。逐一ユーザからの指定を必要とするわけではなく、途中経過を表示しておき、ユーザが修正の選択をした場合にのみ、変更を優先的に受け付ける仕組みを用意するとよい。

建物の抽出は、前記の通り三次元化して得られた点群を、緯度経度をｘｙ平面にとりｚを高さ方向とすることで、DSM画像を活用することを想定しているが、抽出結果は衛星画像に重畳して表示したいと考えることが自然である。この重畳対象の衛星画像をリファレンス画像と呼ぶこととする。しかし、DSM画像で抽出したポリゴンをリファレンス画像に重畳すると、本来の建物の位置とずれて表示されることがある。衛星画像が直下撮影でない限り、高層建築物は画像化されるときに緯度経度が異なる地点に覆いかぶさるように撮像されるためである。この影響を回避するために、できるだけ直下撮影の衛星画像をリファレンス画像として選択することが望ましいが（Ｓ３１１）、原理上、完全にこの位置ずれをなくすことは難しい。

そこで、本実施形態では、二次元の画像特徴を使って抽出ポリゴンの精度を向上させる方法を提供する。まず、DSM画像で抽出した建物ポリゴンそれぞれの代表点を選択する（Ｓ３１２）。代表点の選択方法はユーザに指定させてもよいし、建物ポリゴンの重心や、高さのピークなどを選択してもよい。この座標を中心にリファレンス画像を切り出してチップ画像単位に切り出してエッジを解析するとよい。チップ画像は、当該建物ポリゴンの全体が写るように切り出し、隣接ポリゴンと連結の可能性があるのでポリゴンの代表点間の距離が規定値よりも近い場合には、複数のポリゴンの全体像が写るようにチップ画像を切り出すとよい。

代表点を選択したら、その画像周辺を切り出し、エッジ検出処理をかける（Ｓ３１３）。ハフ変換や、キャニーフィルタなどがエッジ検出の候補となる。検出対象は建物であるから、矩形である可能性が高く、エッジの方向ヒストグラムをとることで、多くの場合90度ずれた角度に頻度が集中する傾向を観測できる。この性質を利用して、強調すべきエッジ、ノイズとして除外すべきエッジを特定することができる。着目するエッジが決まったら、近似直線を抽出する。近似直線によるグリッドを形成し、どのグリッドを残すかを選択するとよい。前記グリッドを、建物ポリゴンをラスタライズして２値画像にしたものに重畳して、建物領域が一定以上含まれていたら選択するようにしたり、グラフカットで領域の連続性を評価して決定するとよい（S３１４）。このようにして得られた直線の中からユーザに残すべき候補を選択させるインタフェースを用意しておくとよい。表示された候補から削除する直線を選ぶ方法、使用する直線を選択する方法、あるいは新規に直線を指定することが可能なインタフェースを用意しておくとよい（Ｓ３０２）。これにより、アノテーション作業の手戻りを少なくし、労力を軽減する効果が期待できる。例えば、図９（ａ）に示すようなエッジ候補選択画面をサポートするインタフェースを取り付けるとよい。このようにして、直線が交差する点をつなぐことでポリゴンの形状を確定するが、元のポリゴンを分割・結合するケースがある（Ｓ３１５）。この時には、図９（ｂ）に示すような結果の確認画面と、修正を可能にする画面を表示するとよい（Ｓ３０３）。ユーザによる結果の修正画面では、ポリゴンの分割と結合の取り消し、ポリゴンの頂点操作などを可能にしておくとよい。頂点操作には頂点の移動、新規追加、削除などの操作を含む。結果の確認・修正の後、建物ポリゴンを確定する（Ｓ３１６）。

路面ポリゴンも同様の流れであるが、路面は建物よりもポリゴンのサイズが大きいことが想定される。解像度をそのままにすると、エッジ検出する範囲が広くなるので、セグメンテーションの時と同様に、複数の解像度で処理をかけるとよい（Ｓ３２１～Ｓ３２６）。

この方法のほか、ポリゴンを前記三次元形状から抽出した建物ポリゴンと衛星画像のチップ画像を入力データとして、建物および路面の輪郭を推論する敵対的生成ネットワークを用いて、機械学習ベースでポリゴンの形状をシャープにする方法が考えられる。この場合も、結果の確認と修正の画面は用意しておき、ポリゴンの頂点操作ができるように設定しておくとよい。

以上のフローによって、建物と路面の輪郭ポリゴンを得る。

本実施形態では、このようにして得られた建物ポリゴンと路面ポリゴンのそれぞれのクラスを類別するための情報を抽出する。すなわち、図１Ａの処理フローの、建物及び路面の属性テーブルの作成を行う（Ｓ１０３）。属性テーブルの作成は、図１Ｂのブロック構成図の、属性テーブル作成部１５が行う。建物ポリゴンを類別するための属性値を得るフローを図４に、路面ポリゴンを類別するための属性値を得るフローを図５に示す。各建物ポリゴンにはIDを割り当てて、図６に示すような建物属性テーブルを、各路面ポリゴンにはIDを割り当てて、図７に示すような路面属性テーブルを作成する。

図４に建物属性テーブルの作成フローを示す。まず、Ｓ４０１で高さを抽出する。DSM画像から高さ情報が取得できるので、ピーク、中央値、平均値の情報を保持しておくとよい。また、Ｓ４０２で面積を算出する。ポリゴンの面積情報も、その建物の類別に有意義な情報となるので算出してコラムとして保持しておく。Ｓ４０３でスペクトル特徴を算出する。ポリゴンの色情報、テクスチャ、NDVI（植生指数）/PNVIのようにピクセル値をベースに属性値を算出する場合は、重心から５～９ピクセル程度の範囲を使って計算するとよい。色情報およびNDVI/PNVIはピクセルの平均値を採用するとよい。PNVIは、Red Edgeのスペクトルを取得できないと計算できないので、使用する衛星画像によっては計算できないことがあるので、算出できない場合は未使用でよい。テクスチャはグレーレベル同時生起行列(GLCM)を用いて、コントラスト、相関、エネルギー、均一性などをパラメータとして保持するとよい。また、Ｓ４０４で形状を抽出する。ポリゴンの形状を幾つかのパタンに分類しておく。例えば、建物に最も多いことが想定される四角の形状ならば0、貯蔵庫など特殊な構造物によくみられる円の形状を持っていれば1、それ以外の多角形に2、3といった形で用途に応じた形でクラスを割り当てるとよい。Ｓ４０５で、文字やサインを抽出する。日本の学校や警察署などの施設では、屋上に名前を書き込むことがよくあるので、「ｘｘ病院」、「ｘｘ警察」、「ｘｘ小」、「ｘｘ中」などといった１または複数の漢字の組み合わせ、に関してパタン認識をかけ、検出されたものを属性テーブルに保持しておくとよい。その他、特に小中学校に多いが、防災時にヘリコプターが上空から見つけやすいよう屋上に数字を記入した建物もある。つまり、屋上にかかれている数字は建物の特定に使用できると考えられるので、当該ポリゴンの中に数字が含まれている場合にはパタン検出して、属性テーブルに発見できた数字を保持しておくとよい。ヘリコプターが着陸するためのサインである丸にHのマークは、路面と建物で両方に存在しうるが、建物特定の場合にも、参考情報になるので、検出できた場合には属性テーブルに保持しておくとよい。

深層学習によるエンドツーエンドでの類別をそのまま使うことが難しい点を課題で指摘したが、ニューラルネットワークの出力層で得られる各クラスの分類確率には、有用な情報が含まれているため、属性テーブルの値として利用してよい。Ｓ４０６～Ｓ４０９に示すように、建物ポリゴンを中心にチップ画像を生成し（Ｓ４０６）、クラス分類や物体認識のネットワークを適用して、類別クラスの位置・形状・分類確率等を得る（Ｓ４０７）。たとえばクラス分類のネットワークを用いて、チップ画像のクラスを推論する方法が考えられる。クラス分類のネットワークを用いる場合は、そのチップ画像内に写っている建物のクラスと確率が出力されるので、確率上位クラス３つ程度の分類確率を属性テーブルに保存しておくとよい（Ｓ４０９）。

一方、物体認識のネットワークを用いる場合、チップ画像の中に写っている物体の位置とクラスの情報が得られる。衛星画像の認識において、直接的に認識ができるような建物は種類が少なく、特徴的な形状の抽出に用いることが想定される。例えば、石油の貯蔵庫や、レーダーなどは上空から撮影すると白い円形をしている。このような単純な形状の建物抽出に物体検出のネットワークは有効である。物体検出のネットワークを用いて建物を抽出した場合、抽出位置と建物ポリゴンの重なり方を評価する。抽出した建物の位置・形状と建物ポリゴンとのIoU (Intersection over Union) を用いて、重なり度合いを評価する（Ｓ４０８）。IoUの値が一定以上、すなわち重なりが十分な時は、物体検出のネットワークで検出した建物と建物ポリゴンの建物が同一であると判定できる。物体認識のネットワークを使ったときは、位置・形状の情報が取得できるが、クラス分類の時の出力を使う場合には、GradCAMなどを適用して、各確率の判断指標となった領域とIoUをとるとよい。

三次元形状をもとに建物ポリゴンを生成しているから、建物ポリゴンは完全にオルソ仮定ができるが、チップ画像は建物ポリゴンの座標をもとに、マルチスペクトル衛星画像を切り取った画像を想定するため、撮影条件によってオルソ仮定ができないことがある。そのためIoU以外の同一判定の指標ももっておくとよい。例えば、物体検出のネットワークで検出した位置形状と、建物ポリゴンの距離が所定の値以下であれば同一と判定してもよい。距離の定義はいくつか考えられるが、建物ポリゴンの重心と物体検出のネットワークで検出した位置形状の重心の距離、あるいは両ポリゴンの最短距離などが考えられる。

物体検出のネットワークで認識できる建物クラスの確率の情報は、クラス分類のネットワークを用いた時と同様に、確率上位のクラスとその確率をテーブルに保持しておく。物体検出のネットワークで、単純な形状抽出を行うことも可能である。例えば円形の建物を検出するように学習した物体検出のネットワークを用いると、画像中の円形領域の探索が可能になる。前記の同一判定処理と組み合わせることで、属性テーブルのクラスと確率情報だけでなく、形状情報のコラムを埋めることが可能になる。

物体検出のネットワークは、前記の特徴的な形状の建物だけでなく、動体の検出にもよい性能を発揮する。そこで、建物周辺にある特定の物体を検出し、数をカウントして、属性値として利用してもよい。例えば、多数の車が止まっていれば駐車場、電車が密集していれば屋外車庫、飛行機が密集していれば駐機所、コンテナが積まれていれば倉庫である可能性が高いなど、近くにある建物を類別する材料となる。よって、各建物ポリゴンについて、これらの重要な動体が所定の範囲内にいくつあるかをカウントして属性テーブルに格納する（Ｓ４１０）。車、電車、飛行機などの数をカウントするとき、ある時点の画像では存在しなくても、同一地点を撮影した別の画像を見ると存在することが頻繁におきる。そのため、これらの動体をカウントするとき、衛星画像を複数枚利用し、過去の多数の時点における動体の検出数を累積し、平均をとるなどして利用するとよい。また、類別のキーとなる地物との間の距離を測って属性テーブルに保持しておく。キーとなる地物は興味領域によって異なる。例えば、空港では滑走路との間の距離を計測しておくと、ターミナルや計器着陸装置など様々な施設の類別が可能になる。また、キーとなる地物との間に含まれる、建物ポリゴン数や、動体の数を属性テーブルに保持しておくとよい。

図６に、図４の建物属性テーブルの作成フローで作成した、建物属性テーブルの一例を示す。各建物ポリゴンに割り当てたＩＤに、色のスペクトル値、テクスチャ、植生指数、高さ、面積、形状クラス、所定の距離内の物体の数、キーとの距離、キーとの間の地物数、機械学習による推定クラスとその確率、抽出文字などの項目を備えている。

図５に路面属性テーブルの作成フローを示す。図２の処理の時点で抽出されている路面は材質別に分類されている想定であり、例えば、コンクリート、アスファルトの領域ポリゴンを想定する。路面クラスの類別では、上に載っている関連物体の検出が重要な処理となる（Ｓ５０１）。例えば、車が存在するまっすぐに細長い路面は道路であるし、大量に車が密集している広い路面は駐車場である可能性が高い。本処理は、建物ポリゴンの属性テーブルを埋めるときに用いた、物体検出ネットワークのフローを利用するとよい。検出した関連物体の領域を一定の大きさを持ったバッファで拡張する。そして、もとの路面の領域ポリゴンと重複範囲を判定し、領域ポリゴンの形状と座標を更新する（Ｓ５０２）。関連物体の抽出は形状の更新だけでなく、類別にも重要な情報を含む。移動手段を有する地物が載っている場合には、路面の種類を類別しやすくなる。多数の車が止まっていれば駐車場、電車が密集していれば屋外車庫、飛行機が密集していれば駐機所である。よって、各路面ポリゴンは上に載った地物の情報を保持するとよい。

また、領域ポリゴンの周辺をチップ画像に分割し、建物ポリゴンの時と同様に、位置・形状・類別クラスの分類確率を入手できる機械学習を導入して結果をテーブルに保存しておくとよい（Ｓ５０３～Ｓ５０５）。例えば、深層学習のインスタンス認識のネットワークを用いて、領域の形状と分類クラスの情報を取り出す処理を行ってもよい。インスタンス認識によって、ピクセル単位で路面の形状情報が抽出できるので、初期の路面領域ポリゴンの形状と一致判定し、重複領域を切り取るようにポリゴンを分割し、路面の領域ポリゴンの形状と座標を更新する（Ｓ５０６）。次に、建物ポリゴンについて行ったのと同様の処理を行う。すなわち、衛星画像のピクセル値から得られるスペクトル特徴量である色、テクスチャ、植生指数の抽出、形状抽出、面積算出、文字抽出などにより、路面属性テーブルを更新する（Ｓ５０７～Ｓ５１０）。

また、路面ポリゴンは隣接している地物が何であるかが重要な情報となるから、建物および路面ポリゴンとの接触判定をしておく。接触しているポリゴンの情報を、包含、隣接の情報とともに保存しておく（Ｓ５１１）。

図７に、図５の路面属性テーブルの作成フローで作成した、路面属性テーブルの一例を示す。各路面ポリゴンに割り当てたＩＤに、推定材質、色のスペクトル値、テクスチャ、植生指数、文字列、形状クラス、面積、積載地物、隣接する建物ポリゴン、包含する建物ポリゴン、機械学習による推定クラスとその確率などの項目を備えている。

各ポリゴンについて属性テーブルを作成したのち、図１Ａの処理フローの、各ポリゴンの類別処理を行う（Ｓ１０４）。類別処理は、図１Ｂのブロック構成図の、類別部１６が行う。

図８に、類別処理の処理フローを示す。本実施形態の類別処理方法は、建物類別プログラムと路面類別プログラムと、これらの途中経過を表示可能なユーザインタフェースによって実現され、インタラクティブな類別処理を可能とする。

社会で特定の機能を持つ建物は、設置場所において重要な機能を果たしているはずである。そのため、立地場所に意味があり、周辺の地物の特定に使えることが考えられる。逆に、特定の地物の場所が判明すると連鎖的に類別が可能な地物が増える場合も考えられる。これらの類別クラス間の関連度の高いものを、ルールベースで設定したり、機械学習の訓練フェーズで関連度を計算しておくとよい。路面は、周辺の建物によって似た外観をしていても呼び方が変わることがあるので、基本的には建物の類別後に類別可能になる場合が多い。

まず、各ポリゴンごとに属性テーブルの値を元に機械学習あるいはルールベースで地物のクラスを類別するとよい。この時に判定に使った属性値の情報と、確度の高さを保持しておく。

キーとなる地物をユーザインタフェース経由であらかじめ入力してもらうショートカットを設けてもよい（Ｓ８０１）。地物の情報が確定すると、類別に必要な情報がそろって、類別が可能になる建物が存在し増えていく。キーが確定すると、属性値（属性テーブル）のアップデートを行う（Ｓ８０２）。例えば、図６の建物属性テーブルの例では、キーとの距離やキーとの間の地物数が追加され、推定クラスが更新される。そして、各ポリゴンのクラス評価を行い（Ｓ８０３）、判定に用いた情報のうち、確度が高い結果を示したポリゴンから順にユーザインタフェースに提示する（Ｓ８０４、Ｓ８０５）。一定の閾値を超えた確度で分類ができたものをまとめて表示させるようにするとよい。ユーザインタフェースにより、類別候補が確定入力される（Ｓ８０６）。ユーザインタフェースで類別結果の正解判定をもらえる仕組みを用意し、その情報をもとに属性値のアップデートをかけて、類別処理とユーザインタフェースへの提示を繰り返し、徐々に類別済の地物を増やしていく。確度が一定の閾値を超える地物がなくなったときにこの繰り返し処理は終了する。そして、見つけられなかったクラスの情報、更新した属性テーブルをユーザインタフェースへ送り（Ｓ８０７）、ユーザインタフェースで参考情報・判定根拠の更新を行って（Ｓ８０８）、終了する。

本実施形態で類別結果を表示するインタフェースは、例えば図１０に示すように各ポリゴンを選択したときに、最もそれらしい類別クラスを提示し、根拠となった属性値を表示する。図１０の例では、「病院（スコア：０．９３）、ＸＸ病院の文字有り、ヘリポート有り、近くに大学あり」と表示する。また、検出の際に用いたほかの地物との位置関係を可視化する仕組みを持つとよい。例えば、港の近くに極端にたくさんの車が止まっている場所があれば、隣接する建物は貿易関連施設である、というように連想条件となる地物の関係性を可視化する仕組みを持っておくとよい。図１０の例では、「大学（スコア：０．６３）、ＸＸ学校の文字有り、プール有り、近くに病院あり」と表示する。あるポリゴンの類別結果を選択したとき、類別クラス、属性値を表示させることに加えて、関連ポリゴンを線でリンクしたり、ポップアップ表示やポリゴン明滅させたりするとよい。すべての建物と路面のポリゴンを評価し終わった後、当該地域で類別された地物と関連度が深いが、発見されなかった地物がある場合には、過去の事例を参考として、不足していた属性情報とともにレポートを提示するとよい（Ｓ８０７，Ｓ８０８）。レポート画面は類別候補の提示画面とは別ウィンドウ、同ウィンドウ内の別フレームまたは別タブに表示してもよいし、ログとして出力してもよい。

本発明を実現するハードウェア構成について、図１１に示す。CPU５３は本発明のプログラムを起動し、衛星画像の類別処理を実行する。衛星画像など演算に使用する画像データは一時的にメモリ５５に格納されるが、高速な計算が必要な場合、GPU５４のメモリにデータを転送し、GPUの演算サポートを使用してよい。類別結果は表示装置５１に表示される。ユーザは表示された結果に基づき、妥当性を確認してユーザインタフェース５６により、評価結果を入力する。評価結果の入力を受け付けると、記憶装置５２上の属性テーブルの更新を行う。通信インタフェース５７は、複数の計算機をもってシステムを構成する際や、実際の計算処理をクラウド上のインスタンスで実行するために使用してよい。

本発明の地物の分類システムは、計算機（コンピュータ）において、ＣＰＵが所定のプログラムをメモリ上にロードし、また、ＣＰＵがメモリ上にロードした所定のプラグラムを実行することにより実現できる。この所定のプログラムは、当該プログラムが記憶された記憶装置から、または、通信装置を介してネットワークから入力して、直接メモリ上にロードするか、もしくは、一旦、外部記憶装置に格納してから、メモリ上にロードすれば良い。

本発明におけるプログラムの発明は、このようにコンピュータに組み込まれ、コンピュータを地物の分類システムとして動作させるプログラムである。本発明のプログラムをコンピュータに組み込むことにより、図１Ｂの機能ブロック構成図に示される地物の分類システムが構成される。

上記実施の形態では、衛星画像を例に説明したが、本発明は、衛星画像に限らず、航空機などにより上空から地上を撮影した空撮画像全般に用いることもできる。

本実施の形態によれば、地物の分類において、ラベリングをアシストすることにより、作業工数を減らすことができる。

大量の空撮画像が利用可能になったときに、三次元情報を取り込んだ空撮画像の地物の分類方法を提供できる。

１１画像入力部
１２路面ポリゴン抽出部
１３建物ポリゴン抽出部
１４整形済みポリゴン取得部
１５属性テーブル作成部
１６類別部
１７属性テーブル
１８ユーザインタフェース
５１表示装置
５２記憶装置
５３ CPU
５４ GPU
５５メモリ
５６ユーザインタフェース
５７通信インタフェース

Claims

複数枚の空撮画像を用いて地物を分類する分類システムであって、
複数の解像度で認識した抽出結果を統合して路面ポリゴンを抽出する路面ポリゴン抽出部と、
複数の空撮画像ペアによる多眼ステレオで得られる三次元情報と前記路面ポリゴンを用いて建物ポリゴンを抽出する建物ポリゴン抽出部と、
前記建物ポリゴンと前記路面ポリゴンを類別するための各ポリゴンの画像特徴と幾何情報を取り出して属性テーブルに格納する属性テーブル作成部と、
前記属性テーブルを用いて建物ポリゴンを類別し、さらに、確度高く類別出来たポリゴンについて、他のポリゴンとの関係を評価して前記属性テーブルに追加更新し、類別処理を繰り返す類別部と、
を有する地物の分類システム。
請求項１に記載の地物の分類システムであって、更に、
抽出された前記建物ポリゴンおよび前記路面ポリゴンを構成する小ポリゴン群について、それぞれの小ポリゴンを包含するように一定の矩形領域を設定し、前記空撮画像を切り出してエッジを抽出し、エッジの情報を用いて整形済みポリゴンを得る整形済みポリゴン取得部を有することを特徴とする地物の分類システム。
請求項２に記載の地物の分類システムであって、
前記整形済みポリゴン取得部は、エッジの角度ヒストグラムを取り、頻度の上位の確度を用いて直線グリッドを形成し、前記小ポリゴンを２値ラスタライズしたデータに前記直線グリッドを重畳し、グリッド内の１の占有比率をもって残すグリッドを選択し、整形済ポリゴンを得ることを特徴とする地物の分類システム。
請求項１に記載の地物の分類システムであって、
前記属性テーブルは、
前記建物ポリゴンの属性値を有する建物属性テーブルと、
前記路面ポリゴンの属性値を有する路面属性テーブルと、
から構成されることを特徴とする地物の分類システム。
請求項１に記載の地物の分類システムであって、
前記属性テーブルは、各ポリゴンごとにIDを割り当て、それぞれの面積、高さ、形状等の幾何情報、画像処理によって得られる色、植生指数、テクスチャ等の画像特徴、深層学習による類別結果の推定クラス、前記類別部で得られる地物ポリゴンの位置関係を含むことを特徴とする地物の分類システム。
請求項２に記載の地物の分類システムであって、
ユーザインタフェースを有し、
前記ユーザインタフェースは、前記整形済みポリゴン取得部で得られる整形済みポリゴンの形状を段階的に表示し、ユーザ操作による頂点編集やラインの修正を受け付けることを特徴とする地物の分類システム。
請求項１に記載の地物の分類システムであって、
ユーザインタフェースを有し、
前記ユーザインタフェースは、前記類別部で得られる類別結果を表示し、ユーザ操作による類別結果の追加・削除・修正を受け付けることを特徴とする地物の分類システム。
請求項１に記載の地物の分類システムであって、
ユーザインタフェースを有し、
前記ユーザインタフェースは、前記類別部で得られる類別結果を、根拠となる１または複数の属性値を伴って表示することを特徴とする地物の分類システム。
請求項１に記載の地物の分類システムであって、
ユーザインタフェースを有し、
前記ユーザインタフェースは、前記類別部で得られるポリゴンごとの類別結果が他のポリゴンとの位置関係を用いて算出された場合、ポリゴン同士を結ぶ直線を追加したり、ポリゴンを明滅させたりして関係性を強調することを特徴とする地物の分類システム。
複数枚の空撮画像を用いて地物を分類する分類方法であって、
複数の解像度で認識した抽出結果を統合して路面ポリゴンを抽出する路面ポリゴン抽出ステップと、
複数の空撮画像ペアによる多眼ステレオで得られる三次元情報と前記路面ポリゴンを用いて建物ポリゴンを抽出する建物ポリゴン抽出ステップと、
前記建物ポリゴンと前記路面ポリゴンを類別するための各ポリゴンの画像特徴と幾何情報を取り出して属性テーブルに格納する属性テーブル作成ステップと、
前記属性テーブルを用いて建物を類別し、さらに、確度高く類別できたポリゴンについて、他のポリゴンとの関係を評価して前記属性テーブルに追加更新し、類別処理を繰り返す類別処理ステップと、
を有する地物の分類方法。
請求項１０に記載の地物の分類方法であって、更に、
抽出された前記建物ポリゴンおよび前記路面ポリゴンを構成する小ポリゴン群について、それぞれの小ポリゴンを包含するように一定の矩形領域を設定し、前記空撮画像を切り出してエッジを抽出し、エッジの情報を用いて整形済みポリゴンを得る整形済みポリゴン取得ステップを備えることを特徴とする地物の分類方法。
請求項１１に記載の地物の分類方法であって、
前記整形済みポリゴン取得ステップは、
空撮画像から整形前ポリゴンの周辺を切り出し、エッジの角度ヒストグラムを取り、頻度の上位の確度を用いて直線グリッドを形成し、前記小ポリゴンを２値ラスタライズしたデータに前記直線グリッドを重畳し、グリッド内の１の占有比率をもって残すグリッドを選択し、整形済ポリゴンを得ることを特徴とする地物の分類方法。
請求項1０に記載の地物の分類方法であって、
前記属性テーブルは、前記建物ポリゴンの属性値を有する建物属性テーブルと、前記路面ポリゴンの属性値を有する路面属性テーブルと、から構成されることを特徴とする地物の分類方法。
請求項１１に記載の地物の分類方法であって、
前記属性テーブルは、前記整形済みポリゴン取得ステップで得られる各ポリゴンごとにIDを割り当て、それぞれの面積、高さ、形状等の幾何情報、画像処理によって得られる色、植生指数、テクスチャ等の画像特徴、機械学習による類別結果の推定クラス、前記類別処理ステップで得られる地物ポリゴンの位置関係を含むことを特徴とする地物の分類方法。
コンピュータに、
複数枚の空撮画像を用いて地物を分類する分類方法であって、
複数の解像度で認識した抽出結果を統合して路面ポリゴンを抽出する路面ポリゴン抽出ステップと、
複数の空撮画像ペアによる多眼ステレオで得られる三次元情報と前記路面ポリゴンを用いて建物ポリゴンを抽出する建物ポリゴン抽出ステップと、
抽出された前記建物ポリゴンおよび前記路面ポリゴンを構成する小ポリゴン群について、それぞれの小ポリゴンを包含するように一定の矩形領域を設定し、前記空撮画像を切り出してエッジを抽出し、エッジの情報を用いて整形済みポリゴンを得る整形済みポリゴン取得ステップと、
前記建物ポリゴンと前記路面ポリゴンを類別するための画像特徴と幾何情報を取り出して属性テーブルに格納する属性テーブル作成ステップと、
前記属性テーブルを用いて建物を類別し、さらに、確度高く類別出来たポリゴンについて、他のポリゴンとの関係を評価して前記属性テーブルに追加更新し、類別処理を繰り返す類別処理ステップと、
を実行させるためのプログラム。