JP7045819B2 - Land cover learning data generator, land cover learning data, land cover classification prediction device and land cover learning data generation program - Google Patents

Land cover learning data generator, land cover learning data, land cover classification prediction device and land cover learning data generation program Download PDF

Info

Publication number
JP7045819B2
JP7045819B2 JP2017155288A JP2017155288A JP7045819B2 JP 7045819 B2 JP7045819 B2 JP 7045819B2 JP 2017155288 A JP2017155288 A JP 2017155288A JP 2017155288 A JP2017155288 A JP 2017155288A JP 7045819 B2 JP7045819 B2 JP 7045819B2
Authority
JP
Japan
Prior art keywords
image
sar
land cover
patch image
land
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017155288A
Other languages
Japanese (ja)
Other versions
JP2019035598A (en
Inventor
翔太 飯野
里保 伊東
健人 土居
友之 今泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Priority to JP2017155288A priority Critical patent/JP7045819B2/en
Publication of JP2019035598A publication Critical patent/JP2019035598A/en
Application granted granted Critical
Publication of JP7045819B2 publication Critical patent/JP7045819B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Description

本発明は、土地被覆学習データ生成装置、土地被覆学習データ、土地被覆分類予測装置及び土地被覆学習データ生成プログラムに関する。 The present invention relates to a land cover learning data generator, a land cover learning data, a land cover classification prediction device, and a land cover learning data generation program.

下記特許文献１には、合成開口レーダ（ＳＡＲ：synthetic aperture radar）による衛星画像（偏波複素画像データ）から土地被覆分類を作成する技術が開示されている。ここで、土地被覆分類とは、地表の物理形態や利用形態ごとの分類である。 The following Patent Document 1 discloses a technique for creating a land cover classification from a satellite image (polarized complex image data) by a synthetic aperture radar (SAR). Here, the land cover classification is a classification for each physical form and usage form of the ground surface.

しかし、ＳＡＲ画像は、光学画像と比較して視認性が悪く、専門家による解析が必要であった。このため、ＳＡＲ画像から土地被覆分類を作成するには、処理のためのコストと時間が掛かるという問題があった。 However, the SAR image has poor visibility as compared with the optical image, and requires analysis by an expert. Therefore, there is a problem that it takes a lot of cost and time to process the land cover classification from the SAR image.

そこで、ニューラルネットワークを使用してＳＡＲ画像の処理を行うことが考えられる。例えば、下記非特許文献１では、ニューラルネットワークによるディープラーニングを適用して衛星画像から土地被覆分類を作成する技術が提案されている。ニューラルネットワークを使用する技術は、土地被覆分類を予測し作成するコストと時間を削減できる。ただし、下記非特許文献１は光学画像が対象であるので、この技術をさらにＳＡＲ画像まで拡張することが望まれている。 Therefore, it is conceivable to process the SAR image using a neural network. For example, Non-Patent Document 1 below proposes a technique for creating a land cover classification from a satellite image by applying deep learning by a neural network. Techniques that use neural networks can reduce the cost and time of predicting and creating land cover classifications. However, since the following Non-Patent Document 1 is intended for optical images, it is desired to further extend this technique to SAR images.

特開２００５－１４０６０７号公報Japanese Unexamined Patent Publication No. 2005-140607.

伊東里保他、ディープラーニングを適用した衛星画像からの土地被覆分類手法の評価、人工知能学会全国大会（第30回）, 2016/6/9.Riho Ito et al., Evaluation of land cover classification method from satellite images to which deep learning is applied, Japanese Society for Artificial Intelligence National Convention (30th), 2016/6/9.

本発明の目的は、ニューラルネットワークを使用してＳＡＲ画像と高さデータ（ＤＥＭまたはＤＳＭ等）から高精度の土地被覆分類図を作成するための土地被覆学習データ、土地被覆学習データ生成装置、土地被覆分類予測装置及びプログラムを提供することにある。 An object of the present invention is a land cover learning data, a land cover learning data generator, and a land for creating a highly accurate land cover classification map from a SAR image and height data (DEM, DSM, etc.) using a neural network. The purpose is to provide a cover classification predictor and a program.

上記目的を達成するために、本発明の一実施形態は、ニューラルネットワークに土地被覆分類の予測処理を行わせるための土地被覆学習データを生成する土地被覆学習データ生成装置であって、ＳＡＲ（合成開口レーダ）画像を取得するＳＡＲ画像取得手段と、前記ＳＡＲ画像に対応する位置の高さデータを取得する高さデータ取得手段と、前記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを取得する正解データ取得手段と、前記正解データの位置に応じて、前記土地被覆分類毎に予め定めた大きさのＳＡＲパッチ画像と、前記ＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像と、を切り出すパッチ画像切出し手段と、前記ＳＡＲパッチ画像と前記高さデータパッチ画像とを前記土地被覆分類毎に組み合わせて出力する出力手段と、を備えることを特徴とする。 In order to achieve the above object, one embodiment of the present invention is a land covering learning data generation device for generating land covering learning data for causing a neural network to perform prediction processing of land covering classification, and is a SAR (synthesis). Aperture radar) Which area of the SAR image belongs to, the SAR image acquisition means for acquiring the image, the height data acquisition means for acquiring the height data of the position corresponding to the SAR image, and which area of the SAR image belongs to. The correct answer data acquisition means for acquiring the correct answer data, the SAR patch image of a predetermined size for each land covering classification according to the position of the correct answer data, and the height data of the same size as the SAR patch image. It is characterized by including a patch image cutting means for cutting out a patch image, and an output means for outputting the SAR patch image and the height data patch image in combination for each land covering classification.

上記土地被覆学習データ生成装置は、上記ＳＡＲパッチ画像と上記高さデータパッチ画像とを線形変換して標準化する標準化手段をさらに有するのが好適である。 It is preferable that the land cover learning data generation device further has a standardization means for linearly converting and standardizing the SAR patch image and the height data patch image.

また、上記ＳＡＲパッチ画像は、多偏波画像と多偏波画像から四則演算により算出した算出画像の組み合わせであるのが好適である。 Further, the SAR patch image is preferably a combination of a multi-polarized image and a calculated image calculated by four arithmetic operations from the multi-polarized image.

また、上記多偏波画像は、水平偏波で送受信したＨＨ画像、水平偏波で送信／垂直偏波で受信したＨＶ画像、垂直偏波で送信／水平偏波で受信したＶＨ画像及び垂直偏波で送受信したＶＶ画像であり、前記パッチ画像切り出し手段が切り出すＳＡＲパッチ画像は、前記ＨＨ画像、ＨＶ画像及びＨＨ画像をＨＶ画像で除した（ＨＨ画像／ＨＶ画像）算出画像であるのが好適である。 The multipolar image is an HH image transmitted / received by horizontal polarization, an HV image transmitted by horizontal polarization / received by vertical polarization, a VH image transmitted by vertical polarization / received by horizontal polarization, and a vertical bias. It is a VV image transmitted / received by a wave, and the SAR patch image cut out by the patch image cutting means is preferably a calculated image obtained by dividing the HH image, the HV image, and the HH image by the HV image (HH image / HV image). Is.

また、上記土地被覆分類は、人工物、水域、草地、樹木及び裸地であるのが好適である。 Further, it is preferable that the above land cover classification is artificial, water area, grassland, tree and bare land.

また、本発明の他の実施形態は、土地被覆学習データであって、土地被覆分類毎にＳＡＲ（合成開口レーダ）画像から予め定めた大きさで切り出されたパッチ画像と、当該パッチ画像に対応する位置の高さデータパッチ画像とが、土地被覆分類毎に組み合わされたことを特徴とする。 Further, another embodiment of the present invention corresponds to land cover learning data, which corresponds to a patch image cut out from a SAR (Synthetic Aperture Radar) image in a predetermined size for each land cover classification, and the patch image. It is characterized in that the height data patch image of the position to be used is combined for each land cover classification.

また、本発明のさらに他の実施形態は、土地被覆分類予測装置であって、上記土地被覆学習データにより、ＳＡＲパッチ画像と高さデータパッチ画像がいずれの土地被覆分類に属するかの予測処理を予め学習済であり、ＳＡＲ（合成開口レーダ）画像と高さデータを入力すると、それぞれの画素がいずれの土地被覆分類に属するか予測するニューラルネットワークを含むことを特徴とする。 Further, another embodiment of the present invention is a land cover classification prediction device, which predicts which land cover classification the SAR patch image and the height data patch image belong to by the land cover learning data. It is pre-learned and is characterized by including a neural network that predicts which land cover classification each pixel belongs to when a SAR (synthetic aperture radar) image and height data are input.

また、本発明のさらに他の実施形態は、ニューラルネットワークに土地被覆分類の予測処理を行わせるための土地被覆学習データを生成する土地被覆学習データ生成プログラムであって、コンピュータを、ＳＡＲ（合成開口レーダ）画像を取得するＳＡＲ画像取得手段、前記ＳＡＲ画像に対応する位置の高さデータを取得する高さデータ取得手段、前記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを取得する正解データ取得手段、前記正解データの位置に応じて、前記土地被覆分類毎に予め定めた大きさのＳＡＲパッチ画像と、前記ＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像と、を切り出すパッチ画像切出し手段、前記ＳＡＲパッチ画像と前記高さデータパッチ画像とを前記土地被覆分類毎に組み合わせて出力する出力手段、として機能させることを特徴とする。 Further, another embodiment of the present invention is a land covering learning data generation program for generating land covering learning data for causing a neural network to perform prediction processing of land covering classification, and a computer is SAR (synthetic opening). Radar) SAR image acquisition means for acquiring images, height data acquisition means for acquiring height data of positions corresponding to the SAR images, correct data as to which area of the SAR image belongs to which land covering classification. A SAR patch image of a predetermined size for each land covering classification, a height data patch image of the same size as the SAR patch image, and a height data patch image of the same size as the SAR patch image, depending on the correct answer data acquisition means for acquiring the correct answer data and the position of the correct answer data. It is characterized in that it functions as a patch image cutting means for cutting out, and an output means for outputting the SAR patch image and the height data patch image in combination for each land covering classification.

本発明によれば、ニューラルネットワークを適用した高精度の土地被覆分類の予測処理を実現するための土地被覆学習データを生成することができる。 According to the present invention, it is possible to generate land cover learning data for realizing highly accurate land cover classification prediction processing to which a neural network is applied.

実施形態にかかる土地被覆学習データ生成装置の構成例の機能ブロック図である。It is a functional block diagram of the configuration example of the land cover learning data generation apparatus which concerns on embodiment. 実施形態にかかる高さデータ変換部の処理の説明図である。It is explanatory drawing of the process of the height data conversion part which concerns on embodiment. 正解データの作成方法の説明図である。It is explanatory drawing of the method of making a correct answer data. 実施形態にかかるパッチ画像切出し部によるパッチ画像及び高さデータの切り出し方法の説明図である。It is explanatory drawing of the method of cutting out the patch image and the height data by the patch image cutting part which concerns on embodiment. 実施形態にかかる出力部が出力する土地被覆学習データの例を示す図である。It is a figure which shows the example of the land cover learning data output by the output part which concerns on embodiment. ニューラルネットワークの土地被覆学習データのパッチ画像を切り出す際に使用されるＳＡＲパッチ画像および高さデータパッチ画像の構成例を示す図である。It is a figure which shows the composition example of the SAR patch image and the height data patch image used when cutting out the patch image of the land cover training data of a neural network. ニューラルネットワークによる土地被覆分類の予測実験から予測結果の正確度を求める方法の説明図である。It is explanatory drawing of the method of obtaining the accuracy of the prediction result from the prediction experiment of the land cover classification by a neural network. 図７の方法により求めた、偏波画像の組み合わせと正確度との関係を示す図である。It is a figure which shows the relationship between the combination of the polarization images and the accuracy obtained by the method of FIG. ニューラルネットワークの学習方法の説明図である。It is explanatory drawing of the learning method of a neural network. ニューラルネットワークの出力例を示す図である。It is a figure which shows the output example of a neural network. 実施形態にかかる土地被覆学習データ生成装置の動作例のフロー図である。It is a flow chart of the operation example of the land cover learning data generation apparatus which concerns on embodiment.

以下、本発明を実施するための形態（以下、実施形態という）を、図面に従って説明する。 Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as embodiments) will be described with reference to the drawings.

図１には、実施形態にかかる土地被覆学習データ生成装置１００の構成例の機能ブロック図が示される。図１において、土地被覆学習データ生成装置１００は、ＳＡＲ画像取得部１０、高さデータ取得部１２、高さデータ変換部１４、正解データ取得部１６、パッチ画像切出し部１８、標準化部２０、出力部２２、表示制御部２４、通信部２６、記憶部２８及びＣＰＵ３０を含んで構成されている。なお、ＣＰＵ３０以外にＧＰＵを用いてもよい。上記土地被覆学習データ生成装置１００は、ＣＰＵ３０、ＲＯＭ、ＲＡＭ、不揮発性メモリ、Ｉ／Ｏ、通信インターフェース等を備え、装置全体の制御及び各種演算を行うコンピュータとして構成されており、上記各機能は、例えばＣＰＵ３０とＣＰＵ３０の処理動作を制御するプログラムとにより実現される。 FIG. 1 shows a functional block diagram of a configuration example of the land cover learning data generation device 100 according to the embodiment. In FIG. 1, the land covering learning data generation device 100 includes a SAR image acquisition unit 10, a height data acquisition unit 12, a height data conversion unit 14, a correct answer data acquisition unit 16, a patch image cutting unit 18, a standardization unit 20, and an output. It includes a unit 22, a display control unit 24, a communication unit 26, a storage unit 28, and a CPU 30. A GPU may be used in addition to the CPU 30. The land covering learning data generation device 100 includes a CPU 30, ROM, RAM, non-volatile memory, I / O, a communication interface, and the like, and is configured as a computer that controls the entire device and performs various calculations. For example, it is realized by the CPU 30 and a program that controls the processing operation of the CPU 30.

ＳＡＲ画像取得部１０は、人工衛星に搭載したＳＡＲ（合成開口レーダ）により撮影した地表の衛星画像（以後、ＳＡＲ画像という）を取得する。ＳＡＲ画像のソースは限定されず、例えば通信部２６を介して適宜なサーバーからネットワーク経由で取得してもよいし、ディスク装置その他の適宜な入力手段から取得してもよい。ＳＡＲ画像は、単偏波画像であってもよいが、多偏波画像であるのが好適である。ここで、多偏波画像は、水平偏波で送受信したＨＨ画像、水平偏波で送信／垂直偏波で受信したＨＶ画像、垂直偏波で送信／水平偏波で受信したＶＨ画像及び垂直偏波で送受信したＶＶ画像により構成された画像であり、多偏波画像が２偏波の場合は、例えば上記ＨＨ画像及び ＨＶ画像により構成される。また、単偏波画像は、上記いずれか１つの偏波画像で構成された画像である。さらに、各偏波画像の任意の組み合わせから予め決定した演算（例えば、加減乗除）を行って求めた算出画像を使用してもよい。いずれの組み合わせにより土地被覆学習データを生成するかについては、後述するように、ニューラルネットワークによる土地被覆分類の予測実験を行い、予測結果の正確度が高くなる組み合わせを採用する。取得したＳＡＲ画像は、記憶部２８に記憶させる。 The SAR image acquisition unit 10 acquires a satellite image of the ground surface (hereinafter referred to as a SAR image) taken by a SAR (Synthetic Aperture Radar) mounted on an artificial satellite. The source of the SAR image is not limited, and may be acquired from an appropriate server via a network via, for example, a communication unit 26, or may be acquired from a disk device or other appropriate input means. The SAR image may be a monopolar image, but is preferably a multipolar image. Here, the multi-polarized image is an HH image transmitted / received by horizontal polarization, an HV image transmitted by horizontal polarization / received by vertical polarization, a VH image transmitted by vertical polarization / received by horizontal polarization, and vertical bias. It is an image composed of VV images transmitted and received by waves, and when the multi-polarized image is bipolarized, it is composed of, for example, the above-mentioned HH image and HV image. Further, the single polarization image is an image composed of any one of the above polarization images. Further, a calculated image obtained by performing a predetermined operation (for example, addition, subtraction, multiplication and division) from an arbitrary combination of each polarization image may be used. As for which combination is used to generate the land cover learning data, as will be described later, a prediction experiment of the land cover classification by the neural network is performed, and the combination with high accuracy of the prediction result is adopted. The acquired SAR image is stored in the storage unit 28.

なお、ＳＡＲ画像取得部１０は、取得したＳＡＲ画像について、後方散乱係数変換、スペックルノイズ（高周波ノイズ）除去処理等の前処理を行ってから記憶部２８に記憶させるのが好適である。 It is preferable that the SAR image acquisition unit 10 stores the acquired SAR image in the storage unit 28 after performing preprocessing such as backscattering coefficient conversion and speckle noise (high frequency noise) removal processing.

高さデータ取得部１２は、上記ＳＡＲ画像に対応する位置の高さデータを取得する。高さデータは、例えば数値標高モデル（ＤＥＭ：Digital Elevation Model）あるいは数値表層モデル（ＤＳＭ：Digital Surface Model）から取得することができるが、地表面とその上にある地物表面の標高（建物や樹木等の高さ）を含むＤＳＭが好適である。高さデータ取得部１２は、ＳＡＲ画像とこれに対応する位置のＤＥＭ又はＤＳＭとを比較し、例えばＳＡＲ画像の画素毎に高さデータ（標高データ）を取得し、各画素と関連付けて記憶部２８に記憶させる。 The height data acquisition unit 12 acquires height data at a position corresponding to the SAR image. Height data can be obtained from, for example, a digital elevation model (DEM) or a digital surface model (DSM), but the elevations of the ground surface and the surface of the feature above it (buildings and A DSM containing the height of a tree or the like) is suitable. The height data acquisition unit 12 compares the SAR image with the DEM or DSM at the position corresponding to the SAR image, acquires height data (elevation data) for each pixel of the SAR image, and associates the SAR image with each pixel to store the data. Make it memorize in 28.

高さデータ変換部１４は、上記高さデータ取得部１２が取得した高さデータを記憶部２８から読み出し、上記ＳＡＲ画像取得部１０が取得したＳＡＲ画像と同じ範囲で切り出すと共に、切り出した高さデータをＳＡＲ画像と同じ画像サイズに変換し、記憶部２８に記憶させる。この場合、ＳＡＲ画像の範囲は、ＳＡＲ画像取得部１０が取得した際の範囲である。これらの高さデータ変換部１４の処理の詳細は後述する。なお、高さデータ変換部１４の処理を省略しても良い。 The height data conversion unit 14 reads out the height data acquired by the height data acquisition unit 12 from the storage unit 28, cuts out the height data in the same range as the SAR image acquired by the SAR image acquisition unit 10, and cuts out the height. The data is converted into the same image size as the SAR image and stored in the storage unit 28. In this case, the range of the SAR image is the range when the SAR image acquisition unit 10 acquires it. Details of the processing of these height data conversion units 14 will be described later. The processing of the height data conversion unit 14 may be omitted.

正解データ取得部１６は、上記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを受け付ける。ここで正解データとは、例えばＳＡＲ画像と、これに対応する光学画像とを比較して使用者が設定したＳＡＲ画像の各領域の土地被覆分類のデータである。例えば、設定された土地被覆分類が確実（他の分類と判断される可能性が極めて低い）領域における土地被覆分類のデータとすることもできる。この正解データは、適宜な入力手段（マウス等のポインティングデバイス、キーボード、タッチパネル等）により入力し、正解データ取得部１６が取得して記憶部２８に記憶させる。ここで、正解データは、上記ＳＡＲ画像及び高さデータ変換部１４による変換後の高さデータと同じ範囲（同じ座標の範囲）とされている。正解データの上記ＳＡＲ画像及び高さデータと同じ範囲への変換は、必要に応じて正解データ取得部１６が行う。 The correct answer data acquisition unit 16 receives correct answer data as to which area of the SAR image belongs to which land cover classification. Here, the correct answer data is, for example, data of land cover classification of each region of the SAR image set by the user by comparing the SAR image with the corresponding optical image. For example, it can be the data of the land cover classification in the area where the set land cover classification is certain (it is extremely unlikely to be judged as another classification). This correct answer data is input by an appropriate input means (pointing device such as a mouse, keyboard, touch panel, etc.), and is acquired by the correct answer data acquisition unit 16 and stored in the storage unit 28. Here, the correct answer data is in the same range (range of the same coordinates) as the height data after conversion by the SAR image and the height data conversion unit 14. The conversion of the correct answer data to the same range as the SAR image and the height data is performed by the correct answer data acquisition unit 16 as necessary.

なお、上記土地被覆分類のクラス（分類の種類）としては、例えば「人工物」、「水域」、「樹木」、「草地」、「裸地」等が挙げられるが、これらには限定されない。ここで、上記「人工物」とは、人工の建築物、道路等であり、「水域」とは、海、湖、河川等であり、「樹木」とは、高木や低木であり、「草地」とは、「樹木」以外の植生であり、「裸地」とは、植物や建築物などに覆われておらず、土がむきだしになっている土地である。 The class (type of classification) of the land cover classification includes, for example, "artificial object", "water area", "tree", "grassland", "bare land" and the like, but is not limited thereto. Here, the above-mentioned "artificial object" is an artificial building, a road, etc., the "water area" is a sea, a lake, a river, etc., and the "tree" is a tree, a shrub, etc., and "grassland". "" Is vegetation other than "trees", and "bare land" is land that is not covered with plants or buildings and the soil is exposed.

パッチ画像切出し部１８は、上記正解データと高さデータ変換部１４による変換後の高さデータとを記憶部２８から読みだし、この正解データの位置に応じて、上記土地被覆分類のクラス毎に予め定めた大きさのＳＡＲパッチ画像及びＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像を切り出す。ここで、「正解データの位置に応じてＳＡＲパッチ画像及び高さデータパッチ画像を切り出す」とは、正解データの位置に対応するＳＡＲ画像上の位置からＳＡＲパッチ画像を切り出すとともに、このＳＡＲパッチ画像と同じ範囲（同じ座標の範囲）の高さデータである高さデータパッチ画像を切り出すことをいう。この場合、切り出されたＳＡＲパッチ画像と高さデータパッチ画像には、上記正解データの位置に応じて設定されている正解データとしての土地被覆分類のクラスが関連づけられる。なお、ＳＡＲパッチ画像及び高さデータパッチ画像の切り出しは、使用者がＳＡＲ画像及びこれに対応するＤＥＭ又はＤＳＭを画面上で確認しながら適宜な入力手段（マウス等のポインティングデバイス、キーボード、タッチパネル等）により各パッチ画像を指定し、指定された各パッチ画像をパッチ画像切出し部１８が受け付ける構成とすることができる。また、ツール等から自動で各パッチ画像を作成し、パッチ画像切出し部１８が受け付ける構成も可能である。 The patch image cutting unit 18 reads the correct answer data and the height data converted by the height data conversion unit 14 from the storage unit 28, and according to the position of the correct answer data, for each of the land covering classification classes. A SAR patch image having a predetermined size and a data patch image having the same height as the SAR patch image are cut out. Here, "cutting out the SAR patch image and the height data patch image according to the position of the correct answer data" means cutting out the SAR patch image from the position on the SAR image corresponding to the position of the correct answer data and cutting out this SAR patch image. It means to cut out a height data patch image which is height data in the same range (range of the same coordinates) as. In this case, the cut out SAR patch image and the height data patch image are associated with the land cover classification class as the correct answer data set according to the position of the correct answer data. The SAR patch image and the height data patch image are cut out by an appropriate input means (pointing device such as a mouse, keyboard, touch panel, etc.) while the user confirms the SAR image and the corresponding DEM or DSM on the screen. ) Can be used to specify each patch image, and the patch image cutting unit 18 can accept each of the designated patch images. It is also possible to automatically create each patch image from a tool or the like and accept it by the patch image cutting unit 18.

また、ＳＡＲパッチ画像を切り出す際に、ＳＡＲパッチ画像の内部にＳＡＲパッチ画像より小さい関心領域を設定する。この関心領域は、ＳＡＲパッチ画像のパラメータの一つとして使用者が設定し、関心領域が属する土地被覆分類のクラス（ＳＡＲパッチ画像が切り出された領域に正解データとして設定されているクラス）が、当該ＳＡＲパッチ画像及び高さデータパッチ画像のクラスとして設定される。パッチ画像切出し部１８が切り出したＳＡＲパッチ画像及び高さデータパッチ画像は、記憶部２８に記憶させる。なお、両パッチ画像の切り出し方法の詳細は後述する。 Further, when cutting out the SAR patch image, a region of interest smaller than the SAR patch image is set inside the SAR patch image. This area of interest is set by the user as one of the parameters of the SAR patch image, and the class of land covering classification to which the area of interest belongs (the class set as correct data in the area where the SAR patch image is cut out) It is set as a class of the SAR patch image and the height data patch image. The SAR patch image and the height data patch image cut out by the patch image cutting unit 18 are stored in the storage unit 28. The details of the method of cutting out both patch images will be described later.

標準化部２０は、上記パッチ画像切出し部１８が切り出したＳＡＲパッチ画像と高さデータパッチ画像とを線形変換して標準化する。標準化の例としては、上記読み出した複数のＳＡＲパッチ画像の画素値及び高さデータパッチ画像の高さデータの各々の平均値が０、標準偏差が１となるように線形変換することが挙げられる。この場合、ＳＡＲパッチ画像の画素値の標準化は、上記偏波画像毎に行い、高さデータパッチ画像の標準化は、高さデータを用いて行う。この標準化により、ニューラルネットワークの学習の効率化を図ることができる。標準化後のＳＡＲパッチ画像と高さデータパッチ画像とは、標準化部２０が記憶部２８に記憶させる。 The standardization unit 20 linearly converts and standardizes the SAR patch image cut out by the patch image cutting unit 18 and the height data patch image. An example of standardization is linear conversion so that the average value of each of the pixel values and height data of the plurality of SAR patch images read out and the height data of the patch image is 0 and the standard deviation is 1. .. In this case, the standardization of the pixel value of the SAR patch image is performed for each of the polarization images, and the standardization of the height data patch image is performed using the height data. By this standardization, the learning efficiency of the neural network can be improved. The standardized SAR patch image and the height data patch image are stored in the storage unit 28 by the standardization unit 20.

出力部２２は、上記パッチ画像切出し部１８が切り出したＳＡＲパッチ画像と高さデータパッチ画像とを記憶部２８から読み出し、上記土地被覆分類のクラス毎に組み合わせて土地被覆学習データとして出力する。この場合、標準化部２０が標準化した後のＳＡＲパッチ画像と高さデータパッチ画像を使用することが好適である。出力結果（土地被覆学習データ）は、記憶部２８に記憶させるとともに、例えば表示制御部２４が適宜な表示装置に表示させることができる。 The output unit 22 reads out the SAR patch image cut out by the patch image cutting unit 18 and the height data patch image from the storage unit 28, combines them for each of the land cover classification classes, and outputs them as land cover learning data. In this case, it is preferable to use the SAR patch image and the height data patch image after the standardization unit 20 has standardized. The output result (land cover learning data) can be stored in the storage unit 28, and for example, the display control unit 24 can display it on an appropriate display device.

表示制御部２４は、液晶表示素子その他の適宜な表示装置を制御して、上記出力部２２が出力した土地被覆学習データ等を表示する。 The display control unit 24 controls the liquid crystal display element and other appropriate display devices to display the land cover learning data and the like output by the output unit 22.

通信部２６は、適宜なインターフェースにより構成され、無線または有線の通信回線を介してＣＰＵ３０が外部のサーバー等とデータ（例えば、ＳＡＲ画像等）をやり取りするために使用する。 The communication unit 26 is configured by an appropriate interface and is used by the CPU 30 to exchange data (for example, SAR image or the like) with an external server or the like via a wireless or wired communication line.

記憶部２８は、ハードディスク装置、ソリッドステートドライブ（ＳＳＤ）等の不揮発性メモリで構成され、上記各種情報等、及びＣＰＵ３０の動作プログラム等の、土地被覆学習データ生成装置１００が行う各処理に必要な情報を記憶する。なお、記憶部２８としては、デジタル・バーサタイル・ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、電気的消去および書き換え可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ等を使用してもよい。また、記憶部２８には、主としてＣＰＵ３０の作業領域として機能するランダムアクセスメモリ（ＲＡＭ）、及びＢＩＯＳ等の制御プログラムその他のＣＰＵ３０が使用するデータが格納される読み出し専用メモリ（ＲＯＭ）を含めるのが好適である。 The storage unit 28 is composed of a non-volatile memory such as a hard disk device and a solid state drive (SSD), and is necessary for each process performed by the land covering learning data generation device 100 such as the above-mentioned various information and the operation program of the CPU 30. Memorize information. The storage unit 28 includes a digital versatile disk (DVD), a compact disk (CD), a magneto-optical disk (MO), a flexible disk (FD), a magnetic tape, an electrically erasable and rewritable read-only memory ( EEPROM), flash memory, etc. may be used. Further, the storage unit 28 includes a random access memory (RAM) that mainly functions as a work area of the CPU 30, and a read-only memory (ROM) that stores a control program such as a BIOS and other data used by the CPU 30. Suitable.

図２（ａ）、（ｂ）、（ｃ）には、高さデータ変換部１４の処理の説明図が示される。図２（ａ）は、高さデータ取得部１２が取得した（高さデータ変換部１４が記憶部２８から読み出した）地表座標が付与されている高さデータの例であり、画像サイズが６００×６００画素、座標（画像の範囲）が左上（１２８，１４）、右下（１３４，８）となっている。 2A, 2B, and 2C show explanatory diagrams of the processing of the height data conversion unit 14. FIG. 2A is an example of height data to which the ground surface coordinates acquired by the height data acquisition unit 12 (read by the height data conversion unit 14 from the storage unit 28) are given, and the image size is 600. × 600 pixels, the coordinates (image range) are the upper left (128, 14) and the lower right (134, 8).

また、図２（ｂ）は、ＳＡＲ画像取得部１０が取得した（高さデータ変換部１４が記憶部２８から読み出した）地表座標が付与されているＳＡＲ画像の例であり、画像サイズが３００×３００画素、座標（画像の範囲）が左上（１３０，１２）、右下（１３１，１１）となっている。 Further, FIG. 2B is an example of a SAR image to which the ground surface coordinates acquired by the SAR image acquisition unit 10 (read by the height data conversion unit 14 from the storage unit 28) are given, and the image size is 300. × 300 pixels, the coordinates (image range) are the upper left (130, 12) and the lower right (131, 11).

高さデータ変換部１４は、上記ＳＡＲ画像から左上と右下の座標の情報を取得し、高さデータの座標（画像の範囲）をＳＡＲ画像と同じ座標で切る（同じ画像範囲とする）とともに、高さデータの画像サイズをＳＡＲ画像と同じ画像サイズに変換して記憶部２８に記憶させる。この結果、図２（ｃ）に示されるように、ＳＡＲ画像と画像サイズ（３００×３００画素）、座標（左上（１３０，１２）、右下（１３１，１１））が同じである高さデータが生成される。 The height data conversion unit 14 acquires information on the upper left and lower right coordinates from the SAR image, cuts the coordinates of the height data (image range) at the same coordinates as the SAR image (makes it the same image range), and at the same time. , The image size of the height data is converted into the same image size as the SAR image and stored in the storage unit 28. As a result, as shown in FIG. 2 (c), the height data has the same image size (300 × 300 pixels) and coordinates (upper left (130, 12), lower right (131, 11)) as the SAR image. Is generated.

なお、図２（ａ）、（ｂ）、（ｃ）に示された画像サイズ、座標の数値は説明の便宜のための例示であり、本実施形態がこれらの数値に限定される意味ではない。 The numerical values of the image size and coordinates shown in FIGS. 2A, 2B, and 2C are examples for convenience of explanation, and the present embodiment is not limited to these numerical values. ..

また、上記正解データも、図２（ｂ）、（ｃ）に例示されたＳＡＲ画像及び高さデータと同じ画像サイズ（３００×３００画素）、座標（左上（１３０，１２）、右下（１３１，１１））で記憶部２８に記憶されている。 Further, the correct answer data also has the same image size (300 × 300 pixels), coordinates (upper left (130, 12), lower right (131) as the SAR image and height data exemplified in FIGS. 2 (b) and 2 (c). , 11)) stored in the storage unit 28.

図３（ａ）、（ｂ）には、正解データの作成方法の説明図が示される。図３（ａ）では、地表の同じ領域を撮影した光学画像とＳＡＲ画像とが並べられている。使用者は、これらの光学画像とＳＡＲ画像とを比較し、各画像上のいずれの領域が上記いずれの土地被覆分類のクラスに相当するかを判断する。 FIGS. 3A and 3B show explanatory diagrams of a method of creating correct answer data. In FIG. 3A, an optical image obtained by photographing the same area on the ground surface and a SAR image are arranged side by side. The user compares these optical images with the SAR images to determine which region on each image corresponds to which of the above land cover classification classes.

土地被覆分類のクラスが判断された領域は、正解データとして使用する領域とされ、図３（ｂ）に示されるように、ＳＡＲ画像から抜き出される。抜き出された各領域は、図３（ｂ）の例では、凡例に示されるクラスであることが確実である領域を正解データとして使用しているが、これには限定されず、土地被覆分類が混在した領域を正解データとして使用してもよい。なお、図３（ｂ）に示された正解データの範囲（凡例に対応する領域がない部分も含めた長方形で囲まれた範囲）は、上記ＳＡＲ画像取得部１０が取得したＳＡＲ画像に対応した領域であり、上述したように、ＳＡＲ画像及び高さデータと同じ範囲に変換されている。 The area where the land cover classification class is determined is regarded as the area to be used as the correct answer data, and is extracted from the SAR image as shown in FIG. 3 (b). In the example of FIG. 3B, each extracted area uses the area that is certain to be the class shown in the legend as the correct answer data, but is not limited to this, and the land cover classification is not limited to this. You may use the area where is mixed as the correct answer data. The range of the correct answer data shown in FIG. 3 (b) (the range surrounded by the rectangle including the portion having no area corresponding to the legend) corresponds to the SAR image acquired by the SAR image acquisition unit 10. It is a region, and as described above, it is converted into the same range as the SAR image and the height data.

以上のようにして抜き出された各領域は、上述したように、適宜な入力手段により土地被覆学習データ生成装置１００に入力され、正解データ取得部１６が受け付けて記憶部２８に記憶させる。 As described above, each region extracted as described above is input to the land cover learning data generation device 100 by an appropriate input means, and is received by the correct answer data acquisition unit 16 and stored in the storage unit 28.

図４には、パッチ画像切出し部１８によるＳＡＲパッチ画像及び高さデータパッチ画像の切り出し方法の説明図が示される。パッチ画像切出し部１８は、上記正解データを記憶部２８から読みだし、図３（ｂ）に例示された正解データの位置に応じて設定された土地被覆分類のクラス毎に、上記正解データの位置に対応するＳＡＲ画像上の位置から予め定めた大きさのＳＡＲパッチ画像を切り出す。ＳＡＲパッチ画像の形状は正方形が好ましいが、長方形等の他の形状であってもよい。なお、このときに使用されるＳＡＲ画像は、上記多偏波画像から選択される複数の偏波画像であるのが好適である。また、図３（ｂ）に例示されるように、土地被覆分類のクラスが確実である（他のクラスと判断される可能性が極めて低い）領域から上記ＳＡＲパッチ画像を切り出してもよいし、クラスが混在した領域からＳＡＲパッチ画像を切り出してもよい。これにより、各クラスのＳＡＲパッチ画像を切り出すことができる。 FIG. 4 shows an explanatory diagram of a method of cutting out a SAR patch image and a height data patch image by the patch image cutting unit 18. The patch image cutting unit 18 reads the correct answer data from the storage unit 28, and positions the correct answer data for each land cover classification class set according to the position of the correct answer data exemplified in FIG. 3 (b). A SAR patch image of a predetermined size is cut out from the position on the SAR image corresponding to. The shape of the SAR patch image is preferably a square, but may be another shape such as a rectangle. The SAR image used at this time is preferably a plurality of polarized images selected from the multi-polarized images. Further, as illustrated in FIG. 3B, the SAR patch image may be cut out from a region where the land cover classification class is certain (very unlikely to be judged as another class). The SAR patch image may be cut out from the area where the classes are mixed. This makes it possible to cut out SAR patch images of each class.

また、パッチ画像切出し部１８は、高さデータ変換部１４が変換した高さデータを記憶部２８から読みだし、上記切り出したＳＡＲパッチ画像と同じ座標（同じ画像範囲）で切り出し、クラス、画像サイズ、座標が共通するＳＡＲパッチ画像及び高さデータパッチ画像を生成する。生成したＳＡＲパッチ画像及び高さデータパッチ画像は、記憶部２８に記憶させる。 Further, the patch image cutting unit 18 reads out the height data converted by the height data conversion unit 14 from the storage unit 28, cuts it out at the same coordinates (same image range) as the SAR patch image cut out, class, and image size. , Generates a SAR patch image and a height data patch image with common coordinates. The generated SAR patch image and height data patch image are stored in the storage unit 28.

図５（ａ）、（ｂ）には、出力部２２が出力する土地被覆学習データの例が示される。図５（ａ）の例では、各クラス（人工物、水域、草地、樹木、裸地）について、偏波画像のうち、ＨＨ画像、ＨＶ画像及びＨＨ画像をＨＶ画像で除した（ＨＨ画像／ＨＶ画像）算出画像（以後、ＨＨ／ＨＶ画像ということがある）がＳＡＲパッチ画像として使用されている。これは、後述するニューラルネットワークによる土地被覆分類の予測実験から求めた予測結果の正確度が高くなる組み合わせであるが、これには限定されず、対象となる地表の状況により、上記予測結果の正確度が高くなる組み合わせを適宜決定することができる。 FIGS. 5A and 5B show examples of land cover learning data output by the output unit 22. In the example of FIG. 5A, for each class (artificial object, water area, grassland, tree, bare land), the HH image, the HV image, and the HH image among the polarization images are divided by the HV image (HH image / HV image) A calculated image (hereinafter sometimes referred to as an HH / HV image) is used as a SAR patch image. This is a combination that increases the accuracy of the prediction result obtained from the prediction experiment of the land cover classification by the neural network described later, but is not limited to this, and the accuracy of the above prediction result depends on the condition of the target ground surface. The combination with a high degree can be appropriately determined.

また、図５（ａ）の例では、標高（地表とその上にある地物表面の高さ情報）を有するＤＳＭから切り出された高さデータパッチ画像が使用されている。後述するように、ＤＳＭを含めて土地被覆学習データを生成した方が、ＤＳＭを含めない場合に比べてニューラルネットワークによる予測結果の正確度が高くなるからである。 Further, in the example of FIG. 5A, a height data patch image cut out from a DSM having an altitude (height information of the ground surface and the surface of the feature above it) is used. This is because, as will be described later, the accuracy of the prediction result by the neural network is higher when the land cover learning data including the DSM is generated than when the DSM is not included.

以上の各偏波画像から切り出したＳＡＲパッチ画像及び高さデータパッチ画像は、図３（ｂ）に例示された各クラスの領域において、同じ座標を有する画像及び高さデータが組み合わされている。すなわち、図５（ｂ）に示されるように、各クラス（人工物、水域、草地、樹木、裸地）について、ＨＨ画像、ＨＶ画像及びＨＨ／ＨＶ画像から切り出したＳＡＲパッチ画像とこれと同じ座標の高さデータパッチ画像の４つのデータの組み合わせを一つの土地被覆学習データとし、この組をクラス毎に多数作成する。この際に作成されるデータの組み合わせの数は特に限定されないが、各クラスについて５００組以上、好ましくは１０００組以上である。 The SAR patch image and height data patch image cut out from each of the above polarization images are a combination of images having the same coordinates and height data in the regions of each class exemplified in FIG. 3 (b). That is, as shown in FIG. 5 (b), each class (artificial object, water area, grassland, tree, bare land) is the same as the SAR patch image cut out from the HH image, the HV image, and the HH / HV image. Coordinate height data The combination of the four data of the patch image is regarded as one land cover learning data, and many of these sets are created for each class. The number of combinations of data created at this time is not particularly limited, but is 500 or more, preferably 1000 or more for each class.

図６には、ＳＡＲパッチ画像および高さデータパッチ画像の構成例が示される。図６に示されるように、ＳＡＲパッチ画像および高さデータパッチ画像Ｐには、その内部にＳＡＲパッチ画像および高さデータパッチ画像Ｐより小さい関心領域ＲＯＩが設定される。なお、上述したように、関心領域ＲＯＩは、ＳＡＲパッチ画像および高さデータパッチ画像を切り出す際にＳＡＲパッチ画像および高さデータパッチ画像のパラメータとして使用者が設定する。ここで、「ＳＡＲパッチ画像および高さデータパッチ画像Ｐより小さい」とは、関心領域ＲＯＩの周囲に、ＳＡＲパッチ画像および高さデータパッチ画像Ｐの外側境界線Ｌとの間に形成されたコンテキスト（周囲情報）Ｃが存在することをいう。なお、図６に示された例では、ＳＡＲパッチ画像および高さデータパッチ画像Ｐと関心領域ＲＯＩとが正方形で示されているが、これらの形状は正方形に限定されない。土地被覆分類の予測処理が高精度且つ効率的に実行できる形状であればいずれも採用でき、例えば長方形等であってもよい。また、ＳＡＲパッチ画像および高さデータパッチ画像Ｐにおける関心領域ＲＯＩとコンテキストＣとの大きさ（面積）の割合は、後述する土地被覆分類の予測結果の正確度に応じて適宜決定することができる。例えば、関心領域ＲＯＩのサイズが１００ｍ×１００ｍの場合、関心領域ＲＯＩを含むＳＡＲパッチ画像および高さデータパッチ画像Ｐのサイズは３００ｍ×３００ｍ～７００ｍ×７００ｍほどが好適である。 FIG. 6 shows a configuration example of the SAR patch image and the height data patch image. As shown in FIG. 6, in the SAR patch image and the height data patch image P, a region of interest ROI smaller than the SAR patch image and the height data patch image P is set inside the SAR patch image and the height data patch image P. As described above, the region of interest ROI is set by the user as a parameter of the SAR patch image and the height data patch image when the SAR patch image and the height data patch image are cut out. Here, "smaller than the SAR patch image and the height data patch image P" means a context formed around the region of interest ROI between the SAR patch image and the outer boundary line L of the height data patch image P. (Peripheral information) It means that C exists. In the example shown in FIG. 6, the SAR patch image and the height data patch image P and the region of interest ROI are shown as squares, but these shapes are not limited to squares. Any shape can be adopted as long as the land cover classification can be predicted with high accuracy and efficiency, and may be a rectangle or the like. Further, the ratio of the size (area) of the region of interest ROI and the context C in the SAR patch image and the height data patch image P can be appropriately determined according to the accuracy of the prediction result of the land cover classification described later. .. For example, when the size of the region of interest ROI is 100 m × 100 m, the size of the SAR patch image including the region of interest ROI and the height data patch image P is preferably about 300 m × 300 m to 700 m × 700 m.

上記図５（ａ）、（ｂ）の例では、同じクラス毎に偏波画像と高さデータとが組み合わされているが、この場合のクラスは、図６に示される関心領域ＲＯＩのクラスである。すなわち、土地被覆学習データは、関心領域ＲＯＩのクラスが共通し、同じ座標を有する偏波画像と高さデータとが組み合わされている In the examples of FIGS. 5 (a) and 5 (b) above, the polarization image and the height data are combined for each of the same classes, but the class in this case is the class of the region of interest ROI shown in FIG. be. That is, the land cover learning data has a common class of interest region ROI, and the polarization image having the same coordinates and the height data are combined.

図７には、ニューラルネットワークによる土地被覆分類の予測実験から予測結果の正確度を求める方法の説明図が示される。図７に例示された予測実験の結果により、例えば上記図５（ａ）において、どの偏波画像を切り出して土地被覆学習データに使用するかを決定することができる。 FIG. 7 shows an explanatory diagram of a method of obtaining the accuracy of the prediction result from the prediction experiment of the land cover classification by the neural network. Based on the results of the prediction experiment exemplified in FIG. 7, for example, in FIG. 5 (a) above, it is possible to determine which polarization image is cut out and used for the land cover learning data.

図７においては、まず土地被覆学習データとしてのＳＡＲパッチ画像及び高さデータパッチ画像の組み合わせを各クラス（人工物、水域、草地、樹木、裸地）について予め一定枚数準備して、ニューラルネットワークに各ＳＡＲパッチ画像のクラスを予測する処理を学習させる。この際に使用されるＳＡＲパッチ画像は、各偏波画像の各種組み合わせとされる。この種組み合わせは、例えば以下の表１に例示される。 In FIG. 7, first, a certain number of combinations of SAR patch images and height data patch images as land cover learning data are prepared in advance for each class (artificial object, water area, grassland, tree, bare land), and the neural network is used. Learn the process of predicting the class of each SAR patch image. The SAR patch image used at this time is various combinations of each polarization image. This kind combination is exemplified in Table 1 below, for example.

Figure 0007045819000001
Figure 0007045819000001

表１の例では、組合せＩＤ１～８として偏波画像の組合せが示されている。なおバンド数は使用されている偏波画像の数である。なお、偏波画像には、偏波画像に対して加算、減算、除算を行った算出画像も含まれている。表１において、算出画像は、ＩＤ３、ＩＤ６、ＩＤ８の（ＨＨ＋ＨＶ）／２画像、ＩＤ５、ＩＤ８の（ＨＨ／ＨＶ）画像、ＩＤ７、ＩＤ８の（ＨＨ－ＨＶ）画像が例示されているが、これらには限定されない。 In the example of Table 1, combinations of polarization images are shown as combination IDs 1 to 8. The number of bands is the number of polarization images used. The polarization image also includes a calculated image obtained by adding, subtracting, and dividing the polarization image. In Table 1, the calculated images include ID3, ID6, ID8 (HH + HV) / 2 images, ID5, ID8 (HH / HV) images, and ID7, ID8 (HH-HV) images. Not limited to.

ここで、表１は例示であって、偏波画像の組み合わせは任意に設定できる。また、偏波画像にＤＥＭ又はＤＳＭから取得した高さデータを加えてもよい。 Here, Table 1 is an example, and the combination of the polarization images can be arbitrarily set. Further, the height data acquired from the DEM or DSM may be added to the polarization image.

次に、一定枚数（図７の例ではＮ枚）のパッチ画像（検証用パッチ画像）を各クラスについて等しい数（図７の例ではＸ枚、５Ｘ＝Ｎ）準備して、ニューラルネットワークにパッチ画像の関心領域ＲＯＩのクラスを予測する処理を実行させた結果が図７に示されている。図７の例では、検証用パッチ画像についてニューラルネットワークが上記予測処理を行った結果、人工物と予測した総枚数がＮ１、そのうち正解の枚数がａ１、水域と予測した総枚数がＮ２、そのうち正解の枚数がａ２、草地と予測した総枚数がＮ３、そのうち正解の枚数がａ３、樹木と予測した総枚数がＮ４、そのうち正解の枚数がａ４、裸地と予測した総枚数がＮ５、そのうち正解の枚数がａ５となっている。この結果から、ａｎ／Ｎｎ（ｎ＝１～５の整数、ΣＮｎ＝Ｎ）及びａｎ／Ｘを演算し、以下の数１により正確度（Overall Accuracy：ＯＡ）を求める。 Next, a fixed number of patch images (N in the example of FIG. 7) (verification patch images) are prepared for each class in the same number (X in the example of FIG. 7, 5X = N) and patched to the neural network. FIG. 7 shows the result of executing the process of predicting the class of the region of interest ROI of the image. In the example of FIG. 7, as a result of the above prediction processing by the neural network for the verification patch image, the total number of predicted artificial objects is N 1 , the number of correct answers is a 1 , and the total number of predicted water areas is N 2 . Of these, the number of correct answers was a2 , the total number of predicted grasslands was N3, the number of correct answers was a3 , the total number of trees predicted was N4 , and the number of correct answers was a4 , bare land. The total number of sheets is N5 , of which the number of correct answers is a5 . From this result, an n / N n (integer of n = 1 to 5, ΣN n = N) and an / X are calculated, and the accuracy (Overall Accuracy: OA) is obtained by the following number 1.

Figure 0007045819000002
Figure 0007045819000002

図８には、図７の方法により求めた、偏波画像の組み合わせと正確度との関係が示される。図８の横軸の数値は、表１における組合せＩＤであり、縦軸は、各ＩＤに示された偏波画像の組み合わせで学習した場合の、検証用パッチ画像に対する予測処理の全クラスの正確度（ＯＡ）である。 FIG. 8 shows the relationship between the combination of the polarized images and the accuracy obtained by the method of FIG. 7. The numerical values on the horizontal axis of FIG. 8 are the combination IDs in Table 1, and the vertical axis is the accuracy of all classes of the prediction processing for the verification patch image when learning with the combination of the polarization images shown in each ID. Degree (OA).

図８に示された例では、組合せＩＤ５の偏波画像の組合せ（ＨＨ、ＨＶ、ＨＨ／ＨＶ）で学習した場合に正確度が最も高くなっている。このため、図５（ａ）、（ｂ）に例示された土地被覆学習データは、これら三種の偏波画像の組合せとされている。 In the example shown in FIG. 8, the accuracy is the highest when the learning is performed by the combination (HH, HV, HH / HV) of the polarization images of the combination ID 5. Therefore, the land cover learning data exemplified in FIGS. 5A and 5B is a combination of these three types of polarization images.

図９には、ニューラルネットワークの学習方法の説明図が示される。図９に示されるように、ニューラルネットワーク１０２の学習は、図５（ａ）、（ｂ）に示すように切り出され、出力部２２から土地被覆学習データとして出力された、ＳＡＲパッチ画像及び高さデータパッチ画像の組み合わせをニューラルネットワーク１０２に入力し、また土地被覆学習データの正解クラスをクラス予測結果１０４に入力し、ニューラルネットワーク１０２の出力と、クラス予測結果１０４から得た誤差を後ろ向きに伝搬し（誤差逆伝播法）、ニューラルネットワーク１０２の重み係数やバイアスの値を調整することを繰り返して行う。 FIG. 9 shows an explanatory diagram of a learning method of a neural network. As shown in FIG. 9, the training of the neural network 102 is cut out as shown in FIGS. 5A and 5B, and is output as land covering training data from the output unit 22 as a SAR patch image and height. The combination of data patch images is input to the neural network 102, the correct answer class of the land covering training data is input to the class prediction result 104, and the output of the neural network 102 and the error obtained from the class prediction result 104 are propagated backward. (Error back propagation method), the weight coefficient and the bias value of the neural network 102 are repeatedly adjusted.

ニューラルネットワーク１０２の学習では、このような土地被覆学習データ（ＳＡＲパッチ画像と高さデータパッチ画像との組み合わせ）を多数（例えば５００組以上）入力することにより、ニューラルネットワーク１０２が上記ＳＡＲパッチ画像の属する土地被覆分類のクラスを予測するための重み係数やバイアスの値をより適切なものに調整することができる。 In the training of the neural network 102, by inputting a large number (for example, 500 or more sets) of such land covering learning data (combination of the SAR patch image and the height data patch image), the neural network 102 is the SAR patch image. The weighting factor and bias values for predicting the class of land cover classification to which they belong can be adjusted to be more appropriate.

なお、図９には、ニューラルネットワーク１０２として畳み込みニューラルネットワーク（ＣＮＮ）が例示されている。ＣＮＮを使用すると、より学習効率を向上することができる。ＣＮＮは、一般的には図９に示されるように、入力層１０２ｃからパッチ画像及び高さデータ等の入力データが入力され、畳み込み層１０２ａとプーリング層１０２ｂが交互に複数接続されて土地被覆分類のクラスの予測処理を行い、予測結果を出力層１０２ｄから出力する構造となっている。畳み込み層１０２ａでは入力された画像の特徴量を抽出する複数のフィルタによる演算（画素値とフィルターとの畳み込み演算）が実行され、プーリング層１０２ｂでは、畳み込み層１０２ａの出力に対して、平均値をとる処理（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）や最大値をとる処理（ｍａｘ ｐｏｏｌｉｎｇ）等が実行されてデータの圧縮が行われる。このような処理を繰り返すことにより、入力データからＳＡＲパッチ画像及び高さデータパッチ画像の属するクラスを予測するために最適な特徴量が生成される。また、予測結果を出力する出力層１０２ｄは、ＳＡＲパッチ画像及び高さデータパッチ画像のそれぞれの画素が各クラスに属する確率を出力する構成が好適である。 Note that FIG. 9 illustrates a convolutional neural network (CNN) as the neural network 102. By using CNN, learning efficiency can be further improved. In the CNN, as shown in FIG. 9, input data such as patch images and height data are input from the input layer 102c, and a plurality of convolution layers 102a and pooling layers 102b are alternately connected to classify the land cover. The structure is such that the prediction process of the above class is performed and the prediction result is output from the output layer 102d. In the convolution layer 102a, an operation (convolution operation between the pixel value and the filter) by a plurality of filters for extracting the feature amount of the input image is executed, and in the pooling layer 102b, the average value is calculated with respect to the output of the convolution layer 102a. Data is compressed by executing a process of taking (average polling), a process of taking a maximum value (max polling), and the like. By repeating such processing, the optimum feature amount for predicting the class to which the SAR patch image and the height data patch image belong is generated from the input data. Further, the output layer 102d for outputting the prediction result is preferably configured to output the probability that each pixel of the SAR patch image and the height data patch image belongs to each class.

なお、ＣＮＮの構成は、図９に示された例には限定されず、例えば畳み込み層１０２ａが複数連続した後にプーリング層１０２ｂが接続される構造が繰り返される構成とすることもできる。 The structure of the CNN is not limited to the example shown in FIG. 9, and for example, a structure in which a plurality of convolutional layers 102a are connected and then a pooling layer 102b is connected may be repeated.

また、図９の方法で学習済のニューラルネットワークに、いずれのクラスに属しているか不明のＳＡＲ画像を、このＳＡＲ画像の位置における高さデータと共に入力すると、ニューラルネットワークが、予め設定したサイズのウィンドウ毎に判読を行い、上記学習の結果生成した重み係数やバイアスの値を使用して特徴量を算出し、入力されたＳＡＲ画像及び高さデータの各画素が属するクラスを高精度に予測することができる。 Further, when a SAR image whose class belongs to the neural network trained by the method of FIG. 9 is input together with the height data at the position of the SAR image, the neural network opens a window of a preset size. Interpretation is performed for each, the feature amount is calculated using the weight coefficient and bias value generated as a result of the above learning, and the class to which each pixel of the input SAR image and height data belongs is predicted with high accuracy. Can be done.

図１０には、ニューラルネットワークの出力例が示される。図１０の例では、出力層１０２ｄから出力された、ＳＡＲ画像の各画素が属するクラスの予測結果として、ＳＡＲ画像の各画素が各クラスに属する確率が上段に示されている。なお、各クラスに属する確率が記載された矩形は、クラスが予測された画素を表わしている。 FIG. 10 shows an example of the output of the neural network. In the example of FIG. 10, the probability that each pixel of the SAR image belongs to each class is shown in the upper part as the prediction result of the class to which each pixel of the SAR image belongs, which is output from the output layer 102d. The rectangle in which the probability of belonging to each class is described represents the pixel in which the class is predicted.

また、図１０の下段には、上記確率の内、最も高い確率であると予測されたクラスがＳＡＲ画像の画素毎に示されている。最も高い確率を選択して対応するクラスを出力する構成は、出力層１０２ｄに形成してもよいし、出力層１０２ｄの出力を受け付けて最も高い確率に対応するクラスを出力する手段を設けてもよい。 Further, in the lower part of FIG. 10, the class predicted to have the highest probability among the above probabilities is shown for each pixel of the SAR image. A configuration in which the highest probability is selected and the corresponding class is output may be formed in the output layer 102d, or a means for receiving the output of the output layer 102d and outputting the class corresponding to the highest probability may be provided. good.

本発明者らは、以上に述べた図９の方法でニューラルネットワークに土地被覆分類を予測させる処理を学習させる際に、ＤＳＭを使用せずに（ＳＡＲパッチ画像のみで）作成した土地被覆学習データで学習させた場合、ＳＡＲパッチ画像と高さデータパッチ画像とを組み合わせた土地被覆学習データで学習させた場合について、それぞれ学習済のニューラルネットワークに土地被覆分類を予測させたときの正確度（上記数１により求める正確度）を比較した。この結果、高さデータパッチ画像を使用しない場合の正確度が７５．６％であったのに対し、ＳＡＲ画像と高さデータパッチ画像とを組み合わせた場合の正確度は８０．２％まで向上した。この結果、ＳＡＲ画像と高さデータパッチ画像とを組み合わせることが、予測精度の向上に効果があることが判明した。 The present inventors created the land cover training data without using DSM (only with the SAR patch image) when training the neural network to predict the land cover classification by the method of FIG. 9 described above. In the case of training with the land cover training data that combines the SAR patch image and the height data patch image, the accuracy when each trained neural network predicts the land cover classification (above). The accuracy obtained by Equation 1) was compared. As a result, the accuracy was 75.6% when the height data patch image was not used, whereas the accuracy when the SAR image and the height data patch image were combined was improved to 80.2%. did. As a result, it was found that the combination of the SAR image and the height data patch image is effective in improving the prediction accuracy.

図１１には、実施形態にかかる土地被覆学習データ生成装置１００の動作例のフローが示される。図１１において、ＳＡＲ画像取得部１０がＳＡＲ画像を取得（Ｓ１）し、高さデータ取得部１２が、上記ＳＡＲ画像に対応する位置の高さデータを取得した後高さデータ変換部１４がＳＡＲ画像と同じ範囲、同じ画像サイズに変換し（Ｓ２）、正解データ取得部１６が、上記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを受け付ける（Ｓ３）。これらのデータは、記憶部２８に記憶させる。 FIG. 11 shows a flow of an operation example of the land cover learning data generation device 100 according to the embodiment. In FIG. 11, the SAR image acquisition unit 10 acquires the SAR image (S1), the height data acquisition unit 12 acquires the height data at the position corresponding to the SAR image, and then the height data conversion unit 14 SARs. After converting to the same range and the same image size as the image (S2), the correct answer data acquisition unit 16 receives the correct answer data as to which region of the SAR image belongs to which land covering classification (S3). These data are stored in the storage unit 28.

次に、パッチ画像切出し部１８は、上記正解データと高さデータ変換部１４による変換後の高さデータとを記憶部２８から読みだし、この正解データの位置に応じて、土地被覆分類のクラス毎に予め定めた大きさのＳＡＲパッチ画像及びＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像を切り出す（Ｓ４）。 Next, the patch image cutting unit 18 reads the correct answer data and the height data converted by the height data conversion unit 14 from the storage unit 28, and according to the position of the correct answer data, the land covering classification class. A SAR patch image having a predetermined size and a data patch image having the same height as the SAR patch image are cut out for each (S4).

次に、標準化部２０が、上記ＳＡＲパッチ画像の画素値と高さデータパッチ画像の高さデータとを、各々の平均値が０、標準偏差が１となるように線形変換して標準化する（Ｓ５）。 Next, the standardization unit 20 linearly converts the pixel value of the SAR patch image and the height data of the height data patch image so that the average value of each is 0 and the standard deviation is 1 (standardization). S5).

出力部２２は、上記パッチ画像切出し部１８が切り出したＳＡＲパッチ画像と高さデータパッチ画像とを記憶部２８から読み出し、上記ＳＡＲパッチ画像が属する土地被覆分類のクラス毎に組み合わせて土地被覆学習データとして出力する（Ｓ６）。 The output unit 22 reads out the SAR patch image and the height data patch image cut out by the patch image cutting unit 18 from the storage unit 28, and combines them for each land covering classification class to which the SAR patch image belongs, and the land covering learning data. Is output as (S6).

上述した、図１１の各ステップを実行するためのプログラムは、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供しても良い。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明または「データ信号」の発明として捉えても良い。 The program for executing each step of FIG. 11 described above can be stored in a recording medium, and the program may be provided by a communication means. In that case, for example, the program described above may be regarded as an invention of a "computer-readable recording medium on which a program is recorded" or an invention of a "data signal".

１０ ＳＡＲ画像取得部、１２ 高さデータ取得部、１４ 高さデータ変換部、１６ 正解データ取得部、１８ パッチ画像切出し部、２０ 標準化部、２２ 出力部、２４ 表示制御部、２６ 通信部、２８ 記憶部、３０ ＣＰＵ、１００ 土地被覆学習データ生成装置、１０２ ニューラルネットワーク、１０４ クラス予測結果。

10 SAR image acquisition unit, 12 height data acquisition unit, 14 height data conversion unit, 16 correct answer data acquisition unit, 18 patch image cutout unit, 20 standardization unit, 22 output unit, 24 display control unit, 26 communication unit, 28 Storage unit, 30 CPUs, 100 land cover learning data generator, 102 neural network, 104 class prediction results.

Claims (6)

ニューラルネットワークに土地被覆分類の予測処理を行わせるための土地被覆学習データを生成する土地被覆学習データ生成装置であって、
ＳＡＲ（合成開口レーダ）画像を取得するＳＡＲ画像取得手段と、
前記ＳＡＲ画像に対応する位置の高さデータを取得する高さデータ取得手段と、
前記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを取得する正解データ取得手段と、
前記正解データの位置に応じて、前記土地被覆分類毎に予め定めた大きさのＳＡＲパッチ画像と、前記ＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像と、を切り出すパッチ画像切出し手段と、
前記ＳＡＲパッチ画像と前記高さデータパッチ画像とを前記土地被覆分類毎に組み合わせて出力する出力手段と、
を備え、
前記ＳＡＲパッチ画像は、多偏波画像と、多偏波画像から四則演算により算出した算出画像と、の組み合わせである、土地被覆学習データ生成装置。 It is a land cover learning data generator that generates land cover learning data for causing a neural network to perform prediction processing of land cover classification.
SAR image acquisition means for acquiring SAR (Synthetic Aperture Radar) images,
A height data acquisition means for acquiring height data of a position corresponding to the SAR image, and
A correct answer data acquisition means for acquiring correct answer data as to which area of the SAR image belongs to which land cover classification, and
A patch image cutting means for cutting out a SAR patch image having a size predetermined for each land covering classification and a height data patch image having the same size as the SAR patch image according to the position of the correct answer data.
An output means for outputting the SAR patch image and the height data patch image in combination for each land cover classification.
Equipped with
The SAR patch image is a land cover learning data generation device that is a combination of a multi-polarized image and a calculated image calculated from the multi-polarized image by four rules. 前記ＳＡＲパッチ画像と前記高さデータパッチ画像とを線形変換して標準化する標準化手段をさらに有する、請求項１に記載の土地被覆学習データ生成装置。 The land cover learning data generation device according to claim 1, further comprising a standardization means for linearly converting and standardizing the SAR patch image and the height data patch image. 前記多偏波画像が、水平偏波で送受信したＨＨ画像、水平偏波で送信／垂直偏波で受信したＨＶ画像、垂直偏波で送信／水平偏波で受信したＶＨ画像及び垂直偏波で送受信したＶＶ画像であり、前記パッチ画像切り出し手段が切り出すＳＡＲパッチ画像は、前記ＨＨ画像、ＨＶ画像及びＨＨ画像をＨＶ画像で除した（ＨＨ画像／ＨＶ画像）算出画像である、請求項１又は請求項２に記載の土地被覆学習データ生成装置。 The multipolar image is an HH image transmitted / received by horizontal polarization, an HV image transmitted by horizontal polarization / received by vertical polarization, a VH image transmitted by vertical polarization / received by horizontal polarization, and a vertical polarization. The transmitted and received VV image, and the SAR patch image cut out by the patch image cutting means is a calculated image obtained by dividing the HH image, the HV image, and the HH image by the HV image (HH image / HV image), claim 1 or The land covering learning data generation device according to claim 2. 前記土地被覆分類が、人工物、水域、草地、樹木及び裸地である、請求項１から請求項３のいずれか一項に記載の土地被覆学習データ生成装置。 The land cover learning data generation device according to any one of claims 1 to 3, wherein the land cover classification is an artificial object, a water area, a grassland, a tree, or a bare land. 土地被覆分類毎にＳＡＲ（合成開口レーダ）画像から予め定めた大きさで切り出されたＳＡＲパッチ画像と、当該パッチ画像に対応する位置の高さデータパッチ画像とが、前記土地被覆分類毎に組み合わされ、前記ＳＡＲパッチ画像は、多偏波画像と、多偏波画像から四則演算により算出した算出画像と、の組み合わせであることを特徴とするニューラルネットワークに係る土地被覆学習データにより、前記ＳＡＲパッチ画像と前記高さデータパッチ画像がいずれの前記土地被覆分類に属するかの予測処理を予め学習済であり、
いずれのクラスに属しているか不明のＳＡＲ（合成開口レーダ）画像と前記ＳＡＲ（合成開口レーダ）画像の位置における高さデータを入力すると、それぞれの画素がいずれの前記土地被覆分類に属するか予測するニューラルネットワークを含む、土地被覆分類予測装置。 A SAR patch image cut out from a SAR (Synthetic Aperture Radar) image for each land cover classification in a predetermined size and a height data patch image at a position corresponding to the patch image are combined for each land cover classification. The SAR patch image is based on the land covering learning data related to the neural network, which is a combination of the multi-polarized image and the calculated image calculated from the multi-polarized image by four rules. The prediction process of which of the land covering classifications the image and the height data patch image belong to has been learned in advance.
By inputting height data at the positions of a SAR (Synthetic Aperture Radar) image and the SAR (Synthetic Aperture Radar) image of which class it is unknown, it is predicted which of the land covering classifications each pixel belongs to. Land cover classification predictor, including neural network. コンピュータを、
ＳＡＲ（合成開口レーダ）画像を取得するＳＡＲ画像取得手段、
前記ＳＡＲ画像に対応する位置の高さデータを取得する高さデータ取得手段、
前記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを取得する正解データ取得手段、
前記正解データの位置に応じて、前記土地被覆分類毎に予め定めた大きさのＳＡＲパッチ画像と、前記ＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像と、を切り出すパッチ画像切出し手段、
前記ＳＡＲパッチ画像と前記高さデータパッチ画像とを前記土地被覆分類毎に組み合わ
せて出力する出力手段、
として機能させ、
前記ＳＡＲパッチ画像は、多偏波画像と、多偏波画像から四則演算により算出した算出画像と、の組み合わせであることを特徴とする、ニューラルネットワークに土地被覆分類の予測処理を行わせるための土地被覆学習データを生成する土地被覆学習データ生成プログラム。 Computer,
SAR image acquisition means for acquiring SAR (Synthetic Aperture Radar) images,
A height data acquisition means for acquiring height data of a position corresponding to the SAR image,
A correct answer data acquisition means for acquiring correct answer data as to which area of the SAR image belongs to which land cover classification.
A patch image cutting means for cutting out a SAR patch image having a size predetermined for each land covering classification and a height data patch image having the same size as the SAR patch image according to the position of the correct answer data.
An output means for outputting the SAR patch image and the height data patch image in combination for each land cover classification.
To function as
The SAR patch image is a combination of a multi-polarized image and a calculated image calculated from the multi-polarized image by four rules, for causing a neural network to perform prediction processing of land cover classification. Land cover learning data generation program that generates land cover learning data.
JP2017155288A 2017-08-10 2017-08-10 Land cover learning data generator, land cover learning data, land cover classification prediction device and land cover learning data generation program Active JP7045819B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017155288A JP7045819B2 (en) 2017-08-10 2017-08-10 Land cover learning data generator, land cover learning data, land cover classification prediction device and land cover learning data generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017155288A JP7045819B2 (en) 2017-08-10 2017-08-10 Land cover learning data generator, land cover learning data, land cover classification prediction device and land cover learning data generation program

Publications (2)

Publication Number Publication Date
JP2019035598A JP2019035598A (en) 2019-03-07
JP7045819B2 true JP7045819B2 (en) 2022-04-01

Family

ID=65637387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017155288A Active JP7045819B2 (en) 2017-08-10 2017-08-10 Land cover learning data generator, land cover learning data, land cover classification prediction device and land cover learning data generation program

Country Status (1)

Country Link
JP (1) JP7045819B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7375915B2 (en) * 2020-03-31 2023-11-08 日本電気株式会社 Analytical equipment, analytical methods and programs
JP7262679B2 (en) * 2020-08-13 2023-04-21 三菱電機株式会社 LEARNING DEVICE, IMAGE PROCESSING DEVICE, AND ALIGNMENT SYSTEM
JP7444268B2 (en) 2020-09-03 2024-03-06 日本電気株式会社 Measured data processing device, measured data processing method and program
KR102632963B1 (en) * 2021-07-19 2024-02-05 주식회사 선도소프트 The farmland attribute change prediction model formation apparatus using the big data base Artificial Intelligence and farmland attribute change predicting apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024471A (en) 2009-07-24 2011-02-10 Sumitomo Forestry Co Ltd Classification of kind of tree in forest by utilizing intermediate infrared area band
CN102937574A (en) 2012-07-20 2013-02-20 北京农业信息技术研究中心 Information extraction method for plant diseases and insect pests based on satellite images
JP2013096807A (en) 2011-10-31 2013-05-20 Pasuko:Kk Method for generating feature information reading image
WO2015041295A1 (en) 2013-09-18 2015-03-26 国立大学法人東京大学 Terrain category classification method, terrain category classification program, and terrain category classification device
CN106203444A (en) 2016-07-01 2016-12-07 西安电子科技大学 Classification of Polarimetric SAR Image method based on band ripple Yu convolutional neural networks

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6122272A (en) * 1984-07-11 1986-01-30 Natl Space Dev Agency Japan<Nasda> Synthetic aperture radar

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024471A (en) 2009-07-24 2011-02-10 Sumitomo Forestry Co Ltd Classification of kind of tree in forest by utilizing intermediate infrared area band
JP2013096807A (en) 2011-10-31 2013-05-20 Pasuko:Kk Method for generating feature information reading image
CN102937574A (en) 2012-07-20 2013-02-20 北京农业信息技术研究中心 Information extraction method for plant diseases and insect pests based on satellite images
WO2015041295A1 (en) 2013-09-18 2015-03-26 国立大学法人東京大学 Terrain category classification method, terrain category classification program, and terrain category classification device
CN106203444A (en) 2016-07-01 2016-12-07 西安电子科技大学 Classification of Polarimetric SAR Image method based on band ripple Yu convolutional neural networks

Also Published As

Publication number Publication date
JP2019035598A (en) 2019-03-07

Similar Documents

Publication Publication Date Title
JP7045819B2 (en) Land cover learning data generator, land cover learning data, land cover classification prediction device and land cover learning data generation program
Svoray et al. Predicting gully initiation: comparing data mining techniques, analytical hierarchy processes and the topographic threshold
US20150234863A1 (en) Automated feature extraction from imagery
CN109064549B (en) Method for generating mark point detection model and method for detecting mark point
Zhang et al. A review of machine learning based Species' distribution modelling
KR102319145B1 (en) Method and device for generating high-resolution ocean data
JP2011076178A (en) Geographical information generation system and geographical information generation method
Fablet et al. Multimodal 4DVarNets for the reconstruction of sea surface dynamics from SST-SSH synergies
McLaren et al. Using the random forest algorithm to integrate hydroacoustic data with satellite images to improve the mapping of shallow nearshore benthic features in a marine protected area in Jamaica
Ferrari et al. Integrating distribution models and habitat classification maps into marine protected area planning
CN115861823B (en) Remote sensing change detection method and device based on self-supervision deep learning
CN115272860B (en) Determination method and system for rice planting area, electronic equipment and storage medium
CN116994140A (en) Cultivated land extraction method, device, equipment and medium based on remote sensing image
CN108053407A (en) Data processing method and data handling system
Udyawer et al. Prioritising search effort to locate previously unknown populations of endangered marine reptiles
CN111444616A (en) Sea surface chlorophyll transmission track simulation method
CN107153839A (en) A kind of high-spectrum image dimensionality reduction processing method
WO2022125787A1 (en) Determining 3d structure features from dsm data
Costa et al. The semi-automated classification of acoustic imagery for characterizing coral reef ecosystems
Howell et al. Performance of deep-sea habitat suitability models assessed using independent data, and implications for use in area-based management
CN113761797B (en) Wireless channel path loss model prediction method based on computer vision
CN113516084B (en) Semi-supervised classification method, device, equipment and medium for high-resolution remote sensing image
CN117115669B (en) Object-level ground object sample self-adaptive generation method and system with double-condition quality constraint
Xu et al. On-the-fly extraction of polyhedral buildings from airborne LiDAR data
CN116740490A (en) Side-scan sonar image sample amplification and target detection method based on sonar equation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220322

R150 Certificate of patent or registration of utility model

Ref document number: 7045819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150