JP7313676B2 - Image analysis program, image analysis method and image analysis device - Google Patents
Image analysis program, image analysis method and image analysis device Download PDFInfo
- Publication number
- JP7313676B2 JP7313676B2 JP2019162614A JP2019162614A JP7313676B2 JP 7313676 B2 JP7313676 B2 JP 7313676B2 JP 2019162614 A JP2019162614 A JP 2019162614A JP 2019162614 A JP2019162614 A JP 2019162614A JP 7313676 B2 JP7313676 B2 JP 7313676B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- image analysis
- infrared band
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Instructional Devices (AREA)
- Image Analysis (AREA)
Description
特許法第３０条第２項適用 頒布日 平成３０年１１月２７日 刊行物 一般社団法人 日本リモートセンシング学会 第６５回（平成３０年度秋季）学術講演会の講演論文集を記録したＣＤ－ＲＯＭ Application of Article 30,
特許法第３０条第２項適用 開催日 平成３０年１１月２８日 集会名、開催場所 一般社団法人 日本リモートセンシング学会 第６５回（平成３０年度秋季）学術講演会 サンポートホール高松（香川県高松市サンポート２－１ 高松シンボルタワー・ホール棟）Application of Article 30,
本発明は、画像解析プログラム、方法及び装置に関する。 The present invention relates to an image analysis program, method and apparatus.
我が国の沿岸域では海面での養殖業が盛んであり、世界の人口増加に対応するための水産物の供給源として養殖業は重要な役割を担っている。養殖業は自然の恵みの上に成り立っており、過度な養殖は生態系に悪影響を及ぼすおそれがあることが指摘されている。このことから、近年漁業権者には、実際に海面に設置されている養殖施設の台数や緯度および経度等の空間配置等を把握することが求められつつある。 The aquaculture industry on the sea surface is thriving in Japan's coastal areas, and the aquaculture industry plays an important role as a supply source of marine products to cope with the world's population increase. It has been pointed out that the aquaculture industry is based on the blessings of nature, and that excessive aquaculture may adversely affect the ecosystem. For this reason, in recent years, fishery right holders have been required to grasp the number of aquaculture facilities actually installed on the sea surface, the spatial arrangement of latitude and longitude, and the like.
例えば我が国において施行予定の改正漁業法第９０条によると、漁業権者には、漁場の活用の状況等を各都道府県知事に報告する義務が生じるとされている。我が国の海洋政策である第３期海洋基本計画においても、海洋状況の把握（Maritime Domain Awareness: MDA）は基本施策の一つとして位置づけられており、海洋における情報の収集、集約および共有が求められつつある。 For example, according to Article 90 of the Revised Fisheries Law, which is scheduled to come into effect in Japan, the holder of fishing rights is obliged to report to the prefectural governors on the status of utilization of fishing grounds. Maritime Domain Awareness (MDA) is positioned as one of the basic measures in the 3rd Basic Plan on Ocean Policy, which is Japan's ocean policy.
また近年では、人工衛星や航空機等による上空からのリモートセンシング技術の利用が広まりつつある。例えば特許文献１には、衛星画像とディジタルマップとを比較照合することにより、海面上の目標物を検出する技術が開示されている。
Also, in recent years, the use of remote sensing technology from the air using artificial satellites, aircraft, etc. has been spreading. For example,
養殖業は漁業権に基づいて行われているところ、実際に海面に設置されている養殖施設の台数や位置情報等は、各地域における漁業権者である漁業協同組合等が自主的に管理しているに過ぎず、正確な台数や位置情報等は把握されていない。養殖施設は沿岸域に数多く設置されており、定期的な現地調査により養殖施設を定量的に把握することは非効率的であり現実的ではない。 While the aquaculture industry is based on fishery rights, the number and location information of aquaculture facilities actually installed on the sea surface are only voluntarily managed by the fishery cooperatives, which are the holders of the fishery rights in each region, and the exact number and location information are not known. Many aquaculture facilities are installed in coastal areas, and it is inefficient and unrealistic to quantitatively grasp aquaculture facilities through regular field surveys.
特許文献１の技術は、海面上の目標物を検出する技術ではあっても、検出した目標物の大きさ（面積）、数、および位置情報等の、目標物に関連する情報を生成する技術ではない。
Although the technology of
本発明は、上空から撮像された画像に基づいて対象物を識別し、識別した対象物に関連する情報を生成するための画像解析プログラム、方法及び装置を提供する。 The present invention provides an image analysis program, method, and apparatus for identifying objects based on images captured from above and for generating information related to the identified objects.
上記目的を達成するための本発明は、例えば以下に示す態様を含む。
（項１）
コンピュータに、
対象物を含む地球上の領域が撮像された近赤外バンド画像にオブジェクトベース画像解析を適用して、前記近赤外バンド画像において前記対象物の領域が識別された第１の識別画像を生成し、
前記第１の識別画像に基づいて、前記対象物に関連する関連情報を生成する、
処理を実行させるための、画像解析プログラム。
（項２）
コンピュータに、
前記第１の識別画像に基づいて、識別された前記対象物の領域を包含するバッファ領域を、前記近赤外バンド画像よりも高い解像度を有し、前記近赤外バンド画像と同一の前記地球上の領域が撮像された高精細画像に設定し、
前記バッファ領域の範囲内で前記高精細画像にオブジェクトベース画像解析を適用して、前記高精細画像において前記対象物の領域が識別された第２の識別画像を生成し、
前記第１の識別画像に代えて前記第２の識別画像に基づいて、前記対象物に関連する関連情報を生成する、
処理を実行させるための、項１に記載の画像解析プログラム。
（項３）
コンピュータに、
前記バッファ領域を囲む参照領域を前記高精細画像に設定し、
前記高精細画像について、前記参照領域の輝度値を閾値として用いて、前記バッファ領域の範囲内で前記高精細画像に前記オブジェクトベース画像解析を適用する、
処理を実行させるための、項２に記載の画像解析プログラム。
（項４）
前記高精細画像はパンクロマチックバンド画像である、項２または３に記載の画像解析プログラム。
（項５）
コンピュータに、
前記対象物の大きさおよび数の少なくともいずれかに関する情報を生成する処理を実行させる、項１から４のいずれかに記載の画像解析プログラム。
（項６）
コンピュータに、
前記近赤外バンド画像に対応付けられている撮像範囲の緯度および経度の情報に基づいて、前記対象物の位置に関する情報を生成する処理を実行させる、項１から５のいずれかに記載の画像解析プログラム。
（項７）
コンピュータに、
前記近赤外バンド画像内の陸域の領域に画像マスクを適用する処理を実行させる、項１から６のいずれかに記載の画像解析プログラム。
（項８）
前記対象物は、水域に浮遊する物体である、項１から７のいずれかに記載の画像解析プログラム。
（項９）
対象物を含む地球上の領域が撮像された近赤外バンド画像にオブジェクトベース画像解析を適用して、前記近赤外バンド画像において前記対象物の領域が識別された第１の識別画像を生成する第１識別画像生成ステップと、
前記第１の識別画像に基づいて、前記対象物に関連する関連情報を生成する関連情報生成ステップと、
を含む、画像解析方法。
（項１０）
対象物を含む地球上の領域が撮像された近赤外バンド画像にオブジェクトベース画像解析を適用して、前記近赤外バンド画像において前記対象物の領域が識別された第１の識別画像を生成する第１識別画像生成部と、
前記第１の識別画像に基づいて、前記対象物に関連する関連情報を生成する関連情報生成部と、
を備える、画像解析装置。
The present invention for achieving the above object includes, for example, the following aspects.
(Section 1)
to the computer,
Applying object-based image analysis to a near-infrared band image in which a region on the earth including an object is captured to generate a first identification image in which the region of the object is identified in the near-infrared band image;
generating relevant information related to the object based on the first identification image;
An image analysis program for processing.
(Section 2)
to the computer,
Based on the first identification image, a buffer area containing the identified object area is set to a high-definition image having a resolution higher than that of the near-infrared band image and having the same area on the earth as the near-infrared band image,
applying object-based image analysis to the high definition image within the buffer area to generate a second identification image in which regions of the object are identified in the high definition image;
generating relevant information related to the object based on the second identification image instead of the first identification image;
(Section 3)
to the computer,
setting a reference area surrounding the buffer area to the high-definition image;
For the high-definition image, applying the object-based image analysis to the high-definition image within the buffer area using the luminance value of the reference area as a threshold.
(Section 4)
(Section 5)
to the computer,
(Section 6)
to the computer,
(Section 7)
to the computer,
(Section 8)
(Section 9)
a first identification image generating step of applying object-based image analysis to a near-infrared band image in which an area on the earth including an object is captured to generate a first identification image in which the area of the object is identified in the near-infrared band image;
a related information generating step of generating related information related to the object based on the first identification image;
An image analysis method, comprising:
(Section 10)
a first identification image generation unit that applies object-based image analysis to a near-infrared band image in which an area on the earth including an object is captured to generate a first identification image in which the area of the object is identified in the near-infrared band image;
a related information generation unit that generates related information related to the object based on the first identification image;
An image analysis device comprising:
本発明によると、上空から撮像された画像に基づいて対象物を識別し、識別した対象物に関連する情報を生成するための画像解析装置、方法およびプログラムを提供することができる。 According to the present invention, it is possible to provide an image analysis apparatus, method, and program for identifying an object based on an image captured from the sky and generating information related to the identified object.
以下、本発明の実施形態を、添付の図面を参照して詳細に説明する。なお、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし、よって、同じまたは類似の構成要素に関する重複した説明を省略する。
［発明の概略］
Embodiments of the present invention will now be described in detail with reference to the accompanying drawings. In the following description and drawings, the same reference numerals denote the same or similar components, and redundant description of the same or similar components will be omitted.
[Outline of the invention]
図１は、本発明の一実施形態に係る画像解析装置の使用態様を説明するための図である。 FIG. 1 is a diagram for explaining how an image analysis apparatus according to one embodiment of the present invention is used.
一実施形態に係る画像解析装置１は、上空から撮像された画像に基づいて対象物９を識別し、識別した対象物９に関連する情報３５を生成する装置である。本実施形態では、画像解析により情報を生成する対象物９は、例えば沿岸域の海面に浮遊した状態で設置されている養殖筏である。画像解析により生成する情報３５は、養殖筏の大きさ（面積）、数、および位置情報（緯度および経度）等の、養殖筏に関連する情報である。
An
画像解析には、例えば衛星８により対象物９の上空から撮像された光学衛星画像が用いられる。本実施形態では、光学衛星画像は、例えば近赤外バンド画像３１および高精細画像３２である。高精細画像３２は、近赤外バンド画像３１よりも高い解像度を有している。高精細画像３２には、例えばパンクロマチックバンド画像を用いることができる。近赤外バンド画像３１および高精細画像３２は対をなしており、これらは対象物９を含む地球上の同一の領域が撮像された画像である。
For image analysis, for example, an optical satellite image captured from above the
衛星８から受信した光学衛星画像は、例えば外部サーバ２に保存されており、画像解析装置１は、ネットワークＮを介して光学衛星画像を取得する。画像解析装置１は、取得した光学衛星画像（近赤外バンド画像３１および高精細画像３２）に基づいて画像解析を行い、対象物９に関連する情報３５を生成する。
［装置の構成］
The optical satellite image received from the
[Device configuration]
図２は、本発明の一実施形態に係る画像解析装置の機能を説明するためのブロック図である。 FIG. 2 is a block diagram for explaining the functions of the image analysis device according to one embodiment of the present invention.
一実施形態に係る画像解析装置１（１Ａ）は、データ処理部１２と、補助記憶装置１３と、入力部１４と、表示部１５と、通信インタフェース部（通信Ｉ／Ｆ部）１６とを備えている。画像解析装置１は、タブレット端末またはスマートフォン等（以下、タブレット端末等と記載する）を用いて構成することができる。
An image analysis apparatus 1 ( 1 A) according to one embodiment includes a
本実施形態では、画像解析装置１は、ハードウェアの構成として、補助記憶装置１３、入力部１４、表示部１５および通信Ｉ／Ｆ部１６を備えている。図示していないが、画像解析装置１は、ハードウェアの構成として、データ処理を行うＣＰＵ等のプロセッサと、プロセッサがデータ処理の作業領域に使用するメモリとをさらに備えている。
In this embodiment, the
補助記憶装置１３は、オペレーティングシステム（ＯＳ）、各種制御プログラム、および、プログラムによって生成されたデータなどを記憶する不揮発性の記憶装置であり、例えば、フラッシュメモリやｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）等によって構成される。本実施形態では、補助記憶装置１３には、近赤外バンド画像３１、高精細画像３２、第１の識別画像３３、第２の識別画像３４、関連情報３５、および画像解析プログラムＰが記憶される。
The
近赤外バンド画像３１は、対象物９を含む地球上の領域が撮像された画像である。高精細画像３２は、近赤外バンド画像３１よりも高い解像度を有し、近赤外バンド画像３１と同一の地球上の領域が撮像された画像である。近赤外バンド画像３１および高精細画像３２は対をなしており、これらは対象物９を含む地球上の同一の領域が撮像された画像である。本実施形態では、近赤外バンド画像３１および高精細画像３２には、衛星８により対象物９の上空から撮像された光学衛星画像を用いる。本実施形態において取り扱う近赤外バンド画像３１および高精細画像３２には、縮尺に関する情報と撮像範囲の緯度および経度の情報とを含むメタデータが記録されている。例示的には、近赤外バンド画像３１および高精細画像３２の光学衛星画像の画像データは、１１ビット～１２ビットで表される輝度値（デジタルナンバー）のデータである。
The near-
本実施形態では、近赤外バンド画像３１には、マルチスペクトルバンド画像から作成される、近赤外線の波長帯の画像を用いる。マルチスペクトルバンド画像とは、衛星８により観測される対象物９から反射または放射される電磁波のうち、近赤外、中間赤外および熱赤外等の複数の波長帯の電磁波を記録した画像を意味する。本実施形態では、高精細画像３２にはパンクロマチックバンド画像を用いる。パンクロマチックバンド画像とは、衛星８により観測される対象物９から反射または放射される電磁波のうち、特定の１つの波長帯の電磁波のみを記録した画像を意味する。
In this embodiment, the near-
第１の識別画像３３は、近赤外バンド画像３１にオブジェクトベース画像解析を適用することにより生成される画像である。第１の識別画像３３では、オブジェクトベース画像解析により対象物９の領域４１が識別されている。
A
第２の識別画像３４は、バッファ領域４２が設定された高精細画像３２にオブジェクトベース画像解析を適用することにより生成される画像である。第２の識別画像３４では、オブジェクトベース画像解析により対象物９の領域４４が識別されている。
The
関連情報３５は、対象物９に関連する情報である。本実施形態では、関連情報３５は、対象物９の大きさ（面積）および数の少なくともいずれかを含む。近赤外バンド画像３１に撮像範囲の緯度および経度の情報が対応付けられている場合、関連情報３５は、対象物９の位置に関する情報を含むことができる。
画像解析プログラムＰは、ソフトウェアによる機能ブロックである後述するデータ処理部１２内の各部２１～２８を実現するためのコンピュータプログラムである。画像解析プログラムＰは、通信Ｉ／Ｆ部１６により接続されるインターネット等のネットワークを介して画像解析装置１にインストールしてもよい。あるいは、画像解析プログラムＰを記録したメモリカード等のコンピュータ読み取り可能な非一時的な有体の記録媒体を画像解析装置１に読み取らせることにより、画像解析プログラムＰを画像解析装置１にインストールしてもよい。画像解析プログラムＰは、例えばタブレット端末等のアプリケーションとすることができる。
The image analysis program P is a computer program for realizing
入力部１４は、例えばマウスやキーボード等で構成することができ、表示部１５は、例えば液晶ディスプレイおよび有機ＥＬディスプレイ等で構成することができる。本実施形態では、入力部１４および表示部１５はタッチパネルとして一体化されている。
The
通信Ｉ／Ｆ部１６は、有線または無線のネットワークを介して、外部サーバ２等の外部機器とのデータの送受信を行う。通信Ｉ／Ｆ部１６は、Bluetooth（登録商標）、Wi-Fi（登録商標）、およびZigBee（登録商標）等の種々の無線接続または有線接続であってもよい。
The communication I/
本実施形態では、画像解析装置１は、ソフトウェアの構成としてデータ処理部１２を備えている。データ処理部１２は、プロセッサが画像解析プログラムＰを実行することにより実現される機能ブロックである。
In this embodiment, the
近赤外バンド画像取得部２１は、対象物９を含む地球上の領域が撮像された近赤外バンド画像３１を取得する。
The near-infrared band
高精細画像取得部２２は、近赤外バンド画像３１よりも高い解像度を有し、近赤外バンド画像３１と同一の地球上の領域が撮像された高精細画像３２を取得する。
The high-definition
マスク適用部２３は、近赤外バンド画像３１内の陸域の領域に画像マスクを適用する。
The
第１識別画像生成部２４は、近赤外バンド画像３１にオブジェクトベース画像解析を適用して、近赤外バンド画像３１において対象物９の領域４１が識別された第１の識別画像３３を生成する。
The first
バッファ領域設定部２５は、第１の識別画像３３に基づいて、識別された対象物９の領域４１を包含するバッファ領域４２を、高精細画像３２に設定する。
The buffer
参照領域設定部２６は、バッファ領域４２を囲む参照領域４３を高精細画像３２に設定する。
The reference
第２識別画像生成部２７は、バッファ領域４２の範囲内で高精細画像３２にオブジェクトベース画像解析を適用して、高精細画像３２において対象物９の領域４４が識別された第２の識別画像３４を生成する。第２識別画像生成部２７は、高精細画像３２について、参照領域４３の輝度値を閾値として用いて、バッファ領域４２の範囲内で高精細画像３２にオブジェクトベース画像解析を適用することができる。
The second
関連情報生成部２８は、第２の識別画像３４に基づいて、対象物９に関連する関連情報３５を生成する。関連情報生成部２８は、対象物９の大きさおよび数の少なくともいずれかに関する情報を生成することができる。関連情報生成部２８は、近赤外バンド画像３１に対応付けられている撮像範囲の緯度および経度の情報に基づいて、対象物９の位置に関する情報を生成することができる。
［処理手順］
The
[Processing procedure]
図３は、本発明の一実施形態に係る画像解析方法の手順を説明するためのフローチャートである。 FIG. 3 is a flow chart for explaining the procedure of the image analysis method according to one embodiment of the present invention.
ステップＳ１（近赤外バンド画像取得ステップ）において、対象物９を含む地球上の領域が撮像された、解析対象領域の近赤外バンド画像３１を取得する。本実施形態では、解析対象とする地球上の領域を含む、解析対象領域の近赤外バンド画像３１および高精細画像３２は、予め衛星８により撮像されて外部サーバ２に保存されており、画像解析装置１は、外部サーバ２から近赤外バンド画像３１を取得する。
In step S1 (near-infrared band image acquisition step), a near-
図４は、解析対象領域の近赤外バンド画像の一例である。図示する近赤外バンド画像３１中、中央の黒色の領域は海域（水域）であり、海域の周辺の灰色または白色の領域は陸域である。図面中央の海域には、画像解析処理により識別して関連情報３５を生成する対象物である複数の養殖筏９が撮像されていることを確認することができる。
FIG. 4 is an example of a near-infrared band image of the analysis target area. In the illustrated near-
ステップＳ２（画像マスク適用ステップ）において、近赤外バンド画像３１内の陸域の領域に画像マスクを適用する。本実施形態では、海域に浮遊している養殖筏９を画像解析処理により識別するため、画像解析処理の対象外となる地面や森、畑、水田、住宅地等の陸域の領域には、画像マスクを適用する。以下に説明する画像解析処理において、近赤外バンド画像３１内の領域のうち画像マスクが適用されている領域には、画像解析処理は適用されない。
In step S<b>2 (image mask application step), an image mask is applied to the land region in the near-
ステップＳ３（高精細画像取得ステップ）において、近赤外バンド画像３１と同一の地球上の領域が撮像された、解析対象領域の高精細画像３２を取得する。本実施形態では、画像解析装置１は、近赤外バンド画像３１と対をなす高精細画像３２を外部サーバ２から取得する。
In step S3 (high-definition image acquisition step), a high-
ステップＳ４において、解析対象の領域を複数の単位領域Ｕに分割する。単位領域Ｕとは、以下のステップＳ５～ステップＳ８において画像解析装置１が画像解析処理を行う際に、処理単位とする領域である。
In step S4, the area to be analyzed is divided into a plurality of unit areas U. As shown in FIG. The unit area U is an area used as a processing unit when the
図５は、単位領域Ｕについて拡大表示された近赤外バンド画像および高精細画像の一例である。（Ａ）は近赤外バンド画像３１であり、（Ｂ）は高精細画像３２である。
FIG. 5 is an example of an enlarged near-infrared band image and a high-definition image of the unit area U. As shown in FIG. (A) is a near-
解析対象の近赤外バンド画像３１および高精細画像３２は、それぞれが複数の単位領域Ｕに分割される。近赤外バンド画像３１および高精細画像３２は対をなしており、単位領域Ｕも近赤外バンド画像３１と高精細画像３２との間において対をなしている。すなわち、図４に例示する位置の単位領域Ｕに対して以下のステップＳ５～Ｓ８の画像解析処理を行う際には、図５に示す同じ領域が撮像された単位領域Ｕの近赤外バンド画像３１および高精細画像３２を用いて画像解析処理が行われる。
A near-
ステップＳ５（第１識別画像生成ステップ）において、近赤外バンド画像３１にオブジェクトベース画像解析を適用して、近赤外バンド画像３１において対象物９の領域４１が識別された第１の識別画像３３を生成する。本実施形態では、オブジェクトベース画像解析において用いる輝度値（光学衛星画像では、画像値またはデジタルナンバーとも呼ばれる）のしきい値は、例えば表示部１５に表示される近赤外バンド画像３１の輝度値のヒストグラムに基づいて、例えばオペレータにより任意で決定される。決定された輝度値のしきい値は、例えばオペレータにより入力部１４を介して画像解析装置１に入力される。
In step S5 (first identification image generation step), object-based image analysis is applied to the near-
図６は、オブジェクトベース画像解析を適用する際に画像に設定するバッファ領域および参照領域を説明するための模式的な図である。図７は、近赤外バンド画像の単位領域について生成された第１の識別画像の一例である。 FIG. 6 is a schematic diagram for explaining buffer areas and reference areas set in an image when object-based image analysis is applied. FIG. 7 is an example of the first identification image generated for the unit area of the near-infrared band image.
領域４１は、近赤外バンド画像３１にオブジェクトベース画像解析を適用することにより識別される対象物９の領域である。本実施形態では、領域４１は、オブジェクトベース画像解析により、海面に設置されている養殖筏９であると判断された画素の集合である。オブジェクトベース画像解析とは、性質が近い近隣の画素を１つのオブジェクトとして結合し、この結合したオブジェクトを単位として行う画像解析の手法である。オブジェクトベース画像解析によると、目視による判断に近い結果を得ることが可能となる。
近赤外バンド画像３１において領域４１が識別されることにより、近赤外バンド画像３１と対をなす高精細画像３２においてバッファ領域４２および参照領域４３が設定される。これらバッファ領域４２および参照領域４３は、第２の識別画像３４を生成する際に高精細画像３２に設定される仮想的な領域である。言い換えると、バッファ領域４２および参照領域４３は、近赤外バンド画像３１および高精細画像３２を用いた２段階のオブジェクトベース画像解析を行うための仮想的な領域である。すなわち、近赤外バンド画像３１を用いた１段階目のオブジェクトベース画像解析により、対象物９の領域の概略を識別し、高精細画像３２を用いた、バッファ領域４２の範囲内での２段階目のオブジェクトベース画像解析により、対象物９の領域を詳細に識別する。
By identifying the
バッファ領域４２は、対象物９の領域４１を包含する領域である。本実施形態では、バッファ領域４２は、領域４１と、領域４１の外周から所定の画素数（例えば、２画素～５画素程度）の範囲内の領域とを包含する領域である。参照領域４３は、バッファ領域４２を囲む領域であり、領域４１およびバッファ領域４２を包含しない領域である。本実施形態では、参照領域４３は、バッファ領域４２の外周から所定の画素数（例えば、１画素～５画素程度）の範囲内の領域である。
ステップＳ６（バッファ領域設定ステップ）において、第１の識別画像３３に基づいて、識別された対象物９の領域４１を包含するバッファ領域４２を高精細画像３２に設定する。好ましくは、本ステップに引き続き、バッファ領域４２を囲む参照領域４３を高精細画像３２に設定する。
In step S<b>6 (buffer area setting step), a
図６および図７を参照して説明したように、第１の識別画像３３において対象物９であると識別されている複数の領域４１のそれぞれについて、対をなす高精細画像３２においてバッファ領域４２および参照領域４３を設定する。
As described with reference to FIGS. 6 and 7, for each of the plurality of
ステップＳ７（第２識別画像生成ステップ）において、バッファ領域４２の範囲内で高精細画像３２にオブジェクトベース画像解析を適用して、高精細画像３２において対象物９の領域４４が識別された第２の識別画像３４を生成する。本ステップでは、高精細画像３２について、参照領域４３の輝度値を閾値として用いて、バッファ領域４２の範囲内で高精細画像３２にオブジェクトベース画像解析を適用することができる。
In step S7 (second identification image generating step), object-based image analysis is applied to the high-
図８は、高精細画像の単位領域について生成された第２の識別画像の一例である。識別される対象物９の領域について、図７に示す第１の識別画像３３中の領域４１と、図８に示す第２の識別画像３４中の領域４４とを比較すると、図８に示す領域４４の方が、対象物９の輪郭をより正確に識別していることが理解される。
FIG. 8 is an example of the second identification image generated for the unit area of the high-definition image. Comparing the
図９は、解析対象領域中の図４に示す単位領域とは別の単位領域について生成された識別画像の一例である。（Ａ）は第１の識別画像３３であり、（Ｂ）は第２の識別画像３４である。図９に示す別の単位領域Ｕについても、第２の識別画像３４中の領域４４の方が、対象物９の輪郭をより正確に識別していることが理解される。
FIG. 9 is an example of an identification image generated for a unit area other than the unit area shown in FIG. 4 in the analysis target area. (A) is the
ステップＳ８（関連情報生成ステップ）において、第２の識別画像３４に基づいて、対象物９に関連する関連情報３５を生成する。本実施形態では、第２の識別画像３４中に領域４４として識別されている対象物９について、領域の数をカウントし領域の大きさを算出する公知の画像処理技術に基づいて、対象物９の大きさおよび数の少なくともいずれかに関する情報を関連情報３５として生成する。図８を参照すると、第２の識別画像３４中の領域４４のそばには、一例として、領域４４の大きさに基づいて算出される対象物９（養殖筏９）の面積が示されている。
In step S<b>8 (related information generation step),
本ステップでは、さらに、近赤外バンド画像３１に対応付けられている撮像範囲の緯度および経度の情報に基づいて、対象物９の位置に関する情報を関連情報３５として生成することができる。通常、衛星８により撮像されている近赤外バンド画像３１には、縮尺に関する情報と撮像範囲の緯度および経度の情報とを含むメタデータが記録されている。本実施形態では、このメタデータと、単位領域Ｕの第２の識別画像３４内での領域４４の位置とに基づいて、対象物９の領域４４の位置に関する情報を、関連情報３５として生成する。
In this step, information on the position of the
ステップＳ９において、分割した単位領域Ｕを全て処理する（ステップＳ９においてＹｅｓ）までステップＳ５から処理を繰り返し、単位領域Ｕ内に含まれている対象物９に関連する関連情報３５を次々に生成する。
［効果］
In step S9, the process from step S5 is repeated until all the divided unit areas U are processed (Yes in step S9), and
[effect]
以上、本発明の一実施形態に係る画像解析装置、方法およびプログラムによると、上空から撮像された画像に基づいて対象物を識別し、識別した対象物に関連する情報を生成することができる。生成した関連情報は、識別した対象物に関連する情報として活用することができる。例えば対象物が養殖筏の場合、漁業権者は、実際に海面に設置されている養殖施設の台数や緯度および経度等の空間配置を、高い精度で定量的に把握することが可能となる。 As described above, according to the image analysis apparatus, method, and program according to one embodiment of the present invention, an object can be identified based on an image captured from the sky, and information related to the identified object can be generated. The generated related information can be utilized as information related to the identified object. For example, if the object is an aquaculture raft, the fishery right holder can quantitatively grasp the number of aquaculture facilities actually installed on the sea surface and the spatial arrangement such as latitude and longitude with high accuracy.
また、対象物である養殖筏の識別および関連情報の生成は、衛星等により対象物の上空から撮像された画像に基づいてなされているので、漁業権者は非効率的な現地調査を行う必要はない。衛星により撮像された光学衛星画像を画像解析に用いる場合、光学衛星画像は衛星が地球の衛星軌道上を周回することにより定期的に撮像されるので、関連情報も定期的に生成することが可能である。 In addition, since the identification of the target aquaculture raft and the generation of related information are based on images captured from above the target by a satellite or the like, the fishery right holder does not need to conduct inefficient field surveys. When optical satellite images captured by satellites are used for image analysis, the relevant information can also be generated periodically because the optical satellite images are captured periodically as the satellites orbit the earth.
また、近赤外バンド画像３１では、対象物９である養殖筏９と海面との輝度値の差が大きく記録されている。これにより、オブジェクトベース画像解析において用いることで良好な識別結果を得ることができるしきい値の範囲が拡大し、しきい値の設定がし易くなる。
［他の実施形態］
Also, in the near-
[Other embodiments]
以下において説明する他の実施形態に係る画像解析装置１（１Ｂ）および画像解析方法は、特に言及しない限り、上記した一実施形態に係る画像解析装置および画像解析方法と同様であるので、重複する説明は省略する。 An image analysis apparatus 1 (1B) and an image analysis method according to another embodiment described below are the same as the image analysis apparatus and image analysis method according to the above-described embodiment, unless otherwise specified, and redundant description will be omitted.
上記実施形態では、高精細画像３２にオブジェクトベース画像解析を適用して第２の識別画像３４を生成し、第２の識別画像３４に基づいて関連情報３５を生成しているが、関連情報３５を生成する手順はこれに限定されない。他の実施形態では、高精細画像３２は用いずに近赤外バンド画像３１を用いて画像解析を行う。すなわち、他の実施形態では、近赤外バンド画像３１にオブジェクトベース画像解析を適用することにより生成される第１の識別画像３３に基づいて、関連情報３５を生成する。
In the above embodiment, the object-based image analysis is applied to the high-
図１０は、本発明の他の実施形態に係る画像解析装置の機能を説明するためのブロック図である。他の実施形態に係る画像解析装置１Ｂでは、図２を参照して説明した上記実施形態に係る画像解析装置１Ａにおいて、高精細画像取得部２２、バッファ領域設定部２５、参照領域設定部２６、第２識別画像生成部２７が省略されている。また、関連情報生成部２８は、第２の識別画像３４に代えて第１の識別画像３３に基づいて、対象物９に関連する関連情報３５を生成する。
FIG. 10 is a block diagram for explaining functions of an image analysis device according to another embodiment of the present invention. In the
図１１は、本発明の他の実施形態に係る画像解析方法の手順を説明するためのフローチャートである。他の実施形態に係る画像解析方法では、図３を参照して説明した上記実施形態に係る画像解析方法において、ステップＳ３，Ｓ６，Ｓ７を省略している。また、ステップＳ８において、第２の識別画像３４に代えて第１の識別画像３３に基づいて、対象物９に関連する関連情報３５を生成する。図７を参照すると、第１の識別画像３３中の領域４１のそばには、一例として、領域４１の大きさに基づいて算出される対象物９（養殖筏９）の面積が示されている。
［その他の形態］
FIG. 11 is a flowchart for explaining procedures of an image analysis method according to another embodiment of the present invention. In the image analysis method according to another embodiment, steps S3, S6, and S7 are omitted from the image analysis method according to the above embodiment described with reference to FIG. Also, in step S8, based on the
[Other forms]
以上、本発明を特定の実施形態によって説明したが、本発明は上記した実施形態に限定されるものではない。 Although the present invention has been described in terms of specific embodiments, the present invention is not limited to the embodiments described above.
上記実施形態では、近赤外バンド画像３１内の陸域の領域に画像マスクを適用しているが、例えば処理対象の領域が全て海域であると予め把握可能な場合は、画像マスクを適用する処理は省略することができる。
In the above embodiment, the image mask is applied to the land area in the near-
上記実施形態では、解析対象の領域を複数の単位領域Ｕに分割し、分割した単位領域Ｕのそれぞれについて画像解析処理を行っているが、複数の単位領域Ｕに分割することなく、解析対象の領域について画像解析処理を行ってもよい。 In the above embodiment, the area to be analyzed is divided into a plurality of unit areas U, and the image analysis process is performed on each of the divided unit areas U. However, the image analysis process may be performed on the area to be analyzed without dividing the area into a plurality of unit areas U.
上記実施形態では、解析対象領域の近赤外バンド画像３１および高精細画像３２を外部サーバ２から取得して画像解析処理を行っているが、近赤外バンド画像３１および高精細画像３２の取得元は外部サーバ２に限定されない。近赤外バンド画像３１および高精細画像３２は衛星８から直接取得することもできる。また、例えば本発明の画像解析プログラムが衛星８自体にインストールされている場合には、これら近赤外バンド画像３１および高精細画像３２を外部から取得する手順を省略することもできる。
In the above embodiment, the near-
上記実施形態では、画像解析装置１は一体の装置として実現されているが、画像解析装置１は一体の装置である必要はなく、プロセッサ、メモリ、補助記憶装置１３等が別所に配置され、これらが互いにネットワークで接続されていてもよい。データ処理部１２の機能および補助記憶装置１３内のデータ項目は、一部または全部が、通信Ｉ／Ｆ部１６を介して接続される外部サーバ２においてクラウド化されていてもよい。
In the above embodiment, the
上記実施形態では、データ処理部１２を構成する各機能ブロック２１～２８はソフトウェアにより実現されているが、これら各機能ブロック２１～２８は、一部または全部がハードウェアとして実現されてもよい。データ処理部１２を構成する各機能ブロック２１～２８の処理は単一のプロセッサで処理される必要はなく、複数のプロセッサで分散して処理されてもよい。また、プロセッサに代えて、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が処理を行ってもよいし、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）をアクセラレータとして用いて、プロセッサが行う並列演算処理を補助してもよい。すなわちプロセッサが行う処理とは、プロセッサまたはＦＰＧＡが、ＧＰＵ等のアクセラレータを用いて行う処理も含むことを意味する。
In the above embodiment, the
上記実施形態では、タブレット端末またはスマートフォン等を用いて画像解析装置１を構成しているが、パーソナルコンピュータ等の汎用計算機を用いて画像解析装置１を構成してもよい。
In the above embodiment, the
上記実施形態では、画像解析に光学衛星画像を用いているが、画像解析に用いる画像は光学衛星画像に限らず、例えば航空機やドローン等から撮像された画像であってもよい。すなわち、画像解析に用いる画像は、対象物９の上空から撮像された画像であればよい。航空機やドローンには、例えば近赤外バンド画像３１および高精細画像３２の少なくとも２種類の画像を撮像可能な撮像装置を搭載すればよい。
In the above embodiment, an optical satellite image is used for image analysis, but the image used for image analysis is not limited to the optical satellite image, and may be an image captured by an aircraft, drone, or the like. That is, the image used for image analysis may be an image captured from above the
上記実施形態では、高精細画像３２にパンクロマチックバンド画像を用いているが、高精細画像３２はパンクロマチックバンド画像に限定されない。高精細画像３２は、近赤外バンド画像３１よりも高い解像度を有し、近赤外バンド画像３１と同一の地球上の領域が撮像された画像であればよい。
Although a panchromatic band image is used as the high-
上記実施形態では、画像解析により情報を生成する対象物９は、例えば沿岸域の海面に浮遊した状態で設置されている養殖筏であるが、対象物９は水域に浮遊する物体（浮遊物）に限らない。対象物９は、例えば砂漠地帯等の陸域に例えばモスボール化して保管されている航空機や車両等であってもよく、対象物９は、オブジェクトベース画像解析により背景画像から抽出可能な物体であればよい。
In the above-described embodiment, the
以下に本発明の実施例を示し、本発明の特徴をより明確にする。
［第１の実施例］
Examples of the present invention are shown below to further clarify the features of the present invention.
[First embodiment]
第１の実施例では、本発明の上記した他の実施形態に係る画像解析方法により得られる対象物９の数および面積（すなわち、近赤外バンド画像３１において識別された領域４１の数および面積）について、現地調査における実測値との比較を行った。また、同様の比較を、他の形式の衛星画像（ＲＧＢ画像）を画像解析することにより得られる結果と、近赤外バンド画像を用いずにパンクロマチックバンド画像のみを画像解析することにより得られる結果とに対しても行った。
In the first example, the number and area of the target objects 9 (that is, the number and area of the
岩手県と宮城県との県境に位置する広田湾を対象の領域とした。広田湾は、湾開口部の長さが約４．８ｋｍ、奥行きが約９ｋｍ、面積が約３７．１ｋｍ２、湾内および湾口の最大水深が約５６ｍのリアス式海外である。湾内ではカキ、ワカメ、ホタテ貝等の海面養殖が行われている。本実施例では、カキの養殖に用いられる長さ約１０ｍ、幅約４ｍの養殖筏を識別して、識別した養殖筏の数および面積を算出し、現地調査における実測値との比較を行った。 Hirota Bay, located on the border of Iwate and Miyagi prefectures, was selected as the target area. Hirota Bay is a rias type overseas with a bay opening length of about 4.8 km, a depth of about 9 km, an area of about 37.1 km 2 , and a maximum water depth of about 56 m inside and at the mouth of the bay. Oysters, wakame seaweed, scallops, etc. are cultivated in the bay. In this example, culturing rafts with a length of about 10 m and a width of about 4 m used for culturing oysters were identified, the number and area of the identified culturing rafts were calculated, and the results were compared with actual measurements in field surveys.
画像解析には、２０１５年４月３０日に人工衛星Pleiades1Aにより観測された、空間分解能２．０ｍのマルチスペクトルバンド画像を用いた。このマルチスペクトルバンド画像から、ＲＧＢ画像（Ｒ：バンド３、Ｇ：バンド２、Ｂ：バンド１）と、近赤外バンド画像（バンド４）との２種類の画像を作成し、作成したこれら２種類の画像のそれぞれを用いた場合について、画像解析を行った。また、空間分解能０．５ｍのパンクロマチックバンド画像のみを用いた場合について、画像解析を行った。画像の解析には、ソフトウェアENVI5.5（米国Harris GeoSpatial社）を用い、ルールベースのオブジェクトベース解析を行った。画像解析の条件として、海面のスペクトル領域を除外したスペクトルを養殖筏として設定した。
For the image analysis, a multispectral band image with a spatial resolution of 2.0 m, observed by the artificial satellite Pleiades1A on April 30, 2015, was used. From this multispectral band image, two types of images, an RGB image (R:
現地調査は２０１５年９月２９日に行い、養殖筏が規則正しく区画毎に配置されていることを確認した。空間配置については、パンクロマチックバンド画像を用いた目視判断を行うことにより、対象とする領域の海域全体で１０５３台の養殖筏が設置されていることを確認した。 A field survey was conducted on September 29, 2015, and it was confirmed that the culture rafts were regularly arranged in each section. Regarding the spatial arrangement, it was confirmed that 1053 aquaculture rafts were installed in the entire sea area of the target area by visual judgment using panchromatic band images.
ＲＧＢ画像を用いた画像解析からは、８９７台の養殖筏が検出された。これは目視判断による結果と比較して約８５％の検出率であった。また、養殖筏１台あたりの平均面積は約４８ｍ２であった。実際の養殖筏の面積は約４０ｍ２であることから、ＲＧＢ画像を用いた画像解析では、実際の面積よりも大きく検出された。この面積の大きさの違いは、画像解析に用いた人工衛星Pleiades1Aによる近赤外バンド画像の空間分解能の２ピクセル分の面積（約８．０ｍ２）に相当する。
Image analysis using RGB images detected 897 farming rafts. This was a detection rate of about 85% compared with the results based on visual judgment. In addition, the average area per culture raft was approximately 48 m 2 . Since the area of the actual culture raft is about 40 m 2 , the image analysis using the RGB image detected a larger area than the actual area. This difference in the size of the area corresponds to an area (approximately 8.0 m 2 ) corresponding to two pixels of the spatial resolution of the near-infrared band image obtained by the
近赤外バンド画像を用いた画像解析からは、１０３０台の養殖筏が検出された。これは目視判断による結果と比較して約９８％の検出率であった。また、養殖筏１台あたりの平均面積は約４９ｍ２であり、ＲＧＢ画像を用いた場合と同様に、実際よりも２ピクセル程度大きく面積が検出された。養殖筏の台数が実際よりも少なく検出された理由としては、例えば、互いに近い距離で配置されている養殖筏や、漁船が係留されていた養殖筏等では、それぞれが区別されずに１つのオブジェクトとして解析されていることが理由として考えられる。また、これによって、養殖筏１台あたりの平均面積も、実際の面積よりも大きく検出されたと考えられる。 Image analysis using near-infrared band images detected 1030 farming rafts. This was a detection rate of about 98% compared to the results based on visual judgment. In addition, the average area per culture raft was about 49 m 2 , and the area was detected to be about 2 pixels larger than the actual area, as in the case of using the RGB image. A possible reason why the number of farming rafts detected is smaller than the actual number is that, for example, the farming rafts that are arranged close to each other and the farming rafts that moored fishing boats are analyzed as one object without being distinguished from each other. In addition, it is considered that the average area per culture raft was detected to be larger than the actual area.
パンクロマチックバンド画像のみを用いた画像解析からは、１３１９台の養殖筏が検出された。これは目視判断による結果と比較して約２５％の検出率の増加であった。また、養殖筏１台あたりの平均面積は約３０ｍ２であり、実際の面積よりも小さく検出された。養殖筏の台数が実際よりも多く検出された理由としては、画像解析に用いたパンクロマチックバンド画像の空間分解能（０．５ｍ）では、１台の養殖筏が２～４台程度の複数の細かいオブジェクトとして解析されたことが理由として考えられる。また、これによって、養殖筏１台あたりの平均面積も、実際の面積よりも小さく検出されたと考えられる。 Image analysis using only panchromatic band images detected 1319 farming rafts. This was an increase in detection rate of about 25% compared to results based on visual judgment. In addition, the average area per aquaculture raft was about 30m2 , which was detected to be smaller than the actual area. The reason why the number of farming rafts was detected more than the actual number is that one farming raft was analyzed as a plurality of small objects of about 2 to 4 units at the spatial resolution (0.5 m) of the panchromatic band image used for image analysis. In addition, it is thought that the average area per culture raft was detected to be smaller than the actual area.
以上、第１の実施例より、オブジェクトベース画像解析により養殖筏の台数を検出する場合には、必ずしも空間分解能が高いパンクロマチックバンド画像を用いる必要はなく、マルチスペクトルバンド画像程度の空間分解能で十分であることが示された。また、ＲＧＢ画像を用いるよりも、近赤外バンド画像を用いることにより、養殖筏の検出率が向上することが示された。
［第２の実施例］
As described above, from the first embodiment, when detecting the number of culture rafts by object-based image analysis, it is not necessary to use a panchromatic band image with high spatial resolution, and a spatial resolution of the order of a multispectral band image is sufficient. Moreover, it was shown that the detection rate of culture rafts is improved by using near-infrared band images rather than by using RGB images.
[Second embodiment]
第２の実施例では、本発明の上記した二種類の実施形態に係る画像解析方法のそれぞれにより得られる対象物９の面積について、現地調査における実測値との比較を行った。すなわち、第２の実施例では、近赤外バンド画像３１を用いた１段階目のオブジェクトベース画像解析により識別された領域４１の面積と、高精細画像３２を用いた、バッファ領域４２の範囲内での２段階目のオブジェクトベース画像解析により識別された領域４４の面積とのそれぞれを、現地調査における実測値と比較した。宮城県石巻市長面浦を対象の領域とし、長面浦の海面に浮遊した状態で設置されている養殖筏を対象物として検出し、対象物の関連情報として面積を算出した。現地調査における養殖筏の実測は、2019年5月21日に行われた。
In the second example, the area of the
図１２は、第２の実施例において行った現地調査の結果を説明するための図である。対象の領域とした宮城県石巻市長面浦のＲＧＢ画像（白黒表示）を（Ａ）に示し、現地調査において実測された養殖筏の面積を（Ｂ）の表に示す。現地における実測は、（Ａ）のＲＧＢ画像中に番号１～１０で示す地点に設置されている養殖筏について行われた。
FIG. 12 is a diagram for explaining the results of the field survey conducted in the second example. (A) shows an RGB image (black and white display) of Nagamenura, Ishinomaki City, Miyagi Prefecture, which is the target area, and (B) shows the area of the culture raft actually measured in the field survey. Actual measurements at the site were conducted for the culture rafts installed at the points indicated by
図１３は、第２の実施例において行った画像解析結果の一例である。（Ａ）は第１の識別画像であり、（Ｂ）は第２の識別画像である。（Ａ）および（Ｂ）に示す識別画像は、番号６～８で示す養殖筏の海域について拡大表示されている。また、（Ａ）には、第１の識別画像に基づいて生成されたそれぞれの養殖筏の面積が表示されている。（Ａ）と同様に（Ｂ）にも、第２の識別画像に基づいて生成されたそれぞれの養殖筏の面積が表示されている。 FIG. 13 is an example of the result of image analysis performed in the second example. (A) is the first identification image, and (B) is the second identification image. The identification images shown in (A) and (B) are enlarged and displayed for the sea areas of the culture rafts indicated by numbers 6-8. In addition, (A) displays the area of each culture raft generated based on the first identification image. Similar to (A), (B) also shows the area of each culture raft generated based on the second identification image.
図１４は、第２の実施例において行った現地調査における実測値との比較結果を説明するための図である。（Ａ）は、上記した二種類の画像解析方法のそれぞれにより得られる養殖筏の面積と、現地調査における養殖筏の面積の実測値とを比較するためのグラフである。（Ｂ）は、上記した二種類の画像解析方法のそれぞれにより得られる養殖筏の面積について実測値との差分を示した表である。（Ｂ）の表には、番号１～１０で示す地点に設置されているそれぞれの養殖筏について、実測値との差分が示されている。
FIG. 14 is a diagram for explaining the result of comparison with actual measurement values in the field survey conducted in the second example. (A) is a graph for comparing the area of the culture raft obtained by each of the two types of image analysis methods described above and the measured value of the area of the culture raft in the field survey. (B) is a table showing the difference between the area of the culture raft obtained by each of the two types of image analysis methods described above and the measured value. Table (B) shows the difference from the measured values for each of the culture rafts installed at the points indicated by
（Ａ）のグラフを参照すると、例えば番号６および番号１０の養殖筏については、高精細画像を用いずに近赤外バンド画像に基づく画像解析により得られた面積の値は、実測値から約２０％程度も広めに算出されていた。（Ｂ）の表を参照して、実測値による面積と、上記した二種類の画像解析方法のそれぞれにより得られる面積との差分の標準偏差を算出した。近赤外バンド画像に基づく画像解析については、標準偏差は１１．２１ｍ２であり、高精細画像に基づく画像解析については、標準偏差は３．６０ｍ２であった。このことから、高精細画像に基づく画像解析の方が、得られる面積のばらつきが少ないことが確認された。 Referring to the graph of (A), for example, for culture rafts Nos. 6 and 10, the area values obtained by image analysis based on near-infrared band images without using high-definition images were calculated to be about 20% wider than the measured values. With reference to the table of (B), the standard deviation of the difference between the area obtained by the actual measurement and the area obtained by each of the two types of image analysis methods described above was calculated. For image analysis based on near-infrared band images, the standard deviation was 11.21 m2 , and for image analysis based on high-definition images, the standard deviation was 3.60 m2 . From this, it was confirmed that the image analysis based on the high-definition image has less variation in the area obtained.
以上、第２の実施例より、オブジェクトベース画像解析により養殖筏の台数を検出し、検出した養殖筏の面積を算出する場合には、近赤外バンド画像および高精細画像を用いて２段階のオブジェクトベース画像解析を行うことが好ましいことが示された。 As described above, according to the second embodiment, when the number of culture rafts is detected by object-based image analysis and the area of the detected culture rafts is calculated, it is shown that it is preferable to perform two-step object-based image analysis using a near-infrared band image and a high-definition image.
１（１Ａ，１Ｂ） 画像解析装置
２ 外部サーバ
８ 衛星
９ 対象物（養殖筏）
１２ データ処理部
１３ 補助記憶装置
１４ 入力部
１５ 表示部
１６ 通信インタフェース部
２１ 近赤外バンド画像取得部
２２ 高精細画像取得部
２３ マスク適用部
２４ 識別画像生成部
２５ バッファ領域設定部
２６ 参照領域設定部
２７ 識別画像生成部
２８ 関連情報生成部
３１ 近赤外バンド画像
３２ 高精細画像（パンクロマチックバンド画像）
３３ 第１の識別画像
３４ 第２の識別画像
３５ 関連情報
４１ 対象物の領域
４２ バッファ領域
４３ 参照領域
４４ 対象物の領域
Ｎ ネットワーク
Ｐ 画像解析プログラム
Ｕ 単位領域
1 (1A, 1B)
12
33
Claims (8)
対象物を含む地球上の領域が撮像された近赤外バンド画像にオブジェクトベース画像解析を適用して、前記近赤外バンド画像において前記対象物の領域が識別された第１の識別画像を生成し、
前記第１の識別画像に基づいて、識別された前記対象物の領域を包含するバッファ領域を、前記近赤外バンド画像よりも高い解像度を有し、前記近赤外バンド画像と同一の前記地球上の領域が撮像された高精細画像に設定し、
前記バッファ領域を囲む参照領域を前記高精細画像に設定し、
前記高精細画像について、前記参照領域の輝度値を閾値として用いて、前記バッファ領域の範囲内で前記高精細画像にオブジェクトベース画像解析を適用して、前記高精細画像において前記対象物の領域が識別された第２の識別画像を生成し、
前記第２の識別画像に基づいて、前記対象物に関連する関連情報を生成する、
処理を実行させるための、画像解析プログラム。 to the computer,
Applying object-based image analysis to a near-infrared band image in which a region on the earth including an object is captured to generate a first identification image in which the region of the object is identified in the near-infrared band image;
Based on the first identification image, a buffer area containing the identified object area is set to a high-definition image having a resolution higher than that of the near-infrared band image and having the same area on the earth as the near-infrared band image,
setting a reference area surrounding the buffer area to the high-definition image;
For the high-definition image, applying object-based image analysis to the high-definition image within the buffer area using the luminance value of the reference region as a threshold to generate a second identification image in which a region of the object is identified in the high-definition image;
generating relevant information related to the object based on the second identification image;
An image analysis program for processing.
前記対象物の大きさおよび数の少なくともいずれかに関する情報を生成する処理を実行させる、請求項１または２に記載の画像解析プログラム。 to the computer,
3. The image analysis program according to claim 1 , causing execution of processing for generating information on at least one of the size and number of said objects.
前記近赤外バンド画像に対応付けられている撮像範囲の緯度および経度の情報に基づいて、前記対象物の位置に関する情報を生成する処理を実行させる、請求項１から３のいずれかに記載の画像解析プログラム。 to the computer,
4. The image analysis program according to any one of claims 1 to 3 , which executes a process of generating information about the position of the object based on information about the latitude and longitude of the imaging range associated with the near-infrared band image.
前記近赤外バンド画像内の陸域の領域に画像マスクを適用する処理を実行させる、請求項１から４のいずれかに記載の画像解析プログラム。 to the computer,
5. The image analysis program according to any one of claims 1 to 4 , causing a process of applying an image mask to a land region in said near-infrared band image.
前記第１の識別画像に基づいて、識別された前記対象物の領域を包含するバッファ領域を、前記近赤外バンド画像よりも高い解像度を有し、前記近赤外バンド画像と同一の前記地球上の領域が撮像された高精細画像に設定するバッファ領域設定ステップと、
前記バッファ領域を囲む参照領域を前記高精細画像に設定する参照領域設定ステップと、
前記高精細画像について、前記参照領域の輝度値を閾値として用いて、前記バッファ領域の範囲内で前記高精細画像にオブジェクトベース画像解析を適用して、前記高精細画像において前記対象物の領域が識別された第２の識別画像を生成する第２識別画像生成ステップと、
前記第２の識別画像に基づいて、前記対象物に関連する関連情報を生成する関連情報生成ステップと、
を含む、画像解析方法。 a first identification image generating step of applying object-based image analysis to a near-infrared band image in which an area on the earth including an object is captured to generate a first identification image in which the area of the object is identified in the near-infrared band image;
a buffer area setting step of setting a buffer area including the area of the identified object based on the first identification image to a high-definition image having a resolution higher than that of the near-infrared band image and capturing the same area on the earth as the near-infrared band image;
a reference area setting step of setting a reference area surrounding the buffer area in the high-definition image;
A second identification image generating step of generating a second identification image in which the target area is identified in the high-definition image by applying object-based image analysis to the high-definition image within the buffer area using the luminance value of the reference area as a threshold;
a related information generating step of generating related information related to the object based on the second identification image;
An image analysis method, comprising:
前記第１の識別画像に基づいて、識別された前記対象物の領域を包含するバッファ領域を、前記近赤外バンド画像よりも高い解像度を有し、前記近赤外バンド画像と同一の前記地球上の領域が撮像された高精細画像に設定するバッファ領域設定部と、
前記バッファ領域を囲む参照領域を前記高精細画像に設定する参照領域設定部と、
前記高精細画像について、前記参照領域の輝度値を閾値として用いて、前記バッファ領域の範囲内で前記高精細画像にオブジェクトベース画像解析を適用して、前記高精細画像において前記対象物の領域が識別された第２の識別画像を生成する第２識別画像生成部と、
前記第２の識別画像に基づいて、前記対象物に関連する関連情報を生成する関連情報生成部と、
を備える、画像解析装置。 a first identification image generation unit that applies object-based image analysis to a near-infrared band image in which an area on the earth including an object is captured to generate a first identification image in which the area of the object is identified in the near-infrared band image;
a buffer area setting unit that sets a buffer area that includes the area of the identified object based on the first identification image to a high-definition image having a higher resolution than the near-infrared band image and in which the same area on the earth as the near-infrared band image is captured;
a reference area setting unit that sets a reference area surrounding the buffer area to the high-definition image;
a second identification image generating unit that generates a second identification image in which the target area is identified in the high-definition image by applying object-based image analysis to the high-definition image within the range of the buffer area using the luminance value of the reference area as a threshold;
a related information generation unit that generates related information related to the object based on the second identification image;
An image analysis device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019162614A JP7313676B2 (en) | 2019-09-06 | 2019-09-06 | Image analysis program, image analysis method and image analysis device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019162614A JP7313676B2 (en) | 2019-09-06 | 2019-09-06 | Image analysis program, image analysis method and image analysis device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021043485A JP2021043485A (en) | 2021-03-18 |
| JP7313676B2 true JP7313676B2 (en) | 2023-07-25 |
Family
ID=74861665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019162614A Active JP7313676B2 (en) | 2019-09-06 | 2019-09-06 | Image analysis program, image analysis method and image analysis device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7313676B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2022196637A1 (en) | 2021-03-17 | 2022-09-22 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007018387A (en) | 2005-07-08 | 2007-01-25 | Ntt Data Corp | Apparatus and method for preparing map of green covering ratio, and program |
| JP2008226176A (en) | 2007-03-15 | 2008-09-25 | Toshiba Corp | Thermal target tracking device and method |
| CN105184804A (en) | 2015-10-12 | 2015-12-23 | 上海海大技术转移有限公司 | Sea surface small target detection method based on airborne infrared camera aerially-photographed image |
| JP2018097506A (en) | 2016-12-12 | 2018-06-21 | 株式会社日立製作所 | Satellite image processing system and method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11109013A (en) * | 1997-10-06 | 1999-04-23 | Mitsubishi Electric Corp | Target-detecting device |
-
2019
- 2019-09-06 JP JP2019162614A patent/JP7313676B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007018387A (en) | 2005-07-08 | 2007-01-25 | Ntt Data Corp | Apparatus and method for preparing map of green covering ratio, and program |
| JP2008226176A (en) | 2007-03-15 | 2008-09-25 | Toshiba Corp | Thermal target tracking device and method |
| CN105184804A (en) | 2015-10-12 | 2015-12-23 | 上海海大技术转移有限公司 | Sea surface small target detection method based on airborne infrared camera aerially-photographed image |
| JP2018097506A (en) | 2016-12-12 | 2018-06-21 | 株式会社日立製作所 | Satellite image processing system and method |
Non-Patent Citations (1)
| Title |
|---|
| 若林 裕之 ほか，ＵＡＶ搭載可視近赤外カメラを用いた猪苗代湖北部水域の水生植物モニタリング，第６６回（令和元年度春季）学術講演会論文集［ＣＤ－ＲＯＭ］，一般社団法人日本リモートセンシング学会，2019年06月，第153-154頁 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021043485A (en) | 2021-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Othman et al. | Improving lithological mapping by SVM classification of spectral and morphological features: The discovery of a new chromite body in the Mawat ophiolite complex (Kurdistan, NE Iraq) | |
| US10049434B2 (en) | Systems and methods for object detection | |
| JP4724247B2 (en) | House change judgment method, house change judgment program, house change judgment image generation method, and house change judgment image | |
| US11334986B2 (en) | System and method for processing images of agricultural fields for remote phenotype measurement | |
| Hayes et al. | Drones and deep learning produce accurate and efficient monitoring of large-scale seabird colonies | |
| Andrew et al. | Semi‐automated detection of eagle nests: an application of very high‐resolution image data and advanced image analyses to wildlife surveys | |
| Yamakita et al. | Application of deep learning techniques for determining the spatial extent and classification of seagrass beds, Trang, Thailand | |
| JP7313676B2 (en) | Image analysis program, image analysis method and image analysis device | |
| Collings et al. | Depth from satellite images: depth retrieval using a stereo and radiative transfer-based hybrid method | |
| Song et al. | Remote sensing image spatiotemporal fusion via a generative adversarial network with one prior image pair | |
| US20160267382A1 (en) | Methods and devices for analysis of digital color images and methods of applying color image analysis | |
| McNabb et al. | Quantification and analysis of icebergs in a tidewater glacier fjord using an object-based approach | |
| Zhang et al. | Identification of parasite-host habitats in Anxiang county, Hunan Province, China based on multi-temporal China-Brazil earth resources satellite (CBERS) images | |
| Collin et al. | Mapping bathymetry, habitat, and potential bleaching of coral reefs using Sentinel-2 | |
| Yue et al. | The optimal segmentation scale identification using multispectral WorldView-2 images | |
| JP2015084192A (en) | Forest physiognomy analyzing apparatus, forest physiognomy analyzing method, and program | |
| Akhlaq et al. | Comparative analysis of object-based and pixel-based classification of high-resolution remote sensing images for mapping coral reef geomorphic zones | |
| RU2650700C1 (en) | Method of aerospace geoinformation monitoring of natural and man-made objects with the application of the wavelet transform method for aerospace digital photographs | |
| Wahyuni | Forest change analysis using OBIA approach and supervised classification a case study: Kolaka District, South East Sulawesi | |
| Arora et al. | Incorporating Spectral Indices and Textural Features for Improved Classification Accuracy Towards Semi-Automated River Sand Mapping Using High-Resolution Multispectral Satellite Imagery | |
| Burn et al. | An improved procedure for detection and enumeration of walrus signatures in airborne thermal imagery | |
| CN116229280B (en) | Method and device for identifying collapse sentry, electronic equipment and storage medium | |
| JP2021177262A (en) | Restoration function adjustment system, data restoration device, restoration function adjustment method, restoration function generation method, and computer program | |
| Kamal et al. | Assessment of mangrove spatial structure using high-spatial resolution image data | |
| Rasheed et al. | Dugong Feeding Ecology and Habitat Use on Intertidal Banks of Port Curtis and Rodds Bay–Interim Progress Report 2015 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190927 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230705 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7313676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |