JP7344987B2 - 農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステム - Google Patents
農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステム Download PDFInfo
- Publication number
- JP7344987B2 JP7344987B2 JP2021568572A JP2021568572A JP7344987B2 JP 7344987 B2 JP7344987 B2 JP 7344987B2 JP 2021568572 A JP2021568572 A JP 2021568572A JP 2021568572 A JP2021568572 A JP 2021568572A JP 7344987 B2 JP7344987 B2 JP 7344987B2
- Authority
- JP
- Japan
- Prior art keywords
- farmland
- image
- images
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims description 147
- 238000010276 construction Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 40
- 238000012360 testing method Methods 0.000 claims description 39
- 238000003709 image segmentation Methods 0.000 claims description 18
- 230000003321 amplification Effects 0.000 claims description 15
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims 2
- 230000011218 segmentation Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241001124569 Lycaenidae Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は画像セマンティクス認識分野に関し、さらに農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムに関する。
現代の科学技術の進歩と現代の高効率農業の継続的な発展に伴い、農業の近代化の過程における自動化制御技術のかけがえのない位置と役割がますます注目されている。農業の自動化は、作業生産性を大幅に向上させ、作業強度を低下させ、作業の快適さを高め、農業生産を高効率かつ高精度で機械化することができる。自動化への発展は、必然的な選択である。
特に近年、精密農業の概念が出現した。精密農業において、農地シーンに対する理解は、精密農業の発展と進歩を促進するための重要な技術である。コンピューターや関連する農業知識理論に基づく自動情報取得方法は、従来の情報取得方法に徐々に取って代わり、農業情報取得の主な手段になっている。
農業情報取得技術において、精密農業が直面する主な研究課題は、農業作業環境を如何に正確、効果的かつ全面的に認識するかに関わる方法であり、すなわち、シーン理解タスクである。精密農業の開発の重要な方向と注目される内容は、コンピューターを使用して、ヒトと同様な周囲環境感知能力を農業機械に与え、農地シーンにおける画像分割、農地目標検出及び認識、三次元情報取得などの農業タスクを農業機械に自動的に行わせ、それにより、農地シーン理解における各タスクを完了させることである。研究の深化と技術の発展に伴い、セマンティック分割を含むさまざまな解決手段が継続的に提案され、ままます成熟に進歩して発展し、精密農業の実現、農業生産性の向上に対してより大きな意味を生じさせる。
従来の農地生産方法は、農地や果樹園などを一括して管理し、施肥・除草・農薬噴霧・耕起などの操作を行うとき、農作物情報分布の空間的差異を考慮していないため、生産コストが向上したり、環境汚染が悪化したりしてしまう。これらの問題を解決するために、精密農業は、将来の農業発展のトレンドとなっており、農地画像のセマンティック分割は精密農業の前提と基盤である。現在、深層学習法は、農地の画像分割において非常に重要な役割を果たしている。畳み込みニューラルネットワークは、分割や分類などのさまざまな画像分析タスクで非常に有利な結果を達成し、強力な適用性を示している。
現在、画像セマンティック分割の研究方法は、深層学習の分野に参入しており、ニューラルネットワークは、優れた結果を達成しているが、依然として細分化されていない分割結果やピクセル間の関係の不十分な考慮などの課題に直面しているため、セマンティック分割された画像詳細の一部が失われ、スペースに一貫性が欠けている。また、農地のシーンには、カテゴリ情報が多く、セマンティックオブジェクトの輪郭が十分に明確ではなく、作物の状態が更新され、自然環境が複雑で変更しやすいため、セマンティック分割の精度と適応性に悪影響を与えてしまう。
本発明の１つの目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、前記農地画像に基づく畳み込みニューラルネットワーク構築方法は、畳み込みニューラルネットワークを農地画像の分割に導入することで、農地画像の分割精度を向上させる。
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、前記農地画像に基づく畳み込みニューラルネットワーク構築方法は、農地画像をトレーニングサンプルとして畳み込みニューラルネットワークに入力し、農地画像に対してリアルタイムにセマンティクス分割を行うことで、農地画像のセマンティクス分割の精度を向上させる。
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、前記農地画像に基づく畳み込みニューラルネットワークの構築過程では、効果的かつ使用可能な農地画像データセットを構築する。
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、多解像度ネットワーク方法を用い、解像度が異なる画像のそれぞれを互いに独立したネットワークによりトレーニングし、同じ画像領域が異なる解像度で同じラベルを用いることを促進し、画素間の相互作用を強化させる。
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、条件付き確率場をネットワーク後処理モジュールとして用い、画像の詳細を十分に考慮し、エッジを細分化し、画像分割効果を向上させる。
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、最適化されたＥＮｅｔネットワークを用いて農地画像の分割を行い、高い実用性及び有効性を有する。
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、畳み込みニューラルネットワークをＢａｔｃｈＮｏｒｍ層のパラメータに統合し、畳み込み層に融合することで、モデルのテスト速度を向上させる。
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、前記農地画像に基づく畳み込みニューラルネットワーク構築方法は、操作しやすく、実現しやすい。
本発明の別の目的は、農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステムを提供することであり、前記農地画像に基づく畳み込みニューラルネットワーク構築方法で構築される農地画像に基づく畳み込みニューラルネットワークモデルは、画像分割効率が高く、使いやすい。
これに対応して、以上の少なくとも１つの発明目的を実現するために、本発明は、農地画像に基づく畳み込みニューラルネットワークの構築方法を提供し、前記構築方法は、
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
本発明のいくつかの好適な実施例では、前記ステップ１０２と前記ステップ１０３との間に、
前記農地画像の各々及び対応する前記標準的に分割された農地画像をシングルチャンネルグレースケール画像に変換するステップ１０６と、
前記農地画像及び対応する前記標準的に分割された農地画像をそれぞれ前処理し、画像増幅処理に用いることで、画像の多様性を向上させる、ステップ１０７と、をさらに含む。
前記農地画像の各々及び対応する前記標準的に分割された農地画像をシングルチャンネルグレースケール画像に変換するステップ１０６と、
前記農地画像及び対応する前記標準的に分割された農地画像をそれぞれ前処理し、画像増幅処理に用いることで、画像の多様性を向上させる、ステップ１０７と、をさらに含む。
本発明のいくつかの好適な実施例では、前記ステップ１０１は、
前記少なくとも１つの農地の少なくとも１つのビデオを取得するステップ１０１１と、
フレーム数に従って前記ビデオにおける前記農地画像を抽出するステップ１０１２と、
所定条件を満たさない前記農地画像を除去するステップ１０１３と、をさらに含む。
前記少なくとも１つの農地の少なくとも１つのビデオを取得するステップ１０１１と、
フレーム数に従って前記ビデオにおける前記農地画像を抽出するステップ１０１２と、
所定条件を満たさない前記農地画像を除去するステップ１０１３と、をさらに含む。
本発明のいくつかの好適な実施例では、前記ステップ１０３において、前記農地画像及び対応する前記標準的に分割された農地画像を８：２の比率で前記トレーニング画像セットと前記テスト画像セットに分割する。
本発明のいくつかの好適な実施例では、前記ステップ１０４において、前記畳み込みニューラルネットワークは、ＥＮｅｔネットワークであり、前記ＥＮｅｔネットワークの活性化関数としてｐｒｅｌｕ活性化関数が用いられ、
式中において、前記ａｉは、学習可能パラメータである。
式中において、前記ａｉは、学習可能パラメータである。
本発明のいくつかの好適な実施例では、前記ステップ１０４は、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像のそれぞれを解像度が異なる複数種の画像に変換する１０４１と、
解像度が異なる複数種の画像のそれぞれを独立した複数のネットワークで処理して対応する特徴図を得る１０４２と、
複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴画像を融合図に融合するステップ１０４３と、
前記融合図を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４４とをさらに含む。
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像のそれぞれを解像度が異なる複数種の画像に変換する１０４１と、
解像度が異なる複数種の画像のそれぞれを独立した複数のネットワークで処理して対応する特徴図を得る１０４２と、
複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴画像を融合図に融合するステップ１０４３と、
前記融合図を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４４とをさらに含む。
本発明のいくつかの好適な実施例では、前記ステップ１０４１において、前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を、フル解像度４８０＊６４０、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の３つの解像度画像にそれぞれ変換する。
本発明のいくつかの好適な実施例では、前記ステップ１０４２において、フル解像度４８０＊６４０の画像を改良されたＥＮｅｔネットワークで処理して対応する特徴図を取得しハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像をＥＮｅｔネットワークで処理して対応する特徴図を得る。
本発明のいくつかの好適な実施例では、前記ステップ１０５において、最適化後のネットワークモデルのＢａｔｃｈＮｏｒｍ層のパラメータを畳み込み層に融合することで、モデルのテスト速度を向上させる。
本発明のいくつかの好適な実施例では、前記ステップ１０５において、最適化後のネットワークモデルの後にガウス条件付き確率場を追加して処理させることで、境界分割の効果をさらに細分化する。
本発明の他の態様によれば、本発明は、
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含むことを特徴とする、農地画像に基づく畳み込みニューラルネットワークモデルをさら提供する。
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含むことを特徴とする、農地画像に基づく畳み込みニューラルネットワークモデルをさら提供する。
本発明の他の態様によれば、本発明は、農地画像に基づく畳み込みニューラルネットワークモデルの構築システムをさら提供し、畳み込みニューラルネットワークモデルの構築システムは、
少なくとも１つの農地の１セットの農地画像を取得するための画像取得ユニットと、
前記農地画像を分割して対応する標準的に分割された農地画像を取得するための画像分割ユニットと、
前記農地画像及び対応する前記標準的に分割された農地画像に基づいて対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築するためのネットワークモデル構築ユニットと、を含む。
少なくとも１つの農地の１セットの農地画像を取得するための画像取得ユニットと、
前記農地画像を分割して対応する標準的に分割された農地画像を取得するための画像分割ユニットと、
前記農地画像及び対応する前記標準的に分割された農地画像に基づいて対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築するためのネットワークモデル構築ユニットと、を含む。
本発明のいくつかの好適な実施例では、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システムは、前記画像取得ユニット及び前記画像分割ユニットに作動可能に接続される、前記農地画像及び対応する前記標準的に分割された農地画像を対応するシングルチャンネルグレースケール画像に変換するための画像変換ユニットをさらに含む。
本発明のいくつかの好適な実施例では、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システムは、前記画像取得ユニット及び前記画像分割ユニットに作動可能に接続される、前記農地画像及び対応する前記標準的に分割された農地画像に対して増幅処理を行うための画像増幅ユニットをさらに含む。
本発明のいくつかの好適な実施例では、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システムは、前記農地画像及び対応する前記標準的に分割された農地画像を所定比率でトレーニング画像セット及びテスト画像セットに分割するための画像分割ユニットをさらに含む。
本発明のいくつかの好適な実施例では、前記ネットワークモデル構築ユニットは、モデル確立モジュールとモデル最適化モジュールと、をさらに含み、前記モデル確立モジュールは、前記トレーニング画像セットに基づいて畳み込みニューラルネットワークモデルを作成し、前記モデル最適化モジュールは、前記テスト画像セットに基づいて前記畳み込みニューラルネットワークモデルを最適化させる。
本発明のいくつかの好適な実施例では、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システムは、前記農地画像及び対応する前記標準的に分割された農地画像を複数の異なる解像度の画像に変換するための多解像度変換ユニットをさらに含む。
本発明の他の態様によれば、本発明は、農地画像に基づく畳み込みニューラルネットワークモデルの農地画像の分割方法をさら提供し、畳み込みニューラルネットワークモデルの農地画像の分割方法は、
農地のリアルタイム画像を取得するステップ３０１と、
前記リアルタイム画像を前記農地画像に基づく畳み込みニューラルネットワークモデルに入力し、前記リアルタイム画像に対応するリアルタイム分割画像を取得するステップ３０２と、を含み、
前記農地画像に基づく畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
農地のリアルタイム画像を取得するステップ３０１と、
前記リアルタイム画像を前記農地画像に基づく畳み込みニューラルネットワークモデルに入力し、前記リアルタイム画像に対応するリアルタイム分割画像を取得するステップ３０２と、を含み、
前記農地画像に基づく畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２と、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
以下の説明は、当業者が本発明を実施できるために、本発明を開示するためのものである。以下の説明における好ましい実施形態は単なる例であり、当業者は他の明白な変形を想到できる。以下の説明で限定される本発明の基本原理は、その他の実施案、変形案、改良案、同等案及び本発明の精神と範囲から逸脱しないその他の技術の解決手段に適用できる。
当業者であれば理解できるように、本発明の説明において、「縦方向」、「横方向」、「上」、「下」、「前」、「後」、「左」、「右」、「垂直」、「水平」、「頂」、「底」「内」、「外」などのような用語により示される方位又は位置関係は、図面に示される方位又は位置関係に基づくものであり、本発明の説明及び本発明の説明の簡単化のために過ぎず、示される装置又は要素が特定方位を有したり、特定方位で構成又は操作されたりすることを指示又は示唆するものではなく、従って、上記用語は、本発明に対する限定としては理解されない。
理解されるように、用語の「１つ」は、「少なくとも１つ」又は「１つ又は複数」と理解されるべきであり、すなわち、１つの実施例では、１つの素子の数は、１つであってもよいが、他の実施例では、該素子の数は複数であってもよく、用語「１つ」は数に対する制限と理解すべきではない。
明細書の図１～図７を参照すると、本発明に係る農地画像に基づく畳み込みニューラルネットワークモデルの構築方法１００が説明され、畳み込みニューラルネットワークモデルの構築方法１００は、
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
さらに、前記ステップ１０２と前記ステップ１０３との間に、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をシングルチャンネルグレースケール画像に変換するステップ１０６と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をそれぞれ前処理し、画像増幅処理に用いることで、画像の多様性を向上させるステップ１０７と、をさらに含む。
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をシングルチャンネルグレースケール画像に変換するステップ１０６と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をそれぞれ前処理し、画像増幅処理に用いることで、画像の多様性を向上させるステップ１０７と、をさらに含む。
前記ステップ１０１は、
前記少なくとも１つの農地の少なくとも１つのビデオを取得するステップ１０１１と、
フレーム数に従って前記ビデオにおける画像を抽出するステップ１０１２と、
所定条件を満たさない画像を除去するステップ１０１３と、をさらに含む、
前記少なくとも１つの農地の少なくとも１つのビデオを取得するステップ１０１１と、
フレーム数に従って前記ビデオにおける画像を抽出するステップ１０１２と、
所定条件を満たさない画像を除去するステップ１０１３と、をさらに含む、
好適には、本好適な実施例では、取得された前記少なくとも１つの農地の前記少なくとも１つのビデオの長さは、３０ｓである。好適には、取得された前記少なくとも１つの農地の前記ビデオは、複数であり、それぞれ前記少なくとも１つの農地の複数の角度から取得される。さらに、取得された前記少なくとも１つの農地の前記ビデオが一日中の異なる時刻に取得され、それにより、一日中の光の変化による農地画像の分割に対する影響を低減させ、農地画像の分割精度を向上させる。好適には、前記少なくとも１つの農地に栽培される主要作物は、水稲及び野菜である。
前記ステップ１０１３において、フレーム数に従って前記ビデオにおける前記農地画像１１０を取得した後、所定条件を満たさない画像、例えば、不明瞭な画像、分割すべき目標なしの画像などを除去し、それにより、前記農地画像１１０の精度を向上させ、農地画像の分割精度を向上させることに寄与する。
前記ステップ１０２において、画像マーキングツールにより前記農地画像１１０の各々に対して対応する前記標準的に分割された農地画像１２０を作成することで、前記農地画像１１０の各々に対応する前記標準的に分割された農地画像１２０を取得する。当業者であれば理解できるように、本発明の別のいくつかの好適な実施の形態では、本発明の発明目的を実現できる限り、その他の方式で、前記農地画像１１０に対応する前記標準的に分割された農地画像１２０を取得してもよく、前記農地画像１１０に対応する前記標準的に分割された農地画像１２０を取得する具体的な方式は、本発明に対する限定を構成しない。
好適には、本好適な実施例では、前記画像マーキングツールは、前記農地画像１１０の各々に対して対応する前記標準的に分割された農地画像１２０を作成するとき、用いるマーキングデータは、背景、農地及び障害物の３種類に分けられる。本発明の別のいくつかの好適な実施例では、前記画像マーキングツールは、前記農地画像１１０の各々に対して対応する前記標準的に分割された農地画像１２０を作成するとき、用いるマーキングデータは、あぜ、農地、ハーベスタ、人、収穫後の農地、空、建築、道路、木、ワイヤーロッド及び無効の１１種類に分けられ、マーキングデータをさらに細分化することにより、異なるカテゴリの検出精度を向上させる。
理解できるように、畳み込みネットワークが損失を計算するのに必要とされるラベル画像がシングルチャンネルグレースケール画像であるため、前記農地画像１１０及び前記標準的に分割された農地画像１２０をシングルチャンネルグレースケール画像に変換することにより、前記畳み込みネットワークが損失を計算しやすくなる。
前記ステップ１０７において、前記農地画像１１０及び前記標準的に分割された農地画像１２０の画像多様性を増加させ、モデルの一般化能力を向上させ、モデルに過剰適合現象が生じることを回避するために、前記農地画像１１０及び前記分割農地画像１２０を前処理する。具体的には、前記農地画像１１０及び前記標準的に分割された農地画像１２０の前処理方法は、反転、並進、ズーム、ノイズ追加などの方法で、前記農地画像１１０及び前記標準的に分割された農地画像１２０に対してそれぞれ画像データの増幅処理を行うことであり、画像トレーニングデータの多様性を増加させる。
前記ステップ１０３において、増幅処理済みの前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を８：２の比率で前記トレーニング画像セット１３０及び前記テスト画像セット１４０に分割する。当業者であれば理解できるように、本発明の別のいくつかの好適な実施例では、本発明の発明目的を実現できる限り、７：３、６：４などのその他の比率で前記農地画像１１０及び前記標準的に分割された農地画像１２０を前記トレーニング画像セット１３０と前記テスト画像セット１４０に分割してもよく、前記トレーニング画像及び１３０と前記テスト画像セット１４０の分割比率は、本発明に対する限定を構成しない。
前記ステップ１０４において、前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築し、前記畳み込みニューラルネットワークは、ＥＮｅｔネットワークであり、前記トレーニング画像セット１３０における前記農地画像１１０のデータ及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、ネットワークモデルパラメータをトレーニングする。
好適には、前記ＥＮｅｔネットワークの活性化関数としてｐｒｅｌｕ活性化関数が用いられ、
式中において、前記ａｉは、学習可能パラメータである。
式中において、前記ａｉは、学習可能パラメータである。
以下の表１を参照し、本発明で用いられる畳み込みニューラルネットワークモデルの詳細構造の表が示され、好適には、本好適な実施例では、用いられる畳み込みニューラルネットワークモデルは、ＥＮｅｔネットワークである。
前記ステップ１０５において、前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化させ、前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０のデータを取得された前記農地画像に基づく畳み込みニューラルネットワークモデルに入力して認証し、また、認証結果に応じて、前記農地画像に基づく畳み込みニューラルネットワークモデルのスパーパラメータを絶えず調整することで、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化することを実現する。
理解できるように、前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証した後、最終的に最適化済みの前記農地画像に基づく畳み込みニューラルネットワークモデルを取得し、且つ最適化済みの前記農地画像に基づく畳み込みニューラルネットワークモデルを用いて実農地画像をテストでき、前記農地画像に基づく畳み込みニューラルネットワークモデルによる実農地画像に対する分割効果をテストする。
さらに、前記少なくとも１つの農地の前記農地画像１１０を取得した後、前記農地画像１１０の大きさを統一的な所定サイズにズームする必要があり、それにより、前記農地画像１１０の後続処理が容易になる。
前記ステップ１０５において、前記テスト画像セット１４０における前記農地画像１１０及び前記標準的に分割された農地画像１２０を用いて前記農地画像に基づく畳み込みニューラルネットワークモデルを認証するとき、認証結果が所定精度条件を満たさず、例えば、画像分割誤差が所定条件を超えると、前記農地画像に基づく畳み込みニューラルネットワークモデルのネットワーク構成を変更し、ネットワーク構成が変更された畳み込みニューラルネットワークに対して、前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を用い、農地画像に基づく畳み込みニューラルネットワークモデルを再構築する。認証結果が前記所定精度条件を満たすと、終了する。
本発明の第２の好適な実施例では、前記トレーニング画像１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築する前記ステップ１０４は、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０のそれぞれを解像度が異なる複数種の画像に変換するステップ１０４１と、
解像度が異なる複数種の画像のそれぞれを独立した複数のネットワークで処理して対応する特徴図を得るステップ１０４２と、
複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴画像を融合図に融合するステップ１０４３と、
前記融合図を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４４と、をさらに含む。
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０のそれぞれを解像度が異なる複数種の画像に変換するステップ１０４１と、
解像度が異なる複数種の画像のそれぞれを独立した複数のネットワークで処理して対応する特徴図を得るステップ１０４２と、
複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴画像を融合図に融合するステップ１０４３と、
前記融合図を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４４と、をさらに含む。
好適には、前記ステップ１０４１において、前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を、フル解像度４８０＊６４０、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の３つの異なる解像度の画像にそれぞれ変換する。
よって、前記ステップ１０４２において、フル解像度４８０＊６４０の画像を改良されたＥＮｅｔネットワークで処理して対応する特徴図を取得し、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像をＥＮｅｔネットワークで処理して対応する特徴図を取得する。ここで、ＥＮｅｔを用いてハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像に対応する特徴図を取得するとき、ＥＮｅｔネットワークのダウンサンプリング部分のみを用い、ダウンサンプリング部分で得られた特徴図を８倍アップサンプリングして元の入力解像度の特徴図を得る。
前記ステップ１０４３において、複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴図を融合図に融合し、複数の前記特徴画像を融合するとき、最大値法、すなわち、Ｆｉ＝ｍａｘ（Ｘｉ，Ｙｉ，Ｚｉ）を用いる。特徴画像を融合して得られた融合図を最終的なｓｏｆｔｍａｘ層に入力して計算し、ｓｏｆｔｍａｘ関数は、
本発明の第３の好適な実施例では、前記ステップ１０４において、前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築し、前記第３の好適な実施例では、前記ＥＮｅｔネットワークを変更し、前記ＥＮｅｔネットワークアップサンプリング過程におけるあらゆるＵｐｓａｍｐｌｉｎｇ層をＤｅｃｏｎｖｏｌｕｔｉｏｎ層に置き換わる。
本発明の第４の好適な実施例では、前記ステップ１０４において、前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築し、前記第４の好適な実施例では、前記ＥＮｅｔネットワークにおけるあらゆる統合層の後に、畳み込みコアの大きさが（１，１）の畳み込み層を追加する。
本発明の第５の好適な実施例では、前記ステップ１０５において、前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化させ、前記第５の好適な実施例では、最適化後のネットワークモデルパラメータを処理し、ＢａｔｃｈＮｏｒｍ層のパラメータを統合し、畳み込み層に融合することで、モデルのテスト速度を向上させる。特定の実施の形態では、畳み込み加重はＷで表し、畳み込みオフセットはＢで表し、畳み込み層計算はＷ＊Ｘ＋Ｂで表し、ＢＮ層における平均値はμで表し、分散はσで表し、スケーリングファクターはγで表し、オフセットはβで表し、小さい数（分母が０であることを防止する）は
表２を参照すると、ＢＮ層が畳み込み層に統合された後の効果の比較（画像の解像度が４８０＊６４０）が示され、以下の表から分かるように、ＢＮ層が畳み込み層に統合された後、検出速度が著しく向上する。
本発明の第６の好適な実施例では、前記ステップ１０５において、前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化させ、前記第６の好適な実施例では、最適化されたネットワークモデルの後に、ガウス条件付き確率場を追加して処理させることで、境界分割の効果をさらに細分化する。
本発明の他の態様によれば、本発明は、農地画像に基づく畳み込みニューラルネットワークモデルの構築システム２００をさら提供し、畳み込みニューラルネットワークモデルの構築システム２００は、
少なくとも１つの農地の１セットの農地画像１１０を取得するための画像取得ユニット２１と、
前記農地画像１１０を分割して対応する標準的に分割された農地画像１２０を取得するための画像分割ユニット２２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０に基づいて対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築するためのネットワークモデル構築ユニット２３と、を含む。
少なくとも１つの農地の１セットの農地画像１１０を取得するための画像取得ユニット２１と、
前記農地画像１１０を分割して対応する標準的に分割された農地画像１２０を取得するための画像分割ユニット２２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０に基づいて対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築するためのネットワークモデル構築ユニット２３と、を含む。
さらに、前記農地画像に基づく畳み込みニューラルネットワーク構築システム２００は、前記画像取得ユニット２１及び前記画像分割ユニット２２に作動可能に接続される、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を対応するシングルチャンネルグレースケール画像に変換することで、この後に畳み込みネットワークが損失を計算しやすくなるための画像変換ユニット２４をさらに含む。
前記畳み込みニューラルネットワークに基づく農地画像の分割システムは、前記画像取得ユニット２１及び前記画像分割ユニット２２に作動可能に接続される、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０に対して増幅処理を行うことにより、画像の多様性を向上させるための画像増幅ユニット２５をさらに含む。
具体的には、前記画像増幅ユニット２５は、反転、並進、ズーム、及びノイズ追加などの方法を用い、それぞれ前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０に対して増幅処理を行うことができることにより、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０の多様性を向上させ、モデルの一般化能力を向上させ、モデルに過剰適合の現象が生じることを回避する。
さらに、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システム２００は、前記画像取得ユニット２１及び前記画像分割ユニット２２にそれぞれ作動可能に接続される、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を所定比率で前記トレーニング画像セット１３０と前記テスト画像セット１４０に分割するための画像分割ユニット２６をさらに含む。好適には、前記画像分割ユニット２６は、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を８：２の比率で前記トレーニング画像セット１３０と前記テスト画像セット１４０に分割する。前記ネットワークモデル部材ユニット２３は、前記トレーニング画像セット１３０と前記テスト画像セット１４０に基づいて、対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築する。
前記ネットワークモデル構築ユニット２３は、モデル確立モジュール２３１と、モデル最適化モジュール２３２と、をさらに含み、前記モデル確立モジュール２３１は、前記トレーニング画像セット１３０に基づいて、農地画像に基づく畳み込みニューラルネットワークモデルを作成し、前記モデル最適化モジュール２３２は、前記テスト画像セット１４０に基づいて、前記モデル最適化モジュール２３２で作成された前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化する。
明細書の図９を参照すると、本発明に係る前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システム２００の変形実施形態が説明され、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システム２００は、前記画像取得ユニット２１及び前記画像分割ユニット２２にそれぞれ作動可能に接続される、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を異なる解像度を有する複数の画像に変換するための多解像度変換ユニット２７をさらに含み、好適には、前記多解像度変換ユニット２７は、前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を、フル解像度４８０＊６４０、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の３つの異なる解像度の画像にそれぞれ変換する。
よって、前記ステップ１０４２において、フル解像度４８０＊６４０の画像を改良されたＥＮｅｔネットワークで処理して対応する特徴図を取得し、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像をＥＮｅｔネットワークで処理して対応する特徴図を取得する。ＥＮｅｔを用いてハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像に対応する特徴図を取得するときに、ＥＮｅｔネットワークのダウンサンプリング部分のみを用い、ダウンサンプリング部分で得られた特徴図を８倍アップサンプリングして元の入力解像度の特徴図を得る。
前記ステップ１０６３において、複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴図を融合図に融合し、複数の前記特徴画像を融合するとき、最大値法、すなわち、Ｆｉ＝ｍａｘ（Ｘｉ，Ｙｉ，Ｚｉ）を用いる。特徴画像を融合して得られた融合図を最終的なｓｏｆｔｍａｘ層に入力して計算し、ｓｏｆｔｍａｘ関数は、
本発明の他の態様によれば、本発明は、農地画像の分割方法３００をさら提供し、農地画像の分割方法３００は、
農地のリアルタイム画像を取得するステップ３０１と、
前記リアルタイム画像を前記農地画像に基づく畳み込みニューラルネットワークモデルに入力し、前記リアルタイム画像に対応するリアルタイム分割画像を取得しステップ３０２と、を含む。
農地のリアルタイム画像を取得するステップ３０１と、
前記リアルタイム画像を前記農地画像に基づく畳み込みニューラルネットワークモデルに入力し、前記リアルタイム画像に対応するリアルタイム分割画像を取得しステップ３０２と、を含む。
前記農地画像に基づく畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
本発明の他の態様によれば、本発明は、農地画像に基づく畳み込みニューラルネットワークモデルをさら提供し、前記農地画像に基づく畳み込みニューラルネットワークモデルの構築方法は、
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
少なくとも１つの農地の１セットの農地画像１１０を取得するステップ１０１と、
前記農地画像１１０の各々に対応する標準的に分割された農地画像１２０を取得するステップ１０２と、
前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０をトレーニング画像セット１３０及びテスト画像セット１４０に分割するステップ１０３と、
前記トレーニング画像セット１３０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セット１４０における前記農地画像１１０及び対応する前記標準的に分割された農地画像１２０で前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含む。
本明細書の説明では、「１つの実施例」、「いくつかの実施例」、「例」、「特定の例」、又は「一部の例」などの用語を参照した説明は、該実施例又は例と組み合わせて説明されている特定の特徴、構造、材料又は特性が、本発明の少なくとも１つの実施例又は例に含まれることを意味する。本明細書において、上記用語の例示的な表現は、必ずしも同じ実施例又は例を意味するわけではない。さらに、説明された特定の特徴、構造、材料又は特性が、任意の１つ又は複数の実施例又は例においては適切な組み合わせで一体化されていてもよい。また、相互に矛盾しない状況で、当業者は本明細書に記載された異なる実施例又は例及び異なる実施例又は例の特徴を組み合わせることができる。
当業者であれば理解できるように、上記説明及び図面に示された本発明の実施例は単なる例に過ぎず、本発明を限定するものではない。本発明の目的は完全かつ効果的に実現される。本発明の機能及び構造原理は実施例に示され説明され、前記原理から逸脱することなく、本発明の実施の形態は任意の変形又は修正を有することができる。
Claims (12)
- 農地画像に基づく畳み込みニューラルネットワークの構築方法であって、
少なくとも１つの農地の１セットの農地画像を取得するステップ１０１と、
前記農地画像の各々に対応する標準的に分割された農地画像を取得するステップ１０２であって、画像マーキングツールにより前記農地画像の各々に対して画素点種別ラベル付けを行い、対応する前記標準的に分割された農地画像を作成するステップと、
前記農地画像及び対応する前記標準的に分割された農地画像をトレーニング画像セット及びテスト画像セットに分割するステップ１０３と、
前記トレーニング画像セットにおける前記農地画像を畳み込みニューラルネットワークの入力とし、前記農地画像における画素点種別を畳み込みニューラルネットワークの出力とする、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４と、
前記テスト画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像で、前記農地画像に基づく畳み込みニューラルネットワークモデルを認証し、前記農地画像に基づく畳み込みニューラルネットワークモデルのパラメータを最適化するステップ１０５と、を含み、
前記ステップ１０４は、
前記トレーニング画像セットにおける前記農地画像を解像度が異なる複数種の画像にそれぞれ変換するステップ１０４１と、
解像度が異なる複数種の画像のそれぞれを独立した複数のネットワークで処理して対応する特徴図を得るステップ１０４２と、
複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴画像を融合図に融合するステップ１０４３と、
前記融合図を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築するステップ１０４４と、をさらに含む、ことを特徴とする農地画像に基づく畳み込みニューラルネットワークの構築方法。 - 前記ステップ１０２と前記ステップ１０３との間に、
前記農地画像の各々及び対応する前記標準的に分割された農地画像をシングルチャンネルグレースケール画像に変換するステップ１０６と、
前記農地画像及び対応する前記標準的に分割された農地画像をそれぞれ前処理し、画像増幅処理に用いることで、画像の多様性を向上させるステップ１０７と、をさらに含む、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。 - 前記ステップ１０１は、
前記少なくとも１つの農地の少なくとも１つのビデオを取得するステップ１０１１と、
フレーム数に従って前記ビデオにおける前記農地画像を抽出するステップ１０１２と、
所定条件を満たさない前記農地画像を除去するステップ１０１３と、をさらに含む、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。 - 前記ステップ１０３において、前記農地画像及び対応する前記標準的に分割された農地画像を８：２の比率で前記トレーニング画像セットと前記テスト画像セットに分割する、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
- 前記ステップ１０４において、前記畳み込みニューラルネットワークは、ＥＮｅｔネットワークであり、前記ＥＮｅｔネットワークの活性化関数としてｐｒｅｌｕ活性化関数が用いられ、
式中において、前記ａｉは、学習可能パラメータである、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。 - 前記ステップ１０４１において、前記トレーニング画像セットにおける前記農地画像及び対応する前記標準的に分割された農地画像を、フル解像度４８０＊６４０、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の３つの解像度の画像に変換する、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
- 前記ステップ１０４２において、フル解像度４８０＊６４０の画像を改良されたＥＮｅｔネットワークで処理して対応する特徴図を取得し、ハーフ解像度２４０＊３２０及び４分の３解像度３６０＊４８０の画像をＥＮｅｔネットワークで処理して対応する特徴図を取得する、請求項６に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
- 前記ステップ１０５において、最適化後のネットワークモデルのＢａｔｃｈＮｏｒｍ層のパラメータを畳み込み層に融合することで、モデルのテスト速度を向上させる、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
- 前記ステップ１０５において、最適化後のネットワークモデルの後にガウス条件付き確率場を追加して処理させることで、境界分割の効果をさらに細分化する、請求項１に記載の農地画像に基づく畳み込みニューラルネットワークの構築方法。
- 農地画像に基づく畳み込みニューラルネットワークモデルの構築システムであって、
少なくとも１つの農地の１セットの農地画像を取得するための画像取得ユニットと、
前記農地画像を分割して対応する標準的に分割された農地画像を取得するための画像分割ユニットであって、画像マーキングツールにより前記農地画像の各々に対して画素点種別ラベル付けを行い、対応する前記標準的に分割された農地画像を作成する画像分割ユニットと、
前記農地画像及び対応する前記標準的に分割された農地画像を所定比率でトレーニング画像セット及びテスト画像セットに分割する画像分割ユニットと、
前記農地画像に基づいて対応する農地画像に基づく畳み込みニューラルネットワークモデルを構築するためのネットワークモデル構築ユニットと、を含み、
前記ネットワークモデル構築ユニットは、モデル確立モジュールとモデル最適化モジュールと、をさらに含み、前記モデル確立モジュールは、前記トレーニング画像セットにおける前記農地画像を畳み込みニューラルネットワークの入力とし，前記農地画像における画素点種別を畳み込みニューラルネットワークの出力するとする、前記農地画像に基づく畳み込みニューラルネットワークモデルを構築し、前記モデル最適化モジュールは、前記テスト画像セットに基づいて前記畳み込みニューラルネットワークモデルを最適化させ、
前記農地画像に基づく畳み込みニューラルネットワークモデルの構築システムは、多解像度変換ユニットをさらに含み、前記多解像度変換ユニットは、前記農地画像を複数の異なる解像度の画像に変換し、解像度が異なる複数種の画像のそれぞれを独立した複数のネットワークで処理して対応する特徴図を得て、複数の特徴図を同じ解像度の画像にズームし、ズーム後の複数の特徴画像を融合図に融合し、
前記ネットワークモデル構築ユニットは、前記融合図を畳み込みニューラルネットワークの入力とし、農地画像に基づく畳み込みニューラルネットワークモデルを構築することを特徴とする農地画像に基づく畳み込みニューラルネットワークモデルの構築システム。 - 前記画像取得ユニット及び前記画像分割ユニットに作動可能に接続される、前記農地画像及び対応する前記標準的に分割された農地画像を対応するシングルチャンネルグレースケール画像に変換するための画像変換ユニットをさらに含む、請求項１０に記載の農地画像に基づく畳み込みニューラルネットワークモデルの構築システム。
- 前記画像取得ユニット及び前記画像分割ユニットに作動可能に接続される、前記農地画像及び対応する前記標準的に分割された農地画像に対して増幅処理を行うための画像増幅ユニットをさらに含む、請求項１１に記載の農地画像に基づく畳み込みニューラルネットワークモデルの構築システム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411396.1 | 2019-05-17 | ||
| CN201910411396.1A CN110969182A (zh) | 2019-05-17 | 2019-05-17 | 基于农田图像的卷积神经网络构建方法及其*** |
| PCT/CN2019/107859 WO2020232942A1 (zh) | 2019-05-17 | 2019-09-25 | 基于农田图像的卷积神经网络构建方法及其*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022533168A JP2022533168A (ja) | 2022-07-21 |
| JP7344987B2 true JP7344987B2 (ja) | 2023-09-14 |
Family
ID=70028419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021568572A Active JP7344987B2 (ja) | 2019-05-17 | 2019-09-25 | 農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US12013917B2 (ja) |
| EP (1) | EP3971767A4 (ja) |
| JP (1) | JP7344987B2 (ja) |
| CN (1) | CN110969182A (ja) |
| WO (1) | WO2020232942A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749747B (zh) * | 2021-01-13 | 2022-11-11 | 上海交通大学 | 垃圾分类质量评估方法及*** |
| CN112686888A (zh) * | 2021-01-27 | 2021-04-20 | 上海电气集团股份有限公司 | 混凝土轨枕裂纹的检测方法、***、设备和介质 |
| CN112686887A (zh) * | 2021-01-27 | 2021-04-20 | 上海电气集团股份有限公司 | 混凝土表面裂纹的检测方法、***、设备和介质 |
| CN115272667B (zh) * | 2022-06-24 | 2023-08-29 | 中科星睿科技(北京)有限公司 | 农田图像分割模型训练方法、装置、电子设备和介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710863A (zh) | 2018-05-24 | 2018-10-26 | 东北大学 | 基于深度学习的无人机航拍场景语义分割方法及*** |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10664702B2 (en) * | 2016-12-30 | 2020-05-26 | International Business Machines Corporation | Method and system for crop recognition and boundary delineation |
| EP3573520A4 (en) * | 2017-01-27 | 2020-11-04 | Arterys Inc. | AUTOMATED SEGMENTATION USING FULLY CONVOLUTIVE NETWORKS |
| CN107610141B (zh) * | 2017-09-05 | 2020-04-03 | 华南理工大学 | 一种基于深度学习的遥感图像语义分割方法 |
| CN107680090A (zh) * | 2017-10-11 | 2018-02-09 | 电子科技大学 | 基于改进全卷积神经网络的输电线路绝缘子状态识别方法 |
| CN108416353B (zh) * | 2018-02-03 | 2022-12-02 | 华中农业大学 | 基于深度全卷积神经网络的大田稻穗快速分割方法 |
| CN108805874B (zh) * | 2018-06-11 | 2022-04-22 | 中国电子科技集团公司第三研究所 | 一种基于卷积神经网络的多光谱图像语义切割方法 |
| CN109241817B (zh) * | 2018-07-02 | 2022-02-22 | 广东工业大学 | 一种无人机拍摄的农作物图像识别方法 |
| CN109086799A (zh) * | 2018-07-04 | 2018-12-25 | 江苏大学 | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 |
| CN109241872B (zh) * | 2018-08-20 | 2022-03-18 | 电子科技大学 | 基于多级网络的图像语义快速分割方法 |
| AU2018101313A4 (en) * | 2018-09-07 | 2018-10-11 | Gao, Jiafan Mr | Image recognition of dangerous tools based on deep learning |
| CN109614973A (zh) * | 2018-11-22 | 2019-04-12 | 华南农业大学 | 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质 |
| CN109740631B (zh) * | 2018-12-07 | 2021-02-12 | 中国科学院东北地理与农业生态研究所 | 基于对象的obia-svm-cnn遥感影像分类方法 |
| CN109711449A (zh) * | 2018-12-20 | 2019-05-03 | 北京以萨技术股份有限公司 | 一种基于全卷积网络的图像分类算法 |
| CN109740465B (zh) * | 2018-12-24 | 2022-09-27 | 南京理工大学 | 一种基于实例分割神经网络框架的车道线检测算法 |
-
2019
- 2019-05-17 CN CN201910411396.1A patent/CN110969182A/zh active Pending
- 2019-09-25 JP JP2021568572A patent/JP7344987B2/ja active Active
- 2019-09-25 EP EP19929549.4A patent/EP3971767A4/en active Pending
- 2019-09-25 WO PCT/CN2019/107859 patent/WO2020232942A1/zh active Application Filing
-
2021
- 2021-11-15 US US17/526,357 patent/US12013917B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710863A (zh) | 2018-05-24 | 2018-10-26 | 东北大学 | 基于深度学习的无人机航拍场景语义分割方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| Adam Paszke et al.，ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation，arXiv:1606.02147v1，arxiv.org，2016年06月07日，https://arxiv.org/abs/1606.02147 |
Also Published As
| Publication number | Publication date |
|---|---|
| US12013917B2 (en) | 2024-06-18 |
| WO2020232942A1 (zh) | 2020-11-26 |
| US20220076068A1 (en) | 2022-03-10 |
| EP3971767A4 (en) | 2023-02-01 |
| CN110969182A (zh) | 2020-04-07 |
| EP3971767A1 (en) | 2022-03-23 |
| JP2022533168A (ja) | 2022-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7344987B2 (ja) | 農地画像に基づく畳み込みニューラルネットワーク構築方法及びそのシステム | |
| Wang et al. | Ultra-dense GAN for satellite imagery super-resolution | |
| Khaki et al. | WheatNet: A lightweight convolutional neural network for high-throughput image-based wheat head detection and counting | |
| CN111126287B (zh) | 一种遥感影像密集目标深度学习检测方法 | |
| CN111583263A (zh) | 一种基于联合动态图卷积的点云分割方法 | |
| Li et al. | Evaluating generative adversarial networks based image-level domain transfer for multi-source remote sensing image segmentation and object detection | |
| Bao et al. | UAV remote sensing detection of tea leaf blight based on DDMA-YOLO | |
| CN109766805A (zh) | 一种基于深度学习的双层车牌字符识别方法 | |
| WO2023030182A1 (zh) | 图像生成方法及装置 | |
| CN113378756B (zh) | 一种三维人体语义分割方法、终端设备及存储介质 | |
| CN113449612B (zh) | 一种基于子流型稀疏卷积的三维目标点云识别的方法 | |
| Li et al. | A robot vision navigation method using deep learning in edge computing environment | |
| Mohmmad et al. | A survey machine learning based object detections in an image | |
| Cao et al. | Improved real-time semantic segmentation network model for crop vision navigation line detection | |
| Xiao et al. | Deep learning-based spatiotemporal fusion of unmanned aerial vehicle and satellite reflectance images for crop monitoring | |
| CN116343052B (zh) | 一种基于注意力和多尺度的双时相遥感图像变化检测网络 | |
| CN115018039A (zh) | 一种神经网络蒸馏方法、目标检测方法以及装置 | |
| CN110751271B (zh) | 一种基于深度神经网络的图像溯源特征表征方法 | |
| Lu et al. | Citrus green fruit detection via improved feature network extraction | |
| Zhao et al. | A novel strategy for pest disease detection of Brassica chinensis based on UAV imagery and deep learning | |
| Qian et al. | Pedestrian feature generation in fish-eye images via adversary | |
| CN117649610B (zh) | 一种基于YOLOv5的害虫检测方法及*** | |
| Bai et al. | Rpnet: Rice plant counting after tillering stage based on plant attention and multiple supervision network | |
| Zhu et al. | Identification of table grapes in the natural environment based on an improved Yolov5 and localization of picking points | |
| Li et al. | Fruit tree canopy segmentation from UAV orthophoto maps based on a lightweight improved U-Net |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230904 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7344987 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |