JP2021517308A - 作業対象領域境界の取得方法および装置、並びに作業経路の計画方法 - Google Patents
作業対象領域境界の取得方法および装置、並びに作業経路の計画方法 Download PDFInfo
- Publication number
- JP2021517308A JP2021517308A JP2020551274A JP2020551274A JP2021517308A JP 2021517308 A JP2021517308 A JP 2021517308A JP 2020551274 A JP2020551274 A JP 2020551274A JP 2020551274 A JP2020551274 A JP 2020551274A JP 2021517308 A JP2021517308 A JP 2021517308A
- Authority
- JP
- Japan
- Prior art keywords
- image
- boundary
- target area
- work
- deconvolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 173
- 238000013135 deep learning Methods 0.000 claims description 138
- 238000001514 detection method Methods 0.000 claims description 96
- 238000012545 processing Methods 0.000 claims description 70
- 230000006870 function Effects 0.000 claims description 38
- 230000004927 fusion Effects 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 61
- 241000196324 Embryophyta Species 0.000 description 32
- 238000012549 training Methods 0.000 description 26
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000013507 mapping Methods 0.000 description 14
- 241000209140 Triticum Species 0.000 description 8
- 235000021307 Triticum Nutrition 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 240000002791 Brassica napus Species 0.000 description 4
- 235000004977 Brassica sinapistrum Nutrition 0.000 description 4
- 240000008042 Zea mays Species 0.000 description 4
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 4
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 4
- 235000005822 corn Nutrition 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000005429 filling process Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 239000002420 orchard Substances 0.000 description 4
- 239000000575 pesticide Substances 0.000 description 4
- 238000005507 spraying Methods 0.000 description 4
- 238000009333 weeding Methods 0.000 description 4
- 229920000742 Cotton Polymers 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000003337 fertilizer Substances 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3852—Data derived from aerial or satellite images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/387—Organisation of map data, e.g. version management or database structures
- G01C21/3878—Hierarchical structures, e.g. layering
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
以上のように、従来の農地境界の取得方法では、少なくとも、人工的な処理が必要であるため、効率が低下するという課題が存在する。
作業対象領域を含む当初画像を事前設定識別モデルに入力するステップと、
前記事前設定識別モデルから出力された目標画像を取得するステップと、
前記目標画像に基づいて前記作業対象領域の境界を取得するステップとを含む作業対象領域境界の取得方法を提供する。
前記畳み込みモジュールは、前記第1数の畳み込み層によって、入力された前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するためのものであり、
前記逆畳み込みモジュールは、前記第2数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものであってもよい。
また、前記逆畳み込みモジュールは、分離可能な畳み込み構造としてもよい。
また、前記深層学習ネットワークモデルの損失関数は、
loss=−βΣlogp(yj=1|X)−(1−β)Σlog(yj=0|X)
となり、
ここで、lossは損失値であり、Xは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルXにおける目標農地ブロックの画素数の、前記画像サンプルXの総画素数に占める割合であり、p(yj=1=1|X)は前記画像サンプルXにおける画素jが活性化関数を経由した出力値であってもよい。
また、前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定する前記ステップは、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定するステップと、
前記農地ブロックの境界点に基づいて膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定するステップとを含んでもよい。
作業対象領域を含む当初画像を事前設定識別モデルに入力するための当初画像入力モジュールと、
前記事前設定識別モデルから出力された目標画像を取得するための目標画像取得モジュールと、
前記目標画像に基づいて前記作業対象領域の境界を取得するための作業対象領域境界取得モジュールとを含む作業対象領域境界の取得装置を提供する。
前記畳み込みモジュールは、前記第1数の畳み込み層によって、入力された前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するためのものであり、
前記逆畳み込みモジュールは、前記第2数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものであってもよい。
また、各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出してもよい。
また、前記逆畳み込みモジュールは、分離可能な畳み込み構造としてもよい。
loss=−βΣlogp(yj=1|X)−(1−β)Σlog(yj=0|X)
となり、
ここで、lossは損失値であり、Xは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルXにおける目標農地ブロックの画素数の、前記画像サンプルXの総画素数に占める割合であり、p(yj=1=1|X)は前記画像サンプルXにおける画素jが活性化関数を経由した出力値であってもよい。
また、前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定することは、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定し、
前記農地ブロックの境界点に基づいて膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定することを含んでもよい。
作業経路の計画用の当初画像を取得するステップと、
本発明の実施例に記載の作業対象領域境界の取得方法によって、前記当初画像における作業対象領域の境界を取得するステップと、
取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定するステップとを含む作業経路の計画方法を提供する。
また、前記取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する前記ステップは、
取得した前記作業対象領域の境界データを、前記当初画像のうち、前記作業対象領域が位置する領域の画像である前記作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定することを含んでもよい。
前記方法は、いずれか1つの境界を開始境界として特定し、この開始境界の2つのノードのそれぞれを起点ノードと終点ノードとして特定するステップと、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか1つの境界の第1のノードを捜索すると、当該境界の第2のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか1つの境界の第2のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定するステップと、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するステップとを含んでもよい。
前記作業対象領域を強調表示するステップと、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定するステップと、
前記計画対象領域に対して経路の計画を行うステップとを含んでもよい。
作業経路の計画用の当初画像を取得する当初画像取得モジュールと、
前記当初画像における作業対象領域の境界を、本発明の実施例に記載される作業対象領域境界の取得方法により取得する作業対象領域境界取得モジュールと、
取得した前記作業対象領域の境界に基づいて、当該作業対象領域における移動機器の作業経路を特定する作業経路計画モジュールとを含む作業経路の計画装置を提供する。
取得した前記作業対象領域の境界データを前記当初画像のうち、前記作業対象領域が位置する領域の画像である前記作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定するためのものであってもよい。
前記作業経路計画モジュールは、さらに、
いずれか1つの境界を開始境界として特定し、この開始境界の2つのノードのそれぞれを起点ノードと終点ノードとして特定し、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか1つの境界の第1のノードを捜索すると、当該境界の第2のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか1つの境界の第2のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定し、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するためのものであってもよい。
前記作業対象領域を強調表示し、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、
前記計画対象領域に対して経路の計画を行うためのものであってもよい。
本発明の実施例に係る作業対象領域境界の取得方法は、図1に示すように、ステップ110〜ステップ130を含む。
ステップ110において、作業対象領域を含む当初画像を事前設定識別モデルに入力する。
ステップ120において、前記事前設定識別モデルから出力された目標画像を取得する。
当初画像の目標画像を取得した後、従来の画像視覚処理方法によって、前記目標画像におけるブロック境界情報を取得することができる。また、前記ブロック境界情報を膨張・平滑化処理した後、閉合のブロック検出を行うことによって、作業対象領域の境界を特定してもよい。
本発明の実施例に係る作業対象領域境界の取得方法は、図4に示すように、ステップ410〜ステップ440を含む。
ステップ410において、深層学習ネットワークモデルをトレーニングする。
そして、前記当初農地画像における農地領域を人工的にマーキングする。なお、マーキング方式は、農地を当初農地画像から分割することである。例えば、当初農地画像における農地領域を白色にマーキングするとともに、非農地領域を黒背景としてマーキングすると、図6に示すような画像を得る。ここで、農地領域は、作業範囲として植生で被覆され、非農地領域は、非作業範囲として、村、河流、道路などの領域である。また、当初農地画像における対応する作業範囲は、移動機器の作業経路がカバーできる範囲である。具体的な実施にあっては、当初農地画像における農地領域を黒色にマーキングするとともに、非農地領域を白色にマーキングしてもよい。本発明の実施例において、当初農地画像における農地領域にマーキングした色は、農地領域と非農地領域とを区別するためのものに過ぎず、色の値には実質上の意味がない。
具体的な実施にあっては、如何なる背景や形状の農地も抽出できるとともに、逆畳み込みモジュールによる当初農地画像における実の農地の位置情報の正確な復元効果を高めるために、畳み込みモジュールの各畳み込み層は空洞畳み込みとする。各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出する。空洞畳み込みは、通常の畳み込みと比べて、畳み込みカーネルの大きさと同様であり、すなわち、ニューラルネットワークにおいてパラメータの数が変わらないという点で同様である一方、空洞畳み込みのほうがより大きな受容野を持つという点で相違する。受容野は、畳み込みカーネルを画像上で見える大きさであり、例えば3×3の畳み込みカーネルの受容野の大きさは9であり、空洞畳み込みとすることにより、畳み込みカーネルの視野を効果的に増やすことができる。1つの拡張率が2の3×3畳み込みカーネルは、その受容野が5×5の畳み込みカーネルと同じであり、また、9つのパラメータだけで十分である。具体的な実施にあっては、本発明は、空洞係数を2とし、すなわち、膨張演算の膨張係数を2とすることにより、受容野をその前の2倍に拡大して、当初画像の細部の損失をできるだけ減少させる。同時に、空洞畳み込みとすることにより、広い受容野を得るとともに、演算資源の消費を増やすことなく、農地境界をリアルタイムで取得する上で有利となる。
分離可能な畳み込み構造(separable convolution)では、畳み込みカーネルの動作を複数のステップに分けることができる。従来のサイズが3×3である層であって、その入力チャンネルが16、出力チャンネルが32のの畳み込み層による畳み込み過程を例にすると、畳み込み過程では、32個の3×3サイズの畳み込みカーネルが16個のチャンネルにおける各データをトラバースし、16×32=512個の特徴マップを生成する。また、各入力チャンネルに対応する特徴マップを重畳して融合することにより、1つの特徴マップが得られ、最後に必要な32個の出力チャンネルに対応する特徴マップが得られることができる。畳み込み処理では、16×32×3×3=4608個のパラメータが用いられる。分離可能な畳み込み構造とする場合、具体的な実施にあっては、まず、サイズが3×3の1つの畳み込みカーネルを利用して16個のチャンネルのデータをトラバースすることで、16個の特徴マップが得られる。その後、この16個の特徴マップを32個のサイズが1×1の畳み込みカーネルでトラバースして加算融合(addition and fusion)を行うことにより、32個の出力チャンネルに対応する特徴マップが得られることができる。このように、分離可能な畳み込み構造で画像を畳み込む過程では、16×3×3+16×32×1×1=656個のパラメータが用いられ、通常畳み込み構造の16×32×3×3=4608個のパラメータよりもずっと少なくなった。本発明は、分離可能な畳み込み構造とすることにより、トレーニングで得られた深層学習ネットワークモデルの作動速度を効果的に向上させることができる。
ステップ420において、作業対象領域を含む当初画像を事前設定識別モデルに入力する。
具体的な応用における1つの実施例は、作業対象領域を含む当初画像を、トレーニング済みの深層学習ネットワークモデルの入力とし、モデルは、入力された前記当初画像における作業対象領域の境界情報を識別する。
本発明の1つの好適な実施例では、事前設定識別モデルが深層学習ネットワークモデルである場合、前記深層学習ネットワークモデルは、入力された当初画像に対して畳み込みおよび復元処理を行い、前記入力された画像における事前設定特徴(例えば、農地境界特徴)を抽出して、抽出した事前設定特徴から目標画像を生成するためのものである。出力された目標画像の情報は、図3に示すように、より純粋となり、作業対象領域の明瞭な境界を含む。
ステップ440において、前記目標画像に基づいて前記作業対象領域の境界を取得する。
本発明の実施例に係わる移動機器の作業経路の計画方法は、図8に示すように、ステップ810〜ステップ830を含む。
ステップ810において、作業経路の計画用の当初画像を取得する。
ステップ820において、前記当初画像における作業対象領域の境界を取得する。
具体的な実施にあっては、取得した前記作業対象領域の境界に基づいて、対応する作業対象領域内における移動機器の作業経路を特定することは、取得した前記作業対象領域の境界データを、前記当初画像のうち前記作業対象領域が位置する領域の画像である作業対象領域画像に重畳し、作業対象領域の境界データを重畳した前記作業対象領域画像に基づいて前記作業対象領域における移動機器の作業経路を特定することを含む。
具体的な実施にあっては、前記方法は、閉合の作業対象領域を特定した後に、さらに、前記作業対象領域を強調表示することと、ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定することと、前記計画対象領域に対して経路の計画を行うことをさらに含む。1つの農地画像は、通常、複数の完全な農地ブロックを含む可能性があり、これらはいずれも作業対象領域とすることができる。また、作業者が直感的かつ正確に農地ブロックを選択して作業を行うように、作業対象領域を特定した後、前記作業対象領域をハイライト、点滅などの強調表示方式で表示して、ユーザーの選択に提供することができる。そして、ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、最後に、ユーザが選択した前記計画対象領域に対して経路の計画を行う。
本発明がさらに提供する作業対象領域境界の取得装置は、図10に示すように、
作業対象領域を含む当初画像を事前設定識別モデルに入力するための当初画像入力モジュール1010と、
前記事前設定識別モデルから出力された目標画像を取得するための目標画像取得モジュール1020と、
前記目標画像に基づいて前記作業対象領域の境界を取得するための作業対象領域境界取得モジュール1030とを含む。
各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出する。
本発明は、空洞畳み込みとすることにより、受容野を拡大して、当初画像の細部の損失をできるだけ減少することができる。同時に、空洞畳み込みとすることにより、広い受容野を得るとともに、演算資源の消費を増やすことなく、農地境界をリアルタイムで取得する上で有利となる。また、前記膨張演算の膨張係数は、2としてもよい。
本発明は、分離可能な畳み込み構造とすることにより、トレーニングで得られた深層学習ネットワークモデルの作動速度を効果的に向上させることができる。
また、前記深層学習ネットワークモデルの損失関数は、
loss=−βΣlogp(yj=1|X)−(1−β)Σlog(yj=0|X)
となる。
また、前記作業対象領域境界取得モジュール1030は、さらに、境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するためのものであってもよい。
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定することと、
前記農地ブロックの境界点に基づいて膨張・平滑化等の処理方法を行って、前記目標画像に含まれる前記作業対象領域の境界を特定することを含んでもよい。
本発明がさらに提供する作業経路の計画装置は、図11に示すように、
作業経路の計画用の当初画像を取得する当初画像取得モジュール1110と、
前記当初画像における作業対象領域の境界を、本発明の実施例1および2に係わる作業対象領域境界の取得方法により取得する作業対象領域境界取得モジュール1120と、
取得された前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する作業経路計画モジュール1130とを含む。
取得された前記作業対象領域の境界データを、前記当初画像のうち、前記作業対象領域が位置する領域の画像である作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定することを含んでもよい。
いずれか1つの境界を開始境界として特定し、この開始境界の2つのノードのそれぞれを起点ノードと終点ノードとして特定し、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか1つの境界の第1のノードを捜索すると、当該境界の第2のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか1つの境界の第2のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定し、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するためのものであってもよい。
前記作業対象領域を強調表示し、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、
前記計画対象領域に対して経路計画を行うためのものであってもよい。
上記の本発明の実施例の番号は説明に使われるものに過ぎず、実施例の優劣を表すものではない。
本発明の上記実施例では、各実施例の説明はそれぞれ異なる面を中心にし、ある実施例において詳細に説明していない部分については、他の実施例の関連説明を参照することができる。
以上のように、従来の農地境界の取得方法では、少なくとも、人工的な処理が必要であるため、効率が低下するという課題が存在する。
作業対象領域を含む当初画像を事前設定識別モデルに入力するステップと、
前記事前設定識別モデルから出力された目標画像を取得するステップと、
前記目標画像に基づいて前記作業対象領域の境界を取得するステップとを含む作業対象領域境界の取得方法を提供する。
前記畳み込みモジュールは、前記第1数の畳み込み層によって、前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するためのものであり、
前記逆畳み込みモジュールは、前記第2数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものであってもよい。
また、前記逆畳み込みモジュールは、分離可能な畳み込み構造としてもよい。
また、前記深層学習ネットワークモデルの損失関数は、
loss=−βΣlogp(yj=1|X)−(1−β)Σlog(yj=0|X)
となり、
ここで、lossは損失値であり、Xは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルXにおける目標農地ブロックの画素数の、前記画像サンプルXの総画素数に占める割合であり、p(y j =1|X)は前記画像サンプルXにおける画素jが活性化関数を経由した出力値であってもよい。
また、前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定する前記ステップは、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定するステップと、
前記農地ブロックの境界点に基づいて膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定するステップとを含んでもよい。
作業対象領域を含む当初画像を事前設定識別モデルに入力するための当初画像入力モジュールと、
前記事前設定識別モデルから出力された目標画像を取得するための目標画像取得モジュールと、
前記目標画像に基づいて前記作業対象領域の境界を取得するための作業対象領域境界取得モジュールとを含む作業対象領域境界の取得装置を提供する。
前記畳み込みモジュールは、前記第1数の畳み込み層によって、前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するためのものであり、
前記逆畳み込みモジュールは、前記第2数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものであってもよい。
また、各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出してもよい。
また、前記逆畳み込みモジュールは、分離可能な畳み込み構造としてもよい。
loss=−βΣlogp(yj=1|X)−(1−β)Σlog(yj=0|X)
となり、
ここで、lossは損失値であり、Xは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルXにおける目標農地ブロックの画素数の、前記画像サンプルXの総画素数に占める割合であり、p(y j =1|X)は前記画像サンプルXにおける画素jが活性化関数を経由した出力値であってもよい。
また、前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定することは、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定し、
前記農地ブロックの境界点に基づいて膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定することを含んでもよい。
作業経路の計画用の当初画像を取得するステップと、
本発明の実施例に記載の作業対象領域境界の取得方法によって、前記当初画像における作業対象領域の境界を取得するステップと、
取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定するステップとを含む作業経路の計画方法を提供する。
また、前記取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する前記ステップは、
取得した前記作業対象領域の境界データを、前記当初画像のうち、前記作業対象領域が位置する領域の画像である前記作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定することを含んでもよい。
前記方法は、いずれか1つの境界を開始境界として特定し、この開始境界の2つのノードのそれぞれを起点ノードと終点ノードとして特定するステップと、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか1つの境界の第1のノードを捜索すると、当該境界の第2のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか1つの境界の第2のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定するステップと、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するステップとを含んでもよい。
前記作業対象領域を強調表示するステップと、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定するステップと、
前記計画対象領域に対して経路の計画を行うステップとを含んでもよい。
作業経路の計画用の当初画像を取得する当初画像取得モジュールと、
前記当初画像における作業対象領域の境界を、本発明の実施例に記載される作業対象領域境界の取得方法により取得する作業対象領域境界取得モジュールと、
取得した前記作業対象領域の境界に基づいて、当該作業対象領域における移動機器の作業経路を特定する作業経路計画モジュールとを含む作業経路の計画装置を提供する。
取得した前記作業対象領域の境界データを前記当初画像のうち、前記作業対象領域が位置する領域の画像である前記作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定するためのものであってもよい。
前記作業経路計画モジュールは、さらに、
いずれか1つの境界を開始境界として特定し、この開始境界の2つのノードのそれぞれを起点ノードと終点ノードとして特定し、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか1つの境界の第1のノードを捜索すると、当該境界の第2のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか1つの境界の第2のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定し、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するためのものであってもよい。
前記作業対象領域を強調表示し、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、
前記計画対象領域に対して経路の計画を行うためのものであってもよい。
本発明の実施例に係る作業対象領域境界の取得方法は、図1に示すように、ステップ110〜ステップ130を含む。
ステップ110において、作業対象領域を含む当初画像を事前設定識別モデルに入力する。
ステップ120において、前記事前設定識別モデルから出力された目標画像を取得する。
当初画像の目標画像を取得した後、従来の画像視覚処理方法によって、前記目標画像におけるブロック境界情報を取得することができる。また、前記ブロック境界情報を膨張・平滑化処理した後、閉合のブロック検出を行うことによって、作業対象領域の境界を特定してもよい。
本発明の実施例に係る作業対象領域境界の取得方法は、図4に示すように、ステップ410〜ステップ440を含む。
ステップ410において、深層学習ネットワークモデルをトレーニングする。
そして、前記当初農地画像における農地領域を人工的にマーキングする。なお、マーキング方式は、農地を当初農地画像から分割することである。例えば、当初農地画像における農地領域を白色にマーキングするとともに、非農地領域を黒背景としてマーキングすると、図6に示すような画像を得る。ここで、農地領域は、作業範囲として植生で被覆され、非農地領域は、非作業範囲として、村、河流、道路などの領域である。また、当初農地画像における対応する作業範囲は、移動機器の作業経路がカバーできる範囲である。具体的な実施にあっては、当初農地画像における農地領域を黒色にマーキングするとともに、非農地領域を白色にマーキングしてもよい。本発明の実施例において、当初農地画像における農地領域にマーキングした色は、農地領域と非農地領域とを区別するためのものに過ぎず、色の値には実質上の意味がない。
具体的な実施にあっては、如何なる背景や形状の農地も抽出できるとともに、逆畳み込みモジュールによる当初農地画像における実の農地の位置情報の正確な復元効果を高めるために、畳み込みモジュールの各畳み込み層は空洞畳み込みとする。各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出する。空洞畳み込みは、通常の畳み込みと比べて、畳み込みカーネルの大きさと同様であり、すなわち、ニューラルネットワークにおいてパラメータの数が変わらないという点で同様である一方、空洞畳み込みのほうがより大きな受容野を持つという点で相違する。受容野は、畳み込みカーネルを画像上で見える大きさであり、例えば3×3の畳み込みカーネルの受容野の大きさは9であり、空洞畳み込みとすることにより、畳み込みカーネルの視野を効果的に増やすことができる。1つの拡張率が2の3×3畳み込みカーネルは、その受容野が5×5の畳み込みカーネルと同じであり、また、9つのパラメータだけで十分である。具体的な実施にあっては、本発明は、空洞係数を2とし、すなわち、膨張演算の膨張係数を2とすることにより、受容野をその前の2倍に拡大して、当初画像の細部の損失をできるだけ減少させる。同時に、空洞畳み込みとすることにより、広い受容野を得るとともに、演算資源の消費を増やすことなく、農地境界をリアルタイムで取得する上で有利となる。
分離可能な畳み込み構造(separable convolution)では、畳み込みカーネルの動作を複数のステップに分けることができる。従来のサイズが3×3である層であって、その入力チャンネルが16、出力チャンネルが32のの畳み込み層による畳み込み過程を例にすると、畳み込み過程では、32個の3×3サイズの畳み込みカーネルが16個のチャンネルにおける各データをトラバースし、16×32=512個の特徴マップを生成する。また、各入力チャンネルに対応する特徴マップを重畳して融合することにより、1つの特徴マップが得られ、最後に必要な32個の出力チャンネルに対応する特徴マップが得られることができる。畳み込み処理では、16×32×3×3=4608個のパラメータが用いられる。分離可能な畳み込み構造とする場合、具体的な実施にあっては、まず、サイズが3×3の1つの畳み込みカーネルを利用して16個のチャンネルのデータをトラバースすることで、16個の特徴マップが得られる。その後、この16個の特徴マップを32個のサイズが1×1の畳み込みカーネルでトラバースして加算融合(addition and fusion)を行うことにより、32個の出力チャンネルに対応する特徴マップが得られることができる。このように、分離可能な畳み込み構造で画像を畳み込む過程では、16×3×3+16×32×1×1=656個のパラメータが用いられ、通常畳み込み構造の16×32×3×3=4608個のパラメータよりもずっと少なくなった。本発明は、分離可能な畳み込み構造とすることにより、トレーニングで得られた深層学習ネットワークモデルの作動速度を効果的に向上させることができる。
ステップ420において、作業対象領域を含む当初画像を事前設定識別モデルに入力する。
具体的な応用における1つの実施例は、作業対象領域を含む当初画像を、トレーニング済みの深層学習ネットワークモデルの入力とし、モデルは、前記当初画像における作業対象領域の境界情報を識別する。
本発明の1つの好適な実施例では、事前設定識別モデルが深層学習ネットワークモデルである場合、前記深層学習ネットワークモデルは、入力された当初画像に対して畳み込みおよび復元処理を行い、前記入力された画像における事前設定特徴(例えば、農地境界特徴)を抽出して、抽出した事前設定特徴から目標画像を生成するためのものである。出力された目標画像の情報は、図3に示すように、より純粋となり、作業対象領域の明瞭な境界を含む。
ステップ440において、前記目標画像に基づいて前記作業対象領域の境界を取得する。
本発明の実施例に係わる移動機器の作業経路の計画方法は、図8に示すように、ステップ810〜ステップ830を含む。
ステップ810において、作業経路の計画用の当初画像を取得する。
ステップ820において、前記当初画像における作業対象領域の境界を取得する。
具体的な実施にあっては、取得した前記作業対象領域の境界に基づいて、対応する作業対象領域内における移動機器の作業経路を特定することは、取得した前記作業対象領域の境界データを、前記当初画像のうち前記作業対象領域が位置する領域の画像である作業対象領域画像に重畳し、作業対象領域の境界データを重畳した前記作業対象領域画像に基づいて前記作業対象領域における移動機器の作業経路を特定することを含む。
具体的な実施にあっては、前記方法は、閉合の作業対象領域を特定した後に、さらに、前記作業対象領域を強調表示することと、ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定することと、前記計画対象領域に対して経路の計画を行うことをさらに含む。1つの農地画像は、通常、複数の完全な農地ブロックを含む可能性があり、これらはいずれも作業対象領域とすることができる。また、作業者が直感的かつ正確に農地ブロックを選択して作業を行うように、作業対象領域を特定した後、前記作業対象領域をハイライト、点滅などの強調表示方式で表示して、ユーザーの選択に提供することができる。そして、ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、最後に、ユーザが選択した前記計画対象領域に対して経路の計画を行う。
本発明がさらに提供する作業対象領域境界の取得装置は、図10に示すように、
作業対象領域を含む当初画像を事前設定識別モデルに入力するための当初画像入力モジュール1010と、
前記事前設定識別モデルから出力された目標画像を取得するための目標画像取得モジュール1020と、
前記目標画像に基づいて前記作業対象領域の境界を取得するための作業対象領域境界取得モジュール1030とを含む。
各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出する。
本発明は、空洞畳み込みとすることにより、受容野を拡大して、当初画像の細部の損失をできるだけ減少することができる。同時に、空洞畳み込みとすることにより、広い受容野を得るとともに、演算資源の消費を増やすことなく、農地境界をリアルタイムで取得する上で有利となる。また、前記膨張演算の膨張係数は、2としてもよい。
本発明は、分離可能な畳み込み構造とすることにより、トレーニングで得られた深層学習ネットワークモデルの作動速度を効果的に向上させることができる。
また、前記深層学習ネットワークモデルの損失関数は、
loss=−βΣlogp(yj=1|X)−(1−β)Σlog(yj=0|X)
となる。
また、前記作業対象領域境界取得モジュール1030は、さらに、境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するためのものであってもよい。
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記農地ブロックの境界点を特定することと、
前記農地ブロックの境界点に基づいて膨張・平滑化等の処理方法を行って、前記目標画像に含まれる前記作業対象領域の境界を特定することを含んでもよい。
本発明がさらに提供する作業経路の計画装置は、図11に示すように、
作業経路の計画用の当初画像を取得する当初画像取得モジュール1110と、
前記当初画像における作業対象領域の境界を、本発明の実施例1および2に係わる作業対象領域境界の取得方法により取得する作業対象領域境界取得モジュール1120と、
取得された前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する作業経路計画モジュール1130とを含む。
取得された前記作業対象領域の境界データを、前記当初画像のうち、前記作業対象領域が位置する領域の画像である作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定することを含んでもよい。
いずれか1つの境界を開始境界として特定し、この開始境界の2つのノードのそれぞれを起点ノードと終点ノードとして特定し、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか1つの境界の第1のノードを捜索すると、当該境界の第2のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか1つの境界の第2のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定し、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するためのものであってもよい。
前記作業対象領域を強調表示し、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、
前記計画対象領域に対して経路計画を行うためのものであってもよい。
上記の本発明の実施例の番号は説明に使われるものに過ぎず、実施例の優劣を表すものではない。
本発明の上記実施例では、各実施例の説明はそれぞれ異なる面を中心にし、ある実施例において詳細に説明していない部分については、他の実施例の関連説明を参照することができる。
Claims (26)
- 作業対象領域を含む当初画像を事前設定識別モデルに入力するステップと、
前記事前設定識別モデルから出力された目標画像を取得するステップと、
前記目標画像に基づいて前記作業対象領域の境界を取得するステップとを含む、
ことを特徴とする作業対象領域境界の取得方法。 - 前記事前設定識別モデルは、深層学習ネットワークモデルであり、
前記深層学習ネットワークモデルは、
第1数の畳み込み層を含む畳み込みモジュールと、
第2数の逆畳み込み層を含む逆畳み込みモジュールと、
特徴融合モジュールと、を含み、
前記畳み込みモジュールは、前記第1数の畳み込み層によって、入力された前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するためのものであり、
前記逆畳み込みモジュールは、前記第2数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うためのものであり、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るためのものである、
ことを特徴とする請求項1に記載の方法。 - 前記畳み込み層と前記逆畳み込み層とは、カスケード接続構造によって接続されており、
前記逆畳み込みモジュールは、さらに、
前記第2数の逆畳み込み層によって対応する逆畳み込み層にカスケード接続された前記畳み込み層の畳み込み処理情報を取得するとともに、対応する逆畳み込み層よりも上層の逆畳み込み結果と対応する逆畳み込み層にカスケード接続された前記畳み込み層の前記畳み込み処理情報とを重畳することにより、前記対応する逆畳み込み層の逆畳み込み結果を得るためのものである、
ことを特徴とする請求項2に記載の方法。 - 各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出する、
ことを特徴とする請求項2または3に記載の方法。 - 前記逆畳み込みモジュールは、分離可能な畳み込み構造とする、
ことを特徴とする請求項2または3に記載の方法。 - 前記深層学習ネットワークモデルの損失関数は、
loss=−βΣlogp(yj=1|X)−(1−β)Σlog(yj=0|X)
となり、
lossは損失値であり、Xは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルXにおける目標農地ブロックの画素数の、前記画像サンプルXの総画素数に占める割合であり、は前記画像サンプルXにおける画素jが活性化関数を経由した出力値である、
ことを特徴とする請求項2または3に記載の方法。 - 前記目標画像に基づいて前記作業対象領域の境界を取得する前記ステップは、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するステップを含む、
ことを特徴とする請求項1に記載の方法。 - 前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定する前記ステップは、
境界検出アルゴリズムに基づいて前記目標画像を検出し、前記目標画像に含まれる農地ブロックの境界点を特定するステップと、
前記農地ブロックの境界点に基づいて膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定するステップとを含む、
ことを特徴とする請求項7に記載の方法。 - 前記目標画像に基づいて前記作業対象領域の境界を取得する前記ステップは、
事前設定検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するステップを含み、
前記事前設定検出アルゴリズムは、色検出アルゴリズム、密度検出アルゴリズム、マルチスペクトル検出アルゴリズムのうちの1つまたは複数を含む、
ことを特徴とする請求項1に記載の方法。 - 作業経路の計画用の当初画像を取得するステップと、
請求項1から9のいずれか1項に記載の作業対象領域境界の取得方法によって、前記当初画像における作業対象領域の境界を取得するステップと、
取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定するステップとを含む、
ことを特徴とする作業経路の計画方法。 - 取得した前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する前記ステップは、
取得した前記作業対象領域の境界データを、前記当初画像のうち、前記作業対象領域が位置する領域の画像である前記作業対象領域の画像に重畳するステップと、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定するステップとを含む、
ことを特徴とする請求項10に記載の方法。 - 前記作業対象領域の各境界の2つのノードのそれぞれは、第1のノードおよび第2のノードであり、
いずれか1つの境界を開始境界として特定し、当該開始境界の2つのノードのそれぞれを起点ノードおよび終点ノードとして特定するステップと、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか1つの境界の第1のノードを捜索すると、当該境界の第2のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか1つの境界の第2のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定するステップと、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するステップとをさらに含む、
ことを特徴とする請求項10または11に記載の方法。 - 前記作業対象領域を強調表示するステップと、
ユーザからの選択操作に応じて、前記作業対象領域のち計画対象領域を特定するステップと、
前記計画対象領域に対して経路の計画を行うステップとをさらに含む、
ことを特徴とする請求項12に記載の方法。 - 作業対象領域を含む当初画像を事前設定識別モデルに入力するように構成された当初画像入力モジュールと、
前記事前設定識別モデルから出力された目標画像を取得するように構成された目標画像取得モジュールと、
前記目標画像に基づいて前記作業対象領域の境界を取得するように構成された作業対象領域境界取得モジュールと、を含む、
ことを特徴とする作業対象領域境界の取得装置。 - 前記事前設定識別モデルは、深層学習ネットワークモデルを含み、
前記深層学習ネットワークモデルは、
第1数の畳み込み層を含む畳み込みモジュールと、
第2数の逆畳み込み層を含む逆畳み込みモジュールと、
特徴融合モジュールと、を含み、
前記畳み込みモジュールは、前記第1数の畳み込み層によって、入力された前記当初画像の特徴を抽出して前記逆畳み込みモジュールに出力するように構成され、
前記逆畳み込みモジュールは、前記第2数の逆畳み込み層によって、前記畳み込みモジュールから出力された特徴に基づいて画像特徴の復元処理を行うように構成され、
前記特徴融合モジュールは、前記逆畳み込みモジュールの各層において画像特徴の復元処理を行った画像特徴を融合して出力画像を得るように構成された、
ことを特徴とする請求項14に記載の装置。 - 前記畳み込み層と前記逆畳み込み層とは、カスケード接続構造によって接続されており、
前記逆畳み込みモジュールは、さらに、
前記第2数の逆畳み込み層によって対応する逆畳み込み層にカスケード接続された前記畳み込み層の畳み込み処理情報を取得するとともに、対応する逆畳み込み層よりも上層の逆畳み込み結果と対応する逆畳み込み層にカスケード接続された前記畳み込み層の前記畳み込み処理情報とを重畳することにより、前記対応する逆畳み込み層の逆畳み込み結果を得るように構成された、
ことを特徴とする請求項15に記載の装置。 - 各前記畳み込み層は、前記畳み込み層に入力された画像を膨張演算することにより、前記畳み込み層に入力された画像の特徴を抽出する、
ことを特徴とする請求項14または15に記載の装置。 - 前記逆畳み込みモジュールは、分離可能な畳み込み構造とする、
ことを特徴とする請求項14または15に記載の装置。 - 前記深層学習ネットワークモデルの損失関数は、
loss=−βΣlogp(yj=1|X)−(1−β)Σlog(yj=0|X)
となり、
lossは損失値であり、Xは目標領域および非目標領域がマーキングされた画像サンプルであり、βは前記画像サンプルXにおける目標農地ブロックの画素数の、前記画像サンプルXの総画素数に占める割合であり、は前記画像サンプルXにおける画素jが活性化関数を経由した出力値である、
ことを特徴とする請求項14または15に記載の装置。 - 前記作業対象領域境界取得モジュールは、さらに、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定するように構成された、
ことを特徴とする請求項14に記載の装置。 - 前記境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定することは、
境界検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる農地ブロックの境界点を特定し、
前記農地ブロックの境界点に基づいて膨張・平滑化処理を行って、前記目標画像に含まれる前記作業対象領域の境界を特定することを含む、
ことを特徴とする請求項20に記載の装置。 - 前記目標画像に基づいて前記作業対象領域の境界を取得するステップは、事前設定検出アルゴリズムに基づいて前記目標画像を検出して、前記目標画像に含まれる前記作業対象領域の境界を特定することを含み、
前記事前設定検出アルゴリズムは、色検出アルゴリズム、密度検出アルゴリズム、マルチスペクトル検出アルゴリズムのうちの1つまたは複数を含む、
ことを特徴とする請求項14に記載の装置。 - 作業経路の計画用の当初画像を取得するように構成された当初画像取得モジュールと、
請求項1から8のいずれか1項に記載の作業対象領域境界の取得方法によって、前記当初画像における作業対象領域の境界を取得するように構成された作業対象領域境界取得モジュールと、
取得された前記作業対象領域の境界に基づいて、対応する作業対象領域における移動機器の作業経路を特定する作業経路計画モジュールと、を含む、
ことを特徴とする作業経路の計画装置。 - 前記作業経路計画モジュールは、さらに、
取得された前記作業対象領域の境界データを、前記当初画像のうち、前記作業対象領域が位置する領域の画像である前記作業対象領域の画像に重畳し、
作業対象領域の境界データが重畳された前記作業対象領域の画像に基づいて、前記作業対象領域における移動機器の作業経路を特定するように構成された、
ことを特徴とする請求項23に記載の装置。 - 前記作業対象領域の各境界の2つのノードのそれぞれは、第1のノードおよび第2のノードであり、
前記作業経路計画モジュールは、さらに、
いずれか1つの境界を開始境界として特定し、当該開始境界の2つのノードのそれぞれを起点ノードと終点ノードとして特定し、
前記起点ノードを現在のノードとして捜索し、現在のノードと重なり合ういずれか1つの境界の第1のノードを捜索すると、当該境界の第2のノードを現在のノードとして継続して捜索し、前記終点ノードと重なり合ういずれか1つの境界の第2のノードを捜索すると、捜索した全ての境界で囲まれた領域を候補領域として特定し、
前記候補領域に境界が含まれていないと、当該候補領域を作業対象領域として特定するように構成された、
ことを特徴とする請求項23または24に記載の装置。 - 前記作業経路計画モジュールは、さらに、
前記作業対象領域を強調表示し、
ユーザからの選択操作に応じて、前記作業対象領域における計画対象領域を特定し、
前記計画対象領域に対して経路の計画を行うように構成された、
ことを特徴とする請求項25に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810236417.6 | 2018-03-21 | ||
CN201810236417.6A CN110297483B (zh) | 2018-03-21 | 2018-03-21 | 待作业区域边界获取方法、装置,作业航线规划方法 |
PCT/CN2019/075456 WO2019179269A1 (zh) | 2018-03-21 | 2019-02-19 | 待作业区域边界获取方法、装置,作业航线规划方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021517308A true JP2021517308A (ja) | 2021-07-15 |
JP7307743B2 JP7307743B2 (ja) | 2023-07-12 |
Family
ID=67986626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020551274A Active JP7307743B2 (ja) | 2018-03-21 | 2019-02-19 | 作業対象領域境界の取得方法および装置、並びに作業経路の計画方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210027088A1 (ja) |
EP (1) | EP3770810A4 (ja) |
JP (1) | JP7307743B2 (ja) |
CN (1) | CN110297483B (ja) |
AU (1) | AU2019238711B2 (ja) |
CA (1) | CA3129174A1 (ja) |
WO (1) | WO2019179269A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI760782B (zh) * | 2019-07-08 | 2022-04-11 | 國立臺灣大學 | 用於地理區域上果園辨識之系統及方法 |
CN111626267B (zh) * | 2019-09-17 | 2022-02-15 | 山东科技大学 | 一种利用空洞卷积的高光谱遥感图像分类方法 |
WO2021087685A1 (zh) * | 2019-11-04 | 2021-05-14 | 深圳市大疆创新科技有限公司 | 结合多光谱和地表语义的作业规划方法、装置及设备 |
CN111209808B (zh) * | 2019-12-25 | 2023-07-18 | 北京航空航天大学杭州创新研究院 | 一种基于分层处理的无人机图像语义分割识别方法 |
CN111325211A (zh) * | 2020-02-13 | 2020-06-23 | 上海眼控科技股份有限公司 | 车辆颜色的自动识别方法、电子装置、计算机设备和介质 |
EP4147167A4 (en) * | 2020-05-07 | 2024-05-01 | E. & J. Gallo Winery | SYSTEM AND PROCEDURE FOR MANAGING AND PROCESSING AGRICULTURAL FIELD DATA |
CN113741413B (zh) * | 2020-05-29 | 2022-11-08 | 广州极飞科技股份有限公司 | 一种无人设备的作业方法、无人设备及存储介质 |
CN111860123B (zh) * | 2020-06-04 | 2023-08-08 | 华南师范大学 | 一种识别工作区域边界的方法 |
CN113808155B (zh) * | 2020-06-12 | 2023-04-11 | 广州极飞科技股份有限公司 | 一种航线规划、作物作业方法、装置、设备及存储介质 |
CN112381852A (zh) * | 2020-11-11 | 2021-02-19 | 苏州瑞得恩光能科技有限公司 | 清洁机器人的定位方法及存储介质 |
CN112650278B (zh) * | 2020-12-11 | 2024-04-12 | 广州极飞科技股份有限公司 | 作业区域的边界的生成方法及装置 |
CN112734775B (zh) * | 2021-01-19 | 2023-07-07 | 腾讯科技(深圳)有限公司 | 图像标注、图像语义分割、模型训练方法及装置 |
CN112967216B (zh) * | 2021-03-08 | 2023-06-09 | 平安科技(深圳)有限公司 | 人脸图像关键点的检测方法、装置、设备以及存储介质 |
CN113052369B (zh) * | 2021-03-15 | 2024-05-10 | 北京农业智能装备技术研究中心 | 智能农机作业管理方法及*** |
CN113074740B (zh) * | 2021-04-29 | 2023-11-17 | 广州极飞科技股份有限公司 | 一种作业区域内的航线规划方法、装置、设备及介质 |
CN113378679B (zh) * | 2021-06-01 | 2024-05-14 | 大连海事大学 | 基于改进几何特征与特征保持采样的海岸养殖池提取方法 |
CN113781510A (zh) * | 2021-09-15 | 2021-12-10 | 上海金仕达软件科技有限公司 | 边缘检测方法、装置及电子设备 |
CN113657691B (zh) * | 2021-10-19 | 2022-03-01 | 北京每日优鲜电子商务有限公司 | 信息显示方法、装置、电子设备和计算机可读介质 |
CN114077249B (zh) * | 2021-10-22 | 2024-03-15 | 陕西欧卡电子智能科技有限公司 | 一种作业方法、作业设备、装置、存储介质 |
CN114485664B (zh) * | 2021-12-30 | 2022-12-27 | 广州极飞科技股份有限公司 | 边界简化方法、路径规划方法、装置、设备及*** |
CN114868514B (zh) * | 2022-04-13 | 2023-09-29 | 北京航空航天大学 | 一种基于智能割草机器人的草坪3d打印***和方法 |
US20240037820A1 (en) * | 2022-07-29 | 2024-02-01 | Climate Llc | Methods And Systems For Use In Mapping Tillage Based On Remote Data |
CN117705124B (zh) * | 2024-02-05 | 2024-05-03 | 青岛冠成软件有限公司 | 一种物流机器人的路径规划方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217706A (ja) * | 2007-03-07 | 2008-09-18 | Tokyo Institute Of Technology | ラベリング装置、ラベリング方法及びプログラム |
JP2015160420A (ja) * | 2014-02-28 | 2015-09-07 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体 |
JP2017126304A (ja) * | 2016-01-15 | 2017-07-20 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
CN107368094A (zh) * | 2017-08-25 | 2017-11-21 | 上海拓攻机器人有限公司 | 一种无人机植保作业航线规划方法及装置 |
WO2017200622A2 (en) * | 2016-02-29 | 2017-11-23 | Satellogic Overseas, Inc. (Bvi) | System for planetary-scale analytics |
CN107784308A (zh) * | 2017-10-09 | 2018-03-09 | 哈尔滨工业大学 | 基于链式多尺度全卷积网络的显著性目标检测方法 |
JP2018041406A (ja) * | 2016-09-09 | 2018-03-15 | 株式会社東芝 | 水面境界検出装置、水面境界検出方法及びコンピュータプログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679129A (zh) * | 2012-09-21 | 2014-03-26 | 中兴通讯股份有限公司 | 一种图像中的目标物体识别方法及装置 |
US9858502B2 (en) * | 2014-03-31 | 2018-01-02 | Los Alamos National Security, Llc | Classification of multispectral or hyperspectral satellite imagery using clustering of sparse approximations on sparse representations in learned dictionaries obtained using efficient convolutional sparse coding |
KR101680029B1 (ko) * | 2015-07-02 | 2016-11-28 | (주) 지오씨엔아이 | 양식장 시설물 탐지를 위한 위성영상 처리 장치 및 그 방법 |
US9767565B2 (en) * | 2015-08-26 | 2017-09-19 | Digitalglobe, Inc. | Synthesizing training data for broad area geospatial object detection |
KR101937018B1 (ko) * | 2016-03-24 | 2019-01-09 | 울산대학교 산학협력단 | 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 |
US9972092B2 (en) * | 2016-03-31 | 2018-05-15 | Adobe Systems Incorporated | Utilizing deep learning for boundary-aware image segmentation |
WO2018022648A1 (en) * | 2016-07-25 | 2018-02-01 | Iteris, Inc. | Image-based field boundary detection and identification |
US10586105B2 (en) * | 2016-12-30 | 2020-03-10 | International Business Machines Corporation | Method and system for crop type identification using satellite observation and weather data |
US10445877B2 (en) * | 2016-12-30 | 2019-10-15 | International Business Machines Corporation | Method and system for crop recognition and boundary delineation |
CN106951836B (zh) * | 2017-03-05 | 2019-12-13 | 北京工业大学 | 基于先验阈值优化卷积神经网络的作物覆盖度提取方法 |
CN107067003B (zh) * | 2017-03-09 | 2021-09-21 | 百度在线网络技术(北京)有限公司 | 感兴趣区域边界的提取方法、装置、设备和计算机存储介质 |
US10147193B2 (en) * | 2017-03-10 | 2018-12-04 | TuSimple | System and method for semantic segmentation using hybrid dilated convolution (HDC) |
CN107220980B (zh) * | 2017-05-25 | 2019-12-03 | 重庆师范大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
CN107316058A (zh) * | 2017-06-15 | 2017-11-03 | 国家新闻出版广电总局广播科学研究院 | 通过提高目标分类和定位准确度改善目标检测性能的方法 |
CN107633202A (zh) * | 2017-08-11 | 2018-01-26 | 合肥嘉浓航空科技有限公司 | 一种基于农田图像特征识别的植保无人机飞控方法和*** |
CN107749061A (zh) * | 2017-09-11 | 2018-03-02 | 天津大学 | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 |
US20190108631A1 (en) * | 2017-10-06 | 2019-04-11 | AgriSight, Inc. | System and method for field pattern analysis |
-
2018
- 2018-03-21 CN CN201810236417.6A patent/CN110297483B/zh active Active
-
2019
- 2019-02-19 JP JP2020551274A patent/JP7307743B2/ja active Active
- 2019-02-19 CA CA3129174A patent/CA3129174A1/en active Pending
- 2019-02-19 AU AU2019238711A patent/AU2019238711B2/en active Active
- 2019-02-19 EP EP19770276.4A patent/EP3770810A4/en active Pending
- 2019-02-19 US US16/982,646 patent/US20210027088A1/en not_active Abandoned
- 2019-02-19 WO PCT/CN2019/075456 patent/WO2019179269A1/zh unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217706A (ja) * | 2007-03-07 | 2008-09-18 | Tokyo Institute Of Technology | ラベリング装置、ラベリング方法及びプログラム |
JP2015160420A (ja) * | 2014-02-28 | 2015-09-07 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体 |
JP2017126304A (ja) * | 2016-01-15 | 2017-07-20 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
WO2017200622A2 (en) * | 2016-02-29 | 2017-11-23 | Satellogic Overseas, Inc. (Bvi) | System for planetary-scale analytics |
JP2018041406A (ja) * | 2016-09-09 | 2018-03-15 | 株式会社東芝 | 水面境界検出装置、水面境界検出方法及びコンピュータプログラム |
CN107368094A (zh) * | 2017-08-25 | 2017-11-21 | 上海拓攻机器人有限公司 | 一种无人机植保作业航线规划方法及装置 |
CN107784308A (zh) * | 2017-10-09 | 2018-03-09 | 哈尔滨工业大学 | 基于链式多尺度全卷积网络的显著性目标检测方法 |
Non-Patent Citations (2)
Title |
---|
山下 隆義: "Multiple Dilated Convolutional Blocksによるセマンティクセグメン", 第23回 画像センシングシンポジウム SSII2017 [USB] THE 23RD SYMPOSIUM ON SENSING VI, JPN6021048985, 2017, JP, ISSN: 0004995707 * |
薮崎 隼人: "畳み込みニューラルネットワークを用いた脂肪細胞セグメンテーションにおける分割精度改善手法の提案", 情報処理学会 研究報告 数理モデル化と問題解決(MPS) 2017−MPS−112 [ONLINE], JPN6021048986, 2017, JP, ISSN: 0004995706 * |
Also Published As
Publication number | Publication date |
---|---|
CN110297483B (zh) | 2020-12-18 |
AU2019238711B2 (en) | 2022-07-21 |
WO2019179269A1 (zh) | 2019-09-26 |
EP3770810A1 (en) | 2021-01-27 |
CN110297483A (zh) | 2019-10-01 |
CA3129174A1 (en) | 2019-09-26 |
US20210027088A1 (en) | 2021-01-28 |
EP3770810A4 (en) | 2021-12-08 |
AU2019238711A1 (en) | 2020-10-22 |
JP7307743B2 (ja) | 2023-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021517308A (ja) | 作業対象領域境界の取得方法および装置、並びに作業経路の計画方法 | |
Gené-Mola et al. | Fruit detection and 3D location using instance segmentation neural networks and structure-from-motion photogrammetry | |
Bah et al. | Weeds detection in UAV imagery using SLIC and the hough transform | |
EP3805981A1 (en) | Method and apparatus for planning operation in target region, storage medium, and processor | |
US10769845B2 (en) | System and method of virtual plant field modelling | |
JP7086203B2 (ja) | 植物体耕作データ測定方法、作業経路計画方法及び装置、システム | |
CN109886155B (zh) | 基于深度学习的单株水稻检测定位方法、***、设备及介质 | |
Alzadjali et al. | Maize tassel detection from UAV imagery using deep learning | |
CN112380926B (zh) | 一种田间除草机器人除草路径规划*** | |
Zermas et al. | Estimating the leaf area index of crops through the evaluation of 3D models | |
CN112215893B (zh) | 目标二维中心坐标点确定方法、装置、设备及测距*** | |
Xiang et al. | PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation | |
CN112541383B (zh) | 杂草区域的识别方法和装置 | |
CN114651283A (zh) | 搜寻功能出苗 | |
CN108109125A (zh) | 基于遥感图像的信息提取方法和装置 | |
Oliveira et al. | Analysis of nematodes in coffee crops at different altitudes using aerial images | |
Bulanon et al. | Machine vision system for orchard management | |
CN113807143A (zh) | 作物连通域的识别方法、装置及作业*** | |
de Sousa Contente et al. | Vineyard skeletonization for autonomous robot navigation | |
Chen | Estimating plant phenotypic traits from RGB imagery | |
Luo et al. | Determination of rice leaf midrib deflection in field environment by using semantic segmentation and shortest distance algorithm | |
US12001512B2 (en) | Generating labeled synthetic training data | |
Lawrence | Early detection of Heacleum Mantegazzianum (Giant Hogweed) based on leaf spectral characteristics from UAV images SVM and OBIA Techniques | |
Garcia-Pedrero et al. | Automatic identification of shrub vegetation of the Teide National Park | |
Hamzah et al. | Visualization of Tree Species Identification Using Mask RCNNs for Tropical Forests in Malaysia |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200918 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221024 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230518 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230518 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7307743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |