KR102131243B1 - Plant Area Extraction System and Method Based on Deep Running and Connectivity Graphs - Google Patents
Plant Area Extraction System and Method Based on Deep Running and Connectivity Graphs Download PDFInfo
- Publication number
- KR102131243B1 KR102131243B1 KR1020180126611A KR20180126611A KR102131243B1 KR 102131243 B1 KR102131243 B1 KR 102131243B1 KR 1020180126611 A KR1020180126611 A KR 1020180126611A KR 20180126611 A KR20180126611 A KR 20180126611A KR 102131243 B1 KR102131243 B1 KR 102131243B1
- Authority
- KR
- South Korea
- Prior art keywords
- plant
- region extraction
- image
- plant region
- extraction data
- Prior art date
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000010801 machine learning Methods 0.000 claims abstract description 23
- 230000007704 transition Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 3
- 241000196324 Embryophyta Species 0.000 description 332
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000002146 bilateral effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000003915 cell function Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G06K9/20—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
식물 영역 추출 시스템이 제공된다. 식물 영역 추출 시스템은 대상 식물을 촬영하여 식물 이미지를 생성하는 식물 이미지 생성부; 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 통해 상기 식물 이미지의 각 화소별로 식물 영역과 배경 영역을 구분한 제1 식물 영역 추출 데이터를 생성하는 제1 식물 영역 추출부; 및 상기 식물 이미지 및 상기 제1 식물 영역 추출 데이터를 활용하여, 상기 식물 이미지의 복수의 화소 간의 상호 연결성을 최대화한 제2 식물 영역 추출 데이터를 생성하는 제2 식물 영역 추출부를 포함한다.A plant area extraction system is provided. The plant region extraction system includes a plant image generator that photographs a target plant to generate a plant image; A first plant region extraction unit for generating first plant region extraction data that separates a plant region and a background region for each pixel of the plant image through a machine learning model based on a convolutional neural network; And a second plant region extraction unit that generates second plant region extraction data that maximizes interconnection between a plurality of pixels of the plant image by utilizing the plant image and the first plant region extraction data.
Description
본 발명은 식물 영역 추출 시스템 및 방법에 관한 것으로, 구체적으로 딥러닝 및 연결성 그래프에 기초하여 식물 영역을 추출할 수 있는 시스템 및 방법에 관한 것이다.The present invention relates to a plant area extraction system and method, and specifically to a system and method for extracting a plant area based on deep learning and connectivity graphs.
[국가지원 연구개발에 대한 설명][Explanation on national support R&D]
본 연구는 농촌진흥청의 관리 하에 차세대바이오그린21 사업의 "영상기반 핵심작물 표현체 추정 기술 개발"(과제 고유번호: 1395056227, 세부과제번호: PJ012281022018, 과제수행기관: 한국과학기술연구원)의 지원에 의하여 이루어진 것이다.This study was supported by the Rural Development Administration under the management of the next generation BioGreen 21 project, "Development of Technology for Estimating the Expression of Core Image-Based Crops" (Task ID: 1395056227, Detailed Task Number: PJ012281022018, Task Execution Organization: Korea Institute of Science and Technology) It is made by.
발현 형체학(phenomics)은 세포 내에서 일어나는 RNA와 단백질 등과 같은 생명체들의 표현형(phenotype)을 조사하고 그 양을 측정하는 것을 기반으로, 세포의 기능을 연구하는 학문이다. 표현형 정보를 측정하고 자료화하기 위해서는 대상물의 개별적인 분석이 요구되며, 발현 형체학의 대상물이 식물인 경우, 식물 잎의 개별적인 분석이 요구된다.Phenonomics is a study of cell function based on examining the phenotype of living organisms such as RNA and protein and measuring the amount of them. In order to measure and document phenotypic information, individual analysis of objects is required, and when the object of expression morphology is a plant, individual analysis of plant leaves is required.
이러한 식물 잎의 개별적인 분석을 위해 종래에는 사람이 직접 개별적인 식물 잎을 확인하는 노동집약적인 방법이 수행되었으나, 최근 전체 식물 이미지를 획득하여 획득 이미지로부터 개별 식물 잎의 특성을 도출하는 방법이 연구되고 있다.For the individual analysis of such plant leaves, a labor-intensive method of manually identifying individual plant leaves has been performed in the past, but recently, a method of deriving the characteristics of individual plant leaves from the acquired image by studying the entire plant image has been studied. .
이러한 식물 이미지로부터 개별 식물 잎의 특성을 도출하는 방법은 식물 이미지 내의 식물 영역과 배경 영역을 구분하는 과정이 중요할 수 있다. 구분된 식물 이미지를 기준으로 개별 식물 잎의 특성을 분석이 수행되는 바, 식물 영역의 구분 및 추출이 정확히 수행되지 않으면 이후 진행되는 결과의 정확성도 보장되지 않는다. 특히, 단자엽 식물(Monocotyledonous Plants)의 경우 잎이 길고 가늘기 때문에 식물 영역과 배경 영역의 구분이 용이하지 않으며, 구분된 식물 영역에 실재 식물에는 존재하지 않는 구멍이 생기거나 잎이 끊어져서 구분되는 경우가 발생할 수 있다. 즉, 가늘고 긴 잎을 가진 식물 이미지에서 식물 영역을 배경 영역과 구분할 때 식물 잎의 연결성을 최대한 보장할 수 있는 분리 기술이 필요한 실정이다.In the method of deriving the characteristics of individual plant leaves from the plant image, a process of distinguishing the plant region and the background region in the plant image may be important. Since the analysis of the characteristics of individual plant leaves is performed based on the divided plant image, if the classification and extraction of the plant area are not performed accurately, the accuracy of the results that are performed afterwards is not guaranteed. Particularly, in the case of monocotyledonous plants, since the leaves are long and thin, it is not easy to distinguish the plant region from the background region, and in the divided plant region, there may be a hole that does not exist in the actual plant, or the leaf may be cut off. Can occur. That is, in a plant image having an elongated leaf, when separating a plant region from a background region, a separation technique capable of ensuring maximum connectivity of plant leaves is required.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 식물 이미지에서 가늘고 긴 잎을 가진 식물 영역을 배경 영역과 분류할 수 있는 딥러닝 및 연결성 그래프에 기초한 식물 영역 추출 시스템 및 방법을 제공한다.The present invention has been devised to solve the above-mentioned problems, and provides a system and method for extracting plant regions based on deep learning and connectivity graphs that can classify plant regions with elongated leaves in a plant image as background regions.
본 명세서의 일 실시예에 따른 식물 영역 추출 시스템은 대상 식물을 촬영하여 식물 이미지를 생성하는 식물 이미지 생성부; 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 통해 상기 식물 이미지의 각 화소별로 식물 영역과 배경 영역을 구분한 제1 식물 영역 추출 데이터를 생성하는 제1 식물 영역 추출부; 및 상기 식물 이미지 및 상기 제1 식물 영역 추출 데이터를 활용하여, 상기 식물 이미지의 복수의 화소 간의 상호 연결성을 최대화한 제2 식물 영역 추출 데이터를 생성하는 제2 식물 영역 추출부를 포함한다. A plant region extraction system according to an embodiment of the present specification includes a plant image generator configured to generate a plant image by photographing a target plant; A first plant region extraction unit for generating first plant region extraction data that separates a plant region and a background region for each pixel of the plant image through a machine learning model based on a convolutional neural network; And a second plant region extraction unit that generates second plant region extraction data that maximizes interconnection between a plurality of pixels of the plant image by utilizing the plant image and the first plant region extraction data.
일 실시예에서, 상기 제1 식물 영역 추출부의 상기 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델은, 상기 식물 이미지에 대한 피쳐맵을 생성하는 컨볼루션 단계(Conv), 상기 피쳐맵의 해상도를 감소시키는 트랜지션 다운(TD) 단계 및 피쳐맵의 해상도를 증가시키는 트랜지션 업(TU) 단계를 포함하고, 상기 트랜지션 다운에 입력되는 데이터는 트랜지션 업에서 출력되는 데이터와 스킵 연결(skip connetion)될 수 있다. In one embodiment, the machine learning model based on the convolutional neural network of the first plant region extraction unit includes a convolution step (Conv) for generating a feature map for the plant image, and the resolution of the feature map. It includes a transition down (TD) step to reduce and a transition up (TU) step to increase the resolution of the feature map, the data input to the transition down can be skipped (skip connetion) with the data output from the transition up. have.
일 실시예에서, 상기 제1 식물 영역 추출부의 상기 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델은 복수의 컨볼루션 단계를 포함하는 밀도 블록(Dense Block)을 포함하고, 상기 밀도 블록 내에서 컨볼루션을 통해 생성된 피쳐맵은 누적되어 초기 단계 정보가 소거되지 않고 후기 단계 정보와 계속 이어질 수 있다. In one embodiment, the convolutional neural network-based machine learning model of the first plant region extractor includes a density block including a plurality of convolution steps, and within the density block The feature maps generated through convolution may be accumulated so that the initial stage information is not erased and continues with the later stage information.
일 실시예에서, 상기 식물 이미지가 상기 제1 식물 영역 추출부에서 처리 가능한 이미지의 크기보다 큰 경우, 상기 제1 식물 영역 추출부는 상기 식물 이미지를 상기 처리 가능한 이미지의 크기로 분할하여 복수의 서브 식물 이미지를 생성하고, 상기 복수의 서브 식물 이미지 각각에 대한 제1 서브 식물 영역 추출 데이터를 각각 생성하고, 상기 생성된 각각의 제1 서브 식물 영역 추출 데이터를 조합하여 상기 제1 식물 영역 추출 데이터를 생성할 수 있다. In one embodiment, when the plant image is larger than the size of the image that can be processed by the first plant region extracting unit, the first plant region extracting unit divides the plant image into the size of the processable image, thereby generating a plurality of sub-plants. An image is generated, first sub plant region extraction data for each of the plurality of sub plant images are respectively generated, and the first first plant region extraction data is generated by combining each of the generated first sub plant region extraction data. can do.
일 실시예에서, 상기 제1 식물 영역 추출부는 상기 생성된 각각의 제1 서브 식물 영역 추출 데이터가 상기 복수의 서브 식물 이미지의 중복되는 화소 영역을 포함하는 경우, 상기 중복되는 화소 영역에 대해 가장 높은 확률 값을 가진 제1 서브 식물 영역 추출 데이터를 선택하여 상기 제1 식물 영역 추출 데이터를 조합할 수 있다. In one embodiment, if the first plant region extraction data of each of the first sub-plant region extraction data includes overlapping pixel regions of the plurality of sub-plant images, the first plant region extraction unit is highest for the overlapping pixel regions. The first plant region extraction data may be combined by selecting first sub-plant region extraction data having a probability value.
일 실시예에서, 상기 제2 식물 영역 추출부는 상기 제1 식물 영역 추출 데이터에 따른 각 화소가 식물 영역에 해당할 확률 값 및 상기 복수의 화소들 사이의 상호 연결 그래프를 모두 형성하고 연결된 화소들간의 상호 영향성을 고려하여 각 화소가 식물 영역인지 여부를 결정한 상기 제2 식물 영역 추출 데이터를 생성할 수 있다. In one embodiment, the second plant region extracting unit forms a graph of a probability value for each pixel corresponding to the first plant region extraction data and an interconnection graph between the plurality of pixels and between connected pixels. In consideration of the mutual influence, the second plant region extraction data for determining whether each pixel is a plant region may be generated.
일 실시예에서, 상기 상호 영향성은 연결된 화소간의 거리 차이 및 상기 식물 이미지의 R, G, B 값의 유사 여부를 고려하여 결정될 수 있다. In one embodiment, the mutual influence may be determined in consideration of a distance difference between connected pixels and similarity of R, G, and B values of the plant image.
일 실시예에서, 상기 식물은 단자엽 식물(Monocotyledonous Plants)일 수 있다. In one embodiment, the plant may be monocotyledonous plants.
본 발명의 다른 실시예에 따른 식물 영역 추출 방법은 식물 영역 추출 시스템이, 대상 식물을 촬영하여 식물 이미지를 생성하는 단계; 상기 식물 영역 추출 시스템이, 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 통해 상기 식물 이미지의 각 화소별로 식물 영역과 배경 영역을 구분한 제1 식물 영역 추출 데이터를 생성하는 단계; 및 상기 식물 영역 추출 시스템이, 상기 식물 이미지 및 상기 제1 식물 영역 추출 데이터를 활용하여, 상기 식물 이미지의 복수의 화소 간의 상호 연결성을 최대화한 제2 식물 영역 추출 데이터를 생성하는 단계를 포함한다. Plant region extraction method according to another embodiment of the present invention, the plant region extraction system, generating a plant image by photographing a target plant; Generating, by the plant region extraction system, first plant region extraction data that separates a plant region and a background region for each pixel of the plant image through a machine learning model based on a convolutional neural network; And the plant region extracting system, using the plant image and the first plant region extracting data, generating second plant region extracting data that maximizes interconnection between a plurality of pixels of the plant image.
일 실시예에서, 상기 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델은, 상기 식물 이미지에 대한 피쳐맵을 생성하는 컨볼루션 단계(Conv), 상기 피쳐맵의 해상도를 감소시키는 트랜지션 다운(TD) 단계 및 피쳐맵의 해상도를 증가시키는 트랜지션 업(TU) 단계를 포함하고, 상기 트랜지션 다운에 입력되는 데이터는 트랜지션 업에서 출력되는 데이터와 스킵 연결(skip connetion)될 수 있다. In one embodiment, the convolutional neural network-based machine learning model includes a convolution step (Conv) of generating a feature map for the plant image, and a transition down (TD) of reducing the resolution of the feature map. ) And a transition up (TU) step of increasing the resolution of the feature map, and data input to the transition down may be skipped concatenated with data output from the transition up.
일 실시예에서, 상기 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델은 복수의 컨볼루션 단계를 포함하는 밀도 블록(Dense Block)을 포함하고, 상기 밀도 블록 내에서 컨볼루션을 통해 생성된 피쳐맵은 누적되어 초기 단계 정보가 소거되지 않고 후기 단계 정보와 계속 이어질 수 있다. In an embodiment, the machine learning model based on the convolutional neural network includes a density block including a plurality of convolution steps, and features generated through convolution within the density block The map is accumulated so that the initial stage information is not erased, but may be continued with the later stage information.
일 실시예에서, 상기 제1 식물 영역 추출 데이터를 생성하는 단계는, 상기 식물 이미지를 상기 처리 가능한 이미지의 크기로 분할하여 복수의 서브 식물 이미지를 생성하는 단계; 상기 복수의 서브 식물 이미지 각각에 대한 제1 서브 식물 영역 추출 데이터를 각각 생성하는 단계; 및 상기 생성된 각각의 제1 서브 식물 영역 추출 데이터를 조합하여 상기 제1 식물 영역 추출 데이터를 생성하는 단계를 포함할 수 있다. In one embodiment, generating the first plant region extraction data may include: dividing the plant image into a size of the processable image to generate a plurality of sub-plant images; Generating first sub plant region extraction data for each of the plurality of sub plant images; And combining the generated first sub-plant region extraction data to generate the first plant region extraction data.
일 실시예에서, 상기 생성된 각각의 제1 서브 식물 영역 추출 데이터를 조합하여 상기 제1 식물 영역 추출 데이터를 생성하는 단계는, 상기 생성된 각각의 제1 서브 식물 영역 추출 데이터가 상기 복수의 서브 식물 이미지의 중복되는 화소 영역을 포함하는 경우, 상기 중복되는 화소 영역에 대해 가장 높은 확률 값을 가진 제1 서브 식물 영역 추출 데이터를 선택하여 상기 제1 식물 영역 추출 데이터를 조합할 수 있다. In one embodiment, the step of generating the first plant region extraction data by combining the generated first sub plant region extraction data may include generating the first sub plant region extraction data of the plurality of sub regions. When the overlapping pixel region of the plant image is included, the first plant region extraction data may be combined by selecting the first sub-plant region extraction data having the highest probability value for the overlapping pixel region.
일 실시예에서, 상기 제2 식물 영역 추출 데이터를 생성하는 단계는 상기 제1 식물 영역 추출 데이터에 따른 각 화소가 식물 영역에 해당할 확률 값 및 상기 복수의 화소들 사이의 상호 연결 그래프를 모두 형성하고 연결된 화소들간의 상호 영향성을 고려하여 각 화소가 식물 영역인지 여부를 결정한 상기 제2 식물 영역 추출 데이터를 생성할 수 있다. In one embodiment, the step of generating the second plant region extraction data forms both a probability value that each pixel according to the first plant region extraction data corresponds to the plant region and an interconnection graph between the plurality of pixels. And, considering the mutual influence between the connected pixels, it is possible to generate the second plant region extraction data for determining whether each pixel is a plant region.
일 실시예에서, 상기 상호 영향성은 연결된 화소간의 거리 차이 및 상기 식물 이미지의 R, G, B 값의 유사 여부를 고려하여 결정될 수 있다. In one embodiment, the mutual influence may be determined in consideration of a distance difference between connected pixels and similarity of R, G, and B values of the plant image.
일 실시예에서, 상기 식물은 단자엽 식물(Monocotyledonous Plants)일 수 있다. In one embodiment, the plant may be monocotyledonous plants.
본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은 하드웨어와 결합되어 상술한 식물 영역 추출 방법을 실행하도록 매체에 저장된다. A computer program according to another embodiment of the present invention is stored in a medium in combination with hardware to execute the above-described plant region extraction method.
본 발명의 일 실시예에 따른 식물 영역 추출 시스템은 컨볼루션 신경망(Convolutional Neural Network)을 통해 식물 이미지에서 식물 영역과 배경 영역을 구분하되, 디컨볼루션(deconvolution) 과정을 통해 결과 데이터가 입력된 식물 이미지와 동일한 해상도를 가지는 것이 보장된다. The plant region extraction system according to an embodiment of the present invention distinguishes a plant region and a background region from a plant image through a convolutional neural network, but the result data is input through a deconvolution process. It is guaranteed to have the same resolution as the image.
또한, 밀도 조건부 랜덤 필드(Dense Conditional Random Field)라는 조건부 확률 모델을 통해 식물 이미지의 화소의 연결성을 최대화한 결과 데이터를 생성할 수 있다. In addition, through a conditional probability model called a density conditional random field, it is possible to generate result data that maximizes the connectivity of pixels in a plant image.
따라서, 식물 이미지에서 가늘고 긴 잎을 가진 식물 영역을 보다 정밀하게 추출할 수 있다.Therefore, a plant region with elongated leaves can be more precisely extracted from the plant image.
도 1은 본 발명의 일 실시예에 따른 식물 영역 추출 시스템의 개략적인 블록도이다.
도 2a 및 2b는 식물 이미지 생성부에서 촬영 대상 식물을 촬영한 예시적인 식물 이미지를 나타낸다.
도 3a는 제1 식물 영역 추출부의 동작 과정을 나타낸 블록도이며, 도 3b는 도 3a의 dense block의 구성을 나타낸 블록도이다.
도 4는 복수의 화소 간의 연결 관계를 나타낸 그래프이다.
도 5a 및 5b는 각각 도 2a 및 2b의 식물 이미지에서 식물 영역을 추출한 결과 데이터이다.
도 6은 본 발명의 다른 실시예에 따른 식물 영역 추출 방법의 순서도이다.1 is a schematic block diagram of a plant area extraction system according to an embodiment of the present invention.
2A and 2B show exemplary plant images of plants to be photographed in the plant image generation unit.
3A is a block diagram showing an operation process of the first plant region extraction unit, and FIG. 3B is a block diagram showing the configuration of the dense block of FIG. 3A.
4 is a graph showing a connection relationship between a plurality of pixels.
5A and 5B are result data obtained by extracting a plant region from the plant images of FIGS. 2A and 2B, respectively.
6 is a flowchart of a method for extracting plant regions according to another embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.For a detailed description of the present invention, which will be described later, reference is made to the accompanying drawings that illustrate, by way of example, specific embodiments in which the present invention may be practiced. These embodiments are described in detail enough to enable a person skilled in the art to practice the present invention. Various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain shapes, structures, and properties described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with one embodiment. In addition, the location or placement of individual components within each disclosed embodiment can be changed without departing from the spirit and scope of the invention. Therefore, the following detailed description is not to be described in a limiting sense, and the scope of the present invention is limited only by the appended claims, along with all ranges equivalent to the claims. In the drawings, similar reference numerals refer to the same or similar functions in various aspects.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terminology used in the present specification is a general terminology that is currently widely used while considering functions, but this may be changed according to intentions or customs of technicians in the field or the appearance of new technologies. Also, in certain cases, some terms are arbitrarily selected by the applicant, and in this case, their meanings will be described in the description of the corresponding specification. Therefore, the terms used in the present specification should be interpreted based on the actual meaning of the term and not the contents of the simple term, but the contents throughout the present specification.
도 1은 일 실시예에 따른 식물 영역 추출 시스템의 개략적인 블록도이다. 도 2a 및 2b는 식물 이미지 생성부(100)에서 촬영 대상 식물을 촬영한 예시적인 식물 이미지를 나타낸다. 도 3a는 제1 식물 영역 추출부의 동작 과정을 나타낸 블록도이며, 도 3b는 도 3a의 dense block의 구성을 나타낸 블록도이다. 도 4는 복수의 화소 간의 연결 관계를 나타낸 그래프이다. 도 5a 및 5b는 각각 도 2a 및 2b의 식물 이미지에서 식물 영역을 추출한 결과 데이터이다. 1 is a schematic block diagram of a plant region extraction system according to an embodiment. 2A and 2B show exemplary plant images of plants to be photographed by the
도 1을 참조하면, 본 실시예에 따른 식물 영역 추출 시스템(10)은 식물 이미지 생성부(100), 제1 식물 영역 추출부(110) 및 제2 식물 영역 추출부(120)를 포함한다. 실시예들에 따른 식물 영역 추출 시스템 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 식물 영역 추출 시스템의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. 예를 들어, 식물 이미지 생성부(100)는, 대상물을 촬영하여 이미지화하기 위한 하드웨어 및 이를 제어하여 촬영을 수행하고 이미지화를 처리함으로써 후속 처리를 위한 형태로 변환하는 소프트웨어의 조합을 지칭할 수 있다.Referring to FIG. 1, the plant
식물 이미지 생성부(100)는 대상 식물을 촬영하여 2차원 이미지에 해당하는 식물 이미지(I)를 생성할 수 있다. 식물 이미지 생성부(100)는 식물의 이미지를 촬영하기 위한 이미지 센서를 포함할 수 있다. 식물 이미지 생성부(100)는 대상 식물을 정면에서 촬영하여 식물 이미지(I)를 생성할 수 있다. 다만, 이에 한정되는 것은 아니며, 다른 실시예에서 식물 이미지 생성부(100)는 대상 식물의 정면, 후면, 좌면, 우면, 상면 중 적어도 하나 이상의 방향에서 촬영을 수행할 수 있다.The plant
여기서, 식물 이미지 생성부(100)에서 촬영되는 대상 식물은 복수의 식물 잎을 가진 식물로, 각 식물 잎은 길고 가는 형태일 수 있다. 대상 식물은 단자엽 식물(Monocotyledonous Plants)일 수 있으나, 이에 한정되는 것은 아니다. Here, the target plant photographed by the plant
또한, 대상 식물을 촬영하는 공간은 단일색의 배경을 가지는 공간일 수 있다. 구체적으로 식물 잎과 대조되거나 구별이 용이한 색, 보색 관계를 형성하는 색의 배경을 가지는 공간일 수 있으나, 이에 한정되는 것은 아니다. 대상 식물은 컨베이어 시스템 등을 통해 순차적으로 촬영 장소를 통과하면서 촬영될 수 있으나, 이에 한정되는 것은 아니다. 도 2a 및 도 2b는 식물 이미지 생성부(100)에서 생성된 예시적인 식물 이미지를 나타낸다. 식물 이미지(I)는 복수의 픽셀로 구성될 수 있으며, 복수의 픽셀 수에 따른 해상도를 가질 수 있다. 생성된 식물 이미지(I)는 제1 식물 영역 추출부(110) 및 제2 식물 영역 추출부(110)로 제공될 수 있다.Further, the space for photographing the target plant may be a space having a single color background. Specifically, it may be a space having a background of a color that contrasts with a plant leaf or is easily distinguishable from a color, forming a complementary color relationship, but is not limited thereto. The target plant may be photographed while sequentially passing through the photographing place through a conveyor system or the like, but is not limited thereto. 2A and 2B show exemplary plant images generated by the
제1 식물 영역 추출부(110)는 식물 이미지의 각 화소별로 식물 영역과 배경 영역을 구분할 제1 식물 영역 추출 데이터를 생성한다. 제1 식물 영역 추출 데이터는 식물 이미지(I)의 각 화소 단위로 식물 영역과 배경 영역을 확률적으로 구분한 데이터로, 식물 이미지(I)에 포함된 복수의 화소 각각이 식물 영역에 해당할 확률을 계산한 데이터일 수 있다. 제1 식물 영역 추출부(110)는 입력된 식물 이미지(I)의 복수의 화소 각각이 식물 영역에 해당하는 지를 판단하고, 식물 영역에 해당할 확률 값을 결과 값으로 생성할 수 있다. The first plant
제1 식물 영역 추출부(110)는 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 통해 제1 식물 영역 추출 데이터를 생성할 수 있다. 컨볼루션 신경망 기반의 기계 학습 모델은 복수의 컨볼루션(convolutional) 단계와 복수의 폴링(pooling) 단계로 구성되어, 각 단계를 반복 수행하는 과정에서 입력 이미지의 특징을 반영할 수 있는 필터의 값을 자동으로 학습할 수 있고, 학습된 필터에 따라 이미지에 분석 및 판별을 수행한다. 다만, 종래의 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델의 경우 입력 이미지에 폴링 단계에서 입력 이미지의 해상도가 감소하게 되는 바, 원본 해상도를 기준으로 입력 이미지 각각의 복수의 화소에 대한 결과가 필요한 본 발명에 적합하지 않을 수 있다. The first plant
따라서, 본 발명의 일 실시예에 따른 제1 식물 영역 추출부(110)는 폴링 단계에 대응되고 피쳐맵의 해상도를 감소시키는 트랜지션 다운(TD) 단계와 피쳐맵의 해상도를 증가시키는 트랜지션 업(TU) 단계를 포함하는 인코더(encoder)-디코더(decoder) 구조로 구성된다. 즉, 디컨볼루션(deconvolution) 과정을 통해 최종적으로 생성되는 제1 식물 영역 추출 데이터는 입력된 식물 이미지(I)와 동일한 해상도를 가지는 것이 보장될 수 있다.Accordingly, the first
도 3a은 제1 식물 영역 추출부(110)에서 수행되는 컨볼루션 신경망 기반의 기계 학습 모델의 전체적인 동작 과정을 나타낸다. 제1 식물 영역 추출부(110)는 도 3에 도시된 바와 같이 Conv, DB, TD, DB, TD, DB, TU, DB, TU, DB, Conv 단계가 순차적으로 진행되도록 구성될 수 있으나 이에 한정되는 것은 아니다.3A shows an overall operation process of a machine learning model based on a convolutional neural network performed by the first plant
도 3a에 도시된 블록에서 Image I는 식물 이미지(I)를 의미하고, Lavel L은 제1 식물 영역 추출 데이터이다. 도 3a에 도시된 블록에서 Conv는 컨볼루션 단계를 나타내며 식물 이미지에 대한 피쳐맵을 생성한다. 컨볼루션 단계를 거친 입력된 식물 이미지(I)는 필터의 개수에 따라 복수의 피쳐맵으로 형성될 수 있다. 컨볼루션 단계를 거쳐 생성된 피쳐맵은 제로 패딩 등에 의해 입력된 이미지와 동일한 사이즈, 해상도를 가질 수 있다. In the block shown in FIG. 3A, Image I means plant image (I), and Lavel L is first plant region extraction data. In the block shown in FIG. 3A, Conv represents a convolution step and creates a feature map for the plant image. The input plant image I having undergone the convolution step may be formed as a plurality of feature maps according to the number of filters. The feature map generated through the convolution step may have the same size and resolution as the image input by zero padding.
TD는 트랜지션 다운 단계를 나타내며, TD를 거친 피쳐맵은 해상도가 감소될 수 있다. TU는 트랜지션 업 단계를 나타내고, TU를 거친 피쳐맵은 TD에서 감소된 비율과 동일한 비율로 해상도가 증가될 수 있다. 또한, 트랜지션 다운에 입력되는 데이터는 트랜지션 업에서 출력되는 데이터와 스킵 연결(skip connetion)될 수 있다. 즉, 트랜지션 업에서 출력되는 데이터는 트랜지션 다운에서 제공되는 데이터를 통해 데이터가 보완될 수 있다. 트랜지션 다운 과정에서 발생하는 원본 데이터의 손실을 스킵 연결(skip connetion)을 통해 보완하여 원본 이미지의 모든 픽셀에 대한 판단 및 결과 데이터의 생성이 가능할 수 있다.TD represents a transition down step, and the feature map after TD may have a reduced resolution. The TU represents a transition up step, and the feature map after the TU can be increased in resolution at the same rate as the reduced rate in TD. Also, data input to the transition down may be skipped concatenated with data output from the transition up. That is, data output from the transition up may be supplemented with data provided from the transition down. The loss of the original data generated during the transition down process may be compensated through a skip connetion, thereby making it possible to judge and generate result data for all pixels of the original image.
DB는 밀도 블록(Dense Block)을 의미한다. Dense Block은 복수의 컨볼루션 단계로 구성되며, 밀도 블록 내에서 컨볼루션을 통해 생성된 피쳐맵은 연속적으로 누적되며, 하나의 밀도 블록 내의 피쳐맵의 크기는 동일하다. 이러한 연속적으로 누적되는 지점은 도 3a 및 도 3b에서 작은 원형 블록(Concatenation)으로 표시된다. DB stands for density block. The Dense Block is composed of a plurality of convolution steps, and feature maps generated through convolution in a density block are continuously accumulated, and the size of the feature maps in one density block is the same. These continuously accumulated points are indicated by small circular blocks (Concatenation) in FIGS. 3A and 3B.
도 3b는 본 발명의 실시예에 따른 Dense Block의 구조를 나타낸 블록도이다. 본 발명의 실시예에서 Dense Block은 2단계의 컨볼루션 단계를 구성되나 이에 한정되는 것은 아니다. 컨볼루션을 통해 생성된 피쳐맵이 계속 쌓여서 누적됨에 따라 초기 단계 정보가 소거(wash out)되지 않고 후기 단계 정보와 계속 이어질 수 있으며, 각 단계 사이의 연결성이 높아져 필터의 학습이 보다 효율적으로 수행될 수 있다.3B is a block diagram showing the structure of a Dense Block according to an embodiment of the present invention. In the embodiment of the present invention, the Dense Block comprises two convolution steps, but is not limited thereto. As the feature maps generated through convolution are continuously accumulated and accumulated, the initial stage information may not be washed out, but may be continued with the later stage information, and connectivity between each stage is increased, so that learning of the filter can be performed more efficiently. Can.
도 3a에 도시된 컨볼루션 신경망 구조에 따라, 제1 식물 영역 추출부(110)은 입력 이미지인 식물 이미지(I)와 동일한 해상도, 크기를 가진 제1 식물 영역 추출 데이터가 생성될 수 있다. 또한, 식물 이미지(I)를 구성하는 전체 화소별로 식물 영역 또는 배경 영역인지 여부가 판단되는 바, 식물의 잎이 미세하더라도 이에 대한 판단이 가능하다. 또한, 단순히 색상 차이가 아닌 주변 화소와의 비교 등과 같은 이미지의 특징을 추출하는 학습된 필터를 통해 각 화소에 대한 판단을 수행하기에 보다 정확한 영역 구분이 가능할 수 있다.According to the convolutional neural network structure illustrated in FIG. 3A, the first plant
여기서, 제1 식물 영역 추출부(110)에서 처리 가능한 이미지의 최대 크기(해상도)보다 식물 이미지(I)의 크기(해상도)가 크게 생성된 경우, 식물 이미지(I)에 대한 선처리 과정이 필요할 수 있다. 다만, 이러한 식물 이미지(I)의 해상도를 처리 가능한 이미지로 다운 스케일링한다면 화소의 손실이 발생할 수 있다. 식물 이미지(I)의 미세한 잎 부분에서 화소 손실의 발생에 따라, 식물 영역 추출 시 의도하지 않은 끊김이나 구멍이 발생할 수 있다. 따라서, 본 실시예에 따른 제1 식물 영역 추출부(110)는 식물 이미지(I)를 처리 가능한 이미지의 크기로 분할하여 복수의 서브 식물 이미지를 생성한다. 복수의 서브 식물 이미지는 제1 식물 영역 추출부(110)에서 처리 가능한 이미지와 동일한 크기일 수 있으며, 제1 식물 영역 추출부(110)는 각 서브 식물 이미지에 대한 제1 서브 식물 영역 추출 데이터를 각각 생성하고 이를 다시 조합하여 원본 식물 이미지(I)에 대한 제1 식물 영역 추출 데이터를 생성할 수 있다.Here, when the size (resolution) of the plant image I is larger than the maximum size (resolution) of the image that can be processed by the first plant
다만, 복수의 서브 식물 이미지는 다른 서브 식물 이미지와 서로 중복되는 화소 영역을 포함할 수 있다. 중복되는 화소 영역에 대한 제1 서브 식물 영역 데이터의 값은 다른 형태의 이미지에 대한 기계 학습의 결과이므로 결과 확률 값이 상이할 수도 있다. 제1 식물 영역 추출부(110)는 상기 생성된 각각의 제1 서브 식물 영역 추출 데이터가 상기 복수의 서브 식물 이미지의 중복되는 화소 영역을 포함하는 경우, 상기 중복되는 화소 영역에 대해 가장 높은 확률 값을 가진 제1 서브 식물 영역 추출 데이터를 선택하여 상기 제1 식물 영역 추출 데이터를 조합할 수 있다.However, the plurality of sub-plant images may include pixel regions overlapping with other sub-plant images. Since the value of the first sub-plant region data for the overlapping pixel region is a result of machine learning for another type of image, the resulting probability value may be different. The first plant
제1 식물 영역 추출부(110)에서 생성된 제1 식물 영역 추출 데이터는 제2 식물 영역 추출부(120)에 제공된다.The first plant region extraction data generated by the first plant
제2 식물 영역 추출부(120)는 식물 이미지 생성부(100)로부터 식물 이미지(I)와 제1 식물 영역 추출부(110)로부터 제1 식물 영역 추출 데이터를 각각 제공받으며, 식물 이미지 및 제1 식물 영역 추출 데이터를 활용하여 식물 이미지의 복수의 화소 간의 상호 연결성을 최대화한 제2 식물 영역 추출 데이터를 생성한다. 제2 식물 영역 추출부(120)는 확률적 그래픽 모델(probabilistic graphical models)을 통해 식물 이미지(I)의 화소의 연결성을 최대화, 극대화할 수 있다. 상기 확률적 그래픽 모델은 복수의 화소들 사이의 상호 연결 관계를 모두 형성하는 밀도 조건부 랜덤 필드(Dense Conditional Random Field)라는 조건부 확률 모델일 수 있다. 여기서, 연결성의 최대화 또는 극대화는 도 4에 도시된 바와 같이, 복수의 화소들 사이의 상호 연결 그래프를 모두 형성하고 연결된 화소들간의 상호 영향성을 고려하여 각 화소가 식물 영역인지를 결정하는 것을 의미한다.The second plant
보다 구체적으로, 제2 식물 영역 추출부(120)는 제1 식물 영역 추출 데이터에 기반한 각 화소가 식물 영역에 해당할 확률 값 및 화소 간의 연결에 다른 상호 영향성을 고려하여 각 화소가 식물 영역에 해당하는 지 여부를 결정한 제2 식물 영역 추출 데이터를 생성한다.More specifically, the second plant
여기서, 연결된 화소 간에 고려되는 상호 영향성은 연결된 화소간의 거리, 위치 차이 및 식물 이미지(I)의 R, G, B 값의 유사 여부, 식물 이미지 색상의 유사 여부를 고려하여 결정될 수 있다. 하나의 화소 및 상기 하나의 화소와 연결된 다른 화소와의 관계를 고려하여 각 화소가 식물 영역에 해당하는 지에 대한 확률 값은 하기와 같은 수학식 1로 정의된 Gibbs energy function으로 표현되며, 이에 대한 결과 값은 수학식 1을 최적화함으로써 산출될 수 있다.Here, the mutual influence considered between the connected pixels may be determined by considering the distance between the connected pixels, the position difference, whether the R, G, and B values of the plant image I are similar, and whether the plant image color is similar. In consideration of the relationship between one pixel and another pixel connected to the one pixel, the probability value of whether each pixel corresponds to a plant region is expressed by the Gibbs energy function defined by Equation 1 below, and the result of this The value can be calculated by optimizing equation (1).
[수학식 1][Equation 1]
여기서, 는 식물 이미지, 는 모델 파라미터(식물 영역인지 여부를 판별), 는 식물 이미지의 제i 화소, 는 식물 이미지의 제j 화소를 의미한다.here, Plant images, Is the model parameter (determining whether it is a plant area), Is the i-th pixel of the plant image, Means j pixel of the plant image.
수학식 1의 Gibbs energy function에서 unary term()은 로지스틱 회귀분석 모델(logistic regression model)로 정의되며, 제1 식물 영역 추출 데이터에서 생성된 각 화소에 대한 확률 값()이 하기 수학식 2와 같이 입력될 수 있다.In the Gibbs energy function of Equation 1, the unary term( ) Is defined as a logistic regression model, and a probability value for each pixel generated from the first plant region extraction data ( ) May be input as shown in Equation 2 below.
[수학식 2][Equation 2]
: 제1 식물 영역 추출 데이터에서 생성된 제i 화소의 결과 데이터 : Result data of the i-th pixel generated from the first plant region extraction data
또한, 수학식 1의 Gibbs energy function에서 pairwise interaction term()은 연결된 상이한 화소(,)의 영향성을 나타내는 수식으로, 가우시안 커널(Gaussian kernel)과 바이라테랄 커널(bilateral kernel)을 혼합하여 정의될 수 있다. Also, in the Gibbs energy function of Equation 1, pairwise interaction term( ) Is a different connected pixel ( , ) Is an expression representing the influence of the Gaussian kernel (Gaussian kernel) and may be defined by mixing a bilateral kernel (bilateral kernel).
가우시안 커널(Gaussian kernel, ))은 하기 수학식 3과 같이 정의될 수 있다.Gaussian kernel, )) may be defined as in Equation 3 below.
[수학식 3][Equation 3]
여기서, 는 고정된 특성 벡터로 하기 수학식 4와 같이 정의되고, 도 동일한 방식으로 정의될 수 있다.here, Is a fixed feature vector defined by Equation 4 below, Can also be defined in the same way.
[수학식 4][Equation 4]
(여기서, 및 는 의 x, y 위치에 대한 Potts compatibility function으로 을 만족하며, 는 x위치에 대한 표준편차에 해당하는 파라미터 값, 는 y위치에 대한 표준편차에 해당하는 파라미터 값에 해당한다.)(here, And The Potts compatibility function for x and y position of Satisfying, Is the parameter value corresponding to the standard deviation for the x position, Corresponds to the parameter value corresponding to the standard deviation for y position.)
즉, 가우시안 커널(Gaussian kernel, ))을 통해 위치에 따른 영향성이 고려될 수 있다. That is, the Gaussian kernel (Gaussian kernel, )) can be considered depending on the location.
pairwise interaction term()의 바이라테랄 커널(bilateral kernel, )은 하기 수학식 5와 같이 정의된다. pairwise interaction term( ) Of the bilateral kernel (bilateral kernel, ) Is defined as in Equation 5 below.
[수학식 5][Equation 5]
여기서, 는 고정된 특성 벡터로 하기 수학식 6와 같이 정의되고, 도 동일한 방식으로 정의될 수 있다.here, Is defined as Equation 6 below as a fixed characteristic vector, Can also be defined in the same way.
[수학식 6][Equation 6]
(여기서, 는 식물 이미지(I)의 제i 화소()의 R, G, B 값이며, 는 x위치에 대한 표준편차에 해당하는 파라미터 값, 는 y위치에 대한 표준편차에 해당하는 파라미터 값, , 및 은 각각 R, G, B 값에 대한 표준 편차에 해당하는 파라미터 값이다.)(here, Is the i-th pixel of the plant image I ), R, G, B values, Is the parameter value corresponding to the standard deviation for the x position, Is the parameter value corresponding to the standard deviation for y position, , And Is a parameter value corresponding to the standard deviation for the R, G, and B values, respectively.)
바이라테랄 커널(bilateral kernel)을 통해 화소 간의 색상 차이 및 화소 간의 거리를 고려한 색상 차이 등이 고려될 수 있다.The color difference between pixels and the distance between pixels may be considered through a bilateral kernel.
수학식 3 및 수학식 5를 조합하여, 수학식 1의 Gibbs energy function에서 pairwise interaction term은 하기 수학식 7과 같이 정의될 수 있다. By combining Equation 3 and Equation 5, the pairwise interaction term in the Gibbs energy function of Equation 1 may be defined as Equation 7 below.
[수학식 7][Equation 7]
제2 식물 영역 추출부(120)는 Log likelihood loss()를 손실 함수(loss function)로, L-BFGS(limited-memory Broyden-Fletcher-Goldfarb-Shanno)을 최적화 알고리즘으로 사용하여 수학식 1의 Gibbs energy function을 하기 수학식 8과 같이 최적화하여 각 화소에 대한 결과 값을 산출하여 제2 식물 영역 추출 데이터를 생성한다. The second plant
[수학식 8][Equation 8]
, ,
(여기서, 은 화소()의 결과 값, 제2 식물 영역 추출 데이터이다.)(here, Silver pixel( ), the second plant area extraction data.)
제2 식물 영역 추출 데이터는 식물 이미지(I)의 각 픽셀이 식물 영역인지 여부를 나타낸 데이터이다. 도 5a는 도 2a의 식물 이미지에서 식물 영역을 추출한 결과인 제2 식물 영역 추출 데이터이고, 도 5b는 도 2b의 식물 이미지에서 식물 영역을 추출한 결과인 제2 식물 영역 추출 데이터이다. 제2 식물 영역 추출 데이터는 식물 영역이 흰색으로 표시되고, 배경 영역이 검은색으로 표시되는 binary 이미지이다. The second plant region extraction data is data indicating whether each pixel of the plant image I is a plant region. 5A is second plant region extraction data as a result of extracting a plant region from the plant image of FIG. 2A, and FIG. 5B is second plant region extraction data as a result of extracting a plant region from the plant image of FIG. 2B. The second plant region extraction data is a binary image in which the plant region is displayed in white and the background region is displayed in black.
본 발명의 일 실시예에 따른 식물 영역 추출 시스템은 컨볼루션 신경망(Convolutional Neural Network)을 통해 식물 이미지에서 식물 영역과 배경 영역을 구분하되, 디컨볼루션(deconvolution) 과정을 통해 결과 데이터가 입력된 식물 이미지와 동일한 해상도를 가지는 것이 보장된다. The plant region extraction system according to an embodiment of the present invention distinguishes a plant region and a background region from a plant image through a convolutional neural network, but the result data is input through a deconvolution process. It is guaranteed to have the same resolution as the image.
또한, 밀도 조건부 랜덤 필드(Dense Conditional Random Field)라는 조건부 확률 모델을 통해 식물 이미지의 화소의 연결성을 최대화한 결과 데이터를 생성할 수 있다. In addition, through a conditional probability model called a density conditional random field, it is possible to generate result data that maximizes the connectivity of pixels in a plant image.
따라서, 식물 이미지에서 가늘고 긴 잎을 가진 식물 영역을 보다 정밀하게 추출할 수 있다.Therefore, a plant region with elongated leaves can be more precisely extracted from the plant image.
이하, 본 발명의 일 실시예에 따른 식물 영역 추출 방법에 대해 설명하도록 한다. 도 6은 본 발명의 일 실시예에 따른 식물 영역 추출 방법의 순서도이다. Hereinafter, a method for extracting a plant region according to an embodiment of the present invention will be described. 6 is a flowchart of a method for extracting plant regions according to an embodiment of the present invention.
도 6을 참조하면, 본 발명의 일 실시예에 따른 식물 잎 식별 방법은 식물 이미지 생성 단계(S100), 제1 식물 영역 데이터 추출 단계(S110), 제2 식물 영역 데이터 추출 단계(S120)를 포함한다.Referring to Figure 6, the plant leaf identification method according to an embodiment of the present invention includes a plant image generation step (S100), the first plant area data extraction step (S110), the second plant area data extraction step (S120) do.
여기서, 상술한 각 단계를 수행하는 식물 영역 추출 시스템은 상술한 도 1의 식물 영역 추출 시스템(10)일 수 있으며, 이에 대한 구체적인 설명은 생략하도록 한다. 또한, 본 실시예의 설명을 위해 도 1 내지 도 5이 참조될 수 있다.Here, the plant region extraction system performing each step described above may be the plant
먼저, 식물 이미지를 생성한다(S100).First, a plant image is generated (S100).
식물 영역 추출 시스템(10)은 식물 이미지 생성부(100), 제1 식물 영역 추출부(110), 제2 식물 영역 추출부(120)를 포함한다. 대상 식물을 촬영하여 식물 이미지(I)를 생성하는 단계는 식물 이미지 생성부(100)에서 수행될 수 있다. The plant
식물 이미지 생성부(100)는 대상 식물을 촬영하여 2차원 이미지에 해당하는 식물 이미지(I)를 생성할 수 있다. 식물 이미지 생성부(100)는 식물의 이미지를 촬영하기 위한 이미지 센서를 포함할 수 있다. 여기서, 식물 이미지 생성부(100)에서 촬영되는 대상 식물은 복수의 식물 잎을 가진 식물로, 각 식물 잎은 길고 가는 형태일 수 있다. 대상 식물은 단자엽 식물(Monocotyledonous Plants)일 수 있으나, 이에 한정되는 것은 아니다. 식물 이미지(I)는 복수의 픽셀로 구성될 수 있으며, 복수의 픽셀 수에 따른 해상도를 가질 수 있다. 생성된 식물 이미지(I)는 제1 식물 영역 추출부(110) 및 제2 식물 영역 추출부(110)로 제공될 수 있다.The plant
이어서, 제1 식물 영역 추출 데이터를 추출한다(S110).Subsequently, the first plant region extraction data is extracted (S110).
제1 식물 영역 데이터의 추출은 식물 영역 추출부(110)에서 수행될 수 있다. 제1 식물 영역 추출부(110)는 식물 이미지의 각 화소별로 식물 영역과 배경 영역을 구분할 제1 식물 영역 추출 데이터를 생성한다. 제1 식물 영역 추출 데이터는 식물 이미지(I)의 각 화소 단위로 식물 영역과 배경 영역을 확률적으로 구분한 데이터로, 식물 이미지(I)에 포함된 복수의 화소 각각이 식물 영역에 해당할 확률을 계산한 데이터일 수 있다. 제1 식물 영역 추출부(110)는 입력된 식물 이미지(I)의 복수의 화소 각각이 식물 영역에 해당하는 지를 판단하고, 식물 영역에 해당할 확률 값을 결과 값으로 생성할 수 있다. The extraction of the first plant region data may be performed by the plant
제1 식물 영역 추출부(110)는 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 통해 제1 식물 영역 추출 데이터를 생성할 수 있다. 상기 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델은, 상기 식물 이미지에 대한 피쳐맵을 생성하는 컨볼루션 단계(Conv), 상기 피쳐맵의 해상도를 감소시키는 트랜지션 다운(TD) 단계 및 피쳐맵의 해상도를 증가시키는 트랜지션 업(TU) 단계를 포함하고, 상기 트랜지션 다운에 입력되는 데이터는 트랜지션 업에서 출력되는 데이터와 스킵 연결(skip connetion)될 수 있다. The first plant
또한, 상기 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델은 복수의 컨볼루션 단계를 포함하는 밀도 블록(Dense Block)을 포함하고, 상기 밀도 블록 내에서 컨볼루션을 통해 생성된 피쳐맵은 누적되어 초기 단계 정보가 소거되지 않고 후기 단계 정보와 계속 이어질 수 있다.In addition, the convolutional neural network-based machine learning model includes a density block including a plurality of convolution steps, and feature maps generated through convolution within the density block are cumulative. As the initial stage information is not erased, it can be continued with the later stage information.
제1 식물 영역 추출부(110)은 입력 이미지인 식물 이미지(I)와 동일한 해상도, 크기를 가진 제1 식물 영역 추출 데이터가 생성될 수 있다. 또한, 식물 이미지(I)를 구성하는 전체 화소별로 식물 영역 또는 배경 영역인지 여부가 판단되는 바, 식물의 잎이 미세하더라도 이에 대한 판단이 가능하다. 또한, 단순히 색상 차이가 아닌 주변 화소와의 비교 등과 같은 이미지의 특징을 추출하는 학습된 필터를 통해 각 화소에 대한 판단을 수행하기에 보다 정확한 영역 구분이 가능할 수 있다.The first plant
여기서, 상기 제1 식물 영역 추출 데이터를 생성하는 단계는, 상기 식물 이미지를 상기 처리 가능한 이미지의 크기로 분할하여 복수의 서브 식물 이미지를 생성하는 단계; 상기 복수의 서브 식물 이미지 각각에 대한 제1 서브 식물 영역 추출 데이터를 각각 생성하는 단계; 및 상기 생성된 각각의 제1 서브 식물 영역 추출 데이터를 조합하여 상기 제1 식물 영역 추출 데이터를 생성하는 단계를 포함한다. 생성된 각각의 제1 서브 식물 영역 추출 데이터를 조합하여 상기 제1 식물 영역 추출 데이터를 생성하는 단계는, 상기 생성된 각각의 제1 서브 식물 영역 추출 데이터가 상기 복수의 서브 식물 이미지의 중복되는 화소 영역을 포함하는 경우, 상기 중복되는 화소 영역에 대해 가장 높은 확률 값을 가진 제1 서브 식물 영역 추출 데이터를 선택하여 상기 제1 식물 영역 추출 데이터를 조합할 수 있다.Here, the step of generating the first plant region extraction data includes: dividing the plant image into a size of the processable image to generate a plurality of sub-plant images; Generating first sub plant region extraction data for each of the plurality of sub plant images; And combining the generated first sub plant region extraction data to generate the first plant region extraction data. The generating of the first plant region extraction data by combining the generated first sub plant region extraction data may include generating pixels in which the generated first sub plant region extraction data overlaps the plurality of sub plant images. When the region is included, the first plant region extraction data may be combined by selecting the first sub-plant region extraction data having the highest probability value for the overlapping pixel region.
이어서, 제2 식물 영역 추출 데이터를 생성한다(S120).Subsequently, second plant region extraction data is generated (S120 ).
제2 식물 영역 추출 데이터의 생성은 제2 식물 영역 추출부(120)에서 수행된다. 제2 식물 영역 추출부(120)는 확률적 그래픽 모델(probabilistic graphical models)을 통해 식물 이미지(I)의 화소의 연결성을 최대화, 극대화할 수 있다. 상기 확률적 그래픽 모델은 복수의 화소들 사이의 상호 연결 관계를 모두 형성하는 밀도 조건부 랜덤 필드(Dense Conditional Random Field)라는 조건부 확률 모델일 수 있다. 여기서, 연결성의 최대화 또는 극대화는 복수의 화소들 사이의 상호 연결 그래프를 모두 형성하고 연결된 화소들간의 상호 영향성을 고려하여 각 화소가 식물 영역인지를 결정하는 것을 의미한다.Generation of the second plant region extraction data is performed by the second plant
상기 제2 식물 영역 추출 데이터를 생성하는 단계는 상기 제1 식물 영역 추출 데이터에 따른 각 화소가 식물 영역에 해당할 확률 값 및 상기 복수의 화소들 사이의 상호 연결 그래프를 모두 형성하고 연결된 화소들간의 상호 영향성을 고려하여 각 화소가 식물 영역인지 여부를 결정한 상기 제2 식물 영역 추출 데이터를 생성할 수 있다. 상기 상호 영향성은 연결된 화소간의 거리 차이 및 상기 식물 이미지의 R, G, B 값의 유사 여부를 고려하여 결정될 수 있다. 상기 상호 영향성은 연결된 화소간의 거리 차이 및 상기 식물 이미지의 R, G, B 값의 유사 여부를 고려하여 결정할 수 있다. 하나의 화소 및 상기 하나의 화소와 연결된 다른 화소와의 관계를 고려하여 각 화소가 식물 영역에 해당하는 지에 대한 확률 값은 Gibbs energy function으로 표현되며, 이의 최적화로 제2 식물 영역 추출 데이터가 산출될 수 있다. In the generating of the second plant region extraction data, all of the pixels according to the first plant region extraction data form a probability value corresponding to the plant region and an interconnection graph between the plurality of pixels, and between the connected pixels. In consideration of the mutual influence, the second plant region extraction data for determining whether each pixel is a plant region may be generated. The mutual influence may be determined in consideration of a distance difference between connected pixels and similarity of R, G, and B values of the plant image. The mutual influence may be determined in consideration of a difference in distance between connected pixels and similarity of R, G, and B values of the plant image. In consideration of the relationship between one pixel and another pixel connected to the one pixel, the probability value of whether each pixel corresponds to a plant region is expressed as a Gibbs energy function, and optimization of the second plant region extraction data is calculated. Can.
이상에서 설명한 실시예들에 따른 식물 영역 추출 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 식물 영역 추출 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.The operation by the method for extracting plant regions according to the above-described embodiments may be at least partially implemented by a computer program and recorded on a computer-readable recording medium. A program for implementing an operation by a method for extracting plant regions according to embodiments is recorded, and a computer-readable recording medium includes all types of recording devices in which data that can be read by a computer are stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, and optical data storage devices. In addition, the computer readable recording medium may be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present embodiment will be readily understood by those skilled in the art to which this embodiment belongs.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to embodiments, the present invention should not be construed as being limited by these embodiments or the drawings, and those skilled in the art will appreciate the spirit and scope of the present invention as set forth in the claims below. It will be understood that various modifications and changes can be made to the present invention without departing from the scope.
10: 식물 영역 추출 시스템
100: 식물 이미지 생성부
110: 제1 식물 영역 추출부
120: 제2 식물 영역 추출부10: Plant area extraction system
100: plant image generating unit
110: first plant region extraction unit
120: second plant area extraction unit
Claims (17)
컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 통해 상기 식물 이미지의 각 화소별로 식물 영역과 배경 영역을 구분한 제1 식물 영역 추출 데이터를 생성하는 제1 식물 영역 추출부; 및
상기 식물 이미지 및 상기 제1 식물 영역 추출 데이터를 활용하여, 상기 식물 이미지의 복수의 화소 간의 상호 연결성을 최대화한 제2 식물 영역 추출 데이터를 생성하는 제2 식물 영역 추출부를 포함하며,
상기 제1 식물 영역 추출부의 상기 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델은,
상기 식물 이미지에 대한 피쳐맵을 생성하는 컨볼루션 단계(Conv), 상기 피쳐맵의 해상도를 감소시키는 트랜지션 다운(TD) 단계 및 피쳐맵의 해상도를 증가시키는 트랜지션 업(TU) 단계를 포함하고,
상기 트랜지션 다운에 입력되는 데이터는 트랜지션 업에서 출력되는 데이터와 스킵 연결(skip connetion)되며,
상기 제1 식물 영역 추출부의 상기 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델은 복수의 컨볼루션 단계를 포함하는 밀도 블록(Dense Block)을 포함하고,
상기 밀도 블록 내에서 컨볼루션을 통해 생성된 피쳐맵은 누적되어 초기 단계 정보가 소거되지 않고 후기 단계 정보와 계속 이어지는 것을 특징으로 하는 식물 영역 추출 시스템.A plant image generating unit that photographs a target plant to generate a plant image;
A first plant region extraction unit for generating first plant region extraction data that separates a plant region and a background region for each pixel of the plant image through a machine learning model based on a convolutional neural network; And
And a second plant region extraction unit that generates second plant region extraction data that maximizes interconnection between a plurality of pixels of the plant image by utilizing the plant image and the first plant region extraction data,
The convolutional neural network-based machine learning model of the first plant region extractor,
A convolution step (Conv) for generating a feature map for the plant image, a transition down (TD) step for reducing the resolution of the feature map, and a transition up (TU) step for increasing the resolution of the feature map,
The data input to the transition down is skip connetion with the data output from the transition up,
The machine learning model based on the convolutional neural network of the first plant region extractor includes a density block including a plurality of convolution steps,
The feature map generated through convolution within the density block is accumulated so that the initial stage information is not erased, but the plant region extraction system is characterized in that it continues to be connected to the late stage information.
컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 통해 상기 식물 이미지의 각 화소별로 식물 영역과 배경 영역을 구분한 제1 식물 영역 추출 데이터를 생성하는 제1 식물 영역 추출부; 및
상기 식물 이미지 및 상기 제1 식물 영역 추출 데이터를 활용하여, 상기 식물 이미지의 복수의 화소 간의 상호 연결성을 최대화한 제2 식물 영역 추출 데이터를 생성하는 제2 식물 영역 추출부를 포함하며,
상기 식물 이미지가 상기 제1 식물 영역 추출부에서 처리 가능한 이미지의 크기보다 큰 경우, 상기 제1 식물 영역 추출부는 상기 식물 이미지를 상기 처리 가능한 이미지의 크기로 분할하여 복수의 서브 식물 이미지를 생성하고,
상기 복수의 서브 식물 이미지 각각에 대한 제1 서브 식물 영역 추출 데이터를 각각 생성하고,
상기 생성된 각각의 제1 서브 식물 영역 추출 데이터를 조합하여 상기 제1 식물 영역 추출 데이터를 생성하며,
상기 제1 식물 영역 추출부는 상기 생성된 각각의 제1 서브 식물 영역 추출 데이터가 상기 복수의 서브 식물 이미지의 중복되는 화소 영역을 포함하는 경우,
상기 중복되는 화소 영역에 대해 가장 높은 확률 값을 가진 제1 서브 식물 영역 추출 데이터를 선택하여 상기 제1 식물 영역 추출 데이터를 조합하는 것을 특징으로 하는 식물 영역 추출 시스템.A plant image generating unit that photographs a target plant to generate a plant image;
A first plant region extraction unit for generating first plant region extraction data that separates a plant region and a background region for each pixel of the plant image through a machine learning model based on a convolutional neural network; And
And a second plant region extraction unit that generates second plant region extraction data that maximizes interconnection between a plurality of pixels of the plant image by utilizing the plant image and the first plant region extraction data,
When the plant image is larger than the size of the image that can be processed by the first plant region extracting unit, the first plant region extracting unit divides the plant image into the size of the processable image to generate a plurality of sub-plant images,
First sub plant region extraction data for each of the plurality of sub plant images are respectively generated,
Each of the generated first sub-plant region extraction data is combined to generate the first plant region extraction data,
When the first plant region extraction data of each of the first plant region extraction data includes overlapping pixel regions of the plurality of sub plant images, the first plant region extraction unit may include:
And selecting the first sub-plant region extraction data having the highest probability value for the overlapping pixel region and combining the first plant region extraction data.
상기 제2 식물 영역 추출부는 상기 제1 식물 영역 추출 데이터에 따른 각 화소가 식물 영역에 해당할 확률 값 및 상기 복수의 화소들 사이의 상호 연결 그래프를 모두 형성하고 연결된 화소들간의 상호 영향성을 고려하여 각 화소가 식물 영역인지 여부를 결정한 상기 제2 식물 영역 추출 데이터를 생성하는 것을 특징으로 하는 식물 영역 추출 시스템.According to claim 1,
The second plant region extracting unit forms a probability value for each pixel corresponding to the first plant region extraction data and an interconnection graph between the plurality of pixels, and considers the mutual influence between connected pixels By generating the second plant region extraction data to determine whether each pixel is a plant region.
상기 상호 영향성은 연결된 화소간의 거리 차이 및 상기 식물 이미지의 R, G, B 값의 유사 여부를 고려하여 결정되는 것을 특징으로 하는 식물 영역 추출 시스템.The method of claim 6,
The mutual influence is determined by considering the distance difference between the connected pixels and whether the R, G, and B values of the plant image are similar.
상기 식물은 단자엽 식물(Monocotyledonous Plants)인 것을 특징으로 하는 식물 영역 추출 시스템.According to claim 1,
The plant is a monocotyledonous plant (Monocotyledonous Plants), characterized in that the plant area extraction system.
상기 식물 영역 추출 시스템이, 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 통해 상기 식물 이미지의 각 화소별로 식물 영역과 배경 영역을 구분한 제1 식물 영역 추출 데이터를 생성하는 단계; 및
상기 식물 영역 추출 시스템이, 상기 식물 이미지 및 상기 제1 식물 영역 추출 데이터를 활용하여, 상기 식물 이미지의 복수의 화소 간의 상호 연결성을 최대화한 제2 식물 영역 추출 데이터를 생성하는 단계를 포함하며,
상기 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델은,
상기 식물 이미지에 대한 피쳐맵을 생성하는 컨볼루션 단계(Conv), 상기 피쳐맵의 해상도를 감소시키는 트랜지션 다운(TD) 단계 및 피쳐맵의 해상도를 증가시키는 트랜지션 업(TU) 단계를 포함하고,
상기 트랜지션 다운에 입력되는 데이터는 트랜지션 업에서 출력되는 데이터와 스킵 연결(skip connetion)되며,
상기 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델은 복수의 컨볼루션 단계를 포함하는 밀도 블록(Dense Block)을 포함하고,
상기 밀도 블록 내에서 컨볼루션을 통해 생성된 피쳐맵은 누적되어 초기 단계 정보가 소거되지 않고 후기 단계 정보와 계속 이어지는 것을 특징으로 하는 식물 영역 추출 방법.The plant region extraction system, photographing a target plant to generate a plant image;
Generating, by the plant region extraction system, first plant region extraction data that separates a plant region and a background region for each pixel of the plant image through a machine learning model based on a convolutional neural network; And
The plant region extraction system includes generating the second plant region extraction data that maximizes interconnection between a plurality of pixels of the plant image by utilizing the plant image and the first plant region extraction data,
The machine learning model based on the convolutional neural network,
A convolution step (Conv) for generating a feature map for the plant image, a transition down (TD) step for reducing the resolution of the feature map, and a transition up (TU) step for increasing the resolution of the feature map,
The data input to the transition down is skip connetion with the data output from the transition up,
The convolutional neural network-based machine learning model includes a density block including a plurality of convolution steps,
The feature map generated through convolution within the density block is accumulated, and the initial stage information is not erased, but the plant region extraction method is characterized in that it continues with the later stage information.
상기 식물 영역 추출 시스템이, 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 통해 상기 식물 이미지의 각 화소별로 식물 영역과 배경 영역을 구분한 제1 식물 영역 추출 데이터를 생성하는 단계; 및
상기 식물 영역 추출 시스템이, 상기 식물 이미지 및 상기 제1 식물 영역 추출 데이터를 활용하여, 상기 식물 이미지의 복수의 화소 간의 상호 연결성을 최대화한 제2 식물 영역 추출 데이터를 생성하는 단계를 포함하며,
상기 제1 식물 영역 추출 데이터를 생성하는 단계는,
상기 식물 이미지를 처리 가능한 이미지의 크기로 분할하여 복수의 서브 식물 이미지를 생성하는 단계;
상기 복수의 서브 식물 이미지 각각에 대한 제1 서브 식물 영역 추출 데이터를 각각 생성하는 단계; 및
상기 생성된 각각의 제1 서브 식물 영역 추출 데이터를 조합하여 상기 제1 식물 영역 추출 데이터를 생성하는 단계를 포함하며,
상기 생성된 각각의 제1 서브 식물 영역 추출 데이터를 조합하여 상기 제1 식물 영역 추출 데이터를 생성하는 단계는, 상기 생성된 각각의 제1 서브 식물 영역 추출 데이터가 상기 복수의 서브 식물 이미지의 중복되는 화소 영역을 포함하는 경우, 상기 중복되는 화소 영역에 대해 가장 높은 확률 값을 가진 제1 서브 식물 영역 추출 데이터를 선택하여 상기 제1 식물 영역 추출 데이터를 조합하는 것을 특징으로 하는 식물 영역 추출 방법.The plant region extraction system, photographing a target plant to generate a plant image;
Generating, by the plant region extraction system, first plant region extraction data that separates a plant region and a background region for each pixel of the plant image through a machine learning model based on a convolutional neural network; And
The plant region extracting system, using the plant image and the first plant region extraction data, generating a second plant region extraction data that maximizes the interconnection between a plurality of pixels of the plant image,
Generating the first plant region extraction data,
Dividing the plant image into a size of a processable image to generate a plurality of sub-plant images;
Generating first sub plant region extraction data for each of the plurality of sub plant images; And
And combining the generated first sub plant region extraction data to generate the first plant region extraction data,
The step of generating the first plant region extraction data by combining the generated first sub-plant region extraction data may include overlapping the plurality of sub-plant images with each of the generated first sub-plant region extraction data. When a pixel region is included, a plant region extraction method characterized by selecting first sub-plant region extraction data having the highest probability value for the overlapping pixel region and combining the first plant region extraction data.
상기 제2 식물 영역 추출 데이터를 생성하는 단계는 상기 제1 식물 영역 추출 데이터에 따른 각 화소가 식물 영역에 해당할 확률 값 및 상기 복수의 화소들 사이의 상호 연결 그래프를 모두 형성하고 연결된 화소들간의 상호 영향성을 고려하여 각 화소가 식물 영역인지 여부를 결정한 상기 제2 식물 영역 추출 데이터를 생성하는 것을 특징으로 하는 식물 영역 추출 방법.The method of claim 9,
In the generating of the second plant region extraction data, all of the pixels according to the first plant region extraction data form a probability value corresponding to the plant region and an interconnection graph between the plurality of pixels, and between the connected pixels. A method of extracting plant regions, characterized in that the second plant region extraction data for determining whether each pixel is a plant region in consideration of mutual influence is generated.
상기 상호 영향성은 연결된 화소간의 거리 차이 및 상기 식물 이미지의 R, G, B 값의 유사 여부를 고려하여 결정되는 것을 특징으로 하는 식물 영역 추출 방법.The method of claim 14,
The mutual influence is determined by considering the distance difference between the connected pixels and whether the R, G, and B values of the plant image are similar.
상기 식물은 단자엽 식물(Monocotyledonous Plants)인 것을 특징으로 하는 식물 영역 추출 방법.The method of claim 9,
The plant is a monocotyledonous plant (Monocotyledonous Plants), characterized in that the plant region extraction method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180126611A KR102131243B1 (en) | 2018-10-23 | 2018-10-23 | Plant Area Extraction System and Method Based on Deep Running and Connectivity Graphs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180126611A KR102131243B1 (en) | 2018-10-23 | 2018-10-23 | Plant Area Extraction System and Method Based on Deep Running and Connectivity Graphs |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200052397A KR20200052397A (en) | 2020-05-15 |
KR102131243B1 true KR102131243B1 (en) | 2020-07-07 |
Family
ID=70679037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180126611A KR102131243B1 (en) | 2018-10-23 | 2018-10-23 | Plant Area Extraction System and Method Based on Deep Running and Connectivity Graphs |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102131243B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017077238A (en) * | 2015-10-21 | 2017-04-27 | 国立大学法人神戸大学 | Flower number-measuring system and flower number-measuring method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101958910B1 (en) * | 2012-10-26 | 2019-03-15 | 에스케이 텔레콤주식회사 | Method and Apparatus for Providing Acceleration Image Correction |
KR102592076B1 (en) * | 2015-12-14 | 2023-10-19 | 삼성전자주식회사 | Appartus and method for Object detection based on Deep leaning, apparatus for Learning thereof |
-
2018
- 2018-10-23 KR KR1020180126611A patent/KR102131243B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017077238A (en) * | 2015-10-21 | 2017-04-27 | 国立大学法人神戸大学 | Flower number-measuring system and flower number-measuring method |
Also Published As
Publication number | Publication date |
---|---|
KR20200052397A (en) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10229346B1 (en) | Learning method, learning device for detecting object using edge image and testing method, testing device using the same | |
CN105144239B (en) | Image processing apparatus, image processing method | |
EP3620956B1 (en) | Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same | |
EP3388978B1 (en) | Image classification method, electronic device, and storage medium | |
KR102220174B1 (en) | Learning-data enhancement device for machine learning model and method for learning-data enhancement | |
EP3333768A1 (en) | Method and apparatus for detecting target | |
US12002259B2 (en) | Image processing apparatus, training apparatus, image processing method, training method, and storage medium | |
JP5554984B2 (en) | Pattern recognition method and pattern recognition apparatus | |
CN107622274B (en) | Neural network training method and device for image processing and computer equipment | |
CN111950453A (en) | Optional-shape text recognition method based on selective attention mechanism | |
KR20180065889A (en) | Method and apparatus for detecting target | |
JP4788525B2 (en) | Object identification parameter learning system, object identification parameter learning method, and object identification parameter learning program | |
US10079974B2 (en) | Image processing apparatus, method, and medium for extracting feature amount of image | |
KR102070956B1 (en) | Apparatus and method for processing image | |
JP2017538196A (en) | Product image segmentation method and apparatus | |
CN112132145B (en) | Image classification method and system based on model extended convolutional neural network | |
CN110942456B (en) | Tamper image detection method, device, equipment and storage medium | |
JP6448212B2 (en) | Recognition device and recognition method | |
CN111079507A (en) | Behavior recognition method and device, computer device and readable storage medium | |
JP6989450B2 (en) | Image analysis device, image analysis method and program | |
CN108520263B (en) | Panoramic image identification method and system and computer storage medium | |
CN113781421A (en) | Underwater-based target identification method, device and system | |
JP2008251029A (en) | Character recognition device and license plate recognition system | |
CN116206334A (en) | Wild animal identification method and device | |
CN106503728A (en) | A kind of image-recognizing method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |