KR102577350B1 - Method, system and non-transitory computer-readable recording medium for estimating crop growth information - Google Patents
Method, system and non-transitory computer-readable recording medium for estimating crop growth information Download PDFInfo
- Publication number
- KR102577350B1 KR102577350B1 KR1020220057194A KR20220057194A KR102577350B1 KR 102577350 B1 KR102577350 B1 KR 102577350B1 KR 1020220057194 A KR1020220057194 A KR 1020220057194A KR 20220057194 A KR20220057194 A KR 20220057194A KR 102577350 B1 KR102577350 B1 KR 102577350B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- crop
- information
- transformation
- growth
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000008859 change Effects 0.000 claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 230000001066 destructive effect Effects 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 21
- 238000004891 communication Methods 0.000 description 31
- 230000002787 reinforcement Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000029553 photosynthesis Effects 0.000 description 2
- 238000010672 photosynthesis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Marine Sciences & Fisheries (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- Mining & Mineral Resources (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Husbandry (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Agronomy & Crop Science (AREA)
- Image Processing (AREA)
Abstract
본 발명의 일 태양에 따르면, 작물 생육 정보를 추정하기 위한 방법으로서, 대상 작물의 특성 또는 형태에 관하여 비파괴적인 방식으로 작물 이미지를 획득하는 단계, 상기 획득된 작물 이미지를 이미지 변환 모델을 이용하여 전처리하는 단계, 및 상기 전처리된 작물 이미지 및 식생 지수를 참조하여 상기 대상 작물의 생장 정보를 추정하고, 상기 추정되는 생장 정보를 참조하여 생장 변화 정보를 결정하는 단계를 포함하고, 상기 이미지 변환 모델은 획득된 제1 작물 이미지와 제2 작물 이미지 사이의 변환에 기초한 손실함수를 이용하여 학습되는 방법이 제공된다.According to one aspect of the present invention, there is provided a method for estimating crop growth information, comprising the steps of acquiring a crop image in a non-destructive manner with respect to the characteristics or shape of the target crop, and pre-processing the obtained crop image using an image conversion model. and estimating growth information of the target crop with reference to the preprocessed crop image and vegetation index, and determining growth change information with reference to the estimated growth information, wherein the image conversion model is obtained. A method of learning using a loss function based on conversion between a first crop image and a second crop image is provided.
Description
본 발명은 작물 생육 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.The present invention relates to a method, system, and non-transitory computer-readable recording medium for estimating crop growth information.
현재 인류는 전 세계적인 식량 수요의 증가, 기후 변화 위험 관리의 필요성 증가, 노동력 부족 등의 문제에 직면해 있으며, 이로 인해 재배 생산성을 높여야 한다는 목소리가 커지고 있다.Currently, humanity is facing problems such as increased global food demand, increased need for climate change risk management, and labor shortage, which has led to growing calls for increased cultivation productivity.
현재까지의 통상적인 재배 전략은 예전부터 전해 내려오거나, 재배 전문가 혹은 연구자들이 개발한 것으로서, 적정 환경 요소 범위를 지정하여 재배 기간에 걸쳐서, 환경 요소에 대한 값을 고정적으로 유지한다는 특징이 있다. 그러나, 이러한 재배 전략은 재배 주기가 끝나고 난 후에 비로소 그 전략에 대한 성과를 평가할 수 있을 뿐만 아니라, 실제 재배 환경에서 작물의 생육에 방해가 되는 요소가 발생하는 경우와 같은 상황을 대비할 수 없다는 점에서 한계가 분명하다. 또한, 작물의 환경 요소에 따라 다양한 조합이 생성될 수 있으므로 통상적인 재배 전략으로부터 최적의 재배 전략을 찾는 것은 쉽지 않다.Conventional cultivation strategies to date have been handed down from ancient times or developed by cultivation experts or researchers, and have the characteristic of specifying an appropriate range of environmental factors and maintaining the values of environmental factors fixed throughout the cultivation period. However, the performance of this cultivation strategy can only be evaluated after the cultivation cycle is over, and it cannot prepare for situations such as when factors that interfere with crop growth occur in an actual cultivation environment. The limits are clear. Additionally, since various combinations can be created depending on the environmental factors of the crop, it is not easy to find the optimal cultivation strategy from typical cultivation strategies.
한편, 4차 산업 혁명 시대가 도래함에 따라 인공지능에 대한 관심이 커지고 있다. 그 중 강화학습은 최적화 개념과 행동심리학 개념을 결합한 인공지능 기반 기계학습 알고리즘 중 하나로서, 시스템 최적화 문제를 풀기 위해 많은 연구 및 개발이 이루어지고 있다. 이에 따라, 강화학습을 작물 재배에 도입하여 재배 생산성을 높이고자 하는 시도가 이어지고 있다.Meanwhile, as the era of the Fourth Industrial Revolution arrives, interest in artificial intelligence is growing. Among them, reinforcement learning is one of the artificial intelligence-based machine learning algorithms that combines optimization concepts and behavioral psychology concepts, and much research and development is being conducted to solve system optimization problems. Accordingly, attempts are being made to increase cultivation productivity by introducing reinforcement learning into crop cultivation.
하지만, 지금까지 소개된 기술에 의하면, 재배 주기가 끝난 후에 비로소 보상이 제공되는 방식으로 강화학습이 이루질 뿐이므로, 재배 중에 보상을 제공할 수 없어 데이터의 절대적인 수량이 부족하고, 데이터의 수집 속도가 느린 작물 재배 환경에서 최적의 재배 전략을 찾는 것이 어렵다는 한계가 있었다. 또한, 작물에 관한 이미지 처리를 하는 과정에서, 작물의 구성 요소에 대한 개별적인 라벨링을 통해 작물의 생장 정도를 파악한다는 점에서 학습 시간이 더욱 오래 걸린다는 한계가 있었다.However, according to the technology introduced so far, reinforcement learning is only achieved in a way that rewards are provided only after the cultivation cycle is over, so compensation cannot be provided during cultivation, so the absolute quantity of data is insufficient, and the data collection speed is limited. There was a limitation that it was difficult to find the optimal cultivation strategy in a slow crop cultivation environment. Additionally, in the process of processing images of crops, there was a limitation that learning time took longer in that the growth level of the crop was identified through individual labeling of the crop's components.
이에 본 발명자(들)는, 대상 작물의 특성 또는 형태에 관하여 비파괴적인 방식으로 작물 이미지를 획득하고, 획득된 작물 이미지를 이미지 변환 모델을 이용하여 전처리하고, 전처리된 작물 이미지 및 식생 지수를 참조하여 대상 작물의 생장 정보를 추정하고, 추정되는 생장 정보를 참조하여 생장 변화 정보를 결정함으로써 강화학습에서 중간 보상을 제공할 수 있도록 하여 최적의 작물 재배를 가능하게 하는 기술을 제안하는 바이다.Accordingly, the present inventor(s) acquire crop images in a non-destructive manner with respect to the characteristics or shape of the target crop, preprocess the obtained crop image using an image conversion model, and refer to the preprocessed crop image and vegetation index. We propose a technology that enables optimal crop cultivation by estimating the growth information of the target crop and determining growth change information with reference to the estimated growth information, thereby providing intermediate compensation in reinforcement learning.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.The purpose of the present invention is to solve all the problems of the prior art described above.
또한, 본 발명은, 야간 이미지에 대한 전처리를 통해 작물 생장 정보를 추정하여, 주간 이미지만을 활용하여 작물의 생장 정도를 판단하지 않게 됨에 따라 짧은 주기 내에 작물 생장 정보를 추정할 수 있도록 하는 것을 다른 목적으로 한다.In addition, another purpose of the present invention is to estimate crop growth information through preprocessing of nighttime images, so that crop growth information can be estimated within a short period as the degree of crop growth is not determined using only daytime images. Do it as
또한, 본 발명은, 이미지 변환 모델을 이용하여 야간 이미지를 주간 이미지로 변환시키는 전처리를 통해서 야간에 빛을 조사할 필요성이 없어짐에 따라, 작물의 생장에 영향을 미칠 수 있는 광 요인을 통제한 상태에서 작물 생장 정보를 추정할 수 있도록 하는 것을 또 다른 목적으로 한다.In addition, the present invention eliminates the need to irradiate light at night through preprocessing that converts night images into day images using an image conversion model, thereby controlling light factors that may affect crop growth. Another purpose is to be able to estimate crop growth information.
또한, 본 발명은, 식생 지수를 참조하여 작물의 생장 정보를 추정함으로써, 작물의 구성 요소에 대해 개별적인 라벨링 없이 작물의 생장 정보를 파악하는 것을 또 다른 목적으로 한다.In addition, another purpose of the present invention is to identify crop growth information without individual labeling of crop components by estimating crop growth information with reference to the vegetation index.
또한, 본 발명은, 작물의 생장 변화 정보를 결정하고, 강화학습의 중간 보상으로 제공함으로써 강화학습을 용이하게 하는 것을 또 다른 목적으로 한다.Another purpose of the present invention is to facilitate reinforcement learning by determining crop growth change information and providing it as an intermediate reward for reinforcement learning.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.A representative configuration of the present invention to achieve the above object is as follows.
본 발명의 일 태양에 따르면, 작물 생육 정보를 추정하기 위한 방법으로서, 대상 작물의 특성 또는 형태에 관하여 비파괴적인 방식으로 작물 이미지를 획득하는 단계, 상기 획득된 작물 이미지를 이미지 변환 모델을 이용하여 전처리하는 단계, 및 상기 전처리된 작물 이미지 및 식생 지수를 참조하여 상기 대상 작물의 생장 정보를 추정하고, 상기 추정되는 생장 정보를 참조하여 생장 변화 정보를 결정하는 단계를 포함하고, 상기 이미지 변환 모델은 획득된 제1 작물 이미지와 제2 작물 이미지 사이의 변환에 기초한 손실함수를 이용하여 학습되는 방법이 제공된다.According to one aspect of the present invention, there is provided a method for estimating crop growth information, comprising the steps of acquiring a crop image in a non-destructive manner with respect to the characteristics or shape of the target crop, and pre-processing the obtained crop image using an image conversion model. and estimating growth information of the target crop with reference to the preprocessed crop image and vegetation index, and determining growth change information with reference to the estimated growth information, wherein the image conversion model is obtained. A method of learning using a loss function based on conversion between a first crop image and a second crop image is provided.
본 발명의 다른 태양에 따르면, 작물 생육 정보를 추정하기 위한 시스템으로서, 대상 작물의 특성 또는 형태에 관하여 비파괴적인 방식으로 작물 이미지를 획득하는 이미지 획득부, 상기 획득된 작물 이미지를 이미지 변환 모델을 이용하여 전처리하는 이미지 전처리부, 및 상기 전처리된 작물 이미지 및 식생 지수를 참조하여 상기 대상 작물의 생장 정보를 추정하고, 상기 추정되는 생장 정보를 참조하여 생장 변화 정보를 결정하는 정보 결정부를 포함하고, 상기 이미지 변환 모델은 획득된 제1 작물 이미지와 제2 작물 이미지 사이의 변환에 기초한 손실함수를 이용하여 학습되는 시스템이 제공된다.According to another aspect of the present invention, there is a system for estimating crop growth information, comprising an image acquisition unit that acquires a crop image in a non-destructive manner with respect to the characteristics or shape of the target crop, and the obtained crop image using an image conversion model. an image pre-processing unit that pre-processes, and an information determination unit that estimates growth information of the target crop with reference to the pre-processed crop image and vegetation index, and determines growth change information with reference to the estimated growth information, A system in which the image conversion model is learned using a loss function based on conversion between the obtained first crop image and the second crop image is provided.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition, another method for implementing the present invention, another system, and a non-transitory computer-readable recording medium for recording a computer program for executing the method are further provided.
본 발명에 의하면, 야간 이미지에 대한 전처리를 통해 작물 생장 정보를 추정하여, 주간 이미지만을 활용하여 작물의 생장 정도를 판단하지 않게 됨에 따라 짧은 주기 내에 작물 생장 정보를 추정할 수 있게 된다.According to the present invention, crop growth information is estimated through preprocessing of nighttime images, so that the crop growth level is no longer determined using only daytime images, making it possible to estimate crop growth information within a short period.
또한, 본 발명에 의하면, 이미지 변환 모델을 이용하여 야간 이미지를 주간 이미지로 변환시키는 전처리를 통해서 야간에 빛을 조사할 필요성이 없어짐에 따라, 작물의 생장에 영향을 미칠 수 있는 광 요인을 통제한 상태에서 작물 생장 정보를 추정할 수 있게 된다.In addition, according to the present invention, the need to irradiate light at night is eliminated through preprocessing that converts the night image into a daytime image using an image conversion model, thereby controlling light factors that may affect the growth of crops. It is possible to estimate crop growth information from this state.
또한, 본 발명에 의하면, 식생 지수를 참조하여 작물의 생장 정보를 추정함으로써, 작물의 구성 요소에 대해 개별적인 라벨링 없이 작물의 생장 정보를 파악할 수 있게 된다.Additionally, according to the present invention, by estimating crop growth information with reference to the vegetation index, it is possible to determine crop growth information without individual labeling of crop components.
또한, 본 발명에 의하면, 작물의 생장 변화 정보를 결정하고, 강화학습의 중간 보상으로 제공함으로써 강화학습을 용이하게 할 수 있게 된다.In addition, according to the present invention, it is possible to facilitate reinforcement learning by determining crop growth change information and providing it as an intermediate reward for reinforcement learning.
도 1은 본 발명의 일 실시예에 따라 작물 생육 정보를 추정하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 정보 추정 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3 내지 도 4는 본 발명의 일 실시예에 따라 획득된 작물 이미지로부터 작물의 생장 정보를 추정하고, 생장 변화 정보를 결정하는 과정을 예시적으로 나타내는 도면이다.Figure 1 is a diagram showing the schematic configuration of an entire system for estimating crop growth information according to an embodiment of the present invention.
Figure 2 is a diagram illustrating in detail the internal configuration of an information estimation system according to an embodiment of the present invention.
3 and 4 are diagrams illustrating a process for estimating crop growth information and determining growth change information from crop images obtained according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.The detailed description of the present invention described below refers to the accompanying drawings, which show by way of example specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different from one another but are not necessarily mutually exclusive. For example, specific shapes, structures and characteristics described herein may be implemented with changes from one embodiment to another without departing from the spirit and scope of the invention. Additionally, it should be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description described below is not to be taken in a limiting sense, and the scope of the present invention should be taken to encompass the scope claimed by the claims and all equivalents thereof. Like reference numbers in the drawings indicate identical or similar elements throughout various aspects.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, several preferred embodiments of the present invention will be described in detail with reference to the attached drawings in order to enable those skilled in the art to easily practice the present invention.
전체 시스템의 구성Configuration of the entire system
도 1은 본 발명의 일 실시예에 따라 작물 생육 정보를 추정하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.Figure 1 is a diagram showing the schematic configuration of an entire system for estimating crop growth information according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 정보 추정 시스템(200) 및 디바이스(300)를 포함할 수 있다.As shown in FIG. 1, the entire system according to an embodiment of the present invention may include a
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드 와이드 웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.First, the
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 5G 통신, 블루투스 통신(저전력 블루투스(BLE; Bluetooth Low Energy) 통신 포함), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다. 다른 예를 들면, 통신망(100)은 광 통신망으로서, 라이파이(LiFi; Light Fidelity) 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.For example, the
다음으로, 본 발명의 일 실시예에 따른 정보 추정 시스템(200)은 대상 작물의 특성 또는 형태에 관하여 비파괴적인 방식으로 작물 이미지를 획득하고, 획득된 작물 이미지를 이미지 변환 모델을 이용하여 전처리하고, 전처리된 작물 이미지 및 식생 지수를 참조하여 대상 작물의 생장 정보를 추정하고, 추정된 생장 정보를 참조하여 생장 변화 정보를 결정하는 기능을 수행할 수 있다.Next, the
본 발명에 따른 정보 추정 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다.The configuration and function of the
다음으로, 본 발명의 일 실시예에 따른 디바이스(300)는 정보 추정 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 재배기, 스마트폰, 태블릿, 스마트 워치, 스마트 밴드, 스마트 글래스, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다.Next, the
특히, 디바이스(300)는, 사용자가 정보 추정 시스템(200)으로부터 본 발명에 따른 서비스를 제공받을 수 있도록 지원하는 애플리케이션(미도시됨)을 포함할 수 있다. 이와 같은 애플리케이션은 정보 추정 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다. 한편, 이러한 애플리케이션의 성격은 후술할 바와 같은 정보 추정 시스템(200)의 이미지 획득부(210), 이미지 전처리부(220), 정보 결정부(230), 통신부(240) 및 제어부(250)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.In particular, the
정보 추정 시스템의 구성Configuration of the information estimation system
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 정보 추정 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.Below, we will look at the internal configuration of the
도 2는 본 발명의 일 실시예에 따른 정보 추정 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.FIG. 2 is a diagram illustrating in detail the internal configuration of the
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 정보 추정 시스템(200)은, 이미지 획득부(210), 이미지 전처리부(220), 정보 결정부(230), 통신부(240) 및 제어부(250)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 이미지 획득부(210), 이미지 전처리부(220), 정보 결정부(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부의 시스템(미도시됨)과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 정보 추정 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 정보 추정 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.As shown in Figure 2, the
한편, 정보 추정 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 정보 추정 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 디바이스(300) 또는 서버(미도시됨) 내에서 실현되거나 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다.Meanwhile, although the
먼저, 본 발명의 일 실시예에 따른 이미지 획득부(210)는, 대상 작물의 특성 또는 형태에 관하여 비파괴적인 방식으로 작물 이미지를 획득하는 기능을 수행할 수 있다.First, the
본 발명의 일 실시예에 따른 이미지 획득부(210)는 대상 작물에 직접적으로 광을 조사하지 않는 방식으로 작물 이미지를 획득할 수 있다. 예를 들어, 이미지 획득부(210)는 특별한 광 조사 없이, 대상 작물로부터 적외선 에너지를 감지하는 방식으로 작물 이미지를 획득할 수 있다.The
이를 통해, 작물의 생체 리듬에 영향을 주어 생리작용을 변화시키는 등 생육 상태를 변동시키는 광 조사 방식과는 달리 후술할 생장 정보를 정확하게 추정할 수 있는 효과가 달성된다.Through this, unlike the light irradiation method that changes the growth state by affecting the biorhythm of the crop and changing its physiological function, the effect of accurately estimating growth information, which will be described later, is achieved.
한편, 본 발명의 일 실시예에 따라 획득된 작물 이미지는 광도 또는 조도를 기준으로 주간 이미지에 대응되는 제1 작물 이미지와 야간 이미지에 대응되는 제2 작물 이미지로 구분될 수 있다.Meanwhile, crop images obtained according to an embodiment of the present invention may be divided into a first crop image corresponding to a daytime image and a second crop image corresponding to a nighttime image based on light intensity or illuminance.
구체적으로, 본 발명의 일 실시예에 따른 작물 이미지는 촬영 당시 색감이 일정한 작물 이미지들의 광도 또는 조도를 기준으로 야간 이미지와 주간 이미지로 구분될 수 있다.Specifically, crop images according to an embodiment of the present invention may be divided into night images and daytime images based on the luminance or illuminance of crop images with constant color at the time of shooting.
보다 구체적으로, 본 발명의 일 실시예에 따른 작물 이미지는 촬영 당시 색감이 일정한 작물 이미지들의 광도값 중 최소값을 기준값으로 하여, 기준값 이상일 경우 제1 작물 이미지로, 기준값 미만일 경우 제2 작물 이미지로 구분될 수 있다. 본 발명의 일 실시예에 따른 기준값은 촬영 장치의 스펙, 대상 작물의 종류 및 크기, 배경 등에 따라 달라질 수 있음을 밝혀둔다.More specifically, the crop image according to an embodiment of the present invention uses the minimum value among the luminance values of crop images with constant color at the time of shooting as a reference value, and if it is more than the reference value, it is classified as a first crop image, and if it is less than the reference value, it is classified as a second crop image. It can be. It should be noted that the reference value according to an embodiment of the present invention may vary depending on the specifications of the imaging device, the type and size of the target crop, the background, etc.
다만, 본 발명의 일 실시예에 따른 작물 이미지의 구분 기준은 위에서 설명된 것에 한정되지 않으며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.However, the criteria for classifying crop images according to an embodiment of the present invention are not limited to those described above, and may be changed in various ways within the scope of achieving the purpose of the present invention.
다음으로, 이미지 전처리부(220)는 획득된 작물 이미지를 이미지 변환 모델을 이용하여 전처리하는 기능을 수행할 수 있다.Next, the
본 발명의 일 실시예에 따른 이미지 변환 모델은 제1 작물 이미지와 제2 작물 이미지의 변환에 기초한 손실함수를 이용하여 학습될 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 이미지 변환모델은 제1 작물 이미지와 제2 작물 이미지의 변환, 역변환 및 자가 변환에 기초한 손실함수를 이용하여 학습될 수 있다.The image conversion model according to an embodiment of the present invention can be learned using a loss function based on conversion of the first crop image and the second crop image. Specifically, the image transformation model according to an embodiment of the present invention can be learned using a loss function based on transformation, inverse transformation, and self-transformation of the first crop image and the second crop image.
예를 들어, 제1 작물 이미지로부터의 제2 작물 이미지로의 변환을 G 변환, 제2 작물 이미지로부터의 제1 작물 이미지로의 변환을 F 변환이라고 가정했을 때, 제1 작물 이미지로부터 G 변환을 통해 제2 작물 이미지를 생성하고, 생성된 제2 작물 이미지로부터 G 변환의 역변환인 F 변환을 통해 제1 작물 이미지를 생성할 수 있다. 여기서, 본 발명의 일 실시예에 따른 이미지 변환 모델은 본래의 제1 작물 이미지와 변환(예를 들어, G 변환)을 통해 생성된 제2 작물 이미지 사이에서 설정된 손실함수 및 본래의 제2 작물 이미지와 역변환(예를 들어, F 변환)을 통해 생성된 제1 작물 이미지 사이에서 설정된 손실함수를 최소화하도록 학습될 수 있다.For example, assuming that the transformation from the first crop image to the second crop image is G transformation, and the transformation from the second crop image to the first crop image is F transformation, the G transformation from the first crop image is A second crop image can be generated through, and a first crop image can be generated from the generated second crop image through F transformation, which is the inverse transformation of G transformation. Here, the image conversion model according to an embodiment of the present invention includes a loss function set between the original first crop image and the second crop image generated through transformation (e.g., G transformation) and the original second crop image. It can be learned to minimize a loss function set between and the first crop image generated through inverse transformation (eg, F transformation).
또한, 본 발명의 일 실시예에 따른 이미지 변환 모델은 본래의 제1 작물 이미지와 자가 변환(예를 들어, 변환)을 통해 생성된 제1 작물 이미지 사이에서 설정된 손실함수를 최소화하도록 학습할 수 있다. 이는 마찬가지로 제2 작물 이미지에 대해서도 적용할 수 있다.In addition, the image conversion model according to an embodiment of the present invention uses the original first crop image and self-conversion (e.g., It is possible to learn to minimize the loss function set between the first crop images generated through transformation. This can also be applied to the second crop image.
이를 통해, 본 발명의 일 실시예에 따른 이미지 변환 모델을 통해 제1 작물 이미지 또는 제2 작물 이미지 사이에서 도메인(예를 들어, 화풍, 색조, 광도, 조도, 질감 등)에 대한 변환이 이루어질 수 있다.Through this, conversion of the domain (e.g., painting style, color tone, brightness, illumination, texture, etc.) can be performed between the first crop image or the second crop image through the image conversion model according to an embodiment of the present invention. there is.
본 발명의 일 실시예에 따라 획득된 작물 이미지는 광 노출 환경에 따른 차이가 적어지는 방향으로 전처리될 수 있다. 예를 들어, 본 발명의 일 실시예에 따라 획득된 제2 작물 이미지는 이미지 변환 모델을 통해 제1 작물 이미지로 변환될 수 있다. 즉, 본 발명의 일 실시예에 따른 야간 이미지를 이미지 변환 모델을 통해 주간 이미지로 변환할 수 있으므로, 짧은 주기 동안 많은 작물 이미지의 획득이 가능해지는 효과가 달성될 수 있다.Crop images obtained according to an embodiment of the present invention may be preprocessed to reduce differences depending on light exposure environment. For example, the second crop image obtained according to an embodiment of the present invention may be converted into the first crop image through an image conversion model. That is, since the night image according to an embodiment of the present invention can be converted to a daytime image through an image conversion model, the effect of enabling the acquisition of many crop images during a short period can be achieved.
한편, 또 다른 예를 들어, 본 발명의 일 실시예에 따라 획득된 작물 이미지는 색 온도가 동일하게 보정될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 색 온도는 외부 광원에 의해 달라질 수 있으나, 본 발명의 일 실시예에 따른 이미지 전처리부(220)는 화이트 밸런싱(White Balancing) 보정을 수행함으로써 획득된 작물 이미지에 대한 광 노출 환경의 차이를 최소화할 수 있다.Meanwhile, as another example, the color temperature of crop images obtained according to an embodiment of the present invention may be corrected to be the same. More specifically, the color temperature according to an embodiment of the present invention may vary depending on an external light source, but the
이와 같이, 획득되는 작물 이미지는 광 노출 환경에 따른 차이가 적어지는 방향으로 전처리됨으로써, 후술할 객체 검출 알고리즘을 이용한 작물의 생장 정보 추정이 용이해지는 효과가 달성될 수 있다.In this way, the obtained crop image is preprocessed in a way that the difference depending on the light exposure environment is reduced, thereby facilitating the estimation of crop growth information using an object detection algorithm, which will be described later.
다음으로, 본 발명의 일 실시예에 따른 정보 결정부(230)는 전처리된 작물 이미지 및 식생 지수를 참조하여 대상 작물의 생장 정보를 추정하고, 추정되는 생장 정보를 참조하여 생장 변화 정보를 결정하는 기능을 수행할 수 있다.Next, the
본 발명의 일 실시예에 따른 대상 작물의 생장 정보는 대상 작물의 형태 또는 특성에 따라 대상 작물의 생육 상태를 분석할 수 있는 정보를 의미할 수 있다. 예를 들어, 작물의 생장 정보는 수분 포텐셜, 생장 기대 확률 분포, 생체중, 대상 작물의 엽면적, 대상 작물의 정사영 엽면적, 광학적 흐름에 따른 생장 속도, 광합성 속도 등에 관한 정보를 포함할 수 있다.The growth information of the target crop according to an embodiment of the present invention may mean information that can analyze the growth state of the target crop according to the shape or characteristics of the target crop. For example, the growth information of the crop may include information about water potential, expected growth probability distribution, live weight, leaf area of the target crop, orthogonal leaf area of the target crop, growth rate according to optical flow, photosynthesis rate, etc.
또한, 본 발명의 일 실시예에 따른 대상 작물의 생장 변화 정보는 시간의 흐름에 따라 나타나는 대상 작물의 생육 상태의 변화에 관한 정보를 의미할 수 있다. 예를 들어, 작물의 생장 변화 정보는 시간에 따른 수분 포텐셜의 변화, 생체중의 변화, 엽면적의 변화, 정사영 엽면적의 변화, 광학적 흐름에 따른 생장 속도의 변화, 광합성 속도의 변화 등에 관한 정보를 포함할 수 있다.Additionally, the growth change information of the target crop according to an embodiment of the present invention may mean information about changes in the growth state of the target crop that appears over time. For example, information on crop growth changes may include information about changes in water potential over time, changes in live weight, changes in leaf area, changes in orthographic leaf area, changes in growth rate according to optical flow, changes in photosynthesis rate, etc. You can.
한편, 본 발명의 일 실시예에 따른 정보 결정부(230)는, 식생 지수에 관한 객체 검출 알고리즘을 이용하여 대상 작물의 생장 정보를 추정할 수 있다.Meanwhile, the
구체적으로, 본 발명의 일 실시예에 따른 대상 작물의 정사영 엽면적은 획득된 작물 이미지로부터 대상 작물과 배경을 분리하는 ExG 필터(Excess Green index filter)를 이용하여 추정될 수 있다.Specifically, the orthogonal leaf area of the target crop according to an embodiment of the present invention can be estimated using an Excess Green index filter (ExG filter) that separates the target crop and the background from the acquired crop image.
예를 들어, 본 발명의 일 실시예에 따른 대상 작물의 정사영 엽면적은 다음의 수학식 1에 표현된 값에 기초하여 추정될 수 있다.For example, the orthogonal leaf area of a target crop according to an embodiment of the present invention can be estimated based on the value expressed in
여기서, 는 각각 작물 이미지에 포함되어 있는 빨간색, 초록색, 파란색에 관한 서브 픽셀 수를 의미할 수 있다.here, may mean the number of subpixels for red, green, and blue included in each crop image.
보다 구체적으로, 본 발명의 일 실시예에 따른 정사영 엽면적은 ExG 필터의 값과 임계값을 비교하여 추정될 수 있다.More specifically, the orthographic leaf area according to an embodiment of the present invention can be estimated by comparing the value of the ExG filter and the threshold value.
본 발명의 일 실시예에 따른 위의 임계값은 오츠의 알고리즘(Otsu's algorithm)을 기초로 설정되고, 대상 작물의 크기 또는 종류를 참조하여 상기 임계값의 최소값과 최대값이 결정될 수 있다. 본 발명의 일 실시예에 따른 오츠의 알고리즘은 먼저 임계값을 임의로 정하여 픽셀을 두 부류로 나눈 뒤, 두 부류의 명암 분포를 구하는 반복된 작업을 통하여 두 부류의 명암 분포가 가장 균일할 때의 임계값을 설정하는 알고리즘을 의미할 수 있다.The above threshold according to an embodiment of the present invention is set based on Otsu's algorithm, and the minimum and maximum values of the threshold can be determined with reference to the size or type of the target crop. Otsu's algorithm according to an embodiment of the present invention first arbitrarily sets a threshold to divide pixels into two categories, and then calculates the threshold when the contrast distributions of the two categories are most uniform through repeated operations to obtain the intensity distribution of the two classes. It can refer to an algorithm that sets a value.
보다 구체적으로, 본 발명의 일 실시예에 따라 전처리된 작물 이미지에 대하여 대상 작물의 크기 또는 종류를 참조하여 기설정된 임계값의 최소값과 최대값 사이의 범위에서 반복된 작업을 통해 정사영 엽면적을 배경과 분리할 수 있는 최적의 임계값이 도출될 수 있고, 정사영 엽면적의 값(예를 들어, 픽셀 수)이 추정될 수 있다.More specifically, for crop images preprocessed according to an embodiment of the present invention, the orthographic leaf area is compared to the background through repeated operations in the range between the minimum and maximum values of the preset threshold with reference to the size or type of the target crop. An optimal threshold for separation can be derived, and the value of orthographic leaf area (e.g., number of pixels) can be estimated.
다만, 본 발명의 일 실시예에 따른 위의 임계값은 전문가의 입력 또는 조작에 의해 결정될 수 있으며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.However, the above threshold according to an embodiment of the present invention may be determined by input or manipulation of an expert, and may be changed in various ways within the range of achieving the purpose of the present invention.
또한, 본 발명의 일 실시예에 따라 추정된 대상 작물의 정사영 엽면적은 총 픽셀 수와의 연산에 기초하여 0에서 1사이의 값을 가지도록 정규화될 수 있다. 예를 들어, 정사영 엽면적에 해당하는 픽셀 수를 작물 이미지의 총 픽셀 수(예를 들어, 480 X 680)로 나누는 방식으로 정규화될 수 있다. 이를 통해, 획득되는 작물 이미지 사이에서 추정되는 정사영 엽면적의 값이 정규화된 범위 내에 있게 되므로, 후술할 강화학습에서 가중치와 편향이 불균형하게 학습되는 것을 막을 수 있는 효과가 달성된다.Additionally, the orthographic leaf area of the target crop estimated according to an embodiment of the present invention may be normalized to have a value between 0 and 1 based on calculation with the total number of pixels. For example, it can be normalized by dividing the number of pixels corresponding to the orthographic leaf area by the total number of pixels in the crop image (e.g., 480 Through this, the value of the orthographic leaf area estimated between the acquired crop images is within the normalized range, thus achieving the effect of preventing the weights and biases from being learned unbalanced in reinforcement learning, which will be described later.
한편, 본 발명의 일 실시예에 따른 작물의 생장 변화 정보는 광학적 흐름(Optical Flow)에 기초하여 결정될 수 있다. 본 발명의 일 실시예에 따른 광학적 흐름(Optical Flow)은 시간적으로 인접하게 획득한 작물 이미지 사이에서의 명암 변화를 의미할 수 있다. 여기서, 본 발명의 일 실시예에 따른 광학적 흐름(Optical Flow)은 명시적으로 작물의 움직임을 반영하지는 않지만, 시간의 흐름에 기초하여 작물의 크기 또는 형태의 변화에 따른 명암 변화가 발생하므로 암시적으로 작물의 움직임을 반영할 수 있다.Meanwhile, information on crop growth changes according to an embodiment of the present invention may be determined based on optical flow. Optical flow according to an embodiment of the present invention may mean a change in brightness and darkness between crop images acquired temporally adjacent to each other. Here, the optical flow according to an embodiment of the present invention does not explicitly reflect the movement of the crop, but is implicit because a change in brightness and darkness occurs due to a change in the size or shape of the crop based on the passage of time. This can reflect the movement of crops.
예를 들어, 본 발명의 일 실시예에 따른 시간적으로 인접한 작물 이미지 사이에서 광학적 흐름(Optical Flow)에 기초하여 정사영 엽면적의 변화량 또는 정사영 엽면적의 변화 속도 등이 결정될 수 있다.For example, the amount of change in orthographic leaf area or the speed of change in orthographic leaf area may be determined based on optical flow between temporally adjacent crop images according to an embodiment of the present invention.
또한, 본 발명의 일 실시예에 따른 생장 변화 정보를 기초로 대상 작물에 관한 재배의 종료 여부가 결정될 수 있다. 예를 들어, 일정 기간 동안 정사영 엽면적의 변화량(예를 들어, 제t+1 시점의 정규화된 정사영 엽면적의 값 - 제t 시점의 정규화된 정사영 엽면적의 값)이 0 또는 보다 작을 경우, 대상 작물이 더 이상 생육하지 않는다고 판단되어, 재배의 종료가 결정될 수 있다. 다른 예를 들어, 일정 기간 이후에 정사영 엽면적이 0 또는 보다 작을 경우, 대상 작물이 죽은 것으로 판단되어, 재배의 종료가 결정될 수 있다.Additionally, whether to end cultivation of the target crop may be determined based on growth change information according to an embodiment of the present invention. For example, the amount of change in orthogonal leaf area over a certain period of time (e.g., the value of the normalized orthogonal leaf area at time t+1 - the value of the normalized orthogonal leaf area at time t) is 0 or If it is smaller than this, it may be determined that the target crop is no longer growing, and the end of cultivation may be determined. For another example, after a certain period of time the orthographic leaf area becomes 0 or If it is smaller than this, the target crop is judged to be dead, and the end of cultivation may be determined.
또 다른 예를 들어, 일정 기간 동안의 정사영 엽면적의 변화량(예를 들어, 달성해야 하는 정규화된 정사영 엽면적의 값 - 현재의 정규화된 정사영 엽면적의 값) 또는 일정 기간 이후의 정사영 엽면적이 0 또는 보다 작을 경우, 재배기에 재배가 종료되었다는 신호가 전달될 수 있다.As another example, the amount of change in orthogonal leaf area over a period of time (i.e., the value of normalized orthogonal leaf area that must be achieved minus the current value of normalized orthogonal leaf area) or the amount of change in orthogonal leaf area after a period of time that is 0 or If it is smaller than that, a signal that cultivation has ended during the growing season may be transmitted.
한편, 본 발명의 일 실시예에 따른 작물의 생장 변화 정보를 참조하여 강화학습에 대한 보상이 제공될 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 정사영 엽면적의 변화량을 참조하여 재배 중에도 강화학습에 대한 보상이 제공될 수 있다.Meanwhile, compensation for reinforcement learning may be provided with reference to crop growth change information according to an embodiment of the present invention. Specifically, compensation for reinforcement learning can be provided even during cultivation by referring to the amount of change in orthographic leaf area according to an embodiment of the present invention.
예를 들어, 시점 구간을 동일하다고 가정하고, 제t+1 시점 구간의 정사영 엽면적의 변화량이 제t 시점 구간의 정사영 엽면적의 변화량보다 크다면, 재배 중에도 강화학습에 대한 보상이 제공될 수 있다. 또 다른 예를 들어, 제t+1 시점 구간의 정사영 엽면적의 변화량이 제t 시점 구간의 정사영 엽면적의 변화량보다 작다면, 재배 중에도 강화학습에 대한 음의 보상이 제공될 수 있다.For example, assuming that the viewpoint sections are the same, if the change in orthographic leaf area in the t+1 th time point section is greater than the change in orthogonal leaf area in the t time point section, compensation for reinforcement learning can be provided even during cultivation. For another example, if the change in orthographic leaf area in the t+1 time point section is smaller than the change in orthographic leaf area in the t time point section, a negative reward for reinforcement learning may be provided even during cultivation.
다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 이미지 획득부(210), 이미지 전처리부(220) 및 정보 결정부(230)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.Next, the communication unit 240 according to an embodiment of the present invention performs a function that enables data transmission and reception from/to the
마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 이미지 획득부(210), 이미지 전처리부(220), 정보 결정부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명의 일 실시예에 따른 제어부(250)는 정보 추정 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 정보 추정 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 이미지 획득부(210), 이미지 전처리부(220), 정보 결정부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Lastly, the control unit 250 according to an embodiment of the present invention has a function of controlling the flow of data between the
도 3 내지 도 4는 본 발명의 일 실시예에 따라 획득된 작물 이미지로부터 작물의 생장 정보를 추정하고, 생장 변화 정보를 결정하는 과정을 예시적으로 나타내는 도면이다.3 and 4 are diagrams illustrating a process for estimating crop growth information and determining growth change information from crop images obtained according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시예에 따라 적외선 촬영 방식에 기초하여 대상 작물에 관한 작물 이미지가 획득될 수 있다.Referring to FIG. 3, according to an embodiment of the present invention, a crop image of a target crop may be obtained based on an infrared imaging method.
다음으로, 본 발명의 일 실시예에 따라 획득된 작물 이미지는 이미지 변환 모델을 이용하여 전처리될 수 있다(310).Next, the crop image obtained according to an embodiment of the present invention may be preprocessed using an image transformation model (310).
구체적으로, 본 발명의 일 실시예에 따라 획득된 작물 이미지가 야간에 촬영된 이미지인 경우를 가정하면, 위의 작물 이미지는 이미지 변환 모델을 통해 주간에 촬영된 이미지로 변환될 수 있다.Specifically, assuming that the crop image obtained according to an embodiment of the present invention is an image captured at night, the above crop image can be converted to an image captured during the day through an image conversion model.
또한, 본 발명의 일 실시예에 따라 획득된 작물 이미지는 광 노출 환경에 따른 차이가 적어지는 방향으로 전처리될 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 화이트 밸런싱(White Balancing) 보정을 통해 색 온도가 동일하게 보정될 수 있다.Additionally, crop images obtained according to an embodiment of the present invention may be preprocessed in a way to reduce differences depending on the light exposure environment. Specifically, the color temperature can be corrected to be the same through white balancing correction according to an embodiment of the present invention.
다음으로, 본 발명의 일 실시예에 따라 전처리된 작물 이미지에 대하여 식생 지수에 관한 객체 검출 알고리즘을 이용하여 대상 작물의 정사영 엽면적의 값을 추정할 수 있다(320). 또한, 위의 정사영 엽면적의 값은 총 픽셀 수와의 연산을 기초로 정규화될 수 있다.Next, the value of the orthographic leaf area of the target crop can be estimated using an object detection algorithm related to the vegetation index for the crop image preprocessed according to an embodiment of the present invention (320). Additionally, the above orthographic leaf area values can be normalized based on operations with the total number of pixels.
구체적으로, 본 발명의 일 실시예에 따른 대상 작물의 정사영 엽면적은 획득된 작물 이미지로부터 대상 작물과 배경을 분리하는 ExG 필터(Excess Green index filter)를 이용하여 추정될 수 있다.Specifically, the orthogonal leaf area of the target crop according to an embodiment of the present invention can be estimated using an Excess Green index filter (ExG filter) that separates the target crop and the background from the acquired crop image.
또한, 본 발명의 일 실시예에 따른 정사영 엽면적은 ExG 필터의 값과 오츠의 알고리즘을 기초로 설정된 임계값을 비교하여 추정될 수 있다.Additionally, the orthographic leaf area according to an embodiment of the present invention can be estimated by comparing the value of the ExG filter with a threshold value set based on Otsu's algorithm.
보다 구체적으로, 본 발명의 일 실시예에 따라 대상 작물의 크기 또는 종류를 참조하여 기설정된 임계값의 최소값과 최대값 사이의 범위에서 반복된 작업을 통해 정사영 엽면적을 배경과 분리할 수 있도록 도출되는 최적의 임계값(예를 들어, 0.14750)을 기준으로 정규화된 정사영 엽면적의 값(예를 들어, 0.01718)이 추정될 수 있다.More specifically, according to an embodiment of the present invention, the orthographic leaf area is derived to be able to be separated from the background through repeated operations in the range between the minimum and maximum values of the preset threshold with reference to the size or type of the target crop. The value of normalized orthographic leaf area (e.g., 0.01718) can be estimated based on an optimal threshold (e.g., 0.14750).
다음으로, 본 발명의 일 실시예에 따른 이미지 후처리를 통해 정사영 엽면적의 값은 보정될 수 있다(330, 340). 예를 들어, 엽면적이 아닌 부분이 위의 값을 도출할 때 반영된 경우(예를 들어, 재배기의 센서가 녹색을 띄어 정사영 엽면적의 값을 도출할 때 반영되는 경우), 이를 제거하는 보정을 통해 정규화된 정사영 엽면적의 보정값(예를 들어, 0.01532)이 도출될 수 있다. 또 다른 예를 들어, 이미지의 형태 또는 크기를 조절하는 보정을 통해 정규화된 정사영 엽면적의 보정값(예를 들어, 0.02043)이 도출될 수 있다.Next, the value of the orthographic leaf area can be corrected through image post-processing according to an embodiment of the present invention (330, 340). For example, if a part other than the leaf area is reflected when deriving the above value (for example, if the sensor of the grower is green and is reflected when deriving the value of the orthogonal leaf area), normalize through correction to remove this. A correction value (e.g., 0.01532) of the orthographic leaf area can be derived. As another example, a correction value (e.g., 0.02043) of the normalized orthographic leaf area may be derived through correction that adjusts the shape or size of the image.
한편, 본 발명의 일 실시예에 따라 대상 작물에 관한 작물 이미지를 획득하는 과정에서 재배 당시의 환경 정보 및 환경 제어 정보가 획득될 수 있다(350).Meanwhile, according to an embodiment of the present invention, environmental information and environmental control information at the time of cultivation may be obtained in the process of acquiring a crop image of the target crop (350).
도 4를 참조하면, 본 발명의 일 실시예에 따른 생장 변화 정보는 광학적 흐름(Optical Flow)에 기초하여 결정될 수 있다.Referring to FIG. 4, growth change information according to an embodiment of the present invention may be determined based on optical flow.
구체적으로, 본 발명의 일 실시예에 따른 시간적으로 인접한 작물 이미지 사이에서의 명암 변화에 기초하여 정사영 엽면적의 변화량 또는 정사영 엽면적의 변화 속도 등이 결정될 수 있다. 여기서 정사영 엽면적의 변화량 또는 변화 속도는 화살표의 크기 또는 방향으로 표현될 수 있다.Specifically, the amount of change in orthographic leaf area or the speed of change in orthographic leaf area may be determined based on the change in light and dark between temporally adjacent crop images according to an embodiment of the present invention. Here, the amount or speed of change in orthographic leaf area can be expressed by the size or direction of the arrow.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable by those skilled in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. A hardware device can be converted into one or more software modules to perform processing according to the invention and vice versa.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.In the above, the present invention has been described in terms of specific details, such as specific components, and limited embodiments and drawings, but this is only provided to facilitate a more general understanding of the present invention, and the present invention is not limited to the above embodiments. Anyone with ordinary knowledge in the technical field to which the invention pertains can make various modifications and changes from this description.
100: 통신망
200: 정보 추정 시스템
210: 이미지 획득부
220: 이미지 전처리부
230: 정보 결정부
240: 통신부
250: 제어부
300: 디바이스100: communication network
200: Information estimation system
210: Image acquisition unit
220: Image preprocessing unit
230: Information decision unit
240: Department of Communications
250: control unit
300: device
Claims (15)
상기 이미지 획득부가, 대상 작물에 대한 별도의 광 조사 없이 상기 대상 작물의 특성 또는 형태에 관하여 비파괴적인 방식으로 작물 이미지를 획득하는 단계,
상기 이미지 전처리부가, 상기 획득된 작물 이미지를 이미지 변환 모델을 이용하여 전처리하는 단계, 및
상기 정보 결정부가, 상기 전처리된 작물 이미지 및 식생 지수를 참조하여 상기 대상 작물의 생장 정보를 추정하고, 상기 추정되는 생장 정보를 참조하여 생장 변화 정보를 결정하는 단계를 포함하고,
상기 획득된 작물 이미지는 광도 또는 조도를 기준으로 주간 이미지에 대응되는 제1 작물 이미지와 야간 이미지에 대응되는 제2 작물 이미지로 구분되고,
주간 이미지로부터 야간 이미지로의 변환이 제1 변환이고, 야간 이미지로부터 주간 이미지로의 변환이 제2 변환인 경우에, 상기 이미지 변환 모델은 상기 제1 작물 이미지에 상기 제1 변환 및 상기 제2 변환을 순차적으로 적용한 결과로서 생성되는 변환 이미지와 상기 제1 작물 이미지 사이의 차이에 기초하여 설정되는 손실함수를 최소화하는 방향으로 학습되고,
상기 전처리 단계에서, 상기 이미지 전처리부가, 상기 이미지 변환 모델을 이용하여 상기 제2 작물 이미지를 상기 제1 작물 이미지로 변환하는
방법.A method implemented in a system for estimating crop growth information, wherein the system includes an image acquisition unit, an image preprocessing unit, and an information determination unit,
Acquiring, by the image acquisition unit, a crop image in a non-destructive manner regarding the characteristics or shape of the target crop without additional light irradiation to the target crop,
The image preprocessing unit preprocesses the obtained crop image using an image conversion model, and
The information determination unit estimates growth information of the target crop with reference to the preprocessed crop image and vegetation index, and determines growth change information with reference to the estimated growth information,
The obtained crop image is divided into a first crop image corresponding to a daytime image and a second crop image corresponding to a nighttime image based on light intensity or illuminance,
When the transformation from a daytime image to a nighttime image is a first transformation, and the transformation from a nighttime image to a daytime image is a second transformation, the image transformation model applies the first transformation and the second transformation to the first crop image. is learned to minimize a loss function set based on the difference between the converted image generated as a result of sequentially applying and the first crop image,
In the preprocessing step, the image preprocessor converts the second crop image into the first crop image using the image conversion model.
method.
상기 전처리 단계에서, 상기 획득된 작물 이미지는 광 노출 환경에 따른 차이가 적어지는 방향으로 전처리되는
방법.According to paragraph 1,
In the preprocessing step, the obtained crop image is preprocessed in a direction to reduce differences depending on the light exposure environment.
method.
상기 전처리 단계에서, 상기 획득된 작물 이미지의 색 온도가 동일하게 보정되는
방법.According to paragraph 1,
In the preprocessing step, the color temperature of the obtained crop image is corrected to be the same.
method.
상기 결정 단계에서, 상기 대상 작물의 생장 정보는 객체 검출 알고리즘을 이용하여 추정되는
방법.According to paragraph 1,
In the decision step, the growth information of the target crop is estimated using an object detection algorithm.
method.
상기 결정 단계에서, 상기 생장 변화 정보는 시간적으로 인접하게 획득한 작물 이미지 사이에서의 명암 변화에 기초하여 결정되는
방법.According to paragraph 1,
In the determination step, the growth change information is determined based on the light/dark change between temporally adjacent crop images.
method.
상기 결정 단계에서, 상기 생장 변화 정보를 기초로 상기 대상 작물에 관한 재배의 종료 여부가 결정되는
방법.According to paragraph 1,
In the decision step, whether to end cultivation of the target crop is determined based on the growth change information.
method.
대상 작물에 대한 별도의 광 조사 없이 상기 대상 작물의 특성 또는 형태에 관하여 비파괴적인 방식으로 작물 이미지를 획득하는 이미지 획득부,
상기 획득된 작물 이미지를 이미지 변환 모델을 이용하여 전처리하는 이미지 전처리부, 및
상기 전처리된 작물 이미지 및 식생 지수를 참조하여 상기 대상 작물의 생장 정보를 추정하고, 상기 추정되는 생장 정보를 참조하여 생장 변화 정보를 결정하는 정보 결정부를 포함하고,
상기 획득된 작물 이미지는 광도 또는 조도를 기준으로 주간 이미지에 대응되는 제1 작물 이미지와 야간 이미지에 대응되는 제2 작물 이미지로 구분되고,
주간 이미지로부터 야간 이미지로의 변환이 제1 변환이고, 야간 이미지로부터 주간 이미지로의 변환이 제2 변환인 경우에, 상기 이미지 변환 모델은 상기 제1 작물 이미지에 상기 제1 변환 및 상기 제2 변환을 순차적으로 적용한 결과로서 생성되는 변환 이미지와 상기 제1 작물 이미지 사이의 차이에 기초하여 설정되는 손실함수를 최소화하는 방향으로 학습되고,
상기 전처리 단계에서, 상기 이미지 전처리부가, 상기 이미지 변환 모델을 이용하여 상기 제2 작물 이미지를 상기 제1 작물 이미지로 변환하는
시스템.A system for estimating crop growth information,
An image acquisition unit that acquires crop images in a non-destructive manner regarding the characteristics or shape of the target crop without additional light irradiation to the target crop;
An image preprocessor that preprocesses the obtained crop image using an image conversion model, and
An information determination unit that estimates growth information of the target crop with reference to the preprocessed crop image and vegetation index, and determines growth change information with reference to the estimated growth information,
The obtained crop image is divided into a first crop image corresponding to a daytime image and a second crop image corresponding to a nighttime image based on light intensity or illuminance,
When the transformation from a daytime image to a nighttime image is a first transformation, and the transformation from a nighttime image to a daytime image is a second transformation, the image transformation model applies the first transformation and the second transformation to the first crop image. is learned to minimize a loss function set based on the difference between the converted image generated as a result of sequentially applying and the first crop image,
In the preprocessing step, the image preprocessor converts the second crop image into the first crop image using the image conversion model.
system.
상기 획득된 작물 이미지는 광 노출 환경에 따른 차이가 적어지는 방향으로 전처리되는
시스템.According to clause 9,
The obtained crop image is preprocessed to reduce differences depending on the light exposure environment.
system.
상기 획득된 작물 이미지의 색 온도가 동일하게 보정되는
시스템.According to clause 9,
The color temperature of the obtained crop image is corrected to be the same.
system.
상기 대상 작물의 생장 정보는 객체 검출 알고리즘을 이용하여 추정되는
시스템.According to clause 9,
The growth information of the target crop is estimated using an object detection algorithm.
system.
상기 생장 변화 정보는 시간적으로 인접하게 획득한 작물 이미지 사이에서의 명암 변화에 기초하여 결정되는
시스템.According to clause 9,
The growth change information is determined based on the brightness and darkness changes between crop images acquired temporally adjacent to each other.
system.
상기 생장 변화 정보를 기초로 상기 대상 작물에 관한 재배의 종료 여부가 결정되는
시스템.According to clause 9,
Based on the growth change information, whether to terminate cultivation of the target crop is determined.
system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220057194A KR102577350B1 (en) | 2022-05-10 | 2022-05-10 | Method, system and non-transitory computer-readable recording medium for estimating crop growth information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220057194A KR102577350B1 (en) | 2022-05-10 | 2022-05-10 | Method, system and non-transitory computer-readable recording medium for estimating crop growth information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102577350B1 true KR102577350B1 (en) | 2023-09-12 |
Family
ID=88019581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220057194A KR102577350B1 (en) | 2022-05-10 | 2022-05-10 | Method, system and non-transitory computer-readable recording medium for estimating crop growth information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102577350B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170074602A (en) * | 2015-12-22 | 2017-06-30 | 삼성전자주식회사 | Apparatus for outputting image and method thereof |
| KR20170105402A (en) * | 2016-12-21 | 2017-09-19 | 주식회사 엔씽 | Recipe providing method for plant growing using internet of thing |
| KR20190115542A (en) * | 2018-04-02 | 2019-10-14 | 동국대학교 산학협력단 | Apparatus and method for pedestrian detection |
| KR102231968B1 (en) | 2019-03-20 | 2021-03-25 | 농업회사법인 한라에스디주식회사 | Smart farm integrated management system that can be linked with online distribution |
| KR102307036B1 (en) * | 2019-08-28 | 2021-09-30 | 주식회사 어밸브 | Method for maximizing growth of crops using machine learning |
-
2022
- 2022-05-10 KR KR1020220057194A patent/KR102577350B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170074602A (en) * | 2015-12-22 | 2017-06-30 | 삼성전자주식회사 | Apparatus for outputting image and method thereof |
| KR20170105402A (en) * | 2016-12-21 | 2017-09-19 | 주식회사 엔씽 | Recipe providing method for plant growing using internet of thing |
| KR20190115542A (en) * | 2018-04-02 | 2019-10-14 | 동국대학교 산학협력단 | Apparatus and method for pedestrian detection |
| KR102231968B1 (en) | 2019-03-20 | 2021-03-25 | 농업회사법인 한라에스디주식회사 | Smart farm integrated management system that can be linked with online distribution |
| KR102307036B1 (en) * | 2019-08-28 | 2021-09-30 | 주식회사 어밸브 | Method for maximizing growth of crops using machine learning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liang et al. | A visual detection method for nighttime litchi fruits and fruiting stems | |
| US10977494B2 (en) | Recognition of weed in a natural environment | |
| CN109255758B (en) | Image enhancement method based on all 1 x 1 convolution neural network | |
| CN113592896B (en) | Fish feeding method, system, equipment and storage medium based on image processing | |
| CN112200736B (en) | Image processing method based on reinforcement learning and model training method and device | |
| CN114241511B (en) | Weak supervision pedestrian detection method, system, medium, equipment and processing terminal | |
| CN105493141A (en) | Unstructured road boundary detection | |
| CN115049841A (en) | Depth unsupervised multistep anti-domain self-adaptive high-resolution SAR image surface feature extraction method | |
| BR112021005139A2 (en) | image processing apparatus and method, and, program for causing an image processing apparatus to perform an image process | |
| CN112749654A (en) | Deep neural network model construction method, system and device for video fog monitoring | |
| CN112052818A (en) | Unsupervised domain adaptive pedestrian detection method, unsupervised domain adaptive pedestrian detection system and storage medium | |
| KR102577350B1 (en) | Method, system and non-transitory computer-readable recording medium for estimating crop growth information | |
| CN112365428B (en) | DQN-based highway monitoring video defogging method and system | |
| CN108053418B (en) | Animal background modeling method and device | |
| CN109712110B (en) | Crop real-time water consumption monitoring method and device based on machine vision | |
| CN113870180A (en) | Image processing method, image processing device, computer equipment and storage medium | |
| KR102104314B1 (en) | Multispectrum image ai classification and retreival apparatus base on drone plaform | |
| KR102104312B1 (en) | Multispectrum image ai classification and retreival apparatus base on drone plaform | |
| CN107220983B (en) | A kind of live pig detection method and system based on video | |
| CN117934533B (en) | Fish body image segmentation method based on improved brown bear optimization algorithm | |
| CN112541859A (en) | Illumination self-adaptive face image enhancement method | |
| CN117218043B (en) | Camera regulation and control method based on monitoring image quality | |
| Zeng et al. | Brightness-controlled enhancement for soil image based on conic curve | |
| KR20230101441A (en) | Method and apparatus for broiler data processing | |
| CN118247618A (en) | Monitoring image analysis method and system applied to intelligent agricultural park |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |