KR20180027778A - Plant growth monitoring system and method thereof - Google Patents

Plant growth monitoring system and method thereof Download PDF

Info

Publication number
KR20180027778A
KR20180027778A KR1020160114844A KR20160114844A KR20180027778A KR 20180027778 A KR20180027778 A KR 20180027778A KR 1020160114844 A KR1020160114844 A KR 1020160114844A KR 20160114844 A KR20160114844 A KR 20160114844A KR 20180027778 A KR20180027778 A KR 20180027778A
Authority
KR
South Korea
Prior art keywords
image
plant
leaf
growth
leaves
Prior art date
Application number
KR1020160114844A
Other languages
Korean (ko)
Inventor
이택성
김형석
권만재
이택진
양중석
박수현
이주영
이운석
노주원
오상록
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020160114844A priority Critical patent/KR20180027778A/en
Publication of KR20180027778A publication Critical patent/KR20180027778A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G22/00Cultivation of specific crops or plants not otherwise provided for
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Environmental Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Botany (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiation Pyrometers (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

The present invention relates to a plant growth monitoring system and method. The growth monitoring system includes a VL image photographing part for photographing a plant image to monitor a growing process for a plurality of plants; a growth information extracting part for extracting growth state information including the number of leaves, the size of leaves, or the color of leaves from the plant image photographed by the VL image photographing part; and a data management part for managing the growth state information extracted by the growth information extracting part in a time series manner. According to the present invention, the growth of plants can be analyzed in a time-series manner, and plant growth monitoring and management control based on Big Data can be performed efficiently. In addition, it is possible to provide an analysis platform that reflects the characteristics of a plant by individually identifying the leaves of lush plants and averaging or profiling the surface temperatures of the leaves.

Description

식물 생육 모니터링 시스템 및 그 방법{PLANT GROWTH MONITORING SYSTEM AND METHOD THEREOF}TECHNICAL FIELD The present invention relates to a plant growth monitoring system,

본 발명은 식물 생육 모니터링 시스템 및 방법에 관한 것으로서, 더욱 상세하게는, 식물 공장, 스마트 팜 시스템과 같은 자동화 시설에서 이미지 센서를 기반으로 식물의 생육 상태 정보를 추출 및 분석하는 시스템 및 방법에 관한 것이다.The present invention relates to a plant growth monitoring system and method, and more particularly, to a system and a method for extracting and analyzing plant growth state information based on an image sensor in an automation facility such as a plant factory or a smart farm system .

ICT 기반의 식물 공장, 스마트 팜 시스템에 관한 연구와 실증화 사업이 국내외에서 활발하게 진행되고 있다. Research and demonstration projects on ICT - based plant and smart farm systems are actively being carried out at home and abroad.

국내에서는 메이저 통신사들이 IoT 기술을 기반으로 사용자 편의성을 높인 플랫폼 중심의 스마트 팜을 시범적으로 운영하고 있고, 해외에서는 PRIVA社가 시장을 주도하는 가운데 식물의 상태 및 기상, 환경 정보를 센싱하고 이에 맞춤화된 수액, 양액, 온도, 습도 등을 관리 및 제어하는 다양한 서비스 제품군을 패키지로 판매하고 있다. 최근에는 스마트 팜에 활용되는 제어기 9종 및 핵심 센서기 13종에 대한 국내 단체표준이 등록되기도 하였다.In Korea, major telecom operators are running platform-based smart farms that enhance user convenience based on IoT technology. In overseas markets, PRIVA is leading the market, sensing the state of plants, weather, and environmental information And packages a variety of services that manage and control the fluid, nutrient solution, temperature, and humidity. In recent years, domestic collective standards have been registered for 9 kinds of controllers used in smart farms and 13 kinds of core sensors.

종래 구축된 플랫폼들은 센서, 통신, 분석, 제어 기술이 융합된 것이지만, 식물에 대한 전문적인 이해도를 기반으로 식물의 생육 및 성장 특성 등이 잘 반영된 융합 기술로 보기 어려운 면이 있다.Conventionally established platforms are a fusion of sensor, communication, analysis and control technology. However, it is difficult to find a fusion technology that reflects the growth and growth characteristics of plants based on expert understanding of plants.

예컨대, 한국공개특허 제2013-0036816호는 CCD 카메라를 이용하여 잎의 위치를 좌표로 인식하고, 모터 구동하여 온도 센서를 이 좌표 위치로 옮겨 식물의 잎을 측정하도록 하는 온도 측정 장치 및 방법을 개시하고 있다. 이 공개특허는 시스템을 단순화 할 수 있는 효율성은 있지만, 식물의 엽온은 잎의 표면 위치에 따라서 다르게 나타나고, 식물의 성장과정에서 잎들이 중복되고 굽어져 휘어지는 특성으로 인하여 모든 잎들에 대하여 적용하기 어려운 점 등 식물 관점에서 시스템을 구성하기보다는 센서 제어적 측면에서의 효율성만 강조되었다.For example, Korean Patent Laid-Open Publication No. 2013-0036816 discloses a temperature measuring apparatus and method for recognizing the position of a leaf using a CCD camera as a coordinate and driving the motor to move the temperature sensor to this coordinate position to measure the leaf of the plant . This patent discloses that although the efficiency of the system can be simplified, the leaf temperature of the plant varies depending on the surface position of the leaf, and it is difficult to apply to all the leaves due to the fact that the leaves overlap and bend in the growth process of the plant The efficiency of the sensor control is emphasized rather than the system configuration from the plant point of view.

한국등록특허 제1506322호는 엽면습윤 센서의 습도와 물기에 대한 측정 오차를 해소하기 위하여, 실제 잎 표면에 온도센서를 부착하여 엽면습윤 센서의 표면온도와의 오차를 열전소자로 보상하는 센서 제어 기술을 개시하고 있다. 이 등록특허 또한 식물의 엽온이 잎의 표면 위치에 따라서 다르게 나타나는 것을 간과하고 있으며, 잎에 센서를 장착함으로써 식물의 생장에 스트레스 요인으로 작용, 성장에 직간접적인 부정적인 영향을 주는 시스템을 제안하고 있다. Korean Patent No. 1506322 discloses a sensor control technique for compensating for errors in the surface temperature of the leaf surface wetness sensor with a thermoelectric element by attaching a temperature sensor to the actual leaf surface in order to solve the measurement error of moisture and moisture of the leaf surface wetness sensor . This patent also overlooks the fact that the leaf temperature of the plant varies depending on the surface position of the leaves, and suggests a system that directly or indirectly affects the growth by acting as a stress factor for plant growth by attaching a sensor to the leaf.

식물 품종별로 표현형 분석을 통해 생육부진, 질병 등을 관리하는 기술이 구체화되고 있는 가운데, 이러한 진일보한 식물 관련 빅데이터 기반의 식물 생육에 맞춤화된 ICT 기술이 요구되고 있는 실정이다.As the technology to manage the growth and disease by the phenotypic analysis of each plant variety is specified, ICT technology tailored to the plant growth of the plant-related big data base is required.

한국공개특허 제2013-0036816호 (2013.4.9)Korean Laid-Open Patent No. 2013-0036816 (Apr. 9, 2013) 한국등록특허 제1506322호 (2015.3.20)Korean Registered Patent No. 1506322 (March 20, 2015) 한국등록특허 제1506320호 (2015.3.20)Korean Registered Patent No. 1506320 (March 20, 2015)

본 발명은 종래 기술의 문제점을 해소하기 위해 안출된 것으로서, 센서, 통신, 제어 기술이 단순 조합된 플랫폼 시스템을 개선하여 '식물'이 반영된, 즉 식물의 표현형 분석 기술이 반영된 식물 생육 모니터링 시스템을 제공하는 것을 목적으로 한다.The present invention has been devised to solve the problems of the prior art, and it is an object of the present invention to provide a plant growth monitoring system in which a plant system is reflected, that is, a plant phenotype analysis technique is reflected by improving a platform system in which sensor, communication, .

또한, 본 발명은 VL(Visible Light) 카메라 이미지 및 해상도가 낮은 IR(Infrared Ray) 카메라 이미지를 상호 보완하여 엽온의 측정 정밀도를 향상시키는 식물 생육 모니터링 시스템을 제공하는 것을 목적으로 한다.It is another object of the present invention to provide a plant growth monitoring system which improves the measurement accuracy of the leaf temperature by complementing VL (Visible Light) camera images and infrared (IR) camera images with low resolution.

또한, 본 발명은 살아 움직이는 식물의 특성을 반영하여 잎의 움직임과 변화를 추적하여 시계열적인 잎 생육 및 엽온 상태를 모니터링 가능하도록 하는 것을 목적으로 한다It is another object of the present invention to monitor the movement and change of the leaves in accordance with the characteristics of living plants to monitor the time-lapse growth and leaf temperature of the leaves

상기 목적은 본 발명의 일 양태에 따른 식물 생육 모니터링 시스템에 있어서, 다수의 식물에 대한 생육 과정을 모니터링 하기 위해 식물 이미지를 촬영하는 VL 이미지 촬영부; 상기 VL 이미지 촬영부에서 촬영된 상기 식물 이미지로부터 잎의 개수, 잎의 크기, 또는 잎의 색상을 포함하는 생육 상태 정보를 추출하는 생육정보 추출부; 및 상기 생육정보 추출부에서 추출된 생육 상태 정보를 시계열적으로 관리하기 위한 데이터 관리부를 포함하는 것을 특징으로 하는 식물 생육 모니터링 시스템에 의해 달성될 수 있다. 상기 시스템은 식물이 배출하는 가스를 감지하기 위한 가스 센서를 더 포함하고, 상기 생육정보 추출부는 상기 가스 센서로부터 제공되는 가스 정보를 상기 생육 상태 정보로서, 상기 식물 이미지에서 식별된 잎에 매칭하여 처리하도록 할 수 있다.According to an aspect of the present invention, there is provided a plant growth monitoring system comprising: a VL image photographing unit for photographing a plant image to monitor a growing process for a plurality of plants; A growth information extracting unit for extracting the growth state information including the number of leaves, the size of the leaves, or the color of leaves from the plant image photographed by the VL image photographing unit; And a data management unit for managing the growth state information extracted by the growth information extracting unit in a time series manner. The system further comprises a gas sensor for sensing the gas emitted by the plant, wherein the growth information extracting unit matches the gas information provided from the gas sensor to the leaf identified in the plant image as the growth state information .

상기 시스템은 또한 상기 다수의 식물의 열화상 이미지를 획득하기 위한 IR 이미지 촬영부; 및 상기 식물 이미지와 상기 열화상 이미지를 상호 참조하여 상기 식물 이미지에서 식물의 잎을 개별적으로 분리 추출하는 이미지 처리부를 더 포함하도록 할 수 있다. 여기에서, 상기 이미지 처리부는 상기 식물 이미지에서 잎의 윤곽선이 명확하지 않은 경우, 상기 열화상 이미지를 참조하여 상기 윤곽선을 결정하는 것이 바람직하다. 그리고, 상기 이미지 처리부는 상기 식물 이미지로부터 식물의 잎의 윤곽선을 추출하고, 상기 잎의 윤곽선을 상기 열화상 이미지에 적용하여 상기 잎 단위의 열화상 이미지를 결정한다. 그리고, 상기 이미지 처리부는 상기 분리 추출한 잎의 형태를 상기 열화상 이미지에 적용하여 상기 열화상 이미지에서의 잎의 엽온 분포도를 획득하는 것이 바람직하다.The system also includes an IR image capturing unit for obtaining an infrared image of the plurality of plants; And an image processing unit for separately extracting and extracting leaves of plants from the plant image by cross-referencing the plant image and the thermal image. Here, it is preferable that the image processing unit determines the outline by referring to the thermal image if the outline of the leaf is not clear in the plant image. The image processing unit extracts outlines of the leaves of the plant from the plant image, and applies the outline of the leaves to the thermal image to determine the thermal image of the leaf unit. The image processing unit preferably applies the shape of the separated and extracted leaves to the thermal image to obtain a leaflet distribution of the leaves in the thermal image.

상기 시스템은 또한 상기 식물 이미지로부터 식별된 잎의 윤곽선 및 상기 식별된 잎의 열화상 이미지로부터 상기 잎의 표면적 대비 엽온의 평균값을 산출하거나, 상기 식물 이미지로부터 식별된 잎의 윤곽선 및 상기 식별된 잎의 열화상 이미지로부터 상기 잎의 표면에 따라 엽온의 분포를 기초로 상기 식별된 잎의 상태를 판정하거나, 상기 식물 이미지로부터 식별된 잎의 윤곽선을 통해 상기 잎이 말려 휘어져 있거나 중복된 부분 등 상기 IR 이미지 촬영부의 측정 에러 위험 위치는 상기 평균값 산출시 배제하는 생육상태 분석부를 더 포함할 수 있다. 그리고, 상기 VL 이미지 촬영부와 상기 IR 이미지 촬영부는 2 이상의 위치에서 상기 식물 이미지와 상기 열화상 이미지를 획득하고, 상기 생육상태 분석부는 2 이상의 위치에서 촬영된 2 이상의 상기 식물 이미지와 상기 열화상 이미지를 기초로 산출된 2 이상의 상기 엽온의 평균값들의 평균값을 상기 엽온의 평균값으로 결정하는 것으로 할 수 있다. 또한 상기 생육상태 분석부는 상기 식물 이미지로부터 식별된 잎의 윤곽선 및 상기 식별된 잎의 열화상 이미지로부터 상기 잎의 표면 중 미리 결정된 임계치 이상의 온도를 나타내는 잎의 위치를 결정하여, 해당 잎 또는 위치에 대하여 온도 레벨에 따라 가스 및 비파괴 성분 분석을 수행하도록 할 수 있다.The system may also be adapted to calculate an average value of the leaf temperature versus the surface area of the leaf from an outline of the leaf identified from the plant image and an infrared image of the identified leaf, Determining the state of the identified leaf based on the distribution of leaf temperatures along the surface of the leaf from the thermal image or determining whether the leaf is curled or overlapped through the outline of the leaf identified from the plant image, And the measurement error danger position of the photographing unit may be excluded at the time of calculating the average value. The VL image photographing unit and the IR image photographing unit acquire the plant image and the thermal image at two or more positions, and the growing state analyzing unit obtains the plant image and the thermal image at two or more positions, The average value of the average values of the at least two of the at least two of the at least two of the at least two of the at least two of the at least one of the at least two at least two of the at least one of the at least two of the at least one of the at least two. The growth state analysis unit may also determine the position of the leaf indicating a temperature above a predetermined threshold value in the surface of the leaf from the outline of the leaf identified from the plant image and the thermal image of the identified leaf, Gas and non-destructive component analysis can be performed according to the temperature level.

또한, 상기 목적은 본 발명의 다른 양태에 따른 식물 생육 모니터링 방법에 있어서, 다수의 식물에 대한 생육 과정을 모니터링 하기 위해 식물 이미지를 촬영하는 단계; 상기 식물 이미지로부터 잎의 개수, 잎의 크기, 또는 잎의 색상을 포함하는 생육 상태 정보를 추출하는 단계; 및 상기 추출된 생육 상태 정보를 시계열적으로 관리하기 위한 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 식물 생육 모니터링 방법에 의해 달성될 수 있다.The above object can also be achieved by a method for monitoring growth of a plant according to another aspect of the present invention, comprising the steps of: capturing a plant image to monitor a growing process for a plurality of plants; Extracting the growth state information including the number of leaves, the size of leaves, or the color of leaves from the plant image; And storing the extracted growth state information in a memory for managing the growth state in a time-series manner.

여기에서, 상기 다수의 식물의 열화상 이미지를 촬영하는 단계; 및 상기 식물 이미지와 상기 열화상 이미지를 상호 참조하여 상기 식물 이미지에서 식물의 잎의 형태를 개별적으로 분리 추출하는 단계를 더 포함할 수 있다. 그리고, 추출된 상기 식물의 잎 형태로부터 상기 열화상 이미지 데이터의 왜곡 위치를 추출하는 단계; 및 상기 왜곡 위치를 배제한 상기 식물의 엽온 평균값을 산출하는 단계를 더 포함할 수 있다. 또한, 추출된 상기 식물의 잎 형태에 옆온의 분포 정보를 추출하는 단계; 및 상기 옆온 분포 정보를 상기 식물 관련 생육 정보 DB 상의 생육 정보를 비교하여 이상 유무를 판정하는 단계를 더 포함할 수 있다.Wherein the method comprises: photographing the thermal image of the plurality of plants; And separately extracting the shape of leaves of the plant from the plant image by cross-referencing the plant image and the thermal image. Extracting a distortion position of the thermal image data from a leaf shape of the extracted plant; And calculating a leaf temperature average value of the plant excluding the distortion position. Extracting distribution information of a neighboring temperature on a leaf shape of the extracted plant; And comparing the adjacent temperature distribution information with the growth information on the plant-related growth information DB to determine whether or not the abnormality is present.

본 발명에 의해 식물의 생육 과정을 시계열적으로 분석하여 빅데이터 기반의 식물 생육 모니터링 및 관리 제어를 효율적으로 수행할 수 있다. 또한, 무성한 식물의 잎들을 개별적으로 식별하고 잎의 표면온도를 평균적으로 또는 프로파일링 분석함으로써 식물의 특성이 반영된 분석 플랫폼을 제공한다. 또한, 살아 움직이는 식물의 변화를 반영하여 잎의 성장 특성을 맞춤화 처리하는 분석 플랫폼을 제공한다.According to the present invention, plant growth monitoring and management control based on Big Data can be efficiently performed by analyzing the growing process of plants in a time series. It also provides an analytical platform that reflects plant characteristics by individually identifying the leaves of lush plants and averaging or profiling the surface temperature of the leaves. It also provides an analysis platform that customizes the growth characteristics of the leaves to reflect changes in living plants.

도1은 본 발명의 실시예에 따른 식물 생육 모니터링 시스템의 개략적인 블록 구성도;
도2는 본 발명의 실시예에 따른 식물 생육 모니터링 방법을 나타내는 흐름도;
도3a는 본 발명의 실시예에 따른 VL 이미지 촬영부에서 획득한 식물 이미지;
도3b는 본 발명의 실시예에 따른 IR 이미지 촬영부에서 획득한 열화상 이미지;
도3c는 본 발명의 실시예에 따른 이미지 처리부의 잎 윤곽선 분리 이미지; 및
도4는 본 발명의 실시예에 따른 잎 표면의 스팟 온도 및 평균 온도의 시계열적 변화를 나타낸 그래프이다.
1 is a schematic block diagram of a plant growth monitoring system according to an embodiment of the present invention;
FIG. 2 is a flowchart illustrating a method for monitoring plant growth according to an embodiment of the present invention; FIG.
FIG. 3A shows a plant image acquired by the VL image capturing unit according to the embodiment of the present invention; FIG.
FIG. 3B is a diagram illustrating an infrared image acquired by the IR image radiographing unit according to the embodiment of the present invention; FIG.
3C is a leaf outline image of an image processing unit according to an embodiment of the present invention; And
FIG. 4 is a graph showing a time-dependent thermal change of a spot temperature and an average temperature of a leaf surface according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하도록 하되, 본 발명의 기술적 사상과 밀접한 관련성이 없는 종래 스마트 팜 또는 식물공장의 자동화 분석 시스템의 구성에 대해서는 설명을 생략하도록 한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings, but the description of the configuration of an automated analysis system of a smart farm or a plant factory which is not closely related to the technical idea of the present invention will be omitted.

도1은 본 발명의 실시예에 따른 식물 생육 모니터링 시스템의 개략적인 블록 구성도이다. 1 is a schematic block diagram of a plant growth monitoring system according to an embodiment of the present invention.

도1을 참조하면, 본 발명의 일 실시예에 따른 식물 생육 모니터링 시스템(1)은 VL 이미지 촬영부(10), IR 이미지 촬영부(11), 가스 센서(12), 이미지 처리부(13), 생육정보 추출부(14), 생육상태 분석부(15), 및 데이터 관리부(16)를 포함하여 구성된다. 1, a plant growth monitoring system 1 according to an embodiment of the present invention includes a VL image capturing unit 10, an IR image capturing unit 11, a gas sensor 12, an image processing unit 13, A growth information extracting unit 14, a growing state analyzing unit 15, and a data managing unit 16. [

VL 이미지 촬영부(10)는 모니터링 대상이 되는 하나 이상의 식물들에 대하여 가시광선을 이용하여 이미지를 촬영한다. 촬영은 지속적 혹은 일정한 시간 단위로 이루어질 수 있으며, 식물들의 위치에 따라 VL 이미지 촬영부(10)는 미리 결정된 위치로 운반구동수단(미도시)에 의해 이동되어 촬영이 진행되도록 한다. 또한 동일한 식물의 동일한 잎이라도 다양한 시점에서 촬영이 진행될 수 있으며, 따라서 식물별 또는 잎별로 이미지는 2개 이상 획득될 수 있다.The VL image capturing unit 10 captures an image using visible light for one or more plants to be monitored. The VL imaging unit 10 is moved by a transportation driving means (not shown) to a predetermined position to allow the imaging to proceed according to the position of the plants. Also, even the same leaf of the same plant can be photographed at various points of view, and therefore, two or more images can be obtained for each plant or leaf.

IR 이미지 촬영부(11)는 모니터링 대상이 되는 하나 이상의 식물들에 대하여 열화상 이미지를 촬영한다. IR 이미지 촬영부(11)는 VL 이미지 촬영부(10)와 동일한 위치에서, 동일한 촬영 시간과 방법으로 진행된다. 따라서, 열화상 이미지는 식물별 또는 잎별로 2개 이상 획득될 수 있다.The IR image radiographing section 11 photographs thermographic images with respect to one or more plants to be monitored. The IR image radiographing section 11 proceeds in the same position as the VL image radiographing section 10 and at the same radiographing time and method. Therefore, the thermal image can be obtained by two or more plants or leaves.

가스 센서(12)는 식물의 호흡량을 측정하기 위한 것으로서, 식물이 배출하는 산소 또는 이산화탄소를 예컨대 식물의 잎 단위로 측정하도록 배치 운영될 수 있다. The gas sensor 12 is for measuring the respiration amount of the plant, and can be arranged and operated to measure oxygen or carbon dioxide emitted by the plant, for example, in leaf units of plants.

이미지 처리부(13)는 식물 이미지와 열화상 이미지에 포함된 노이즈를 제거하고, 식물 이미지와 열화상 이미지를 개별적 혹은 하이브리드 방식으로 가공하여 원하는 형태의 이미지 정보를 추출한다.The image processing unit 13 removes the noise included in the plant image and the thermal image, and extracts the desired type of image information by processing the plant image and the thermal image separately or in a hybrid manner.

예컨대, 이미지 처리부(13)는 VL 이미지 촬영부(10)에서 촬영된 식물 이미지에서 주변 환경 또는 식물의 잎과 가지들의 중첩 상태로부터 식물 지체를 분리 추출하며, 특히 식물의 잎을 개별적으로 식별 분리하도록 한다. 이미지 처리부(13)가 객체의 에지를 추출하여 객체를 식별하는 이미지 처리 기술은 공지된 것이므로 설명의 명확화를 위해 생략하도록 한다. 이미지 처리부(13)는 식별된 식물의 잎의 윤곽선을 열화상 이미지에 중첩하여 표시함으로써 윤곽선 내부의 픽셀에 할당된 온도 데이터들을 해당 잎의 엽온 데이터로 분리할 수 있다.For example, the image processing unit 13 separates and extracts the plant parts from the surrounding environment or the superimposition state of the leaves and branches of the plants in the plant image photographed by the VL image photographing unit 10, do. An image processing technique in which the image processing unit 13 extracts an edge of an object and identifies an object is well known and will be omitted for the sake of clarity. The image processing unit 13 can separate the temperature data allocated to the pixels inside the outline by the leaf temperature data of the leaf by superimposing the outline of the leaf of the identified plant on the thermal image.

또한, 이미지 처리부(13)는 VL 이미지 촬영부(10)에서 촬영된 식물 이미지로부터 에지 추출이 어려운 위치에 대하여 열화상 이미지의 픽셀별 온도 데이터를 활용하여 에지를 추출하는 것이 또한 가능하다. 픽셀에 할당된 온도 데이터는 픽셀의 흑백 조도 데이터 또는 컬러 데이터와 동등하게 처리되어 에지 검출 알고리즘에 적용될 수 있다. 이미지 처리부(13)는 잎 형태를 나타내는 에지 데이터와 온도 데이터를 기초로 각 잎의 표면에 온도 분포도를 추출할 수 있다. It is also possible for the image processing unit 13 to extract the edge by utilizing the pixel-by-pixel temperature data of the thermal image for a position where it is difficult to extract the edge from the plant image photographed by the VL image photographing unit 10. The temperature data assigned to the pixel can be processed equally to the black and white roughness data or the color data of the pixel and applied to the edge detection algorithm. The image processing unit 13 can extract the temperature distribution map on the surface of each leaf based on the edge data representing the leaf shape and the temperature data.

여기서 VL 기반의 식물 이미지와 IR 기반의 식물 이미지의 사이즈는 동일하고, 동일한 픽셀 패턴 또는 보간을 통한 픽셀 값 유추 또는 스케일링이 가능하도록 미리 결정된 스케일 비율을 갖도록 조정될 수 있다. Wherein the size of the VL-based plant image and the IR-based plant image are the same and can be adjusted to have a predetermined scale ratio to enable analogy or scaling of pixel values through the same pixel pattern or interpolation.

생육정보 추출부(14)는 식물 이미지로부터 잎의 개수, 잎의 크기, 잎의 색상, 가스 배출 정보 등의 생육 상태 정보를 추출한다. 추출된 정보는 일지를 기록하듯 시계열적으로 관리되며, 비정상 상태의 판단 여부를 판단하는 정보를 제공한다.The growth information extracting unit (14) extracts the growth state information such as the number of leaves, the size of the leaves, the color of the leaves, and the gas emission information from the plant image. The extracted information is managed in a timely manner as if a log is recorded, and provides information for judging whether or not an abnormal state is judged.

생육상태 분석부(15)는 생육 상태 정보 또는 이미지 데이터로부터 생육상태를 분석한다. 생육상태 분석결과, 생육 상에 문제가 있다면 이를 해결할 수 있는 조치를 내외부 빅데이터 DB(미도시)로부터 추출하여 이에 맞춤화된 제어가 수행되도록 기초 자료를 제공한다.The growth state analysis unit 15 analyzes the growth state from the growth state information or the image data. As a result of the analysis of the growth condition, if there is a problem in growth, a measure to solve this problem is extracted from a large data DB (not shown), and basic data is provided so that customized control can be performed.

예를 들어, 이미지 처리부(13)에서 획득된 잎 표면상 엽온 분포도를 통해 엽온의 평균값을 산출하거나, 위치를 바꾸어 측정된 2 이상의 엽온 분포도를 통해 얻은 2개 이상의 엽온 평균값의 평균을 최종적인 엽온 평균 대표값으로 산출할 수 있다.For example, the average value of the leaf temperatures obtained through the leaf surface distribution on the leaf surface obtained by the image processing unit 13, or the average of the average values of two or more leaf temperatures obtained through the two or more leaf- It can be calculated as a representative value.

생육상태 분석부(15)는 잎의 기본적인 형태를 기초로, 잎이 말려져 있거나 잎이 휘어져 있거나 훼손된 부분을 추정하고, 잎이 그늘진 부분, 잎이 말려져 자체로 중첩되거나 이웃한 잎과 중첩되어 열화상 데이터상 에러 위험성이 있는 경우 해당 영역의 픽셀을 배제함으로써 엽온 평균값의 정밀 측정을 가능하도록 한다.Based on the basic shape of the leaf, the growth state analysis unit 15 estimates the leaf is curled, the leaf is curved or damaged, and the shade of the leaf, the leaf is curled, overlapped with itself, or overlapped with the neighboring leaf If there is a risk of error in the thermal image data, it is possible to precisely measure the mean value of the temperature of the foliage by excluding pixels in the corresponding region.

즉, 살아있는 식물은 특성상 이미지 촬영 관점에서 볼 때, 잎의 모양과 위치가 계속해서 상대적으로 변화하는 것으로 관측된다. 생육상태 분석부(15)는 시계열적으로 예컨대 매일, 매시간에 걸쳐 획득되는 이미지로부터 잎들을 개별적으로 분리하고 이전 촬영때 획득한 이미지 상의 잎과 현재 촬영때 획득한 이미지 상에서의 잎이 어떻게 동일성이 있는지 식별하고 매칭하며, 나아가 각각의 잎에서 보이는 표면의 픽셀간 매칭을 통하여 각 픽셀간 엽온 변화 및 픽셀들의 블록 단위로 평균적인 엽온의 변화값을 비교하는 것이 가능하다. 즉, 앞서 얻은 이미지에서 잎의 전면이 이미지가 얻어져 이에 대한 엽온 평균을 구할 수 있지만, 뒤에 얻은 이미지에서 잎의 절반 이미지가 얻어지거나 측방향 절반 이미지만 얻어진다면, 해당 표면을 추출하여 해당 표면의 엽온 평균을 구하여 시계열적인 변화값을 산출하는 것이 가능하다.In other words, it is observed that living plants have a continuous change in shape and position of leaves from the viewpoint of image capture. The growing condition analyzing unit 15 individually separates the leaves from the image obtained in an hourly manner, for example, every day and every hour, identifies how the leaf on the image obtained in the previous photographing and the leaf on the image obtained in the current photographing are identical In addition, it is possible to compare the change of the foliage temperature between each pixel and the change of the average foliage temperature in blocks of pixels through matching between the pixels on the surface of each leaf. In other words, if the leaf image is obtained from the image obtained from the previous image, the leaf temperature averages can be obtained, but if a half image of the leaf is obtained from the image obtained later, or only the lateral half image is obtained, It is possible to calculate the time-series change value by obtaining the foliage average.

생육상태 분석부(15)는 엽온 분포도를 기초로 정밀 측정이 필요한 위치를 검출하고, 가스 센서(12) 및 기타 비파괴적 분석툴(미도시)을 이용하여 생육 상태의 이상 유무를 판정하도록 할 수 있다.The growing condition analyzing unit 15 can detect a position where precise measurement is required based on the leaf temperature distribution map and determine whether the growing condition is abnormal by using the gas sensor 12 and other non-destructive analysis tools (not shown) .

데이터 관리부(16)는 생육정보 추출부(14)에서 추출된 생육 상태 정보, 이미지 처리부(13)에서 생성된 이미지, 생육상태 분석부(15)의 분석 결과를 시계열적으로 관리하며, 내외부의 빅데이터 DB(미도시)와 연결하여 운영할 수 있다.The data management unit 16 manages the growth state information extracted by the growth information extraction unit 14, the image generated by the image processing unit 13, and the analysis results of the growth state analysis unit 15 in a time series manner, And can operate in connection with a data DB (not shown).

도2는 본 발명의 실시예에 따른 식물 생육 모니터링 방법을 나타내는 흐름도이며, 이하 도2를 참조하여 도1에 개시된 식물 생육 모니터링 시스템(1)과 관련하여 그 제어방법을 설명하도록 한다.FIG. 2 is a flowchart illustrating a method for monitoring plant growth according to an embodiment of the present invention. Referring to FIG. 2, a control method of the plant growth monitoring system 1 shown in FIG. 1 will be described.

식물 생육 모니터링 시스템(1)은 모니터링 대상이 되는 식물과 그 촬영 위치를 결정하고, 운반장치(미도시)는 촬영장치를 해당 위치로 이동시킨다(S21).The plant growth monitoring system 1 determines the plant to be monitored and its photographing position, and the conveying device (not shown) moves the photographing apparatus to the corresponding position (S21).

VL 이미지 촬영부(10)와 IR 이미지 촬영부(11)는 미리 결정된 크기의 식물 이미지와 열화상 이미지를 촬영한다(S22). 이미지의 크기는 동일한 크기로 형성하여 두 개의 이미지를 중첩하거나, 해상도가 맞지 않아 픽셀간 보간을 용이하게 할 수 있도록 하는 것이 바람직하다. 도3a 및 도3b는 본 발명의 일 실시예에 따른 대상 식물의 VL 식물 이미지 및 IR 열화상 이미지를 나타낸다. The VL image radiographing section 10 and the IR image radiographing section 11 take a plant image and a thermal image of a predetermined size (S22). It is preferable that the sizes of the images are formed to be the same size so that two images are overlapped or the resolution is not matched so that interpolation between pixels can be facilitated. FIGS. 3A and 3B illustrate a VL plant image and IR thermal image of a plant according to an embodiment of the present invention. FIG.

이미지 처리부(13)는 획득된 이미지의 잡음을 제거하고, 식물 이미지에 나타난 객체를 식별하기 위해 에지를 검출한다(S23). 그리고 식물 이미지로부터 획득된 각 객체의 형태를 나타내는 윤곽선을 열화상 이미지에 중첩시킴으로써 객체별 내부의 온도 분포도를 얻을 수 있다. 전술한 바와 같이, 에지 검출이 어려운 경우, 열화상 이미지의 온도 분포 정보를 식물 이미지에 반영함으로써 에지 검출을 용이하게 할 수도 있다. 도3c는 이미지 처리부(13)가 도3a의 식물 이미지로부터 식물의 잎(객체)을 분리 추출한 영상을 나타낸 것이다. The image processing unit 13 removes the noise of the acquired image and detects an edge to identify the object represented by the plant image (S23). And, by superimposing the outline representing the shape of each object obtained from the plant image on the thermal image, the temperature distribution of the inside of each object can be obtained. As described above, when edge detection is difficult, edge detection can be facilitated by reflecting the temperature distribution information of the thermal image on the plant image. FIG. 3C shows an image obtained by extracting leaves (objects) of a plant from the plant image of FIG. 3A by the image processing unit 13.

다음, 시스템(1)의 제어부(미도시)는 동일한 객체에 대해 촬영위치를 변경하여 추가의 촬영을 진행할 것인지 결정할 수 있다(S24). 추가의 이미지를 촬영하는 경우, 예컨대 이미지 처리가 원활하지 않거나 원하는 수준의 이미지를 얻지 못한 경우 등에 있어서 추가의 이미지를 촬영할 수 있으며, 전술한 바와 같이 엽온 평균값을 더욱 정밀하게 얻기 위하여 위치를 변경하여 2 이상의 이미지 촬영이 진행되도록 하는 것이 가능하다.Next, the control unit (not shown) of the system 1 may change the photographing position with respect to the same object to determine whether to proceed with additional photographing (S24). When additional images are taken, additional images can be taken, for example, when image processing is not smooth or a desired level of image can not be obtained, and as described above, the position is changed to 2 It is possible to cause the above-described image shooting to proceed.

충분한 이미지가 획득된 후, 생육정보 추출부(14)는 이미지로부터 식물의 생육 상태 정보를 추출한다(S25). 잎의 개수, 크기, 색상 등의 정보를 추출하고, 가스 센서(12) 등 기타 센서로부터 획득된 정보를 위치 정보를 매칭하여 저장한다.After a sufficient image is obtained, the growth information extracting unit 14 extracts the growing state information of the plant from the image (S25). Size, color, and the like, and stores information obtained from other sensors such as the gas sensor 12 by matching the position information.

다음, 생육상태 분석부(15)는 추출된 생육정보, 이미지를 기반으로 생육상태에 대한 이상 상태를 분석하기 위한 분석을 수행하며, 구체적으로 엽온의 평균값을 산출하거나, 정상상태 대비 엽온 분포가 상태 판정 등을 수행한다(S26). Next, the growth state analysis unit 15 performs an analysis for analyzing the abnormal state of the growth state based on the extracted growth information and the image, and specifically calculates the average value of the leaf temperature, Determination is made (S26).

도4는 도3a에 표시된 'leaf 1', 'leaf 2' 'leaf 3'의 평균 엽온 그래프와 동일 시간대에 측정된 스팟 온도 데이터를 비교한 것이다. 도4를 참조하면, 평균 엽온과 스팟 온도를 비교할 때 약 1도 내외의 차이가 나타나는 것을 알 수 있으며, 이러한 패턴은 24시간 시간대에서 비슷한 양상을 보이고 있다. 잎의 특정 스팟에 대한 온도를 측정하는 종래 방식은 측정 위치가 바뀌면 온도 값도 달라질 것을 알 수 있다. 4 compares the spot temperature data measured in the same time zone with the average leaf temperature graph of 'leaf 1' and 'leaf 2' 'leaf 3' shown in FIG. Referring to FIG. 4, it can be seen that there is a difference of about 1 degree between the mean temperature and the spot temperature, and this pattern is similar in the 24 hour time zone. It can be seen that the conventional method of measuring the temperature for a specific spot of a leaf has a different temperature value when the measurement position is changed.

본 발명의 생육상태 분석부(15)는 엽온 분포도에서 에러 발생 영역을 배제하여 평균값을 측정하도록 할 수 있다. 잎의 겹치거나, 말리거나, 휘어져 다른 잎과 중첩되어 있는 영역 등은 배제함으로써 신뢰할 수 있는 엽온 평균값을 산출한다. 또한, 잎의 변화된 형태 및 위치를 반영하여 촬영되는 이미지상 잎의 표면들을 상호 매칭하여 해당 영역들 혹은 해당 픽셀간 엽온의 평균값의 변화량을 대비 분석한다.The growth state analysis unit 15 of the present invention can measure an average value by excluding an error occurrence region from the leaf temperature distribution map. The reliable leaf temperature average is calculated by eliminating overlapping, curling, curving, and overlapping areas of other leaves. In addition, the surfaces of the leaves on the photographed image are matched by reflecting the changed shape and position of the leaves, and the variation of the average value of the foliage temperature between the corresponding areas or the corresponding pixels is analyzed.

이와 같이, 생육정보 추출부(14) 및 생육상태 분석부(15)에서 얻은 결과들이 시계열 정보로서 데이터 관리부(16)에 저장됨으로써, 내외부의 빅데이터 DB와 정보를 공유한다(S27).The results obtained by the growth information extraction unit 14 and the growth state analysis unit 15 are stored in the data management unit 16 as time series information, thereby sharing information with the internal and external big data DBs (S27).

지금까지 설명한 본 발명의 실시예는 본 기술분야의 통상의 기술자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 용이하게 변형하는 것이 가능한 것을 이해할 수 있을 것이다. It will be understood by those skilled in the art that the embodiments of the present invention described above can be easily modified without departing from the technical spirit of the present invention.

예를 들어, 본 발명의 실시예에서 설명된 모니터링 방법들은 그 실행 단계가 논리적인 선후가 명확한 경우를 제외하고는 임의로 변경될 수 있을 이해할 수 있을 것이다. For example, it will be appreciated that the monitoring methods described in the embodiments of the present invention may be arbitrarily changed except when the logical steps are clear.

그러므로 본 발명의 보호범위는 특허청구범위에 기재된 발명의 기술적 사상과 그 균등물에 미치는 것으로 해석되어야 할 것이다.Therefore, the scope of protection of the present invention should be construed as affecting the technical ideas and equivalents of the invention described in the claims.

Claims (17)

식물 생육 모니터링 시스템에 있어서,
다수의 식물에 대한 생육 과정을 모니터링 하기 위해 식물 이미지를 촬영하는 VL 이미지 촬영부;
상기 VL 이미지 촬영부에서 촬영된 상기 식물 이미지로부터 잎의 개수, 잎의 크기, 또는 잎의 색상을 포함하는 생육 상태 정보를 추출하는 생육정보 추출부; 및
상기 생육정보 추출부에서 추출된 생육 상태 정보를 시계열적으로 관리하기 위한 데이터 관리부를 포함하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
In a plant growth monitoring system,
A VL image photographing unit for photographing a plant image to monitor a growing process for a plurality of plants;
A growth information extracting unit for extracting the growth state information including the number of leaves, the size of the leaves, or the color of leaves from the plant image photographed by the VL image photographing unit; And
And a data management unit for managing the growth state information extracted by the growth information extracting unit in a time series manner.
제1항에 있어서,
식물이 배출하는 가스를 감지하기 위한 가스 센서를 더 포함하고,
상기 생육정보 추출부는 상기 가스 센서로부터 제공되는 가스 정보를 상기 생육 상태 정보로서, 상기 식물 이미지에서 식별된 잎에 매칭하여 처리하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
The method according to claim 1,
Further comprising a gas sensor for sensing gas emitted by the plant,
Wherein the growth information extracting unit processes the gas information provided from the gas sensor as the growth state information to match the leaf identified in the plant image.
제1항에 있어서,
상기 다수의 식물의 열화상 이미지를 획득하기 위한 IR 이미지 촬영부; 및
상기 식물 이미지와 상기 열화상 이미지를 상호 참조하여 상기 식물 이미지에서 식물의 잎을 개별적으로 분리 추출하는 이미지 처리부를 더 포함하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
The method according to claim 1,
An IR image photographing unit for obtaining an infrared image of the plurality of plants; And
Further comprising an image processing unit for separately extracting and extracting the leaves of the plant from the plant image by cross-referencing the plant image and the thermal image.
제3항에 있어서,
상기 이미지 처리부는 상기 식물 이미지에서 잎의 윤곽선이 명확하지 않은 경우, 상기 열화상 이미지를 참조하여 상기 윤곽선을 결정하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
The method of claim 3,
Wherein the image processing unit determines the outline by referring to the thermal image if the outline of the leaf is not clear in the plant image.
제3항에 있어서,
상기 이미지 처리부는 상기 식물 이미지로부터 식물의 잎의 윤곽선을 추출하고, 상기 잎의 윤곽선을 상기 열화상 이미지에 적용하여 상기 잎 단위의 열화상 이미지를 결정하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
The method of claim 3,
Wherein the image processing unit extracts a contour of a plant leaf from the plant image and applies the contour of the leaf to the thermal image to determine the thermal image of the leaf unit.
제3항에 있어서,
상기 이미지 처리부는 상기 분리 추출한 잎의 형태를 상기 열화상 이미지에 적용하여 상기 열화상 이미지에서의 잎의 엽온 분포도를 획득하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
The method of claim 3,
Wherein the image processing unit applies the shape of the separated and extracted leaves to the thermal image to obtain a leaflet distribution map of leaves in the thermal image.
제3항 내지 제6항 중 어느 한 항에 있어서,
상기 식물 이미지로부터 식별된 잎의 윤곽선 및 상기 식별된 잎의 열화상 이미지로부터 상기 잎의 표면적 대비 엽온의 평균값을 산출하는 생육상태 분석부를 더 포함하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
7. The method according to any one of claims 3 to 6,
Further comprising a growth condition analyzing unit for calculating an average value of the leaf temperature of the leaf from the thermal image of the identified leaf and the contour of the leaf identified from the plant image.
제7항에 있어서,
상기 생육상태 분석부는 상기 식물 이미지로부터 식별된 잎의 윤곽선을 통해 상기 잎이 말려 휘어져 있거나 중복된 부분 등 상기 IR 이미지 촬영부의 측정 에러 위험 위치는 상기 평균값 산출시 배제하는 것을 특징으로 하는 식물 생육 모니터링 시스템
8. The method of claim 7,
Wherein the growth condition analyzing unit excludes a measurement error dangerous position of the IR image photographing unit such as a curled or overlapped portion of the leaf through an outline of a leaf identified from the plant image when calculating the average value.
제7항에 있어서,
상기 VL 이미지 촬영부와 상기 IR 이미지 촬영부는 2 이상의 위치에서 상기 식물 이미지와 상기 열화상 이미지를 획득하고,
상기 생육상태 분석부는 2 이상의 위치에서 촬영된 2 이상의 상기 식물 이미지와 상기 열화상 이미지를 기초로 산출된 2 이상의 상기 엽온의 평균값들의 평균값을 상기 엽온의 평균값으로 결정하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
8. The method of claim 7,
Wherein the VL image photographing unit and the IR image photographing unit obtain the plant image and the thermal image at two or more positions,
Wherein the growing condition analyzing unit determines an average value of the average values of the at least two leaf temperatures calculated based on the at least two plant images and the thermal image captured at two or more positions as an average value of the leaf temperature. .
제3항 내지 제6항 중 어느 한 항에 있어서,
상기 식물 이미지로부터 식별된 잎의 윤곽선 및 상기 식별된 잎의 열화상 이미지로부터 상기 잎의 표면에 따라 엽온의 분포를 기초로 상기 식별된 잎의 상태를 판정하는 생육상태 분석부를 더 포함하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
7. The method according to any one of claims 3 to 6,
Further comprising a growth state analysis unit for determining the state of the identified leaf based on the distribution of leaf temperatures along the surface of the leaf from the outline of the leaf identified from the plant image and the thermal image of the identified leaf Plant growth monitoring system.
제3항 내지 제6항 중 어느 한 항에 있어서,
상기 식물 이미지로부터 식별된 잎의 윤곽선 및 상기 식별된 잎의 열화상 이미지로부터 상기 잎의 표면 중 미리 결정된 임계치 이상의 온도를 나타내는 잎의 위치를 결정하여, 해당 잎 또는 위치에 대하여 온도 레벨에 따라 가스 및 비파괴 성분 분석을 수행하는 생육상태 분석부를 더 포함하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
7. The method according to any one of claims 3 to 6,
Determining the position of a leaf indicative of a temperature above a predetermined threshold in the surface of the leaf from the contour of the leaf identified from the plant image and the thermal image of the identified leaf, And a non-destructive component analyzing step of analyzing the non-destructive component.
제3항 내지 제6항 중 어느 한 항에 있어서,
상기 이미지 처리부에서 식별된 잎의 모양과 위치에 기초하여 동일성이 인정되는 잎을 식별하고 잎을 시계열적으로 추적하여, 상기 열화상 이미지로부터 상기 잎의 시계열적 엽온 변화를 분석하는 생육상태 분석부를 더 포함하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
7. The method according to any one of claims 3 to 6,
A growing condition analyzing unit for identifying leaves that are identifiable based on the shape and position of the leaves identified by the image processing unit and for tracking the leaves in a time-wise manner to analyze the time- Wherein the plant growth monitoring system comprises a plant growth monitoring system.
제12항에 있어서,
상기 생육상태 분석부는 상기 식물 이미지상 잎의 모양이 달라진 경우, 해당 표면에 대한 엽온 평균값을 산출하여, 표면 구획별 엽온 평균값의 변화값을 시계열적으로 분석하는 것을 특징으로 하는 식물 생육 모니터링 시스템.
13. The method of claim 12,
Wherein the growing condition analyzing unit calculates the average value of the temperature of the leaf on the surface of the plant when the shape of the leaf is changed on the plant image and analyzes the change value of the mean value of the temperature of the surface of the plant on a time series basis.
식물 생육 모니터링 방법에 있어서,
다수의 식물에 대한 생육 과정을 모니터링 하기 위해 식물 이미지를 촬영하는 단계;
상기 식물 이미지로부터 잎의 개수, 잎의 크기, 또는 잎의 색상을 포함하는 생육 상태 정보를 추출하는 단계; 및
상기 추출된 생육 상태 정보를 시계열적으로 관리하기 위한 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 식물 생육 모니터링 방법.
In the plant growth monitoring method,
Photographing a plant image to monitor a growing process for a plurality of plants;
Extracting the growth state information including the number of leaves, the size of leaves, or the color of leaves from the plant image; And
And storing the extracted growth state information in a memory for managing the growth state in a time series manner.
제14항에 있어서,
상기 다수의 식물의 열화상 이미지를 촬영하는 단계; 및
상기 식물 이미지와 상기 열화상 이미지를 상호 참조하여 상기 식물 이미지에서 식물의 잎의 형태를 개별적으로 분리 추출하는 단계를 더 포함하는 것을 특징으로 하는 식물 생육 모니터링 방법.
15. The method of claim 14,
Photographing an infrared image of the plurality of plants; And
Further comprising separately extracting the leaf shape of the plant from the plant image by cross-referencing the plant image and the thermal image.
제15항에 있어서,
추출된 상기 식물의 잎 형태로부터 상기 열화상 이미지 데이터의 왜곡 위치를 추출하는 단계; 및
상기 왜곡 위치를 배제한 상기 식물의 엽온 평균값을 산출하는 단계를 더 포함하는 것을 특징으로 하는 식물 생육 모니터링 방법.
16. The method of claim 15,
Extracting a distortion position of the thermal image data from a leaf shape of the extracted plant; And
Further comprising the step of calculating an average value of the leaf temperature of the plant excluding the distortion position.
제15항에 있어서,
추출된 상기 식물의 잎 형태에 옆온의 분포 정보를 추출하는 단계; 및
상기 옆온 분포 정보를 상기 식물 관련 생육 정보 DB 상의 생육 정보를 비교하여 이상 유무를 판정하는 단계를 더 포함하는 것을 특징으로 하는 식물 생육 모니터링 방법.
16. The method of claim 15,
Extracting distribution information of the ambient temperature in the leaf form of the extracted plant; And
Further comprising the step of comparing the adjacent temperature distribution information with the growth information on the plant-related growth information DB to determine whether or not the abnormality is present.
KR1020160114844A 2016-09-07 2016-09-07 Plant growth monitoring system and method thereof KR20180027778A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160114844A KR20180027778A (en) 2016-09-07 2016-09-07 Plant growth monitoring system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160114844A KR20180027778A (en) 2016-09-07 2016-09-07 Plant growth monitoring system and method thereof

Publications (1)

Publication Number Publication Date
KR20180027778A true KR20180027778A (en) 2018-03-15

Family

ID=61659976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160114844A KR20180027778A (en) 2016-09-07 2016-09-07 Plant growth monitoring system and method thereof

Country Status (1)

Country Link
KR (1) KR20180027778A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200124496A (en) * 2019-04-24 2020-11-03 김옥화 Operation method of ginseng smart farm system
WO2021170547A1 (en) 2020-02-27 2021-09-02 Signify Holding B.V. A plant growth monitoring system and method
CN113516067A (en) * 2021-07-06 2021-10-19 中山大学 Plant growth time identification method and device
KR102321137B1 (en) 2021-03-29 2021-11-03 서봉주 System and method for collecting/providing data on optimal growth conditions of organisms
CN113945561A (en) * 2021-10-15 2022-01-18 盐城工学院 Image detection device and image detection method
KR20220055333A (en) 2020-10-26 2022-05-03 김옥화 Operation method of ginseng smart farm system
KR20220093647A (en) * 2020-12-28 2022-07-05 차기룡 Internet of Things environment measurement integrated sensor board applied to smart farm house
KR20220152782A (en) 2021-05-10 2022-11-17 순천대학교 산학협력단 Method and device for controling plant cultivation profile
KR20220168913A (en) 2021-06-17 2022-12-26 라온피플 주식회사 Apparatus and method for crop
KR20220168914A (en) * 2021-06-17 2022-12-26 라온피플 주식회사 Method for monitoring growing process of fruit using deep learning, and apparatus for performing the same

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200124496A (en) * 2019-04-24 2020-11-03 김옥화 Operation method of ginseng smart farm system
WO2021170547A1 (en) 2020-02-27 2021-09-02 Signify Holding B.V. A plant growth monitoring system and method
KR20220055333A (en) 2020-10-26 2022-05-03 김옥화 Operation method of ginseng smart farm system
KR20220093647A (en) * 2020-12-28 2022-07-05 차기룡 Internet of Things environment measurement integrated sensor board applied to smart farm house
KR102321137B1 (en) 2021-03-29 2021-11-03 서봉주 System and method for collecting/providing data on optimal growth conditions of organisms
KR20220152782A (en) 2021-05-10 2022-11-17 순천대학교 산학협력단 Method and device for controling plant cultivation profile
KR20220168913A (en) 2021-06-17 2022-12-26 라온피플 주식회사 Apparatus and method for crop
KR20220168914A (en) * 2021-06-17 2022-12-26 라온피플 주식회사 Method for monitoring growing process of fruit using deep learning, and apparatus for performing the same
CN113516067A (en) * 2021-07-06 2021-10-19 中山大学 Plant growth time identification method and device
CN113516067B (en) * 2021-07-06 2023-10-13 中山大学 Method and device for identifying plant growth time
CN113945561A (en) * 2021-10-15 2022-01-18 盐城工学院 Image detection device and image detection method
CN113945561B (en) * 2021-10-15 2024-04-16 盐城工学院 Image detection device and image detection method

Similar Documents

Publication Publication Date Title
KR20180027778A (en) Plant growth monitoring system and method thereof
US10768094B2 (en) Thermography image processing with neural networks to identify corrosion under insulation (CUI)
US10116884B2 (en) Systems and approaches for thermal imaging
US20180340962A1 (en) Apparatus and method for diagnosing electric power equipment using thermal imaging camera
CN107014294B (en) Contact net geometric parameter detection method and system based on infrared image
US20200041475A1 (en) Computer system, plant diagnosis method, and program
EP3467702A1 (en) Method and system for performing data analysis for plant phenotyping
CN110214120B (en) Belt inspection system and method
US8368021B2 (en) Method for an IR-radiation—based temperature measurement and IR-radiation—based temperature measuring device
JP2011103870A (en) Automatic measurement system and method for plant features, and recording medium thereof
WO2006135459A1 (en) Method and apparatus for capturing and analyzing thermo-graphic images of a moving object
US20200042790A1 (en) Computer system, and method and program for diagnosing plants
CA3058955C (en) A system for measuring deformations and a method for measuring deformations
US20190096066A1 (en) System and Method for Segmenting Out Multiple Body Parts
CN104660976A (en) Slow change detection system
KR20160145319A (en) Method for temperature measuring of plant leaf using muti-image
CN113834571A (en) Target temperature measurement method, device and temperature measurement system
JP2017184673A (en) Plant cultivation-supporting apparatus, plant cultivation-supporting system, method for supporting plant cultivation, program, and storage medium
CN112085724A (en) Cabinet temperature measuring method and device based on BIM and thermal image
CN105572133A (en) Flaw detection method and device
CN113778091A (en) Method for inspecting equipment of wind power plant booster station
US20190026547A1 (en) System and Method for Detecting Skin in an Image
CN115717865A (en) Method for measuring full-field deformation of annular structure
US20170308994A1 (en) Method and thermal imaging recording device for generating radiometric images with enhanced resolution in partial areas
CN114719987A (en) Method and system for acquiring temperature data of heating component at bottom of railway vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2018101003506; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20180822

Effective date: 20191030