KR20180043082A - 식물병 감지 시스템 및 그 방법 - Google Patents

식물병 감지 시스템 및 그 방법 Download PDF

Info

Publication number
KR20180043082A
KR20180043082A KR1020160135952A KR20160135952A KR20180043082A KR 20180043082 A KR20180043082 A KR 20180043082A KR 1020160135952 A KR1020160135952 A KR 1020160135952A KR 20160135952 A KR20160135952 A KR 20160135952A KR 20180043082 A KR20180043082 A KR 20180043082A
Authority
KR
South Korea
Prior art keywords
image
plant
plant disease
present
gateway
Prior art date
Application number
KR1020160135952A
Other languages
English (en)
Inventor
박흰돌
민옥기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160135952A priority Critical patent/KR20180043082A/ko
Publication of KR20180043082A publication Critical patent/KR20180043082A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G22/00—Cultivation of specific crops or plants not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Botany (AREA)
  • Biophysics (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

식물병 감지 시스템 및 그 방법이 개시된다.
본 발명의 실시 예에 따른 식물병 감지 시스템은, 농장 내 복수로 배치된 카메라를 통해 식물을 촬영하고 환경센서를 통해 식물의 환경요인 데이터를 측정하는 감시 장치; 지역별로 배치되어 복수의 카메라로부터 수집된 비디오에서 소정 프레임 레이트 단위로 영상을 추출하고, 상기 영상의 전처리를 통해 추출된 식물의 특징정보에서 이상현상이 발견되면 이벤트 경고를 발생하는 게이트웨이; 및 상기 이벤트 경고에 따라 게이트웨이에서 요청된 상기 특징정보와 환경요인을 이용해 분석 데이터를 구성하고, 상기 영상과 분석 데이터의 입력으로 합성곱 신경망을 통해 식물의 감염을 판단하는 서버를 포함한다.

Description

식물병 감지 시스템 및 그 방법{PLANT DISEASE DETECTION SYSTEM AND METHOD}
본 발명은 식물병 감지 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 환경요인과 영상 분석을 이용한 실시간 식물병 감지 시스템 및 그 방법 에 관한 것이다.
일반적으로 사물 인터넷(Internet of things, IoT) 환경은 센서나 통신 기능이 내장된 장치(사물)들이 인터넷으로 연결해 주변의 정보를 수집하고 이 정보를 다른 장비와 주고받으며 스스로 일을 처리할 수 있는 적절한 결정도 내릴 수 있는 환경을 의미한다.
사물인터넷의 발달이 농업분야에까지 파급되면서 정보통신기술(Information & Communication Technology, ICT)과 농업이 융합하는 스마트팜(Smart-Farm)이 확산되고 있다.
스마트팜은 사람이 아닌 시스템이 온도, 습도, 이산화탄소(CO2)와 같은 환경센서로부터 수집된 데이터를 분석하여 환기시설 및 냉난방 시설 등을 제어로 식물의 적정한 생육환경을 관리되는 농장이다.
스마트팜은 농장의 인건비를 감소와 식물의 생장을 돕고 생산량을 늘리는데 성공했지만 드넓은 온실에 해를 주는 병충해로 인한 식물의 손실을 완벽히 막아내지 못하고 있다.
종래에는 사람이 직접 육안으로 작물을 관찰하여 병충해를 진단하고 있으나 객관적인 정보를 얻기 어려우며, 곰팡균이나 바이러스와 같은 병균 및 작은 벌레에 의한 병충해를 감지하는데 어려움이 있다.
이에 병충해로 인한 작물에 피해를 감소시키기 위한 다양한 기법들이 연구되고 있으나 농장에 완전 자동화 시스템을 구현하는데 어려움을 겪고 있다.
예컨대, 종래에는 농장의 열영상을 기반으로 온도가 다른 스팟을 찾아내어 병징이나 환경 스트레스를 판단하는 방법이 연구되었다. 그러나 나방유충이나 무당벌레와 같이 잎을 갉아먹는 곤충으로 인한 잎의 피해를 판단하는데 어려운 문제점이 있다.
또한, 종래에는 테라헤르츠파(Terahertz wave)를 이용한 잎의 수분에 대한 영상을 추출하여 병충해 여부 및 영양상태를 판단하는 방법이 연구되었다.
그러나, 테라헤르츠파를 이용한 방법은 대량의 식물들이 근접하여 자라는 환경에서는 식물과 식물이 겹쳐지기 때문에 테라헤르츠파 장비의 설치가 용의 하지 못하며 신호에 잡음이 발생할 확률이 있는 문제점이 있다.
또한, 종래에 연구된 두 방법은 모두 고가에 카메라와 장비가 요구되는데, 이를 대형 스마트팜과 같은 농장에 적용하는 경우 수많은 카메라에서 나오는 영상을 처리하기 위한 방법에 대해서는 제시가 되어 있지 않다. 대량의 영상을 처리하려면 서버의 부담이 높아지고 빠른 응답시간을 보장할 수 없는 문제점이 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
특허문헌 1 : 한국공개특허 제2014-0030775호 (2014.03.12. 공개)
본 발명의 실시 예는 대형 스마트팜 환경에서 식물의 환경요인과 수많은 카메라에서 출력되는 영상을 게이트웨이와 서버가 협업하여 실시간으로 식물의 이상현상을 탐지 및 분석하는 식물병 감지 시스템 및 그 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 식물병 감지 시스템은, 농장 내 복수로 배치된 카메라를 통해 식물을 촬영하고 환경센서를 통해 식물의 환경요인 데이터를 측정하는 감시 장치; 지역별로 배치되어 복수의 카메라로부터 수집된 비디오에서 소정 프레임 레이트 단위로 영상을 추출하고, 상기 영상의 전처리를 통해 추출된 식물의 특징정보에서 이상현상이 발견되면 이벤트 경고를 발생하는 게이트웨이; 및 상기 이벤트 경고에 따라 게이트웨이에서 요청된 상기 특징정보와 환경요인을 이용해 분석 데이터를 구성하고, 상기 영상과 분석 데이터의 입력으로 합성곱 신경망을 통해 식물의 감염을 판단하는 서버를 포함한다.
본 발명의 실시 예에 따르면, 대형 스마트팜(농장)에 적용된 수많은 카메라에서 출력되는 영상을 게이트웨이를 통해 분산 처리함으로써 서버와 네트워크의 부담이 없이 안정적인 식물병 감지 시스템을 제공할 수 있다.
또한, 식물병 감지를 위해 식물의 영상뿐 아니라 식물의 영상에서 분석된 특징정보와 환경요인을 고려한 새로운 형태의 분석 데이터를 활용함으로써 식물병의 감지 및 그 식물별 판단 결과의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 식물병 감지 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 2는 종래의 일반적인 영상 분석 구조와 본 발명의 영상 분석 구조를 비교하여 나타낸다.
도 3은 본 발명의 본 발명의 실시 예에 따른 영상 처리부의 세부 구성과 그에 따른 특징정보 추출 흐름을 나타낸다.
도 4는 본 발명의 실시 예에 따른 식물별 영상을 분할하는 방법을 나타낸다.
도 5는 본 발명의 실시 예에 따른 고정 카메라가 식물을 촬영하는 측면도를 나타낸다.
도 6은 본 발명의 실시 예에 따른 카메라의 설치 시점에서 식물을 촬영하는 평면 영역을 나타낸다.
도 7은 본 발명의 실시 예에 따른 잎사귀의 색상을 추출하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 식물병이 진행된 잎의 영상을 분석하는 과정을 나타낸다.
도 9는 본 발명의 실시 예에 따른 서버의 합성곱 신경망 구조를 개략적으로 나타낸다.
도 10은 본 발명의 실시 예에 따른 식물병 감지 시스템의 식물병 분석 방법을 개략적으로 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 비디오와 동영상은 동일한 의미를 가지며, 영상, 이미지, 사진은 상기 비디오/동영상에서 추출된 프레임 단위로 사용된다.
이제 본 발명의 실시 예에 따른 식물병 감지 시스템 및 그 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 식물병 감지 시스템의 구성을 개략적으로 나타낸 블록도이다.
첨부된 도 1을 참조하면, 본 발명의 실시 예에 따른 식물병 감지 시스템(100)은 크게 감시 장치(110), 게이트웨이(120) 및 서버(130)를 포함한다.
감시 장치(110)는 스마트팜 환경에서 식물의 영상과 환경요인을 수집하는 장치이며 적어도 하나 이상의 카메라(111), 환경센서(112) 및 경고등(113)을 포함할 수 있다.
카메라(111)는 일반적인 소형 카메라로 대형 스마트팜 내 식물 영상을 촬영하기 위하여 복수로 분산 배치된다.
카메라(111)는 복수로 구획된 일정 영역의 고정된 위치에서 식물의 동영상을 실시간으로 촬영하여 해당 영역의 게이트웨이(120)로 전송하는 역할을 한다.
환경센서(112)는 대기의 온도, 습도, 토양의 수분, 토양 ph(산성도), CO2 등과 같이 식물의 생육환경에 영향을 주는 주요 환경요인을 측정한다.
경고등(113)은 식물의 영상과 환경요인의 감시로 식물에 이상현상이 발견되면 이를 경고한다.
한편, 게이트웨이(120)는 대형 스마트팜을 소정 지역으로 구획하고 구획된 지역별로 배치되며, 해당 지역의 감시 장치(110)와 연결된다.
게이트웨이(120)는 소형 로컬 PC로 구성될 수 있으며, 영상 수집부(121), 영상 처리부(122), 경고 알림 전송부(123)를 포함한다. 이 밖에도 게이트웨이(120)는 하드웨어, CPU, 메모리 및 통신 인터페이스를 포함하는 간단한 장비로 구성될 수 있다.
영상 수집부(121)는 복수의 카메라(111)로부터 촬영된 영상과 환경센서(112)에서 측정된 환경요인 정보(이하, 편의상 '환경요인'이라 명명함)을 수집하여 영상 처리부(122)로 전달한다.
이 때, 상기 영상은 비디오 스트림을 프레임 레이트 단위로 나누어 환경요인과 함께 전달할 수 있다.
좀더 구체적으로 설명하면, 영상 수집부(121)는 카메라(111)로부터 수집된 실시간 비디오 영상에서 사용자가 정의한 프레임 레이트 단위로 영상을 추출할 수 있다.
영상 수집부(121)는 추출된 영상들을 표본화(Sampling)하여 그 수집된 시간에 맞는 환경요인과 함께 영상 처리부(122)로 전달할 수 있다. 여기서, 상기 추출된 모든 식물 영상을 사용하지 않고 표본화를 하는 이유는 식물영상은 단시간에 급격한 변화가 일어나지 않기 때문에 표본화를 통해 데이터의 양의 줄여 분석의 효율성을 높이기 위함이다.
영상 처리부(122)부는 영상 수집부(121)에서 전달되는 영상으로부터 식물 영상의 특징정보를 추출하여 경고 알림 전송부(123)로 전달한다. 예컨대, 상기 특징정보는 식물의 생육상태 및 병충해 상태에 따른 식물 잎사귀 영상에서 나타나는 특징정보일 수 있다.
경고 알림 전송부(123)는 영상 처리부(122)로부터 수신된 특징정보와 이전 특징정보와 비교하여 이상현상이 발견되면 이벤트를 발생한다.
경고 알림 전송부(123)는 상기 이벤트 발생에 따른 경고등(113)에 경고 제어 명령을 내려 동작시키고, 서버(130)로 상기 이벤트 발생 영상과 환경정보를 전송하여 분석을 요청할 수 있다.
서버(130)는 대형 스마트팜 전체의 환경요인과 영상 분석을 이용한 실시간 식물병 감시를 위해 모든 게이트웨이(120)와 통신이 연결된 중앙 시스템으로, 데이터 구성부(131)와 감염 판단부(132)를 포함한다.
서버(130)는 모든 게이트웨이(120)로부터 식물의 영상과 환경정보를 받아 식물의 이상현상을 분석할 수 있다.
서버(130)는 스마트팜 내 설치되어 운용될 수 있으며, 이에 한정되지 않고 복수의 스마트팜 내 게이트웨이(120)들과 연결되어 중앙에서 스마트팜들을 대상으로 식물병 모니터링 서비스를 제공할 수 있도록 구성될 수 있다.
데이터 구성부(131)는 게이트웨이(120)에서 수신된 영상의 특징정보를 이용하여 새로운 분석 데이터 형태를 구성하여 감염 판단부(132)로 넘겨준다.
여기서, 상기 새로운 분석 데이터는 기존의 영상만을 분석정보로 활용하는 것과는 달리, 영상뿐만 아니라 후술되는 영상에서 추출된 식물의 특징정보와 그 환경요인 데이터가 통합된 형태의 분석데이터를 의미한다.
감염 판단부(132)는 영상 인식에 가장 뛰어난 성과를 보여주고 있는 합성곱 신경망(Convolution Neural Network)을 이용하여 식물병 감염 여부를 판단한다.
이 때, 감염 판단부(132)는 식물병 감염으로 판단된 영상의 전송 경로를 추적하여 대형 스마트팜 내에서의 식물병 감염 발생 위치 및 영역을 파악할 수 있다.
감염 판단부(132)는 감염이 발생된 식물 영상이 촬영된 특정 카메라(111)의 종단 위치로 식물병 감염 발생 위치 및 영역을 파악하여 관리자(예; 표시장치, 스마트폰 등)에게 알람 할 수 있다.
한편, 도 2는 종래의 일반적인 영상 분석 구조와 본 발명의 영상 분석 구조를 비교하여 나타낸다.
첨부된 도 2를 참조하면, 종래의 일반적인 대형 스마트팜의 실시간 영상 분석 시스템은 수많은 카메라에서 출력되는 모든 비디오 스트림이 네트워크를 통해 물리적으로 떨어져있는 서버로 수집되기 때문에 카메라의 수가 많아질 수록 대량의 영상을 처리하기 위한 서버의 부담이 커지고 빠른 응답시간을 보장할 수 없는 문제점이 존재한다.
이러한 문제를 해결하기 위하여, 본 발명의 실시 예에서는 종래의 일반적인 영상 분석 시스템 구조와 다르게 수집된 영상을 분산 처리하는 게이트웨이(120)가 구성되는 특징을 갖는다.
본 발명의 실시 예는 서버(130)의 자원 사용량과 네트워크 부하를 줄이기 위해 게이트웨이(120)와 서버(130)가 협업하여 영상을 분석한다.
즉, 종래의 서버와는 달리 본 발명의 실시 예에서는 스마트팜의 각 영역에서 식물의 영상과 환경요인을 수집하는 감시 장치(110)와 물리적으로 가까운 게이트웨이(120)가 카메라(111)로부터 실시간으로 동영상을 받아 전처리 후 서버(130)로 분석된 하나의 영상(Image, 사진)만 보내기 때문에 네트워크 부하를 줄일 수 있는 이점이 있다.
또한, 서버(130)는 영상 분석을 위해 필요한 전처리 과정을 분산된 게이트웨이(120)에서 수행하기 때문에 자원의 사용량 및 부담을 줄일 수 있다.
이를 통해 본 발명의 실시 예는 대형 스마트팜 전체 영역의 모든 식물을 관리하기 위해서 수십 대에 카메라(111)에서 출력되는 동영상을 분석하는 시스템 구조를 효율적으로 구현할 수 있다.
한편, 다음의 도 3 및 도 4를 통하여 본 발명의 실시 예에 따른 영상 처리부(122)의 세부 구성을 설명하며, 이들을 통해 영상에서 특징정보를 추출하는 방법을 자세히 설명한다.
먼저, 도 3은 본 발명의 본 발명의 실시 예에 따른 영상 처리부의 세부 구성과 그에 따른 특징정보 추출 흐름을 나타낸다.
첨부된 도 3을 참조하면, 본 발명의 실시 예에 따른 영상 처리부(122)는 영역 분할 모듈(1221), 전처리 모듈(1222), 잎사귀 검출 모듈(1223) 및 특징 추출 모듈(1224)을 포함한다.
영역 분할 모듈(1221)은 영상 수집부(121)에서 추출된 식물 영상을 수신하면 각 영상들에서 식물 별로 영상을 분할한다(S11).
예컨대, 도 4는 본 발명의 실시 예에 따른 식물별 영상을 분할하는 방법을 나타낸다.
첨부된 도 4를 참조하면, 영역 분할 모듈(1221)은 하나의 영상에 4개의 식물이 존재하면(S121-1), 상기 영상에 포함된 식물 개수에 따라 4개의 식물 영상으로 분할한다(S121-2). 즉, 하나의 영상을 식물의 수만큼 나누어 주면 된다.
이 때, 영역 분할 모듈(1221)은 카메라(111)와 그 촬영 영역 내 식물의 위치가 고정되어 있기 때문에 촬영 위치를 기반으로 영상을 픽셀 단위로 나누어 분할할 수 있다.
전처리 모듈(1222)은 상기 분할된 식물 영상을 흑백영상으로 변환하고 잡음을 제거한다(S12).
이 때, 상기 식물 영상을 흑백영상으로 바꾸는 이유는 영상에서 잎사귀 부분을 추출할 때 정확한 윤곽선을 찾기 위한 전처리 과정이다.
잡음을 제거하는 방법은 마스크 필터(예; 가우시안 필터, 미디언 필터 등)를 이용하여 회선 값을 구하면 된다. 잡음이 제거 되면 도 4의 S121-3 단계와 같이 영상이 부옇게 변하게 된다.
잎사귀 검출 모듈(1223)은 전처리 모듈(1222)에서 뿌옇게 흐려진 영상의 경계선을 이용하여 잎사귀를 검출하고, 전처리 과정에서 흑백영상으로 변환한 것을 다시 컬러영상으로 전환한다(S13).
여기서, 상기 경계선이란 일반적으로 영상에서 밝기가 급격하게 변하는 부분이다. 이처럼 밝기의 급격한 변화를 정확하게 추출하기 위해서 이전 단계의 전처리 모듈(1222)에서 흑백영상으로 변환을 한 것 이다.
또한, 상기 전처리 모듈(1222)에서는 뿌옇게 변한 영상에 캐니(Canny) 알고리즘을 적용할 수 있다.
그러므로, 잎사귀 검출 모듈(1223)에서는 경계선 추출 알고리즘에서 뛰어난 효과가 있다고 알려진 캐니 에지 검출기(Canny Edge Detector)를 이용해 나뭇잎과 줄기만을 추출할 수 있다.
이처럼, 잎사귀 검출 모듈(1223)에서 잎사귀와 줄기의 경계선을 추출하면, 그 픽셀의 위치를 기반으로 도 5의 S121-5단계와 같이 그 잎사귀 영역의 픽셀에 해당하는 색상을 검출할 수 있다.
특징 추출 모듈(1224)은 검출된 잎사귀의 크기와 색상을 포함하는 특징 정보를 추정한다(S14).
특징 추출 모듈(1224)은 도 4의 S121-5단계에서 추출된 잎사귀 영상에서 잎의 가로(x)와 세로(y)의 길이를 구하기 위해서 경계선 각각의 끝과 끝을 연결한 직선의 길이를 구해준다. 이 때, 구해진 가로(x)와 세로(y)의 길이는 잎사귀의 2D 영상에서 두 픽셀 간(즉, 가로나 세로의 양단 픽셀 사이)의 거리이다.
특징 추출 모듈(1224)은 상기 구해진 픽셀간의 거리를 다음의 수학식 1에 의해 실제 식물 잎사귀 크기(넓이)를 구할 수 있다.
Figure pat00001
여기서, D1은 실제 잎사귀의 가로의 길이이며, D2는 실제 잎사귀의 세로의 길이, n은 영상 수집부(121)에서 표본화된 사용자가 임의로 정한 영상 수, P1i은 영상에서의 i-번째 잎의 가로(x) 길이, P2j는 영상에서의 j-번째 세로(y) 길이 및 K는 실제 토지의 길이와 영상에서의 토지 길이의 기울기를 의미한다.
특징 추출 모듈(1224)은 상기 수학식 1을 통해 영상의 가로(x)와 세로(y)에 K를 곱하여 모두 더해주고 표본화 수(N)만큼 나누어 실제 잎사귀의 가로(x)와 세로(y)의 길이를 추정할 수 있다.
한편, 도 5 및 도 6을 통해 상기 K 값을 구하는 과정을 설명한다.
도 5는 본 발명의 실시 예에 따른 고정 카메라가 식물을 촬영하는 측면도를 나타낸다.
도 6은 본 발명의 실시 예에 따른 카메라의 설치 시점에서 식물을 촬영하는 평면 영역을 나타낸다.
첨부된 도 5 및 도 6을 참조하면, 카메라(111)에서 촬영되는 영상의 정확한 중심점을 표시하기 위하여 식물이 심어지는 지면의 중앙에 T자 모형(11)을 설치한다. 그리고, 카메라(111)는 T자 모형(11)의 중심점과 수직이 되는 위치에 고정 설치한다.
위와 같이 카메라(111)가 T자 모형(11)에 수직으로 설치된 상태에서, T자 모형(11)의 중심점 픽셀과 영상의 끝부분 픽셀과의 길이(d)를 구한다.
이 때, 영상에서 T자 모형(11)의 중심점 픽셀로부터 상기 영상의 끝부분 픽셀까지의 최대 길이(d)를 동일한 지점의 실제 토지의 길이로 나누면 상기 K 값을 구할 수 있다.
이를 통해, 실제 토지의 길이를 카메라(111)의 화각을 이용해 측정할 수 있다. 상기 화각은 카메라(111)의 렌즈가 한 영상을 담을 수 있는 각도이다.
한편, 도 7은 본 발명의 실시 예에 따른 잎사귀의 색상을 추출하는 방법을 설명하기 위한 도면이다.
첨부된 도 7을 참조하면, 일반적으로 영상의 색상모델은 RGB모델이다.
위 전처리 모듈(1222) 및 잎사귀 검출 모듈(1223)의 처리과정을 통해 RGB 모델로 표현된 영상(210)은 각 픽셀마다 적색(Red, R), 녹색(Green, G), 청색(Blue, B)의 픽셀 값[R,G,B]을 갖는다.
특징 추출 모듈(1224)은 배경이 제거된 식물의 잎사귀 영상(210)에서 녹색 값[G]만 추출하여 재구성된 영상(220)을 생성한다. 그리고, 녹색 픽셀 값으로만 재구성된 영상(220)의 모든 픽셀 값들을 더하여 총 녹색 픽셀 값의 총합(230)들을 사용자가 정의한 n개로 나누어 평균 녹색 픽셀 값을 구한다.
특징 추출 모듈(1224)은 위와 같은 방식으로 잎사귀의 가로(x)와 세로(y) 길이, 녹색 픽셀 값[G]을 구하여 환경요인과 함께 경고 알림 전송부(123)와 서버(130)로 전달할 수 있다.
한편, 경고 알림 전송부(123)는 영상 처리부(122)로부터 수집된 특징정보인 잎의 가로와 세로 길이, 녹색 값을 이전에 수집된 잎의 값과 비교하여 각각의 차이 값을 계산하고, 기준 이상의 차이 값이 발생된 이상현상을 발견하면 그 이상현상 이벤트 경고 및 분석을 요청할 수 있다.
식물은 고정된 장소에서 성장하는 특성상 정상적인 잎의 가로와 세로 길이, 녹색 값이 그대로 유지될 수는 있으나 그 이전보다는 줄어들 수 없다.
그러므로, 경고 알림 전송부(123)는 상기 현시점에 수집된 잎의 가로와 세로 길이, 녹색 값의 정보와 이전에 수집된 잎의 정보의 차이로 식물의 이상현상을 감지할 수 있다.
이 때, 상기 잎의 가로와 세로 길이, 녹색 값의 특징정보는 모두 영상 수집부(121)에서 표본화한 여러 영상들의 평균이기 때문에 환경요인이나 영상의 잡음으로 인한 오류 값을 방지할 수 있다.
한편, 도 8은 본 발명의 실시 예에 따른 식물병이 진행된 잎의 영상을 분석하는 과정을 나타낸다.
첨부된 도 8을 참조하면, 식물이 잎을 갉아먹는 벌레 등에 습격을 받게 되면 잎의 가로(x) 길이 또는 세로(y) 길이가 줄어드는 변화가 발생될 수 있다.
또한, 병충해에 의해 잎이 갉아 먹히지 않아도 배설물이나 알 등으로 잎의 색상에 변화가 나타난다.
이처럼 어느 이유로 잎의 변화가 발생되면, 특징 추출 모듈(1224)에서 추정된 잎의 크기(가로와 세로의 길이)와 색상 값들에 변화가 나타나고, 경고 알림 전송부(123)는 사용자에게 경고등(113)이나 알림 메시지를 통해 경고한다.
또한, 경고 알림 전송부(123)는 환경요인 데이터에서 급격한 변화가 나타나는 경우에도 경고할 수 있다.
또한, 경고 알림 전송부(123)는 경고 알림을 전송 후 분석된 영상과 환경요인을 서버(130)의 데이터 구성부(131)로 전달하여 분석을 요청할 수 있다.
한편, 도 9는 본 발명의 실시 예에 따른 서버의 합성곱 신경망 구조를 개략적으로 나타낸다.
첨부된 도 9를 참조하면, 본 발명의 실시 예에 따른 서버(130)의 데이터 구성부(131)는 경고 알림 전송부(123)으로부터 전달된 식물의 특징정보와 환경요인을 묶어 새로운 분석 데이터 형태로 구성한다.
기존의 합성곱 신경망을 이용한 영상 분석에서는 영상 데이터만을 입력으로 받아 분석함으로써 식물병 감지 오류 및 정확한 식물병을 판단하는데 한계가 있었다.
하지만, 식물 영상 분석에서는 환경요인이 식물병 종류에 따라 식물병 발병에 지대한 영향을 준다. 예를 들어, 배추 뿌리혹병균은 토양 내에서 미세근을 통해 병이 진전되기 때문에 뿌리혹병균을 판단할 때 토양의 수분은 중요한 요인이다.
그러므로, 위와 같은 점을 고려하여, 본 발명의 실시 예의 데이터 구성부(131)는 영상의 픽셀 값, 특징정보 및 환경요인을 활용하여 식물병 감지 정확도를 높일 수 있는 새로운 분석 데이터 형태로 생성하여 감염 판단부(132)의 합성곱 신경망 분석을 위한 입력 데이터로 제공한다.
감염 판단부(132)는 데이터 구성부(131)에서 제공되는 새로운 형태의 분석 데이터를 딥러닝 기반 합성곱 신경망을 이용하여 현재 식물이 어떤 식물병에 감염되었는지 판별할 수 있다.
여기서, 상기 합성곱 신경망은 감염 분석을 위해 미리 식물병 모델을 식물의 종류에 따라 다르게 훈련하여, 미리 학습된 분석데이터를 구축한다.
즉, 상기 합성곱 신경망은 식물마다 발병률이 높은 식물병을 결과 값으로 두고 감염된 영상들과 식물병이 발병 했을 때에 환경요인을 미리 훈련시켜 모델을 생성할 수 있다.
이를 통해, 감염 판단부(132)의 합성곱 신경망은 영상이 입력되면 특징 추출 모듈(1321)에서 콘볼루션과 샘플링을 반복하여 해당 영상의 특징을 추출한다. 여기서, 상기 입력 영상은 게이트웨이(120)에서 잎사귀의 이상현상 발생 이벤트에 따라 감염 판단이 요청된 영상일 수 있다.
특히, 감염 판단부(132)는 특징정보 및 환경요인 데이터를 조합하여 새로운 형태로 구성된 분석 데이터(1322)를 입력하여, 분류 모듈(1323)에서 영상 특징 정보와 분석 데이터를 통합하여 미리 훈련된 결과로 식물의 감염 결과를 분류한다.
한편, 전술한 식물병 감지 시스템(100)의 구성을 바탕으로 본 발명의 실시 예에 따른 식물병 감지(분석) 방법을 설명한다.
이하, 설명되는 식물병 감지 방법은 각 단계의 주체를 식물병 감지 시스템(100)의 세부 구성으로 하여 간단히 설명하되, 그 상세한 구현은 전술한 설명으로부터 뒷받침될 수 있다.
또한, 각 단계의 주체인 세부 구성들은 식물병 감지 시스템(100)을 이루는 요소들이므로 식물병 감지 방법의 주체가 식물병 감지 시스템(100)이 될 수 있음은 자명하다.
도 10은 본 발명의 실시 예에 따른 식물병 감지 시스템의 식물병 분석 방법을 개략적으로 나타낸 흐름도이다.
첨부된 도 10을 참조하면, 게이트웨이(120)의 영상 수집부(121)는 카메라(111)로부터 수집된 실시간 비디오 영상에서 사용자가 정의한 프레임 레이트 단위로 영상을 추출한다(S110). 이 때, 수집부(121)는 추출된 영상들을 표본화(Sampling)하여 그 수집된 시간에 맞는 환경요인과 함께 영상 처리부(122)로 전달할 수 있다.
게이트웨이(120)의 영상 처리부(122)는 영상 수집부(121)로부터 전달되는 각 입력영상으로부터 각 식물영상을 추출한다(S120).
게이트웨이(120)의 영상 처리부(122)는 상기 각 식물 영상을 흑백영상으로 변경하는 전처리 과정을 통해 잡음을 제거한다(S130).
게이트웨이(120)의 영상 처리부(122)는 잡음이 줄어든 각 영상에서 영상의 강도가 급격하게 변하는 경계선을 찾아 잎사귀를 검출한다(140).
게이트웨이(120)의 영상 처리부(122)는 검출된 잎사귀로부터 그 크기와 색상을 포함하는 특징 정보를 추출한다(S150).
여기서, 잎사귀의 크기는 잎사귀의 가로(x) 길이와 세로(y) 길이를 포함하며, 상기 색상은 잎사귀의 평균 녹색 픽셀 값으로 추출될 수 있다.
그리고, 게이트웨이(120)의 영상 처리부(122)는 위와 같은 방식으로 추출된 특징정보와 그 환경요인을 함께 경고 알림 전송부(123)와 서버(130)로 전달할 수 있다.
게이트웨이(120)의 경고 알림 전송부(123)는 영상 처리부(122)에서 추출된 특징정보와 이전에 수집된 특징정보를 비교하여 그 차이 값 발생에 따른 이상현상을 발견 시 이상현상 이벤트 경고 및 분석을 요청한다(S160).
서버(130)의 데이터 구성부(131)는 경고 알림 전송부(123)으로부터 전달된 식물의 특징정보와 환경요인을 묶어 새로운 분석 데이터 형태로 구성한다(S170).
서버(130)의 감염 판단부(132)는 분석 데이터를 딥러닝 기반 합성곱 신경망을 이용하여 현재 식물이 어떤 식물병에 감염되었는지 판별한다(S180).
이 때, 서버(130)의 감염 판단부(132)는 감염된 것으로 판단된 식물의 위치, 감염범위, 분석결과에 따른 식물병 이름 및 대처방안 등의 리포팅 데이터를 생성하여 사용자 단말기로 즉시 전송할 수 있다.
이를 통해 스마트팜이나 농장운영에 초보적인 사용자의 식물병 감염에 대한 대처 및 의사결정을 제공할 수 있는 이점이 있다.
이와 같이, 본 발명의 실시 예에 따르면, 대형 스마트팜(농장)에 적용된 수많은 카메라에서 출력되는 영상을 게이트웨이를 통해 분산 처리함으로써 안정적으로 식물병 감지를 위한 농장 시스템을 운영할 수 있는 효과가 있다.
또한, 식물병 감지를 위해 식물의 영상뿐 아니라 식물의 영상에서 분석된 특징정보와 환경요인을 고려하여 새로운 형태로 구성된 분석 데이터를 활용함으로써 식물병의 감지 및 그 식물별 판단 결과의 정확도를 향상시킬 수 있는 효과가 있다.
이상에서는 본 발명의 실시 예에 대하여 설명하였으나, 본 발명은 상기한 실시 예에만 한정되는 것은 아니며 그 외의 다양한 변경이 가능하다.
예컨대, 도 7을 통해 설명된 본 발명의 실시 예에서는 배경이 제거된 식물의 잎사귀 영상(210)에서 녹색 값[G]만 추출하여 재구성된 영상(220)을 생성하고, 그 평균 녹색 픽셀 값의 입사귀 영상 특징정보를 추출하는 것으로 설명하였으나 이에 한정되지 않고, 같은 방식으로 다른 색상의 평균 픽셀 값을 더 추출할 수 있다.
따라서, 녹색의 식물뿐 아니라, 종자에 따라 녹색이 아닌 고유 색상의 잎을 가진 식물의 잎이나 식물의 열매에 대해서도 그 특징정보를 추출하고, 이를 이용하여 앞서 설명된 이상현상 발견 및 분석 데이터를 구성할 수 있는 이점이 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 식물병 감지 시스템 110: 감시 장치
111: 카메라 112: 환경 센서
113: 경고등 120: 게이트웨이
121: 영상 수집부 122: 영상 처리부
123: 경고 알림 전송부 130: 서버
131: 데이터 구성부 132: 감염 판단부

Claims (1)

  1. 농장 내 복수로 배치된 카메라를 통해 식물을 촬영하고 환경센서를 통해 식물의 환경요인 데이터를 측정하는 감시 장치;
    지역별로 배치되어 복수의 카메라로부터 수집된 비디오에서 소정 프레임 레이트 단위로 영상을 추출하고, 상기 영상의 전처리를 통해 추출된 식물의 특징정보에서 이상현상이 발견되면 이벤트 경고를 발생하는 게이트웨이; 및
    상기 이벤트 경고에 따라 게이트웨이에서 요청된 상기 특징정보와 환경요인을 이용해 분석 데이터를 구성하고, 상기 영상과 분석 데이터의 입력으로 합성곱 신경망을 통해 식물의 감염을 판단하는 서버
    를 포함하는 식물병 감지 시스템.
KR1020160135952A 2016-10-19 2016-10-19 식물병 감지 시스템 및 그 방법 KR20180043082A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160135952A KR20180043082A (ko) 2016-10-19 2016-10-19 식물병 감지 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160135952A KR20180043082A (ko) 2016-10-19 2016-10-19 식물병 감지 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20180043082A true KR20180043082A (ko) 2018-04-27

Family

ID=62081446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160135952A KR20180043082A (ko) 2016-10-19 2016-10-19 식물병 감지 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20180043082A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210434A (zh) * 2019-06-10 2019-09-06 四川大学 病虫害识别方法及装置
CN110367007A (zh) * 2019-08-26 2019-10-25 长春光华学院 一种玉米病虫害监测及预警控制方法
CN111967357A (zh) * 2020-08-05 2020-11-20 茅台学院 一种基于机器视觉的高粱病害智能识别***及识别方法
CN114972852A (zh) * 2022-05-12 2022-08-30 中国农业大学 一种植物叶部多种病害检测方法及相关设备
KR20240052475A (ko) 2022-10-14 2024-04-23 한국과학기술연구원 뿌리썩음병 검출 장치 및 방법
CN118097535A (zh) * 2023-12-26 2024-05-28 重庆市农业科学院 一种茶园绿盲蝽智能化监测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210434A (zh) * 2019-06-10 2019-09-06 四川大学 病虫害识别方法及装置
CN110367007A (zh) * 2019-08-26 2019-10-25 长春光华学院 一种玉米病虫害监测及预警控制方法
CN111967357A (zh) * 2020-08-05 2020-11-20 茅台学院 一种基于机器视觉的高粱病害智能识别***及识别方法
CN114972852A (zh) * 2022-05-12 2022-08-30 中国农业大学 一种植物叶部多种病害检测方法及相关设备
KR20240052475A (ko) 2022-10-14 2024-04-23 한국과학기술연구원 뿌리썩음병 검출 장치 및 방법
CN118097535A (zh) * 2023-12-26 2024-05-28 重庆市农业科学院 一种茶园绿盲蝽智能化监测方法

Similar Documents

Publication Publication Date Title
KR20180043082A (ko) 식물병 감지 시스템 및 그 방법
CN106971167B (zh) 基于无人机平台的作物生长分析方法及其分析***
Liu et al. A computer vision system for early stage grape yield estimation based on shoot detection
Chen et al. Real-time grain impurity sensing for rice combine harvesters using image processing and decision-tree algorithm
Nuske et al. Yield estimation in vineyards by visual grape detection
KR101118245B1 (ko) 과수재배 현장에서 촬영된 이미지로부터 해충의 종류 및 분포를 분석하는 병해충 관리 시스템
KR20150000435A (ko) 작물 생장 단계 인식 및 환경 제어 시스템 및 그 방법
Diago et al. On‐the‐go assessment of vineyard canopy porosity, bunch and leaf exposure by image analysis
EP3868202B1 (en) Method and apparatus for determining an index of insect biodiversity
WO2018120634A1 (zh) 病虫害识别方法及装置
Grocholsky et al. A camera and laser system for automatic vine balance assessment
KR101944374B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
Haas-Stapleton et al. Assessing mosquito breeding sites and abundance using an unmanned aircraft
Long et al. Row and water front detection from UAV thermal-infrared imagery for furrow irrigation monitoring
CN114460080A (zh) 一种水稻病虫智能监控***
CN105427279A (zh) 一种基于计算机视觉及物联网的草原旱情监测***和方法
KR102478723B1 (ko) 농작물 병충해 모니터링 방법 및 농작물 병충해 모니터링 시스템
WO2020172546A1 (en) Machine vision sensor system for optimal growing conditions
Kırcı et al. Vegetation measurement using image processing methods
FAISAL A pest monitoring system for agriculture using deep learning
WO2019244156A1 (en) System for in-situ imaging of plant tissue
Joshi et al. Detection and classification of plant diseases using soft computing techniques
US20230360189A1 (en) Method and system of analyzing plant image data and projecting plant growth and health status
Bagha et al. IoT-based plant health analysis using optical sensors in precision agriculture
Brown et al. Machine vision for rat detection using thermal and visual information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application