KR101986418B1 - An integrated system for searching plant diseases and insect pests - Google Patents
An integrated system for searching plant diseases and insect pests Download PDFInfo
- Publication number
- KR101986418B1 KR101986418B1 KR1020170107135A KR20170107135A KR101986418B1 KR 101986418 B1 KR101986418 B1 KR 101986418B1 KR 1020170107135 A KR1020170107135 A KR 1020170107135A KR 20170107135 A KR20170107135 A KR 20170107135A KR 101986418 B1 KR101986418 B1 KR 101986418B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pest
- similarity
- query
- query image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G06K9/4609—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
일 실시예에 따른 병해충 검색 시스템에 의해 수행되는 병해충 검색 방법은, 이미지가 입력됨을 수신함에 따라 질의 이미지로 인식하는 단계; 상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계; 및 상기 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공하는 단계를 포함할 수 있다. The pest detection method performed by the pest detection system according to an exemplary embodiment of the present invention includes: recognizing input of an image as a query image upon receipt; Obtaining similarity image and pest information from the query image; And outputting a pest outcome result including pest information on the query image, and selectively providing a pest image related to the similarity image or the pest information obtained from the query image.
Description
아래의 설명은 병해충 검색을 위한 시스템 및 방법에 관한 것이다.
The following description relates to a system and method for pest detection.
현재 농업인 및 농업 비전문가들이 병해충을 시기적절 하게 판단하고 알맞은 처방을 할 수 있는 병해충 관리 시스템이 부족한 실정이다. 농가에서는 병해충이 의심될 경우 정확한 확인을 위해 전문가에게 의뢰해야 하고, 이는 상당한 시간이 소요되기 때문에 농민이 정확한 병해충의 종류 및 방법을 중요한 시기에 전달받지 못하는 문제가 빈번하게 발생한다. 이러한 문제를 극복하기 위해 실시간으로 병해충 검색 및 처방을 받을 수 있는 병해충 진단 시스템이 제안되었다. Currently, farmers and non-agricultural farmers are lacking a pest management system that allows timely assessment of pests and appropriate prescription. In case of suspected pests, the farmer should ask the experts for accurate confirmation, which takes a considerable amount of time and often causes farmers to fail to receive the correct types and methods of pests. In order to overcome these problems, a pest diagnosis system capable of searching and prescribing pests in real time has been proposed.
한국공개특허 제10-2011-0067791호는 작물의 병해충 진단 시스템 및 그 방법에 관한 것으로, 벡터를 사용하여 이미지를 매칭함으로써 병해충을 진단하고 있다. 기존 시설원예작물의 농작물 병해충 진단 연구가 다수 이루어지고 있으며 관련 시스템도 계속해서 개발되고 있으나 각각의 시스템은 실시간으로 병해충을 진단하기 어렵거나 다양한 작물에 적용되는 대신 정확도가 낮고 정확도가 높은 경우 작물의 적용 범위가 좁다는 문제점이 있다.
Korean Patent Laid-Open No. 10-2011-0067791 relates to a system and a method for diagnosing a pest insect of a crop, and the pest is diagnosed by matching an image using a vector. There are many researches on crop pests of existing horticultural crops, and related systems are being developed continuously. However, each system is difficult to diagnose pests in real time or applied to various crops. Instead, the accuracy is low. There is a problem that the range is narrow.
유사도 기반의 이미지 검색 기술과 영상 인식 기술을 결합한 병해충 검색 시스템 및 방법을 제공할 수 있다.
It is possible to provide a pest detection system and method that combines an image search technology based on the similarity and an image recognition technology.
병해충 검색 시스템에 의해 수행되는 병해충 검색 방법은, 이미지가 입력됨을 수신함에 따라 상기 이미지를 질의 이미지로 인식하는 단계; 상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계; 및 상기 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공하는 단계를 포함할 수 있다. A pest detection method performed by a pest detection system comprises: recognizing the image as a query image upon receiving an input of an image; Obtaining similarity image and pest information from the query image; And outputting a pest outcome result including pest information on the query image, and selectively providing a pest image related to the similarity image or the pest information obtained from the query image.
상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공하는 단계는, 상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명을 제공하는 단계를 포함할 수 있다. Optionally providing a similarity image obtained from the query image or a pest image associated with the pest information may comprise providing the query image with a pest name obtained from the query image.
상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공하는 단계는, 상기 병해충명에 기반하여 검색된 병해충 이미지들을 제공하고, 상기 병해충 이미지들 중 선택된 병해충 이미지에 대응되는 병해충 상세 정보를 제공하는 단계를 포함할 수 있다. Selectively providing a similarity image obtained from the query image or a pest image related to the pest information, the method comprising: providing pest images retrieved based on the pest name, and displaying a pest detail corresponding to a selected pest image And providing information.
상기 질의 이미지로부터 획득된 유사도 이미지 및 병해충 정보를 포함하는 병해충 결과를 출력하는 단계는, 상기 질의 이미지에 대하여 유사도 기반의 이미지 검색을 통하여 검색된 유사도 이미지들을 유사도가 높은 순서로 정렬하여 제공하고, 상기 유사도 이미지들 중 선택된 유사도 이미지에 대응하는 병해충 상세 정보를 제공하는 단계를 포함할 수 있다. Wherein the step of outputting the pest control result including the similarity image and the pest control information obtained from the query image includes arranging the similarity images retrieved through the image search based on the similarity degree with respect to the query image in the order of high similarity, And providing the pest detail information corresponding to the selected similarity image among the images.
상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계는, 상기 질의 이미지로부터 특징점을 추출하고, 상기 추출된 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색하는 단계를 포함할 수 있다. Wherein the step of acquiring the similarity image and the pest information from the query image comprises the steps of: extracting a feature point from the query image, calculating a similarity with the previously stored pest image based on the extracted feature point, and searching for a similarity image .
상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계는, 상기 질의 이미지에 대한 영상 처리를 수행한 후 기계 학습에 기반하여 영상을 인식시킴으로써 병해충명을 포함하는 병해충 정보를 획득하는 단계를 포함할 수 있다. Acquiring the similarity image and the pest information from the query image may include acquiring pest information including a pest name by performing image processing on the query image and recognizing the image based on the machine learning have.
상기 이미지가 입력됨을 수신함에 따라 질의 이미지로 인식하는 단계는, 기 저장된 이미지들로부터 선택된 이미지 또는 카메라를 통하여 촬영함에 따라 획득된 이미지에서 병해충 부위로 의심되는 부분을 편집하여 입력하는 단계를 포함할 수 있다. The step of recognizing the input image as a query image upon receipt may include the step of editing and inputting a part suspected to be a pest region in the image selected from the previously stored images or the image obtained through the camera have.
상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공하는 단계는, 상기 질의 이미지로부터 검색된 병해충 정보와 관련된 이미지가 기 설정된 인식률 이하일 경우, 상기 질의 이미지로부터 획득된 유사도 이미지에 기반하여 병해충 결과를 제공하는 단계를 포함할 수 있다. Selectively providing a similarity image obtained from the query image or a pest image related to the pest information when the image related to the pest information retrieved from the query image is equal to or less than a predetermined recognition rate, And providing a pest outcome based on the results.
병해충 검색을 위한 병해충 검색 시스템은, 이미지가 입력됨을 수신함에 따라 상기 이미지를 질의 이미지로 인식하고, 상기 질의 이미지에 대한 병해충 결과를 출력하는 통합 모듈; 상기 질의 이미지에 대한 유사도 기반의 이미지 검색을 통하여 유사도 이미지를 획득하는 이미지 검색 모듈; 상기 질의 이미지에 대항 영상 처리를 수행하여 병해충 정보 및 상기 병해충 정보와 관련된 병해충 이미지를 획득하는 영상 인식 모듈; 및 상기 질의 이미지와 비교하기 위한 병해충 이미지 및 상기 병해충과 관련된 병해충 정보를 저장하는 데이터베이스를 포함할 수 있다. An integrated pest-inspecting system for pest detection, comprising: an integration module for recognizing the image as a query image upon receiving an input of an image, and outputting a pest result for the query image; An image retrieval module for retrieving a similarity image through similarity-based image retrieval with respect to the query image; An image recognition module for performing image processing on the query image to obtain a pest image related to the pest information and the pest information; And a database for storing pest image for comparison with the query image and pest information related to the pest.
상기 통합 모듈은, 상기 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공할 수 있다.The integration module may output a pest outcome that includes pest information for the query image, and may optionally provide a pest image related to the similarity image or the pest information obtained from the query image.
상기 통합 모듈은, 상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명을 출력하고, 상기 질의 이미지로부터 획득된 병해충명에 기반하여 검색된 병해충 이미지들을 제공하고, 상기 병해충 이미지들 중 선택된 병해충 이미지에 대응되는 병해충 상세 정보를 제공할 수 있다. The integration module outputs the pest name obtained from the query image to the query image, provides pest images retrieved based on the pest name obtained from the query image, and provides the pest images corresponding to the selected pest images Detailed information on pests can be provided.
상기 통합 모듈은, 상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명을 출력하고, 상기 질의 이미지에 대하여 유사도 기반의 이미지 검색을 통하여 검색된 유사도 이미지들을 유사도가 높은 순서로 정렬하여 제공하고, 상기 유사도 이미지들 중 선택된 유사도 이미지에 대응하는 병해충 상세 정보를 제공할 수 있다. Wherein the integration module outputs the pest name obtained from the query image to the query image, arranges the similarity images retrieved through the similarity-based image retrieval with respect to the query image in the order of high similarity, It is possible to provide pest detail information corresponding to the selected similarity image.
상기 이미지 검색 모듈은, 상기 질의 이미지로부터 특징점을 추출하고, 상기 추출된 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색할 수 있다. The image retrieval module may retrieve a similarity image by extracting a feature point from the query image and calculating and matching the similarity with the previously stored pest image based on the extracted feature points.
상기 영상 인식 모듈은, 상기 질의 이미지에 대한 영상 처리를 수행한 후 기계 학습에 기반하여 영상을 인식시킴으로써 병해충명을 포함하는 병해충 정보를 획득할 수 있다. The image recognition module may acquire pest information including a pest name by performing image processing on the query image and recognizing the image based on the machine learning.
상기 통합 모듈은, 기 저장된 이미지들로부터 선택된 이미지 또는 카메라를 통하여 촬영함에 따라 획득된 이미지에서 병해충 부위로 의심되는 부분을 편집하여 입력할 수 있다.
The integration module can edit and input a portion suspected to be a pest-resistant region in an image selected from pre-stored images or an image obtained by shooting through a camera.
일 실시예에 따른 병해충 검색 시스템은 유사도 기반의 이미지 검색 기술과 영상 인식 기술 결합하여 성능을 고도화시킴으로써 실시간으로 빠르고 정확하게 병해충명을 검색할 수 있고, 병해충명과 관련된 관리를 수행할 수 있다. The pest detection system according to one embodiment can rapidly and accurately search the pest name in real time by enhancing the performance by combining the similarity-based image search technology and the image recognition technology, and can perform management related to the pest name.
일 실시예에 따른 병해충 검색 시스템은 모바일 기기를 사용해 다양한 작물의 병해충을 보다 정확하게 인식할 수 있는 병해충 검색을 위한 통합 서비스를 제공할 수 있다.
The pest detection system according to one embodiment can provide an integrated service for pest detection that can more accurately recognize pests of various crops using a mobile device.
도 1 은 일 실시예에 따른 병해충 검색 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 병해충 검색 시스템에서 병해충을 검색하는 방법을 설명하기 위한 흐름도이다.
도 3내지 도 10은 일 실시예에 따른 병해충 검색 시스템에서 병해충 검색을 위한 유저 인터페이스를 나타낸 예이다.
도 11은 일 실시예에 따른 병해충 검색 시스템에서 이미지 검색 모듈을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 병해충 검색 시스템의 이미지 검색 모듈에서 유사도 이미지를 판단하는 방법을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 병해충 검색 시스템에서 영상 인식 모듈을 설명하기 위한 도면이다. 1 is a block diagram illustrating a configuration of a pest-inspecting system according to an embodiment of the present invention.
2 is a flowchart illustrating a method for searching for a pest in a pest detection system according to an exemplary embodiment of the present invention.
3 to 10 are views showing an example of a user interface for pest detection in the pest detection system according to an embodiment of the present invention.
11 is a view for explaining an image search module in a pest detection system according to an embodiment.
12 is a view for explaining a method of determining a similarity image in the image search module of the pest detection system according to an embodiment.
13 is a view for explaining an image recognition module in the pest detection system according to an embodiment.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
도 1 은 일 실시예에 따른 병해충 검색 시스템의 구성을 설명하기 위한 블록도이다.1 is a block diagram illustrating a configuration of a pest-inspecting system according to an embodiment of the present invention.
병해충 검색 시스템은 유사도 기반의 이미지 검색 기술과 영상 인식 기반의 기술을 결합하여 통합적으로 병해충 검색을 제공하기 위한 것으로, 통합 모듈(110), 이미지 검색 모듈(120) 및 영상 인식 모듈(130)을 포함할 수 있다. The pest detection system includes an
이때, 병해충 검색 시스템은 데이터베이스(140)에 병해충 이미지를 저장하는 병해충 이미지 데이터베이스 및 병해충과 관련된 정보를 저장하는 병해충 정보 데이터베이스를 포함할 수 있다. 데이터베이스(140)는 병해충 이미지 데이터베이스 및 병해충 정보 데이터베이스를 통합 또는 별개로 관리할 수 있다. 또는, 데이터베이스(140)는 외부에서 제공하는 병해충 이미지 또는 병해충 정보를 불러와 저장할 수 있다. 예를 들면, 병해충 검색 시스템은 병해충 정보 데이터베이스에 저장된 병해충 정보에 기반하여 입력된 이미지로부터 병해충 정보를 획득할 수 있고, 병해충 이미지 데이터베이스에 저장된 병해충 이미지에 기반하여 입력된 이미지에 대한 유사도 이미지를 검색할 수 있다. At this time, the pest detection system may include a pest image database storing the pest image in the
통합 모듈(110)은 사용자로부터 입력된 이미지를 질의 이미지로 인식하고, 질의 이미지에 대한 병해충 결과를 출력할 수 있다. 이때, 통합 모듈(110)은 질의 이미지로부터 획득된 유사도 이미지 또는 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공할 수 있다.The
이미지 검색 모듈(120)은 질의 이미지에 대한 유사도 기반의 이미지 검색을 통하여 유사도 이미지를 획득할 수 있다. 이미지 검색 모듈(120)은 질의 이미지로부터 특징점을 추출하고, 추출된 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색할 수 있다. 도 11을 참고하면, 이미지 검색 모듈은 사용자가 병해충이 의심되는 이미지를 입력하면 유사한 유사도 이미지들을 출력할 수 있다(1110). 이미지 검색 모듈은 이미지에 대한 유사도 값을 구하기 위해 이미지 검색 라이브러리인 LIRE(Lucene Image Retrieval)을 사용할 수 있다. LIRE는 이미지에서 7가지 특징점을 추출한 후 각 특징점을 하나의 필드로 해서 색인 및 검색을 수행한다. 이때, LIRE 라이브러리를 사용하여 먼저 사용자 인터페이스를 통해 검색하고자 하는 이미지가 입력되면 일차적으로 이미지의 특징점들을 추출할 수 있다. 이미지 검색 모듈은 추출된 특징점들을 이용해 병해충 이미지 데이터베이스(1120)에 저장된 이미지들과의 유사도를 계산하고 매칭을 수행할 수 있다. 이때, 병해충 이미지 데이터베이스는 웹 크롤링, 이미지 검수 및 국립과학원예특작원에서 제공하는 데이터를 수집하여 저장할 수 있다(1130). 이미지 검색 모듈은 유사도가 높은 순으로 정해진 개수의 유사도 이미지들을 출력할 수 있다. 이미지 검색 모듈은 입력된 이미지에 대한 유사도 계산 및 매칭을 수행함에 따라 후보 이미지를 출력할 수 있고, 선택된 후보 이미지를 병해충 처방 데이터베이스(1140)에 기반하여 진단 및 처방을 수행할 수 있다(1150). The
도 12를 참고하면, 이미지 검색 모듈에서 유사도 이미지를 판단하는 방법을 설명하기 위한 도면이다. 이미지 검색 모듈은 각각의 작물에 최적화된 디스크립터(Descriptor)를 이용하여 사용한다. 디스크립터는 이미지의 특징 값을 표현하는 방법으로, 이미지 검색 모듈은 CEDD, ACC, SCH, FCTH, JCD, OH, SC, CL, EH, Tamura, Gabor, LL, PHOG, JH 14개의 디스크립터를 이용하여 입력된 이미지에 대한 유사도 이미지를 검색할 수 있다.12 is a diagram for explaining a method of determining a similarity image in the image search module. The image search module uses descriptors optimized for each crop. The descriptor is a method to express the feature value of the image. The image retrieval module uses 14 descriptors of CEDD, ACC, SCH, FCTH, JCD, OH, SC, CL, EH, Tamura, Gabor, LL, PHOG, It is possible to retrieve the similarity image with respect to the acquired image.
일례로, 데이터 셋(Data set)이 작기 때문에 테스트 데이터 셋을 별도로 작성하지 않기로 한다. 유사도 이미지를 검색할 때 입력된 이미지를 농작물 질병 데이터 셋(data set)에서 선택한다. 이때, 데이터 셋에서 선택된 이미지가 검색 결과에 동일한 이미지가 우선 출력되는 문제가 있다. 그러나 실제로 사진을 촬영하는 각도 빛의 세기 등의 원인으로 동일한 이미지가 존재하지 않는다. 이에 따라 검색한 이미지와 동일한 이미지는 검색 결과에서 제외할 수 있다. 이미지 검색 모듈은 데이터 셋에 존재하는 이미지를 인덱싱(indexing)하고 인덱싱한 결과를 인덱스 파일(index file)로 저장할 수 있다. 그리고, 14개의 디스크립터를 사용하여 입력된 이미지와 유사한 유사도 이미지를 검색할 수 있다. 이때, 각각의 이미지를 단일 디스크립터로 유사도 이미지 검색을 하는데 입력(input)된 이미지에서 디스크립터를 추출하고 인덱스 파일에서 검색할 수 있다. 그 후, 입력된 이미지와의 거리 값을 계산하여 계산된 거리 값을 저장한다. 도 12는 이러한 방법으로 14개의 디스크립터를 단독으로 사용하여 계산한 이미지들 사이의 거리 값을 나타낸 것이다. 'Img'는 입력된 이미지를 나타내며 'Similar_img' 는 검색된 유사도 이미지이다. 'Distance descriptor ' 는 14개의 디스크립터에서 하나를 선택하여 사용하였을 때 입력된 이미지와 검색된 유사도 이미지 사이의 거리 값이다. 'Distance descriptor '의 값은 작을수록 입력된 이미지와 검색된 유사도 이미지가 더 유사하다는 것을 의미한다. 이에 따라 사용자에게 유사도 이미지를 출력할 때 거리 값이 작은 것부터 출력할 수 있다. For example, the test data set is not created separately because the data set is small. When searching for a similarity image, the input image is selected from the crop disease data set. At this time, there is a problem that the same image is output first in the search result of the image selected in the data set. However, the same image does not exist due to the intensity of the angular light that actually takes a picture. Accordingly, the same image as the retrieved image can be excluded from the retrieval result. The image retrieval module can index the image existing in the data set and store the indexed result as an index file. The similarity image similar to the input image can be retrieved by using 14 descriptors. In this case, the similarity image search is performed by using a single descriptor for each image, and the descriptor can be extracted from the input image and retrieved from the index file. Thereafter, the distance value to the input image is calculated and the calculated distance value is stored. Figure 12 shows the distance values between images calculated using 14 descriptors alone in this way. ' Img ' represents the input image and ' Similar_img ' is the similarity image searched. ' Distance descriptor ' is the distance value between the input image and the retrieved similarity image when one of 14 descriptors is selected and used. The smaller the value of ' Distance descriptor ', the more similar the input image and the similarity image searched. Accordingly, when outputting the similarity image to the user, it is possible to output the image having a small distance value.
영상 인식 모듈(130)은 질의 이미지에 대한 영상 처리를 수행하여 병해충 정보를 획득할 수 있다. 영상 인식 모듈(130)은 병해충 정보에 기반하여 검색된 병해충 이미지들을 획득할 수 있다. 영상 인식 모듈(130)은 질의 이미지에 대한 영상 처리를 수행한 후 기계 학습에 기반하여 영상을 인식시킴으로써 병해충명을 포함하는 병해충 정보를 획득할 수 있다. 도 13을 참고하면, 영상 인식 모듈이 수행하는 과정을 크게 네 가지 단계로 구분할 수 있다. 우선적으로, 사용자가 선택한 병해충으로 의심되는 이미지를 입력 값으로 받을 수 있다. 영상 인식 과정 전에 먼저 영상 처리 작업을 거치는데, 영상 인식 과정 중 기계 학습에서 이미지를 일괄적으로 처리할 수 있도록 이미지 변환 및 특징점 추출 등 이미지 전처리 작업을 수행할 수 있다. The
그리고 영상 인식 과정에서 CNN을 사용할 수 있다. CNN은 기계학습 중 딥러닝 알고리즘 중 하나로 사람의 신경망 구조를 모델링하여 만들어진 딥러닝 알고리즘에 영상 처리를 위한 컨볼루션(Convolution) 연산을 접목한 것으로서, 상기 알고리즘을 사용하여 이미지가 들어왔을 때 스스로 특징점을 찾아내 비교하고 어떤 병해충인지 판단하여 병해충명을 출력하게 된다. 영상 인식 모듈에 사용된 딥러닝 알고리즘 CNN은 Convolution layer와 Pooling layer의 반복으로 특징을 추출하고, 마지막에 Fully connected layer를 통해 분류하게 된다. CNN can be used in the image recognition process. CNN is one of the deep learning algorithms during machine learning. It is a combination of deep learning algorithms modeling human neural network structure and convolution for image processing. By using the above algorithm, And compares them to determine what kind of pests there are, and outputs a pest name. The deep learning algorithm CNN used in the image recognition module extracts features by repetition of the convolution layer and the pooling layer and finally classifies it through the fully connected layer.
영상 인식 모듈의 구조는 도 13과 같다. 총 12개 레이어(layer)이며 Convolution layer와 Max pooling layer의 반복과정에서 자질을 줄여가며 특징을 추출한다. 그리고 Fully connected layer에서 분류하게 되는데 overfitting을 방지하고 성능을 높이기 위한 정규화의 방법으로 Drop out 기능을 부여하였다. Drop out의 threshold 값으로 0.5를 주어, 50% 확률로 노드들을 떨어뜨리면서(drop out) 학습하여 다양한 모델에 대한 학습효과를 갖게 된다. 도 13에서 W x H x C는 각 입력 데이터의 가로, 세로, 채널 수(처음의 3인 경우 RGB, 이후 특징맵 수)를 의미하며 F, P, O는 각각 필터 크기, 패딩 크기, 특징맵 수를 의미한다. 첫 번째 Convolution layer에서는 11x11 크기의 마스크로 특징을 추출하며 zero padding으로 수행한다. 이후 Max pooling layer에서는 2x2 마스크로 pooling을 수행하는데 마스크 내의 자질 중 큰 값을 가져오면서 사이즈를 가로, 세로 각 절반으로 줄인다. 다음 Convolution layer에서는 5x5 마스크를 사용해서 16개의 특징맵을 출력해내면서 위와 같은 과정을 4번 더 반복한다. 마지막 Max pooling layer에서는 4x4 크기의 특징맵 128개가 입력 데이터가 되어 2x2 크기의 특징맵 128개를 출력하고 Fully connected layer에서 512개의 노드로 입력데이터가 된다. Drop out을 통해 정규화를 하게 되며 마지막으로 7개의 노드가 출력됨으로써 7가지의 병해를 분류하게 된다. 학습 시 사용되는 역전파(Backpropagation)는 Feed forward와 Backpropagation 두 과정을 통해 가중치와 바이어스 값을 갱신한다. 먼저, Feed forward 단계에서는 훈련 데이터와 가중치를 곱하여 기대 오차를(loss function) 도출한다. 다음으로, Backpropagation단계에서는 오차 값을 이용해 가중치와 바이어스 값을 갱신한다. 이 과정을 반복적으로 이용하면 오차가 줄어들게 되는데, 이는 학습이 잘 이루어진다는 것을 의미한다.The structure of the image recognition module is shown in FIG. It is a total of 12 layers and features are extracted by reducing qualities in the iteration process of Convolution layer and Max pooling layer. And it is classified in the Fully connected layer. The dropout function is given as a normalization method to prevent overfitting and improve performance. By dropping out the nodes at a probability of 50% by giving 0.5 as a threshold value of dropout, learning effect on various models is obtained. In FIG. 13, W x H x C denotes the number of horizontal, vertical, and channel numbers of the input data (RGB for the first three, and then the number of feature maps), and F, P, and O denote the filter size, Means number. In the first convolution layer, feature extraction is performed with an 11x11 mask and zero padding is performed. Then, in the Max pooling layer, the pooling is performed with the 2x2 mask, and the size is reduced to half of the width and height while taking a large value among the qualities in the mask. In the next convolution layer, the above process is repeated four more times while outputting 16 feature maps using a 5x5 mask. In the last Max pooling layer, 128 feature maps of size 4x4 are input data, 128 feature maps of 2x2 size are output, and input data is input to 512 nodes in Fully connected layer. The normalization is performed through dropout. Finally, seven nodes are output, so that seven kinds of diseases are classified. The backpropagation used in learning updates the weight and bias value through two steps of feed forward and back propagation. First, in the feed forward step, the loss function is derived by multiplying the training data by the weight. Next, in the backpropagation step, the weight and the bias value are updated using the error value. Repeated use of this process will reduce errors, which means that learning is well done.
도 2는 일 실시예에 따른 병해충 검색 시스템에서 병해충을 검색하는 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating a method for searching for a pest in a pest detection system according to an exemplary embodiment of the present invention.
단계(210)에서 병해충 검색 시스템은 이미지가 입력됨을 수신함에 따라 입력된 이미지를 질의 이미지로 인식할 수 있다. 사용자는 병해충으로 의심이 되는 작물 사진을 단말의 카메라를 통해 찍을 수 있고, 혹은 로컬(Local) 파일시스템에서 이미지를 선택할 수 있다. 다시 말해서, 예를 들면, 사용자는 단말을 통하여 단말에 저장된 이미지를 선택할 수 있고, 사용자는 단말의 카메라를 실행시켜 직접 촬영함에 따라 획득된 이미지를 선택할 수 있다. 이때, 획득된 이미지에서 병해충 부위로 의심되는 부분을 편집하여 입력될 수 있다. In
단계(220)에서 병해충 검색 시스템은 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득할 수 있다. 병해충 검색 시스템은 질의 이미지로부터 특징점을 추출하고, 추출된 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색할 수 있다. 예를 들면, 단계(210)에서 병해충 검색 시스템은 선택된 이미지를 별도의 웹 서버(Web Server)에 전송하여 업로드될 수 있다. 서버에 업로드된 이미지는 LIRE라이브러리를 통해 데이터베이스에 존재하는 복수의 병해충 이미지와의 유사도를 계산할 수 있다. 유사도를 계산함에 따라 유사도가 높은 순서로 6장의 후보 이미지를 생성하여 사용자 인터페이스(UI)를 통해 출력할 수 있다. 또한, 병해충 검색 시스템은 질의 이미지에 대한 영상 처리를 수행한 후 기계 학습에 기반하여 영상을 인식시킴으로써 병해충명을 포함하는 병해충 정보를 획득할 수 있다. 이때, 병해충 정보는 병해충명, 이미지에 포함된 작물의 이름, 병해충 처방 정보, 병해충 예방 방법 등을 포함할 수 있다. In
단계(230)에서 병해충 검색 시스템은 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 질의 이미지로부터 획득된 유사도 이미지 또는 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공할 수 있다. 병해충 검색 시스템은 질의 이미지에 질의 이미지로부터 획득된 병해충명을 제공할 수 있다. 병해충 검색 시스템은 병해충명에 기반하여 검색된 병해충 이미지들을 제공하고, 병해충 이미지들 중 선택된 병해충 이미지에 대응되는 병해충 상세 정보를 제공할 수 있다. 또한, 병해충 검색 시스템은 질의 이미지에 대하여 유사도 기반의 이미지 검색을 통하여 검색된 유사도 이미지들을 유사도가 높은 순서로 정렬하여 제공하고, 유사도 이미지들 중 선택된 유사도 이미지에 대응하는 병해충 상세 정보를 제공할 수 있다. 이때, 병해충 검색 시스템은 질의 이미지로부터 검색된 병해충 정보와 관련된 이미지가 기 설정된 인식률 이하일 경우, 질의 이미지로부터 획득된 유사도 이미지에 기반하여 병해충 결과를 제공할 수 있다. 또한, 예를 들면, 병해충 검색 시스템은 질의 이미지에 대한 진단한 결과를 제공할 수 있다. 병해충 검색 시스템은 진단한 결과를 위험 정도에 따라 기 설정된 등급으로 분류할 수 있다. 병해충 검색 시스템은 질의 이미지에 대한 병해충명이 배/화상병일 경우, 배/화상병의 위험 정도에 따라 위험, 경고, 보통, 경미 등으로 분류할 수 있고, 이미지에 나타난 배/화상병이 위험 정도에 따라 등급이 선택되어 출력될 수 있다. In
일 실시예에 따른 병해충 검색 시스템은 다양한 병해충을 다룰 수 있어 적용범위가 높다는 장점이 있지만, 상대적으로 정확도는 낮았던 유사도 기반의 이미지 검색 기술과 특정 작물의 병해충에 대해서는 인식에 있어서 높은 정확도를 기록하는 기계학습 알고리즘인 CNN(Convolutional Neural Networks)알고리즘을 결합함으로써 빠르고 정확한 검색 결과를 획득할 수 있다. The pest detection system according to one embodiment is advantageous in that it can deal with various pests and has a wide range of application. However, the image search technique based on the similarity, which is relatively low in accuracy, and the machine that records high accuracy in recognizing pests of specific crops By combining CNN (Convolutional Neural Networks) algorithm which is a learning algorithm, it is possible to obtain fast and accurate search results.
도 3내지 도 10은 일 실시예에 따른 병해충 검색 시스템에서 병해충 검색을 위한 유저 인터페이스를 나타낸 예이다.3 to 10 are views showing an example of a user interface for pest detection in the pest detection system according to an embodiment of the present invention.
병해충 검색 시스템은 서버 또는 단말의 어플리케이션 중 하나 이상에서 에서 수행될 수 있다. 병해충 검색 시스템이 서버일 경우, 단말로부터 입력된 이미지가 서버로 전송되고, 서버가 단말로부터 입력된 질의 이미지로 인식하고, 질의 이미지에 대한 유사도 기반의 이미지 검색 및 영상 인식 기술을 이용하여 병해충 결과를 획득하여 단말로 제공할 수 있다. 이때, 단말에 병해충 검색을 위한 어플리케이션이 설치되고 실행됨에 따라 서버로부터 전달된 병해충 결과가 출력될 수 있다. 또는, 병해충 검색 시스템이 단말의 어플리케이션을 통하여 수행됨에 따라 단말 내에서 사용자로부터 입력되는 이미지를 질의 이미지로 인식하고, 질의 이미지에 대한 유사도 기반의 이미지 검색 및 영상 인식 기술을 이용하여 병해충 결과를 획득 및 제공할 수도 있다. 병해충 검색 시스템은 단말의 어플리케이션뿐만 아니라 웹에도 병해충 검색을 위한 병해충 통합 검색 기능을 제공할 수 있다. The pest detection system can be performed in one or more of the applications of the server or the terminal. When the pest detection system is a server, the image input from the terminal is transmitted to the server, the server recognizes the image as a query image input from the terminal, and the pest result is obtained by using the similarity-based image search and image recognition technology for the query image And provide it to the terminal. At this time, as an application for pest detection is installed and executed in the terminal, the pest result transmitted from the server can be output. Alternatively, as the pest detection system is executed through the application of the terminal, the image input from the user in the terminal is recognized as a query image, and the pest result is obtained using the similarity-based image search and image recognition technology for the query image . The pest detection system can provide integrated search function of pest insect for pest detection on the web as well as terminal applications.
단말은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 단말의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 단말은 무선 또는 유선 통신 방식을 이용하여 네트워크를 통해 다른 단말들 및/또는 서버와 통신할 수 있다.A terminal may be a fixed terminal implemented as a computer device or a mobile terminal. Examples of the terminal include a smart phone, a mobile phone, a navigation system, a computer, a notebook, a digital broadcast terminal, a PDA (Personal Digital Assistants), a PMP (Portable Multimedia Player), and a tablet PC. A terminal may communicate with other terminals and / or servers via a network using a wireless or wired communication scheme.
이때, 사용자가 실시간으로 빠르게 병해충을 확인할 수 있도록 하기 위하여 병해충 검색 시스템이 모바일 기반의 어플리케이션에 동작하는 것을 예를 들어 설명하기로 한다. 병해충 검색 시스템은 유사도 기반의 이미지 검색 기술과 영상 인식 기술의 장점을 취합하여 병해충을 확인 및 관리할 수 있다.Herein, the pest detection system operates in a mobile-based application in order to allow a user to quickly identify pests in real time. The pest detection system can identify and manage pests by combining the advantages of similarity-based image search technology and image recognition technology.
일 실시예에 따른 병해충 검색 시스템은 종래의 기술과 비교하였을 때, 유사도 기반의 이미지 검색 기술과 영상 인식 기술의 장점을 취합함에 따라 고도화된 성능을 통하여 실시간으로 빠르고 정확하게 병해충을 확인 및 관리할 수 있도록 제공할 수 있다. 또한, 종래의 기술들이 유사도 이미지 검색 기술 또는 영상 인식 기반의 기술 중 하나만을 사용하여 사용자에게 웹 또는 어플리케이션으로 제공하였던 것과는 달리, 일 실시예에 따른 병해충 검색 시스템은 유사도 이미지 검색 기술 및 영상 인식 기반의 기술을 통합하여 사용자 UX/UI를 고안하여 디자인함으로써 사용자가 쉽게 접근할 수 있도록 제공할 수 있다. The pest detection system according to one embodiment compares the advantages of the image recognition technology based on the similarity and the image recognition technology, so that the pest detection system can quickly and accurately check and manage the pest in real time through advanced performance . In addition, unlike the prior art techniques that are provided to the user as a web or application using only one of the similarity image search technology or the image recognition based technology, the pest search system according to an embodiment uses the similarity image search technology and the image recognition based Technology to design and design user UX / UI to provide users with easy access.
도 3은 어플리케이션(300)의 메인 화면(310)을 나타낸 예이다. 메인 화면(310)은 사용자가 어플리케이션을 실행하였을 때, 처음 마주하는 화면으로 '시작하기' 유저 인터페이스를 통하여 병해충 검색 및 방제 정보를 확인할 수 있다. 예를 들면, 메인 화면에는 배와 사과에 나무 자체를 완전히 말라 죽게 만들고 확실한 치료법이 없어 심각하게 여겨지는 병해인 '화상병'에 대한 간이 확인 결과, 화상병이 의심되면 반드시 해당 농업 기술 센터에 신고하여 정밀 진단을 받으셔야 합니다'와 같은 메시지(문구)를 적어 위험성을 강조할 수 있다. 3 shows an example of a
더 나아가, 농업 기술 센터와 관련된 연락처(메일 주소, 사이트 주소, 전화 번호 등)을 제공하여 신고할 수 있도록 하고, 직접적으로 농업 기술 센터에 연락이 가능하도록 농업 기술 센터의 연락처를 연동시킬 수 있다. 예를 들면, 사용자는 어플리케이션을 통하여 진단받은 병해충 결과에 기반하여 어플리케이션에서 제공하는 연락처를 선택함에 따라 직접적으로 농업 기술 센터에 통화가 연결될 수 있다. Furthermore, it is possible to provide contact information (e-mail address, site address, telephone number, etc.) related to the Agricultural Technology Center and to contact the Agricultural Technology Center so that it can contact the Agricultural Technology Center directly. For example, a user can be directly connected to the Agricultural Technology Center by selecting contacts provided by the application based on the pest results diagnosed through the application.
도 4를 참고하면, 병해충 검색을 위하여 카테고리를 선택하는 유저 인터페이스를 나타낸 예이다. 사용자가 메인 화면에서 '시작하기' 유저 인터페이스를 선택함에 따라 이동되는 카테고리 선택 화면을 나타낸 것이다. 병해충 검색 시스템은 병해충 검색을 위한 카테고리를 분류할 수 있다. 예를 들면, 과일, 채소, 화훼 등으로 카테고리가 분류될 수 있다. 병해충 검색 시스템은 어플리케이션(300)에서 작물을 선택할 수 있도록 1차 카테고리 선택 화면(410)을 제공할 수 있고, 1차 카테고리 선택 화면에서 사용자에 의하여 카테고리가 선택됨에 따라 세부 작물을 선택하는 2차 카테고리 선택 화면(420)을 제공할 수 있다. 사용자로부터 세부 작물이 선택됨에 따라 이미지 입력을 위한 화면으로 이동될 수 있다. 예를 들면, 1차 카테고리 선택 화면에 과일, 채소, 화훼가 제공됨에 따라 사용자는 '과일'을 선택할 수 있다. 과일을 선택함에 따라 과일의 세부 종류(예를 들면, 사과, 포도, 딸기, 배 등)가 제공될 수 있다. 사용자는 과일의 세부 종류 중 검색하고자 하는 과일을 선택할 수 있다. 이와 같이, 카테고리를 분류함으로써 보다 정확한 검색 결과를 제공할 수 있다. Referring to FIG. 4, there is shown an example of a user interface for selecting a category for pest detection. The category selection screen is displayed as the user selects the 'start' user interface on the main screen. The pest detection system can classify categories for pest detection. For example, categories can be classified as fruits, vegetables, flowers, and the like. The pest search system may provide a primary
도 5를 참고하면, 이미지 입력 화면(500)을 나타낸 예이다. 어플리케이션(300)에 단말에 저장된 이미지를 선택하거나 직접 촬영한 이미지를 입력하도록 이미지 입력 화면(500)이 출력될 수 있다. 이미지 입력 화면(500)은 사용자가 이미지를 선택함에 따라 질의 이미지로 인식하기 위한 것이다. 사용자는 이미지 입력 화면(500)에 표시된 '갤러리 이미지'를 선택함에 따라 단말에 저장된 이미지가 제공될 수 있고, 단말에 저장된 이미지 중 병해충 검색을 위한 이미지를 선택할 수 있다. 또는, 이미지 입력 화면(500)에 표시된 '카메라'를 선택함에 따라 단말의 카메라 기능이 실행됨으로써 직접 병해충 검색을 위한 이미지를 촬영할 수 있다. 이와 같이, 촬영된 이미지가 이미지 입력 화면에 자동으로 입력될 수 있다. 사용자로부터 선택된 이미지 또는 촬영된 이미지가 이미지 입력 화면(500)에 표시될 수 있다. 이때, 이미지 입력 화면에 표시된 이미지를 변경하고자 하고자 할 경우, 앞서 설명한 프로세스와 같이, 단말에 저장된 이미지를 재선택하거나 카메라를 통하여 이미지를 재촬영할 수 있다. 이미지 입력 화면(500)에 표시된 이미지에서 터치&드래그를 통하여 병해충으로 의심되는 영역을 크롭(자르기)하여 보다 상세하게 병징 부위를 표시할 수 있다. 사용자에 의하여 병해충으로 의심되는 영역이 설정됨에 따라 이를 질의 이미지로 인식하여 검색을 수행할 수 있다.Referring to FIG. 5, an example of the image input screen 500 is shown. The image input screen 500 may be output to the
도 6을 참고하면, 병징 부위(620)를 선택하는 화면을 나타낸 예이다. 병징 부위 선택 화면(610)은 사용자가 이미지를 촬영하거나 갤러리에서 이미지를 선택함에 따라 이미지가 입력됨으로써 이동하는 화면이다. 병징 부위 선택 화면(610)에 표시된 '병징 부위 선택' 유저 인터페이스를 선택함에 따라 이미지에 존재하는 병징 부위를 편집하는 화면이 표시될 수 있다. 상기 편집하는 화면은 이미지에서 병해충으로 의심되는 병징 부위(620)에 범위를 조절하여 자르는 역할을 수행할 수 있다. 예를 들면, 병징 부위(620)에 따라 범위를 넓히거나 좁힐 수 있다. 사용자는 이미지에서 병해충으로 의심되는 영역을 선택함에 따라 획득된 병징 부위(620)를 서버로 이동되어 어떤 병해충인지 판단될 수 있다. Referring to FIG. 6, a screen for selecting a
도 7을 참고하면, 병징 부위에 대한 검색을 수행하는 화면(710)을 나타낸 예이다. 다시 말해서, 도 6에서 사용자에 의하여 크롭된 이미지를 '검색하기' 유저 인터페이스를 통하여 서버로 전송할 수 있다. 이때, 병징 부위를 수정하기 위한 '선택 부위 수정' 유저 인터페이스를 선택함으로써 크롭된 이미지를 서버로 전송하기 전에 이미지로부터 병징 부위를 재수정할 수 있다. 서버로 전송된 이미지는 결과 화면을 통하여 표시될 수 있다.Referring to FIG. 7, an example of a
도 8을 참고하면, 영상 인식 기반의 검색 결과 화면과 유사도 기반의 이미지 검색 결과 화면을 나타낸 예이다. 검색 결과 화면(810)에는 선택한 병해충 의심 이미지를 입력 값으로 사용함에 따라 출력된 유사도 이미지 검색 결과와 영상 인식 기반 검색 결과 값을 출력할 수 있다. 일례로, 병해충 검색 시스템은 기본적으로 검색 결과 화면(810)에 병해충 의심 이미지(820)와 병해충 의심 이미지(820)에 대한 병해충명(830)을 표시함과 동시에 병해충명을 검색함에 따라 획득된 이미지들을 출력할 수 있다. 이때, 예를 들면, 검색 결과 화면(810)에 표시된 왼쪽에 있는 화살표 버튼을 누르면 이미지를 다시 선택할 수 있고, 오른쪽에 있는 홈 버튼을 누르면 유사도 기반의 이미지 검색 결과가 출력될 수 있다. 또한, 검색 결과 화면에 사용자가 선택한 원본 이미지와 크롭된 이미지 각각을 탭 형식으로 번갈아 볼 수 있도록 제공할 수 있다. Referring to FIG. 8, there is shown an example of a search result screen based on image recognition and an image search result screen based on similarity. The
검색 결과 화면(810)은 사용자로부터 선택된 이미지(병해충 의심 이미지)(820)와 선택된 이미지(820)의 하단에 작물명과 '영상 인식 모듈'에 의해 검색된 병해충명(830)이 출력된다. 검색 결과 화면(810)의 아래의 영역에 병해충 검색 이미지 결과를 제공할 수 있다. 예를 들면, 병해충 검색 시스템은 검색 결과 화면(810)에 왼쪽에 '병해충명 검색 결과(840)' 탭과 '유사 사진 결과(850)' 탭을 생성할 수 있다. 이때, '병해충명 검색 결과(840)' 탭을 선택할 경우, 영상 인식 모듈에 의해 검색된 병해충의 이미지가 출력될 수 있으며, 상기 이미지들은 병해충명에 기반하여 검색된 병해충 이미지들로 사용자의 편의를 위해 기 설정된 개수의 이미지를 출력할 수 있다. 예를 들면, 3x2 형태로 6개를 출력할 수 있다. 더 나아가, '더보기' 유저 인터페이스를 통해 '병해충명 검색 결과'에 대한 추가적인 이미지를 제공받을 수 있다. 그리고 '병해충명 검색 결과'에 표시된 이미지들 중 하나를 선택할 경우, 병해충의 상세 정보를 제공하는 상세 정보 화면을 출력할 수 있다. The
또한, 검색 결과 화면(810)에 표시된 '유사 사진 결과(850)' 탭을 선택함에 따라 이미지 검색 모듈에 의해 검색 유사 병해충 이미지들이 유사도가 높은 순으로 출력될 수 있다. 이때도 마찬가지로, 3x2 형태로 6개의 이미지가 출력될 수 있으며, '더보기' 유저 인터페이스를 통하여 '유사 사진 결과'에 대한 추가적인 이미지를 제공받을 수 있다. 그리고, '유사 사진 결과(850)'에 표시된 이미지들 중 하나를 선택할 경우, 병해충의 상세 정보를 제공하는 상세 정보 화면을 출력할 수 있다. Also, by selecting the 'similar image result (850)' tab displayed on the
한편, 병해충 검색 시스템은 질의 이미지로부터 검색된 병해충 정보와 관련된 이미지가 기 설정된 인식률 이상일 경우, 병해충 정보와 관련된 병해충 이미지를 포함하는 병해충 결과를 제공할 수 있다. 이에 반해, 병해충 검색 시스템은 질의 이미지로부터 검색된 병해충 정보와 관련된 이미지가 기 설정된 인식률 이하일 경우, 질의 이미지와 유사한 유사도 이미지에 기반하여 병해충 결과를 제공할 수 있다. On the other hand, if the image related to the pest information retrieved from the query image is equal to or higher than a predetermined recognition rate, the pest detection system can provide a pest result including the pest image related to the pest information. On the other hand, if the image related to the pest information retrieved from the query image is equal to or lower than a predetermined recognition rate, the pest detection system can provide the pest result based on the similarity image similar to the query image.
도 9를 참고하면, 병해충 결과를 제공하는 상세 정보 화면을 나타낸 예이다. Referring to FIG. 9, this is an example of a detailed information screen providing a pest-insect result.
병해충 검색 시스템은 이미지로부터 획득된 병해충 정보에 기반하여 증상 및 처방 방법을 상세 정보 화면(910)에 제공할 수 있다. 또한, 병해충 검색 시스템은 병해충이 발생한 환경 정보를 상세 정보 화면(910)에 제공할 수 있다. 이에 따라, 상세 정보 화면(910)에 병해충과 관련된 증상, 처방 방법 및 발생환경 정보 중 적어도 하나가 출력될 수 있다.The pest search system can provide the symptom and the prescription method to the
일례로, 도 8과 같이 검색 결과 화면에 출력된 이미지를 선택함에 따라 사용자가 선택한 병해충 이미지의 상세 정보를 포함하는 결과 화면이 출력될 수 있다. 상세 정보 화면(910)에 표시된 왼쪽의 화살표 유저 인터페이스를 선택함에 따라 도 8의 화면으로 되돌아갈 수 있고, 홈 버튼을 선택할 경우, 도 3의 화면으로 되돌아가 이미지를 재선택할 수 있다. 또한, 상세 정보 화면(910)에 사용자로부터 입력된 이미지와 도 8에서 선택한 병해충 이미지를 탭 형식으로 비교하여 출력할 수도 있다. For example, as shown in FIG. 8, a result screen including detailed information of a pest-insect image selected by the user may be output by selecting an image output on the search result screen. The user can return to the screen of FIG. 8 by selecting the left arrow user interface displayed on the
상세 정보 화면(190)은 병해충에 대한 간단한 설명과 증상, 처방 방법, 발생환경 및/또는 처방 약제에 대한 설명을 출력할 수 있다. 처방 약제는 사진(이미지)를 첨부하여 사용자가 쉽게 알아볼 수 있도록 제공할 수 있다. 상세 정보 화면은 한 화면에서 스크롤을 통하여 한번에 쉽고 빠르게 정보를 획득할 수 있도록 할 수 있다.The detailed information screen 190 can display a brief description of the pest, symptom, prescription method, occurrence environment, and / or description of prescription medicine. Prescription medicines can be attached to pictures (images) so that they can be easily recognized by users. The detailed information screen can easily and quickly acquire information at a time through scrolling on one screen.
도 10을 참고하면, 예외 결과 화면(1010)을 나타낸 예이다. 병해충 검색 시스템은 예외 결과 화면(1010)에 영상 인식 모듈에서 인식률이 낮은 이미지라고 판단됨에 따라 예외 처리가 되어 유사도 이미지 결과만을 출력할 수 있다. 또한, 영상 인식 모듈에서 처리하지 못하는 병해충(예를 들면, 영상 인식 모듈에서 지원하지 못하는 병해충)일 경우, 예외 결과 화면과 같이 유사도 이미지 결과만을 출력할 수 있다.Referring to FIG. 10, an
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device As shown in FIG. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (15)
이미지가 입력됨을 수신함에 따라 상기 이미지를 질의 이미지로 인식하는 단계;
상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계; 및
상기 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 제공하는 단계
를 포함하고,
상기 병해충 검색 방법은,
유사도 기반의 이미지 검색 기술과 기계 학습에 기반한 영상 인식 기술을 결합한 것을 포함하고,
상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계는,
이미지 검색 라이브러리인 LiRe을 사용하여 상기 질의 이미지로부터 복수 개의 특징점을 추출한 후, 각 특징점을 하나의 필드로 해서 색인 및 검색을 수행하고, 상기 추출된 복수 개의 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색하고, 상기 유사도 이미지를 검색할 때, 상기 질의 이미지를 농작물 질병 데이터 셋(data set)에서 선택하고, 상기 데이터 셋에 존재하는 이미지를 인덱싱(indexing)하고 인덱싱한 결과를 인덱스 파일(index file)로 저장하고, 이미지의 특징 값을 표현하는 CEDD, ACC, SCH, FCTH, JCD, OH, SC, CL, EH, Tamura, Gabor, LL, PHOG, JH를 포함하는 디스크립터(Descriptor)를 이용하여 상기 질의 이미지에 대한 유사도 이미지를 인덱스 파일에서 검색하고, 상기 질의 이미지와 검색된 유사도 이미지 사이의 거리 값을 계산하여 계산된 거리 값을 저장하고, 상기 질의 이미지와 검색된 유사도 이미지 사이의 거리 값이 작은 것부터 정해진 개수의 유사도 이미지들을 출력하고,
상기 질의 이미지에 대한 영상 처리로서 이미지 전처리를 수행한 후 CNN 기계 학습에 기반하여 이미지 전처리를 수행한 이미지를 인식시킴으로써 병해충명, 이미지에 포함된 작물의 이름, 병해충 처방 정보, 병해충 예방 방법을 포함하는 병해충 정보를 획득하는 단계
를 포함하고,
상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 제공하는 단계는,
상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명 및 상기 병해충명에 기반하여 검색된 병해충 이미지들을 제공하고, 상기 병해충 이미지들 중 선택된 병해충 이미지에 대응되는 병해충 상세 정보를 제공하고, 상기 병해충 상세 정보로 상기 질의 이미지에 대한 진단 결과를 위험 정도에 따라 기 설정된 등급으로 분류하고, 상기 위험 정도에 따라 등급을 선택하여 출력하고, 농업 기술 센터와 관련된 연락처(메일 주소, 사이트 주소, 전화 번호 등)을 제공하여 신고할 수 있도록 하는 단계
를 포함하고,
상기 CNN 기계 학습은, 상기 이미지 전처리를 수행한 질의 이미지에 Convolution layer와 Pooling layer의 반복 과정으로 특징을 추출하고, 상기 추출된 특징을 Fully connected layer를 통해 Drop out의 threshold 값에 기반하여 노드들을 떨어뜨리면서(drop out) 학습함으로써 병해충 정보를 분류하고, 첫 번째 Convolution layer에서 11x11 크기의 마스크로 특징을 추출하며 zero padding으로 수행하고, Max pooling layer에서 2x2 마스크로 pooling을 수행하여 마스크 내의 자질 값을 가져오면서 사이즈를 가로, 세로 각 절반으로 줄이고, 다음의 Convolution layer에서 5x5 마스크를 사용해서 16개의 특징맵을 출력하는 과정을 반복한 뒤, Max pooling layer에서 4x4 크기의 특징맵 128개가 입력 데이터가 되어 2x2 크기의 특징맵 128개를 출력하고 Fully connected layer에서 512개의 노드로 입력데이터가 되고, Drop out을 통해 정규화를 하게 되며 마지막으로 복수 개의 노드가 출력됨으로써 복수 가지의 병해를 분류하고, 학습 시 사용되는 역전파(Backpropagation)를 Feed forward와 Backpropagation 두 과정을 통해 가중치와 바이어스 값을 갱신하고, Feed forward 단계에서 훈련 데이터와 가중치를 곱하여 기대 오차를(loss function) 도출하고, Backpropagation단계에서 오차 값을 이용해 가중치와 바이어스 값을 갱신하는 과정을 반복적으로 이용하는
병해충 검색 방법.A pest detection method performed by a pest search system,
Recognizing the image as a query image upon receiving the input of the image;
Obtaining similarity image and pest information from the query image; And
Outputting a pest outcome information including pest information on the query image, and providing a pest image related to the similarity image or the pest information obtained from the query image
Lt; / RTI >
The pest detection method comprises:
Based image retrieval technology and machine learning based image recognition technology,
Wherein obtaining the similarity image and the pest information from the query image comprises:
A plurality of feature points are extracted from the query image using LiRe, which is an image search library, and indexing and searching are performed using each feature point as one field, and similarity calculation is performed on the previously stored pest image based on the extracted plurality of feature points And searching for similarity images by performing matching, and when searching the similarity image, selecting the query image from a crop disease data set, indexing and indexing the image present in the data set Descriptors including CEDD, ACC, SCH, FCTH, JCD, OH, SC, CL, EH, Tamura, Gabor, LL, PHOG, and JH that store the result as an index file, A similarity image of the query image is retrieved from an index file using a descriptor, and a similarity image between the query image and the retrieved similarity image Storing the distance value calculated by calculating a distance value, and outputs the query image and the retrieved image similarity degree of similarity of a given number of starting with a small value, the distance between the image and,
Image processing as an image processing for the query image, and recognizing an image subjected to image preprocessing based on CNN machine learning, thereby recognizing the name of the pest, the name of the crop included in the image, information on pest- Step of acquiring pest information
Lt; / RTI >
Providing a similarity image obtained from the query image or a pest image related to the pest information,
Providing pest inspections based on the pest name and the pest name obtained from the query image in the query image, providing pest detail information corresponding to a selected pest image of the pest images, The diagnosis results for the query image are classified into predetermined grades according to the degree of risk, the grades are selected and outputted according to the degree of danger, and the contacts (mail address, site address, telephone number, etc.) Steps to report
Lt; / RTI >
The CNN machine learning extracts features by an iterative process of a convolution layer and a pooling layer on a query image that has undergone image preprocessing and extracts the extracted features based on a threshold value of a drop out through a fully connected layer We classify the pest information by drop out learning, extract feature from 11x11 size mask in the first convolution layer, perform zero padding, pooling with 2x2 mask in Max pooling layer, and take qualitative value in mask In the Max pooling layer, 128 feature maps of size 4x4 are input data, and 2x2 feature maps are displayed in the Max pooling layer after repeating the process of outputting 16 feature maps by using the 5x5 mask in the following Convolution layer. It outputs 128 feature maps of size, inputs data to 512 nodes in Fully connected layer, drops out And then the weight and bias value are renewed through two processes of feed forward and back propagation, and the feed forward step is performed. , We use the training data and the weights to derive the loss function, and the backpropagation step is repeatedly used to update the weights and the bias values using the error values.
Pest detection method.
상기 질의 이미지로부터 획득된 유사도 이미지 및 병해충 정보를 포함하는 병해충 결과를 출력하는 단계는,
상기 질의 이미지에 대하여 유사도 기반의 이미지 검색을 통하여 검색된 유사도 이미지들을 유사도가 높은 순서로 정렬하여 제공하고, 상기 유사도 이미지들 중 선택된 유사도 이미지에 대응하는 병해충 상세 정보를 제공하는 단계
를 포함하는 병해충 검색 방법.The method according to claim 1,
Outputting a pest result including a similarity image and pest information obtained from the query image,
Providing similarity images searched through similarity-based image search with respect to the query image in the order of high similarity, and providing pest information corresponding to the selected similarity image among the similarity images
The method comprising the steps of:
상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 제공하는 단계는,
상기 질의 이미지로부터 검색된 병해충 정보와 관련된 이미지가 기 설정된 인식률 이하일 경우, 상기 질의 이미지로부터 획득된 유사도 이미지에 기반하여 병해충 결과를 제공하는 단계
를 포함하는 병해충 검색 방법. The method according to claim 1,
Providing a similarity image obtained from the query image or a pest image related to the pest information,
Providing a pest result based on the similarity image obtained from the query image if the image associated with the pest information retrieved from the query image is less than or equal to a predetermined recognition rate
The method comprising the steps of:
이미지가 입력됨을 수신함에 따라 상기 이미지를 질의 이미지로 인식하고, 상기 질의 이미지에 대한 병해충 결과를 출력하는 통합 모듈;
상기 질의 이미지에 대한 유사도 기반의 이미지 검색을 통하여 유사도 이미지를 획득하는 이미지 검색 모듈;
상기 질의 이미지에 대항 영상 처리를 수행하여 병해충 정보 및 상기 병해충 정보와 관련된 병해충 이미지를 획득하는 영상 인식 모듈; 및
상기 질의 이미지와 비교하기 위한 병해충 이미지 및 상기 병해충과 관련된 병해충 정보를 저장하는 데이터베이스
를 포함하고,
상기 병해충 검색 시스템은,
유사도 기반의 이미지 검색 기술과 기계 학습에 기반한 영상 인식 기술을 결합한 것을 포함하고,
상기 이미지 검색 모듈은,
이미지 검색 라이브러리인 LiRe을 사용하여 상기 질의 이미지로부터 복수 개의 특징점을 추출한 후, 각 특징점을 하나의 필드로 해서 색인 및 검색을 수행하고, 상기 추출된 복수 개의 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색하고,
상기 유사도 이미지를 검색할 때, 상기 질의 이미지를 농작물 질병 데이터 셋(data set)에서 선택하고, 상기 데이터 셋에 존재하는 이미지를 인덱싱(indexing)하고 인덱싱한 결과를 인덱스 파일(index file)로 저장하고, 이미지의 특징 값을 표현하는 CEDD, ACC, SCH, FCTH, JCD, OH, SC, CL, EH, Tamura, Gabor, LL, PHOG, JH를 포함하는 디스크립터(Descriptor)를 이용하여 상기 질의 이미지에 대한 유사도 이미지를 인덱스 파일에서 검색하고, 상기 질의 이미지와 검색된 유사도 이미지 사이의 거리 값을 계산하여 계산된 거리 값을 저장하고, 상기 질의 이미지와 검색된 유사도 이미지 사이의 거리 값이 작은 것부터 정해진 개수의 유사도 이미지들을 출력하는 것을 포함하고,
상기 영상 인식 모듈은,
상기 질의 이미지에 대한 영상 처리로서 이미지 전처리를 수행한 후 CNN 기계 학습에 기반하여 이미지 전처리를 수행한 이미지를 인식시킴으로써 병해충명, 이미지에 포함된 작물의 이름, 병해충 처방 정보, 병해충 예방 방법을 포함하는 병해충 정보를 획득하는 것을 포함하고,
상기 통합 모듈은,
상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명 및 상기 병해충명에 기반하여 검색된 병해충 이미지들을 제공하고, 상기 병해충 이미지들 중 선택된 병해충 이미지에 대응되는 병해충 상세 정보를 제공하고, 상기 병해충 상세 정보로 상기 질의 이미지에 대한 진단 결과를 위험 정도에 따라 기 설정된 등급으로 분류하고, 상기 위험 정도에 따라 등급을 선택하여 출력하고, 농업 기술 센터와 관련된 연락처(메일 주소, 사이트 주소, 전화 번호 등)을 제공하여 신고할 수 있도록 하는 것을 포함하고,
상기 CNN 기계 학습은, 상기 이미지 전처리를 수행한 질의 이미지에 Convolution layer와 Pooling layer의 반복 과정으로 특징을 추출하고, 상기 추출된 특징을 Fully connected layer를 통해 Drop out의 threshold 값에 기반하여 노드들을 떨어뜨리면서(drop out) 학습함으로써 병해충 정보를 분류하고, 첫 번째 Convolution layer에서 11x11 크기의 마스크로 특징을 추출하며 zero padding으로 수행하고, Max pooling layer에서 2x2 마스크로 pooling을 수행하여 마스크 내의 자질 값을 가져오면서 사이즈를 가로, 세로 각 절반으로 줄이고, 다음의 Convolution layer에서 5x5 마스크를 사용해서 16개의 특징맵을 출력하는 과정을 반복한 뒤, Max pooling layer에서 4x4 크기의 특징맵 128개가 입력 데이터가 되어 2x2 크기의 특징맵 128개를 출력하고 Fully connected layer에서 512개의 노드로 입력데이터가 되고, Drop out을 통해 정규화를 하게 되며 마지막으로 복수 개의 노드가 출력됨으로써 복수 가지의 병해를 분류하고, 학습 시 사용되는 역전파(Backpropagation)를 Feed forward와 Backpropagation 두 과정을 통해 가중치와 바이어스 값을 갱신하고, Feed forward 단계에서 훈련 데이터와 가중치를 곱하여 기대 오차를(loss function) 도출하고, Backpropagation단계에서 오차 값을 이용해 가중치와 바이어스 값을 갱신하는 과정을 반복적으로 이용하는
병해충 검색 시스템. 1. A pest search system for pest detection,
An integration module for recognizing the image as a query image upon receiving the input image and outputting a pest result for the query image;
An image retrieval module for retrieving a similarity image through similarity-based image retrieval with respect to the query image;
An image recognition module for performing image processing on the query image to obtain a pest image related to the pest information and the pest information; And
A database storing a pest image for comparison with the query image and pest information related to the pest
Lt; / RTI >
The pest-and-inspecting system includes:
Based image retrieval technology and machine learning based image recognition technology,
Wherein the image retrieval module comprises:
A plurality of feature points are extracted from the query image using LiRe, which is an image search library, and indexing and searching are performed using each feature point as one field, and similarity calculation is performed on the previously stored pest image based on the extracted plurality of feature points And searching for a similarity image by performing matching,
When retrieving the similarity image, the query image is selected from a crop disease data set, the image existing in the data set is indexed, and the indexed result is stored as an index file , Descriptor including CEDD, ACC, SCH, FCTH, JCD, OH, SC, CL, EH, Tamura, Gabor, LL, PHOG and JH expressing feature values of the image are used for the query image A similarity degree image is searched in an index file, a distance value calculated by calculating a distance value between the query image and the searched similarity image is stored, and a distance value between the query image and the searched similarity image is small, , ≪ / RTI >
Wherein the image recognition module comprises:
Image processing as an image processing for the query image, and recognizing an image subjected to image preprocessing based on CNN machine learning, thereby recognizing the name of the pest, the name of the crop included in the image, information on pest- Obtaining pest information,
Wherein the integration module comprises:
Providing pest inspections based on the pest name and the pest name obtained from the query image in the query image, providing pest detail information corresponding to a selected pest image of the pest images, The diagnosis results for the query image are classified into predetermined grades according to the degree of risk, the grades are selected and outputted according to the degree of danger, and the contacts (mail address, site address, telephone number, etc.) Including, but not limited to,
The CNN machine learning extracts features by an iterative process of a convolution layer and a pooling layer on a query image that has undergone image preprocessing and extracts the extracted features based on a threshold value of a drop out through a fully connected layer We classify the pest information by drop out learning, extract feature from 11x11 size mask in the first convolution layer, perform zero padding, pooling with 2x2 mask in Max pooling layer, and take qualitative value in mask In the Max pooling layer, 128 feature maps of size 4x4 are input data, and 2x2 feature maps are displayed in the Max pooling layer after repeating the process of outputting 16 feature maps by using the 5x5 mask in the following Convolution layer. It outputs 128 feature maps of size, inputs data to 512 nodes in Fully connected layer, drops out And then the weight and bias value are renewed through two processes of feed forward and back propagation, and the feed forward step is performed. , We use the training data and the weights to derive the loss function, and the backpropagation step is repeatedly used to update the weights and the bias values using the error values.
Pest detection system.
상기 통합 모듈은,
상기 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 제공하는
것을 특징으로 하는 병해충 검색 시스템.10. The method of claim 9,
Wherein the integration module comprises:
Outputting a pest control result including pest information on the query image, and providing a pest image related to the similarity image or the pest control information obtained from the query image
And the pest detection system.
상기 통합 모듈은,
상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명을 출력하고, 상기 질의 이미지에 대하여 유사도 기반의 이미지 검색을 통하여 검색된 유사도 이미지들을 유사도가 높은 순서로 정렬하여 제공하고, 상기 유사도 이미지들 중 선택된 유사도 이미지에 대응하는 병해충 상세 정보를 제공하는
것을 특징으로 하는 병해충 검색 시스템.11. The method of claim 10,
Wherein the integration module comprises:
Outputting a pest name obtained from the query image to the query image, sorting the similarity images retrieved through similarity-based image retrieval with respect to the query image and arranging the similarity images in a descending order of similarity, To provide detailed pest information corresponding to
And the pest detection system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170107135A KR101986418B1 (en) | 2017-08-24 | 2017-08-24 | An integrated system for searching plant diseases and insect pests |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170107135A KR101986418B1 (en) | 2017-08-24 | 2017-08-24 | An integrated system for searching plant diseases and insect pests |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190021833A KR20190021833A (en) | 2019-03-06 |
| KR101986418B1 true KR101986418B1 (en) | 2019-06-05 |
Family
ID=65761066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170107135A KR101986418B1 (en) | 2017-08-24 | 2017-08-24 | An integrated system for searching plant diseases and insect pests |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101986418B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102308456B1 (en) * | 2020-09-25 | 2021-10-05 | 서울대학교산학협력단 | Tree species detection system based on LiDAR and RGB camera and Detection method of the same |
| KR20230057811A (en) | 2021-10-22 | 2023-05-02 | 청주대학교 산학협력단 | Apparatus and method for diagnosing crop pests |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102228682B1 (en) * | 2019-04-03 | 2021-03-16 | 한남대학교 산학협력단 | Diagnostic system for forest insect using information communication technology |
| CN111914951A (en) * | 2020-08-21 | 2020-11-10 | 安徽省农业科学院农业经济与信息研究所 | Crop pest intelligent diagnosis system and method based on image real-time identification |
| KR102584785B1 (en) * | 2020-12-07 | 2023-10-05 | 서명랑 | Smart farm pest control system based on super-directional speakers and artificial intelligence streaming |
| CN113094464B (en) * | 2021-03-31 | 2024-05-28 | 哈尔滨理工大学 | Method for establishing and assisting in identifying expandable crop disease analysis library |
| KR102478723B1 (en) * | 2021-05-27 | 2022-12-19 | (주)골든플래닛 | Method and system for managing crops pets |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009148422A1 (en) | 2008-06-06 | 2009-12-10 | Thomson Licensing | System and method for similarity search of images |
| KR101681625B1 (en) | 2015-10-13 | 2016-12-01 | 주식회사 버즈니 | Method for searching data based on content awareness, data search system performing the same, and storage medium storing the same |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101156594B1 (en) * | 2009-12-15 | 2012-06-20 | 순천대학교 산학협력단 | System for diagnosing diseases and insects of crops and method thereof |
-
2017
- 2017-08-24 KR KR1020170107135A patent/KR101986418B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009148422A1 (en) | 2008-06-06 | 2009-12-10 | Thomson Licensing | System and method for similarity search of images |
| KR101681625B1 (en) | 2015-10-13 | 2016-12-01 | 주식회사 버즈니 | Method for searching data based on content awareness, data search system performing the same, and storage medium storing the same |
Non-Patent Citations (3)
| Title |
|---|
| https://bcho.tistory.com/1178, 얼굴 인식을 위해서 머신러닝 모델 중 이미지 인식에 탁월한 성능을 보이는 CNN 모델을 사용 (2017.06.15.) |
| https://projectresearch.co.kr/2017/06/14/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9Dml%EC%9D%98-%EA%B0%84%EB%9E%B5%ED%95%9C-%EC%97%AD%EC%82%AC/, 머신러닝(ML)의 간략한 역사(2017.06.14.) |
| 강주희 등, "u-Farm을 위한 모바일 기반의 농작물 재배 현장 중심형 스마트 병해충 정보검색 시스템 설계 및 구현", 한국전자통신학회 논문지, 2015년 10권 10호, pp.1145-1156 (2015. 10. 23.) 1부.* |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102308456B1 (en) * | 2020-09-25 | 2021-10-05 | 서울대학교산학협력단 | Tree species detection system based on LiDAR and RGB camera and Detection method of the same |
| KR20230057811A (en) | 2021-10-22 | 2023-05-02 | 청주대학교 산학협력단 | Apparatus and method for diagnosing crop pests |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190021833A (en) | 2019-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101986418B1 (en) | An integrated system for searching plant diseases and insect pests | |
| CN114565826B (en) | Agricultural pest and disease identification and diagnosis method, system and device | |
| WO2022121485A1 (en) | Image multi-tag classification method and apparatus, computer device, and storage medium | |
| Zhang et al. | Accurate cotton diseases and pests detection in complex background based on an improved YOLOX model | |
| US20210150284A1 (en) | Classification model building apparatus and classification model building method thereof | |
| EP3944218A1 (en) | Information processing device, information processing method, and program | |
| CN113033507B (en) | Scene recognition method and device, computer equipment and storage medium | |
| Ozdemir et al. | Comparison of deep learning techniques for classification of the insects in order level with mobile software application | |
| JP2014093058A (en) | Image management device, image management method, program and integrated circuit | |
| CN111680183B (en) | Object retrieval method and device, storage medium and electronic equipment | |
| CN111027622A (en) | Picture label generation method and device, computer equipment and storage medium | |
| CN111340213B (en) | Neural network training method, electronic device, and storage medium | |
| Banerjee et al. | Cnn-svm model for accurate detection of bacterial diseases in cucumber leaves | |
| JP2020074111A (en) | Search system, search method, and program | |
| CN111695572A (en) | Ship retrieval method and device based on convolutional layer feature extraction | |
| Raja Kumar et al. | Novel segmentation and classification algorithm for detection of tomato leaf disease | |
| WO2019244276A1 (en) | Search system, search method, and program | |
| JP6637221B1 (en) | Search system, search method, and program | |
| Popescu et al. | New trends in detection of harmful insects and pests in modern agriculture using artificial neural networks. a review | |
| Bonkra et al. | A systematic study: implication of deep learning in plant disease detection | |
| CN115048504A (en) | Information pushing method and device, computer equipment and computer readable storage medium | |
| Turečková et al. | Slicing aided large scale tomato fruit detection and counting in 360-degree video data from a greenhouse | |
| CN113095157A (en) | Image shooting method and device based on artificial intelligence and related products | |
| Kapoor et al. | Bell-Pepper Leaf Bacterial Spot Detection Using AlexNet and VGG-16 | |
| More et al. | Agrosearch: A web based search tool for pomegranate diseases and pests detection using image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |