KR101986418B1 - 병해충 검색을 위한 통합 시스템 - Google Patents

Abstract

일 실시예에 따른 병해충 검색 시스템에 의해 수행되는 병해충 검색 방법은, 이미지가 입력됨을 수신함에 따라 질의 이미지로 인식하는 단계; 상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계; 및 상기 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공하는 단계를 포함할 수 있다.

Description

병해충 검색을 위한 통합 시스템{AN INTEGRATED SYSTEM FOR SEARCHING PLANT DISEASES AND INSECT PESTS}

아래의 설명은 병해충 검색을 위한 시스템 및 방법에 관한 것이다.

현재 농업인 및 농업 비전문가들이 병해충을 시기적절 하게 판단하고 알맞은 처방을 할 수 있는 병해충 관리 시스템이 부족한 실정이다. 농가에서는 병해충이 의심될 경우 정확한 확인을 위해 전문가에게 의뢰해야 하고, 이는 상당한 시간이 소요되기 때문에 농민이 정확한 병해충의 종류 및 방법을 중요한 시기에 전달받지 못하는 문제가 빈번하게 발생한다. 이러한 문제를 극복하기 위해 실시간으로 병해충 검색 및 처방을 받을 수 있는 병해충 진단 시스템이 제안되었다.

한국공개특허 제10-2011-0067791호는 작물의 병해충 진단 시스템 및 그 방법에 관한 것으로, 벡터를 사용하여 이미지를 매칭함으로써 병해충을 진단하고 있다. 기존 시설원예작물의 농작물 병해충 진단 연구가 다수 이루어지고 있으며 관련 시스템도 계속해서 개발되고 있으나 각각의 시스템은 실시간으로 병해충을 진단하기 어렵거나 다양한 작물에 적용되는 대신 정확도가 낮고 정확도가 높은 경우 작물의 적용 범위가 좁다는 문제점이 있다.

유사도 기반의 이미지 검색 기술과 영상 인식 기술을 결합한 병해충 검색 시스템 및 방법을 제공할 수 있다.

병해충 검색 시스템에 의해 수행되는 병해충 검색 방법은, 이미지가 입력됨을 수신함에 따라 상기 이미지를 질의 이미지로 인식하는 단계; 상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계; 및 상기 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공하는 단계를 포함할 수 있다.

상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공하는 단계는, 상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명을 제공하는 단계를 포함할 수 있다.

상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공하는 단계는, 상기 병해충명에 기반하여 검색된 병해충 이미지들을 제공하고, 상기 병해충 이미지들 중 선택된 병해충 이미지에 대응되는 병해충 상세 정보를 제공하는 단계를 포함할 수 있다.

상기 질의 이미지로부터 획득된 유사도 이미지 및 병해충 정보를 포함하는 병해충 결과를 출력하는 단계는, 상기 질의 이미지에 대하여 유사도 기반의 이미지 검색을 통하여 검색된 유사도 이미지들을 유사도가 높은 순서로 정렬하여 제공하고, 상기 유사도 이미지들 중 선택된 유사도 이미지에 대응하는 병해충 상세 정보를 제공하는 단계를 포함할 수 있다.

상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계는, 상기 질의 이미지로부터 특징점을 추출하고, 상기 추출된 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색하는 단계를 포함할 수 있다.

상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계는, 상기 질의 이미지에 대한 영상 처리를 수행한 후 기계 학습에 기반하여 영상을 인식시킴으로써 병해충명을 포함하는 병해충 정보를 획득하는 단계를 포함할 수 있다.

상기 이미지가 입력됨을 수신함에 따라 질의 이미지로 인식하는 단계는, 기 저장된 이미지들로부터 선택된 이미지 또는 카메라를 통하여 촬영함에 따라 획득된 이미지에서 병해충 부위로 의심되는 부분을 편집하여 입력하는 단계를 포함할 수 있다.

상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공하는 단계는, 상기 질의 이미지로부터 검색된 병해충 정보와 관련된 이미지가 기 설정된 인식률 이하일 경우, 상기 질의 이미지로부터 획득된 유사도 이미지에 기반하여 병해충 결과를 제공하는 단계를 포함할 수 있다.

병해충 검색을 위한 병해충 검색 시스템은, 이미지가 입력됨을 수신함에 따라 상기 이미지를 질의 이미지로 인식하고, 상기 질의 이미지에 대한 병해충 결과를 출력하는 통합 모듈; 상기 질의 이미지에 대한 유사도 기반의 이미지 검색을 통하여 유사도 이미지를 획득하는 이미지 검색 모듈; 상기 질의 이미지에 대항 영상 처리를 수행하여 병해충 정보 및 상기 병해충 정보와 관련된 병해충 이미지를 획득하는 영상 인식 모듈; 및 상기 질의 이미지와 비교하기 위한 병해충 이미지 및 상기 병해충과 관련된 병해충 정보를 저장하는 데이터베이스를 포함할 수 있다.

상기 통합 모듈은, 상기 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공할 수 있다.

상기 통합 모듈은, 상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명을 출력하고, 상기 질의 이미지로부터 획득된 병해충명에 기반하여 검색된 병해충 이미지들을 제공하고, 상기 병해충 이미지들 중 선택된 병해충 이미지에 대응되는 병해충 상세 정보를 제공할 수 있다.

상기 통합 모듈은, 상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명을 출력하고, 상기 질의 이미지에 대하여 유사도 기반의 이미지 검색을 통하여 검색된 유사도 이미지들을 유사도가 높은 순서로 정렬하여 제공하고, 상기 유사도 이미지들 중 선택된 유사도 이미지에 대응하는 병해충 상세 정보를 제공할 수 있다.

상기 이미지 검색 모듈은, 상기 질의 이미지로부터 특징점을 추출하고, 상기 추출된 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색할 수 있다.

상기 영상 인식 모듈은, 상기 질의 이미지에 대한 영상 처리를 수행한 후 기계 학습에 기반하여 영상을 인식시킴으로써 병해충명을 포함하는 병해충 정보를 획득할 수 있다.

상기 통합 모듈은, 기 저장된 이미지들로부터 선택된 이미지 또는 카메라를 통하여 촬영함에 따라 획득된 이미지에서 병해충 부위로 의심되는 부분을 편집하여 입력할 수 있다.

일 실시예에 따른 병해충 검색 시스템은 유사도 기반의 이미지 검색 기술과 영상 인식 기술 결합하여 성능을 고도화시킴으로써 실시간으로 빠르고 정확하게 병해충명을 검색할 수 있고, 병해충명과 관련된 관리를 수행할 수 있다.

일 실시예에 따른 병해충 검색 시스템은 모바일 기기를 사용해 다양한 작물의 병해충을 보다 정확하게 인식할 수 있는 병해충 검색을 위한 통합 서비스를 제공할 수 있다.

도 1 은 일 실시예에 따른 병해충 검색 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 병해충 검색 시스템에서 병해충을 검색하는 방법을 설명하기 위한 흐름도이다.
도 3내지 도 10은 일 실시예에 따른 병해충 검색 시스템에서 병해충 검색을 위한 유저 인터페이스를 나타낸 예이다.
도 11은 일 실시예에 따른 병해충 검색 시스템에서 이미지 검색 모듈을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 병해충 검색 시스템의 이미지 검색 모듈에서 유사도 이미지를 판단하는 방법을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 병해충 검색 시스템에서 영상 인식 모듈을 설명하기 위한 도면이다.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

도 1 은 일 실시예에 따른 병해충 검색 시스템의 구성을 설명하기 위한 블록도이다.

병해충 검색 시스템은 유사도 기반의 이미지 검색 기술과 영상 인식 기반의 기술을 결합하여 통합적으로 병해충 검색을 제공하기 위한 것으로, 통합 모듈(110), 이미지 검색 모듈(120) 및 영상 인식 모듈(130)을 포함할 수 있다.

이때, 병해충 검색 시스템은 데이터베이스(140)에 병해충 이미지를 저장하는 병해충 이미지 데이터베이스 및 병해충과 관련된 정보를 저장하는 병해충 정보 데이터베이스를 포함할 수 있다. 데이터베이스(140)는 병해충 이미지 데이터베이스 및 병해충 정보 데이터베이스를 통합 또는 별개로 관리할 수 있다. 또는, 데이터베이스(140)는 외부에서 제공하는 병해충 이미지 또는 병해충 정보를 불러와 저장할 수 있다. 예를 들면, 병해충 검색 시스템은 병해충 정보 데이터베이스에 저장된 병해충 정보에 기반하여 입력된 이미지로부터 병해충 정보를 획득할 수 있고, 병해충 이미지 데이터베이스에 저장된 병해충 이미지에 기반하여 입력된 이미지에 대한 유사도 이미지를 검색할 수 있다.

통합 모듈(110)은 사용자로부터 입력된 이미지를 질의 이미지로 인식하고, 질의 이미지에 대한 병해충 결과를 출력할 수 있다. 이때, 통합 모듈(110)은 질의 이미지로부터 획득된 유사도 이미지 또는 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공할 수 있다.

이미지 검색 모듈(120)은 질의 이미지에 대한 유사도 기반의 이미지 검색을 통하여 유사도 이미지를 획득할 수 있다. 이미지 검색 모듈(120)은 질의 이미지로부터 특징점을 추출하고, 추출된 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색할 수 있다. 도 11을 참고하면, 이미지 검색 모듈은 사용자가 병해충이 의심되는 이미지를 입력하면 유사한 유사도 이미지들을 출력할 수 있다(1110). 이미지 검색 모듈은 이미지에 대한 유사도 값을 구하기 위해 이미지 검색 라이브러리인 LIRE(Lucene Image Retrieval)을 사용할 수 있다. LIRE는 이미지에서 7가지 특징점을 추출한 후 각 특징점을 하나의 필드로 해서 색인 및 검색을 수행한다. 이때, LIRE 라이브러리를 사용하여 먼저 사용자 인터페이스를 통해 검색하고자 하는 이미지가 입력되면 일차적으로 이미지의 특징점들을 추출할 수 있다. 이미지 검색 모듈은 추출된 특징점들을 이용해 병해충 이미지 데이터베이스(1120)에 저장된 이미지들과의 유사도를 계산하고 매칭을 수행할 수 있다. 이때, 병해충 이미지 데이터베이스는 웹 크롤링, 이미지 검수 및 국립과학원예특작원에서 제공하는 데이터를 수집하여 저장할 수 있다(1130). 이미지 검색 모듈은 유사도가 높은 순으로 정해진 개수의 유사도 이미지들을 출력할 수 있다. 이미지 검색 모듈은 입력된 이미지에 대한 유사도 계산 및 매칭을 수행함에 따라 후보 이미지를 출력할 수 있고, 선택된 후보 이미지를 병해충 처방 데이터베이스(1140)에 기반하여 진단 및 처방을 수행할 수 있다(1150).

도 12를 참고하면, 이미지 검색 모듈에서 유사도 이미지를 판단하는 방법을 설명하기 위한 도면이다. 이미지 검색 모듈은 각각의 작물에 최적화된 디스크립터(Descriptor)를 이용하여 사용한다. 디스크립터는 이미지의 특징 값을 표현하는 방법으로, 이미지 검색 모듈은 CEDD, ACC, SCH, FCTH, JCD, OH, SC, CL, EH, Tamura, Gabor, LL, PHOG, JH 14개의 디스크립터를 이용하여 입력된 이미지에 대한 유사도 이미지를 검색할 수 있다.

일례로, 데이터 셋(Data set)이 작기 때문에 테스트 데이터 셋을 별도로 작성하지 않기로 한다. 유사도 이미지를 검색할 때 입력된 이미지를 농작물 질병 데이터 셋(data set)에서 선택한다. 이때, 데이터 셋에서 선택된 이미지가 검색 결과에 동일한 이미지가 우선 출력되는 문제가 있다. 그러나 실제로 사진을 촬영하는 각도 빛의 세기 등의 원인으로 동일한 이미지가 존재하지 않는다. 이에 따라 검색한 이미지와 동일한 이미지는 검색 결과에서 제외할 수 있다. 이미지 검색 모듈은 데이터 셋에 존재하는 이미지를 인덱싱(indexing)하고 인덱싱한 결과를 인덱스 파일(index file)로 저장할 수 있다. 그리고, 14개의 디스크립터를 사용하여 입력된 이미지와 유사한 유사도 이미지를 검색할 수 있다. 이때, 각각의 이미지를 단일 디스크립터로 유사도 이미지 검색을 하는데 입력(input)된 이미지에서 디스크립터를 추출하고 인덱스 파일에서 검색할 수 있다. 그 후, 입력된 이미지와의 거리 값을 계산하여 계산된 거리 값을 저장한다. 도 12는 이러한 방법으로 14개의 디스크립터를 단독으로 사용하여 계산한 이미지들 사이의 거리 값을 나타낸 것이다. 'Img'는 입력된 이미지를 나타내며 'Similar_img' 는 검색된 유사도 이미지이다. 'Distance _descriptor ' 는 14개의 디스크립터에서 하나를 선택하여 사용하였을 때 입력된 이미지와 검색된 유사도 이미지 사이의 거리 값이다. 'Distance _descriptor '의 값은 작을수록 입력된 이미지와 검색된 유사도 이미지가 더 유사하다는 것을 의미한다. 이에 따라 사용자에게 유사도 이미지를 출력할 때 거리 값이 작은 것부터 출력할 수 있다.

영상 인식 모듈(130)은 질의 이미지에 대한 영상 처리를 수행하여 병해충 정보를 획득할 수 있다. 영상 인식 모듈(130)은 병해충 정보에 기반하여 검색된 병해충 이미지들을 획득할 수 있다. 영상 인식 모듈(130)은 질의 이미지에 대한 영상 처리를 수행한 후 기계 학습에 기반하여 영상을 인식시킴으로써 병해충명을 포함하는 병해충 정보를 획득할 수 있다. 도 13을 참고하면, 영상 인식 모듈이 수행하는 과정을 크게 네 가지 단계로 구분할 수 있다. 우선적으로, 사용자가 선택한 병해충으로 의심되는 이미지를 입력 값으로 받을 수 있다. 영상 인식 과정 전에 먼저 영상 처리 작업을 거치는데, 영상 인식 과정 중 기계 학습에서 이미지를 일괄적으로 처리할 수 있도록 이미지 변환 및 특징점 추출 등 이미지 전처리 작업을 수행할 수 있다.

그리고 영상 인식 과정에서 CNN을 사용할 수 있다. CNN은 기계학습 중 딥러닝 알고리즘 중 하나로 사람의 신경망 구조를 모델링하여 만들어진 딥러닝 알고리즘에 영상 처리를 위한 컨볼루션(Convolution) 연산을 접목한 것으로서, 상기 알고리즘을 사용하여 이미지가 들어왔을 때 스스로 특징점을 찾아내 비교하고 어떤 병해충인지 판단하여 병해충명을 출력하게 된다. 영상 인식 모듈에 사용된 딥러닝 알고리즘 CNN은 Convolution layer와 Pooling layer의 반복으로 특징을 추출하고, 마지막에 Fully connected layer를 통해 분류하게 된다.

영상 인식 모듈의 구조는 도 13과 같다. 총 12개 레이어(layer)이며 Convolution layer와 Max pooling layer의 반복과정에서 자질을 줄여가며 특징을 추출한다. 그리고 Fully connected layer에서 분류하게 되는데 overfitting을 방지하고 성능을 높이기 위한 정규화의 방법으로 Drop out 기능을 부여하였다. Drop out의 threshold 값으로 0.5를 주어, 50% 확률로 노드들을 떨어뜨리면서(drop out) 학습하여 다양한 모델에 대한 학습효과를 갖게 된다. 도 13에서 W x H x C는 각 입력 데이터의 가로, 세로, 채널 수(처음의 3인 경우 RGB, 이후 특징맵 수)를 의미하며 F, P, O는 각각 필터 크기, 패딩 크기, 특징맵 수를 의미한다. 첫 번째 Convolution layer에서는 11x11 크기의 마스크로 특징을 추출하며 zero padding으로 수행한다. 이후 Max pooling layer에서는 2x2 마스크로 pooling을 수행하는데 마스크 내의 자질 중 큰 값을 가져오면서 사이즈를 가로, 세로 각 절반으로 줄인다. 다음 Convolution layer에서는 5x5 마스크를 사용해서 16개의 특징맵을 출력해내면서 위와 같은 과정을 4번 더 반복한다. 마지막 Max pooling layer에서는 4x4 크기의 특징맵 128개가 입력 데이터가 되어 2x2 크기의 특징맵 128개를 출력하고 Fully connected layer에서 512개의 노드로 입력데이터가 된다. Drop out을 통해 정규화를 하게 되며 마지막으로 7개의 노드가 출력됨으로써 7가지의 병해를 분류하게 된다. 학습 시 사용되는 역전파(Backpropagation)는 Feed forward와 Backpropagation 두 과정을 통해 가중치와 바이어스 값을 갱신한다. 먼저, Feed forward 단계에서는 훈련 데이터와 가중치를 곱하여 기대 오차를(loss function) 도출한다. 다음으로, Backpropagation단계에서는 오차 값을 이용해 가중치와 바이어스 값을 갱신한다. 이 과정을 반복적으로 이용하면 오차가 줄어들게 되는데, 이는 학습이 잘 이루어진다는 것을 의미한다.

도 2는 일 실시예에 따른 병해충 검색 시스템에서 병해충을 검색하는 방법을 설명하기 위한 흐름도이다.

단계(210)에서 병해충 검색 시스템은 이미지가 입력됨을 수신함에 따라 입력된 이미지를 질의 이미지로 인식할 수 있다. 사용자는 병해충으로 의심이 되는 작물 사진을 단말의 카메라를 통해 찍을 수 있고, 혹은 로컬(Local) 파일시스템에서 이미지를 선택할 수 있다. 다시 말해서, 예를 들면, 사용자는 단말을 통하여 단말에 저장된 이미지를 선택할 수 있고, 사용자는 단말의 카메라를 실행시켜 직접 촬영함에 따라 획득된 이미지를 선택할 수 있다. 이때, 획득된 이미지에서 병해충 부위로 의심되는 부분을 편집하여 입력될 수 있다.

단계(220)에서 병해충 검색 시스템은 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득할 수 있다. 병해충 검색 시스템은 질의 이미지로부터 특징점을 추출하고, 추출된 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색할 수 있다. 예를 들면, 단계(210)에서 병해충 검색 시스템은 선택된 이미지를 별도의 웹 서버(Web Server)에 전송하여 업로드될 수 있다. 서버에 업로드된 이미지는 LIRE라이브러리를 통해 데이터베이스에 존재하는 복수의 병해충 이미지와의 유사도를 계산할 수 있다. 유사도를 계산함에 따라 유사도가 높은 순서로 6장의 후보 이미지를 생성하여 사용자 인터페이스(UI)를 통해 출력할 수 있다. 또한, 병해충 검색 시스템은 질의 이미지에 대한 영상 처리를 수행한 후 기계 학습에 기반하여 영상을 인식시킴으로써 병해충명을 포함하는 병해충 정보를 획득할 수 있다. 이때, 병해충 정보는 병해충명, 이미지에 포함된 작물의 이름, 병해충 처방 정보, 병해충 예방 방법 등을 포함할 수 있다.

단계(230)에서 병해충 검색 시스템은 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 질의 이미지로부터 획득된 유사도 이미지 또는 병해충 정보와 관련된 병해충 이미지를 선택적으로 제공할 수 있다. 병해충 검색 시스템은 질의 이미지에 질의 이미지로부터 획득된 병해충명을 제공할 수 있다. 병해충 검색 시스템은 병해충명에 기반하여 검색된 병해충 이미지들을 제공하고, 병해충 이미지들 중 선택된 병해충 이미지에 대응되는 병해충 상세 정보를 제공할 수 있다. 또한, 병해충 검색 시스템은 질의 이미지에 대하여 유사도 기반의 이미지 검색을 통하여 검색된 유사도 이미지들을 유사도가 높은 순서로 정렬하여 제공하고, 유사도 이미지들 중 선택된 유사도 이미지에 대응하는 병해충 상세 정보를 제공할 수 있다. 이때, 병해충 검색 시스템은 질의 이미지로부터 검색된 병해충 정보와 관련된 이미지가 기 설정된 인식률 이하일 경우, 질의 이미지로부터 획득된 유사도 이미지에 기반하여 병해충 결과를 제공할 수 있다. 또한, 예를 들면, 병해충 검색 시스템은 질의 이미지에 대한 진단한 결과를 제공할 수 있다. 병해충 검색 시스템은 진단한 결과를 위험 정도에 따라 기 설정된 등급으로 분류할 수 있다. 병해충 검색 시스템은 질의 이미지에 대한 병해충명이 배/화상병일 경우, 배/화상병의 위험 정도에 따라 위험, 경고, 보통, 경미 등으로 분류할 수 있고, 이미지에 나타난 배/화상병이 위험 정도에 따라 등급이 선택되어 출력될 수 있다.

일 실시예에 따른 병해충 검색 시스템은 다양한 병해충을 다룰 수 있어 적용범위가 높다는 장점이 있지만, 상대적으로 정확도는 낮았던 유사도 기반의 이미지 검색 기술과 특정 작물의 병해충에 대해서는 인식에 있어서 높은 정확도를 기록하는 기계학습 알고리즘인 CNN(Convolutional Neural Networks)알고리즘을 결합함으로써 빠르고 정확한 검색 결과를 획득할 수 있다.

도 3내지 도 10은 일 실시예에 따른 병해충 검색 시스템에서 병해충 검색을 위한 유저 인터페이스를 나타낸 예이다.

병해충 검색 시스템은 서버 또는 단말의 어플리케이션 중 하나 이상에서 에서 수행될 수 있다. 병해충 검색 시스템이 서버일 경우, 단말로부터 입력된 이미지가 서버로 전송되고, 서버가 단말로부터 입력된 질의 이미지로 인식하고, 질의 이미지에 대한 유사도 기반의 이미지 검색 및 영상 인식 기술을 이용하여 병해충 결과를 획득하여 단말로 제공할 수 있다. 이때, 단말에 병해충 검색을 위한 어플리케이션이 설치되고 실행됨에 따라 서버로부터 전달된 병해충 결과가 출력될 수 있다. 또는, 병해충 검색 시스템이 단말의 어플리케이션을 통하여 수행됨에 따라 단말 내에서 사용자로부터 입력되는 이미지를 질의 이미지로 인식하고, 질의 이미지에 대한 유사도 기반의 이미지 검색 및 영상 인식 기술을 이용하여 병해충 결과를 획득 및 제공할 수도 있다. 병해충 검색 시스템은 단말의 어플리케이션뿐만 아니라 웹에도 병해충 검색을 위한 병해충 통합 검색 기능을 제공할 수 있다.

단말은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 단말의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 단말은 무선 또는 유선 통신 방식을 이용하여 네트워크를 통해 다른 단말들 및/또는 서버와 통신할 수 있다.

이때, 사용자가 실시간으로 빠르게 병해충을 확인할 수 있도록 하기 위하여 병해충 검색 시스템이 모바일 기반의 어플리케이션에 동작하는 것을 예를 들어 설명하기로 한다. 병해충 검색 시스템은 유사도 기반의 이미지 검색 기술과 영상 인식 기술의 장점을 취합하여 병해충을 확인 및 관리할 수 있다.

일 실시예에 따른 병해충 검색 시스템은 종래의 기술과 비교하였을 때, 유사도 기반의 이미지 검색 기술과 영상 인식 기술의 장점을 취합함에 따라 고도화된 성능을 통하여 실시간으로 빠르고 정확하게 병해충을 확인 및 관리할 수 있도록 제공할 수 있다. 또한, 종래의 기술들이 유사도 이미지 검색 기술 또는 영상 인식 기반의 기술 중 하나만을 사용하여 사용자에게 웹 또는 어플리케이션으로 제공하였던 것과는 달리, 일 실시예에 따른 병해충 검색 시스템은 유사도 이미지 검색 기술 및 영상 인식 기반의 기술을 통합하여 사용자 UX/UI를 고안하여 디자인함으로써 사용자가 쉽게 접근할 수 있도록 제공할 수 있다.

도 3은 어플리케이션(300)의 메인 화면(310)을 나타낸 예이다. 메인 화면(310)은 사용자가 어플리케이션을 실행하였을 때, 처음 마주하는 화면으로 '시작하기' 유저 인터페이스를 통하여 병해충 검색 및 방제 정보를 확인할 수 있다. 예를 들면, 메인 화면에는 배와 사과에 나무 자체를 완전히 말라 죽게 만들고 확실한 치료법이 없어 심각하게 여겨지는 병해인 '화상병'에 대한 간이 확인 결과, 화상병이 의심되면 반드시 해당 농업 기술 센터에 신고하여 정밀 진단을 받으셔야 합니다'와 같은 메시지(문구)를 적어 위험성을 강조할 수 있다.

더 나아가, 농업 기술 센터와 관련된 연락처(메일 주소, 사이트 주소, 전화 번호 등)을 제공하여 신고할 수 있도록 하고, 직접적으로 농업 기술 센터에 연락이 가능하도록 농업 기술 센터의 연락처를 연동시킬 수 있다. 예를 들면, 사용자는 어플리케이션을 통하여 진단받은 병해충 결과에 기반하여 어플리케이션에서 제공하는 연락처를 선택함에 따라 직접적으로 농업 기술 센터에 통화가 연결될 수 있다.

도 4를 참고하면, 병해충 검색을 위하여 카테고리를 선택하는 유저 인터페이스를 나타낸 예이다. 사용자가 메인 화면에서 '시작하기' 유저 인터페이스를 선택함에 따라 이동되는 카테고리 선택 화면을 나타낸 것이다. 병해충 검색 시스템은 병해충 검색을 위한 카테고리를 분류할 수 있다. 예를 들면, 과일, 채소, 화훼 등으로 카테고리가 분류될 수 있다. 병해충 검색 시스템은 어플리케이션(300)에서 작물을 선택할 수 있도록 1차 카테고리 선택 화면(410)을 제공할 수 있고, 1차 카테고리 선택 화면에서 사용자에 의하여 카테고리가 선택됨에 따라 세부 작물을 선택하는 2차 카테고리 선택 화면(420)을 제공할 수 있다. 사용자로부터 세부 작물이 선택됨에 따라 이미지 입력을 위한 화면으로 이동될 수 있다. 예를 들면, 1차 카테고리 선택 화면에 과일, 채소, 화훼가 제공됨에 따라 사용자는 '과일'을 선택할 수 있다. 과일을 선택함에 따라 과일의 세부 종류(예를 들면, 사과, 포도, 딸기, 배 등)가 제공될 수 있다. 사용자는 과일의 세부 종류 중 검색하고자 하는 과일을 선택할 수 있다. 이와 같이, 카테고리를 분류함으로써 보다 정확한 검색 결과를 제공할 수 있다.

도 5를 참고하면, 이미지 입력 화면(500)을 나타낸 예이다. 어플리케이션(300)에 단말에 저장된 이미지를 선택하거나 직접 촬영한 이미지를 입력하도록 이미지 입력 화면(500)이 출력될 수 있다. 이미지 입력 화면(500)은 사용자가 이미지를 선택함에 따라 질의 이미지로 인식하기 위한 것이다. 사용자는 이미지 입력 화면(500)에 표시된 '갤러리 이미지'를 선택함에 따라 단말에 저장된 이미지가 제공될 수 있고, 단말에 저장된 이미지 중 병해충 검색을 위한 이미지를 선택할 수 있다. 또는, 이미지 입력 화면(500)에 표시된 '카메라'를 선택함에 따라 단말의 카메라 기능이 실행됨으로써 직접 병해충 검색을 위한 이미지를 촬영할 수 있다. 이와 같이, 촬영된 이미지가 이미지 입력 화면에 자동으로 입력될 수 있다. 사용자로부터 선택된 이미지 또는 촬영된 이미지가 이미지 입력 화면(500)에 표시될 수 있다. 이때, 이미지 입력 화면에 표시된 이미지를 변경하고자 하고자 할 경우, 앞서 설명한 프로세스와 같이, 단말에 저장된 이미지를 재선택하거나 카메라를 통하여 이미지를 재촬영할 수 있다. 이미지 입력 화면(500)에 표시된 이미지에서 터치&드래그를 통하여 병해충으로 의심되는 영역을 크롭(자르기)하여 보다 상세하게 병징 부위를 표시할 수 있다. 사용자에 의하여 병해충으로 의심되는 영역이 설정됨에 따라 이를 질의 이미지로 인식하여 검색을 수행할 수 있다.

도 6을 참고하면, 병징 부위(620)를 선택하는 화면을 나타낸 예이다. 병징 부위 선택 화면(610)은 사용자가 이미지를 촬영하거나 갤러리에서 이미지를 선택함에 따라 이미지가 입력됨으로써 이동하는 화면이다. 병징 부위 선택 화면(610)에 표시된 '병징 부위 선택' 유저 인터페이스를 선택함에 따라 이미지에 존재하는 병징 부위를 편집하는 화면이 표시될 수 있다. 상기 편집하는 화면은 이미지에서 병해충으로 의심되는 병징 부위(620)에 범위를 조절하여 자르는 역할을 수행할 수 있다. 예를 들면, 병징 부위(620)에 따라 범위를 넓히거나 좁힐 수 있다. 사용자는 이미지에서 병해충으로 의심되는 영역을 선택함에 따라 획득된 병징 부위(620)를 서버로 이동되어 어떤 병해충인지 판단될 수 있다.

도 7을 참고하면, 병징 부위에 대한 검색을 수행하는 화면(710)을 나타낸 예이다. 다시 말해서, 도 6에서 사용자에 의하여 크롭된 이미지를 '검색하기' 유저 인터페이스를 통하여 서버로 전송할 수 있다. 이때, 병징 부위를 수정하기 위한 '선택 부위 수정' 유저 인터페이스를 선택함으로써 크롭된 이미지를 서버로 전송하기 전에 이미지로부터 병징 부위를 재수정할 수 있다. 서버로 전송된 이미지는 결과 화면을 통하여 표시될 수 있다.

도 8을 참고하면, 영상 인식 기반의 검색 결과 화면과 유사도 기반의 이미지 검색 결과 화면을 나타낸 예이다. 검색 결과 화면(810)에는 선택한 병해충 의심 이미지를 입력 값으로 사용함에 따라 출력된 유사도 이미지 검색 결과와 영상 인식 기반 검색 결과 값을 출력할 수 있다. 일례로, 병해충 검색 시스템은 기본적으로 검색 결과 화면(810)에 병해충 의심 이미지(820)와 병해충 의심 이미지(820)에 대한 병해충명(830)을 표시함과 동시에 병해충명을 검색함에 따라 획득된 이미지들을 출력할 수 있다. 이때, 예를 들면, 검색 결과 화면(810)에 표시된 왼쪽에 있는 화살표 버튼을 누르면 이미지를 다시 선택할 수 있고, 오른쪽에 있는 홈 버튼을 누르면 유사도 기반의 이미지 검색 결과가 출력될 수 있다. 또한, 검색 결과 화면에 사용자가 선택한 원본 이미지와 크롭된 이미지 각각을 탭 형식으로 번갈아 볼 수 있도록 제공할 수 있다.

검색 결과 화면(810)은 사용자로부터 선택된 이미지(병해충 의심 이미지)(820)와 선택된 이미지(820)의 하단에 작물명과 '영상 인식 모듈'에 의해 검색된 병해충명(830)이 출력된다. 검색 결과 화면(810)의 아래의 영역에 병해충 검색 이미지 결과를 제공할 수 있다. 예를 들면, 병해충 검색 시스템은 검색 결과 화면(810)에 왼쪽에 '병해충명 검색 결과(840)' 탭과 '유사 사진 결과(850)' 탭을 생성할 수 있다. 이때, '병해충명 검색 결과(840)' 탭을 선택할 경우, 영상 인식 모듈에 의해 검색된 병해충의 이미지가 출력될 수 있으며, 상기 이미지들은 병해충명에 기반하여 검색된 병해충 이미지들로 사용자의 편의를 위해 기 설정된 개수의 이미지를 출력할 수 있다. 예를 들면, 3x2 형태로 6개를 출력할 수 있다. 더 나아가, '더보기' 유저 인터페이스를 통해 '병해충명 검색 결과'에 대한 추가적인 이미지를 제공받을 수 있다. 그리고 '병해충명 검색 결과'에 표시된 이미지들 중 하나를 선택할 경우, 병해충의 상세 정보를 제공하는 상세 정보 화면을 출력할 수 있다.

또한, 검색 결과 화면(810)에 표시된 '유사 사진 결과(850)' 탭을 선택함에 따라 이미지 검색 모듈에 의해 검색 유사 병해충 이미지들이 유사도가 높은 순으로 출력될 수 있다. 이때도 마찬가지로, 3x2 형태로 6개의 이미지가 출력될 수 있으며, '더보기' 유저 인터페이스를 통하여 '유사 사진 결과'에 대한 추가적인 이미지를 제공받을 수 있다. 그리고, '유사 사진 결과(850)'에 표시된 이미지들 중 하나를 선택할 경우, 병해충의 상세 정보를 제공하는 상세 정보 화면을 출력할 수 있다.

한편, 병해충 검색 시스템은 질의 이미지로부터 검색된 병해충 정보와 관련된 이미지가 기 설정된 인식률 이상일 경우, 병해충 정보와 관련된 병해충 이미지를 포함하는 병해충 결과를 제공할 수 있다. 이에 반해, 병해충 검색 시스템은 질의 이미지로부터 검색된 병해충 정보와 관련된 이미지가 기 설정된 인식률 이하일 경우, 질의 이미지와 유사한 유사도 이미지에 기반하여 병해충 결과를 제공할 수 있다.

도 9를 참고하면, 병해충 결과를 제공하는 상세 정보 화면을 나타낸 예이다.

병해충 검색 시스템은 이미지로부터 획득된 병해충 정보에 기반하여 증상 및 처방 방법을 상세 정보 화면(910)에 제공할 수 있다. 또한, 병해충 검색 시스템은 병해충이 발생한 환경 정보를 상세 정보 화면(910)에 제공할 수 있다. 이에 따라, 상세 정보 화면(910)에 병해충과 관련된 증상, 처방 방법 및 발생환경 정보 중 적어도 하나가 출력될 수 있다.

일례로, 도 8과 같이 검색 결과 화면에 출력된 이미지를 선택함에 따라 사용자가 선택한 병해충 이미지의 상세 정보를 포함하는 결과 화면이 출력될 수 있다. 상세 정보 화면(910)에 표시된 왼쪽의 화살표 유저 인터페이스를 선택함에 따라 도 8의 화면으로 되돌아갈 수 있고, 홈 버튼을 선택할 경우, 도 3의 화면으로 되돌아가 이미지를 재선택할 수 있다. 또한, 상세 정보 화면(910)에 사용자로부터 입력된 이미지와 도 8에서 선택한 병해충 이미지를 탭 형식으로 비교하여 출력할 수도 있다.

상세 정보 화면(190)은 병해충에 대한 간단한 설명과 증상, 처방 방법, 발생환경 및/또는 처방 약제에 대한 설명을 출력할 수 있다. 처방 약제는 사진(이미지)를 첨부하여 사용자가 쉽게 알아볼 수 있도록 제공할 수 있다. 상세 정보 화면은 한 화면에서 스크롤을 통하여 한번에 쉽고 빠르게 정보를 획득할 수 있도록 할 수 있다.

도 10을 참고하면, 예외 결과 화면(1010)을 나타낸 예이다. 병해충 검색 시스템은 예외 결과 화면(1010)에 영상 인식 모듈에서 인식률이 낮은 이미지라고 판단됨에 따라 예외 처리가 되어 유사도 이미지 결과만을 출력할 수 있다. 또한, 영상 인식 모듈에서 처리하지 못하는 병해충(예를 들면, 영상 인식 모듈에서 지원하지 못하는 병해충)일 경우, 예외 결과 화면과 같이 유사도 이미지 결과만을 출력할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

1. 병해충 검색 시스템에 의해 수행되는 병해충 검색 방법에 있어서,
   이미지가 입력됨을 수신함에 따라 상기 이미지를 질의 이미지로 인식하는 단계;
   상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계; 및
   상기 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 제공하는 단계
   를 포함하고,
   상기 병해충 검색 방법은,
   유사도 기반의 이미지 검색 기술과 기계 학습에 기반한 영상 인식 기술을 결합한 것을 포함하고,
   상기 질의 이미지로부터 유사도 이미지 및 병해충 정보를 획득하는 단계는,
   이미지 검색 라이브러리인 LiRe을 사용하여 상기 질의 이미지로부터 복수 개의 특징점을 추출한 후, 각 특징점을 하나의 필드로 해서 색인 및 검색을 수행하고, 상기 추출된 복수 개의 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색하고, 상기 유사도 이미지를 검색할 때, 상기 질의 이미지를 농작물 질병 데이터 셋(data set)에서 선택하고, 상기 데이터 셋에 존재하는 이미지를 인덱싱(indexing)하고 인덱싱한 결과를 인덱스 파일(index file)로 저장하고, 이미지의 특징 값을 표현하는 CEDD, ACC, SCH, FCTH, JCD, OH, SC, CL, EH, Tamura, Gabor, LL, PHOG, JH를 포함하는 디스크립터(Descriptor)를 이용하여 상기 질의 이미지에 대한 유사도 이미지를 인덱스 파일에서 검색하고, 상기 질의 이미지와 검색된 유사도 이미지 사이의 거리 값을 계산하여 계산된 거리 값을 저장하고, 상기 질의 이미지와 검색된 유사도 이미지 사이의 거리 값이 작은 것부터 정해진 개수의 유사도 이미지들을 출력하고,
   상기 질의 이미지에 대한 영상 처리로서 이미지 전처리를 수행한 후 CNN 기계 학습에 기반하여 이미지 전처리를 수행한 이미지를 인식시킴으로써 병해충명, 이미지에 포함된 작물의 이름, 병해충 처방 정보, 병해충 예방 방법을 포함하는 병해충 정보를 획득하는 단계
   를 포함하고,
   상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 제공하는 단계는,
   상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명 및 상기 병해충명에 기반하여 검색된 병해충 이미지들을 제공하고, 상기 병해충 이미지들 중 선택된 병해충 이미지에 대응되는 병해충 상세 정보를 제공하고, 상기 병해충 상세 정보로 상기 질의 이미지에 대한 진단 결과를 위험 정도에 따라 기 설정된 등급으로 분류하고, 상기 위험 정도에 따라 등급을 선택하여 출력하고, 농업 기술 센터와 관련된 연락처(메일 주소, 사이트 주소, 전화 번호 등)을 제공하여 신고할 수 있도록 하는 단계
   를 포함하고,
   상기 CNN 기계 학습은, 상기 이미지 전처리를 수행한 질의 이미지에 Convolution layer와 Pooling layer의 반복 과정으로 특징을 추출하고, 상기 추출된 특징을 Fully connected layer를 통해 Drop out의 threshold 값에 기반하여 노드들을 떨어뜨리면서(drop out) 학습함으로써 병해충 정보를 분류하고, 첫 번째 Convolution layer에서 11x11 크기의 마스크로 특징을 추출하며 zero padding으로 수행하고, Max pooling layer에서 2x2 마스크로 pooling을 수행하여 마스크 내의 자질 값을 가져오면서 사이즈를 가로, 세로 각 절반으로 줄이고, 다음의 Convolution layer에서 5x5 마스크를 사용해서 16개의 특징맵을 출력하는 과정을 반복한 뒤, Max pooling layer에서 4x4 크기의 특징맵 128개가 입력 데이터가 되어 2x2 크기의 특징맵 128개를 출력하고 Fully connected layer에서 512개의 노드로 입력데이터가 되고, Drop out을 통해 정규화를 하게 되며 마지막으로 복수 개의 노드가 출력됨으로써 복수 가지의 병해를 분류하고, 학습 시 사용되는 역전파(Backpropagation)를 Feed forward와 Backpropagation 두 과정을 통해 가중치와 바이어스 값을 갱신하고, Feed forward 단계에서 훈련 데이터와 가중치를 곱하여 기대 오차를(loss function) 도출하고, Backpropagation단계에서 오차 값을 이용해 가중치와 바이어스 값을 갱신하는 과정을 반복적으로 이용하는
   병해충 검색 방법.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 질의 이미지로부터 획득된 유사도 이미지 및 병해충 정보를 포함하는 병해충 결과를 출력하는 단계는,
   상기 질의 이미지에 대하여 유사도 기반의 이미지 검색을 통하여 검색된 유사도 이미지들을 유사도가 높은 순서로 정렬하여 제공하고, 상기 유사도 이미지들 중 선택된 유사도 이미지에 대응하는 병해충 상세 정보를 제공하는 단계
   를 포함하는 병해충 검색 방법.
5. 삭제
6. 삭제
7. 삭제
8. 제1항에 있어서,
   상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 제공하는 단계는,
   상기 질의 이미지로부터 검색된 병해충 정보와 관련된 이미지가 기 설정된 인식률 이하일 경우, 상기 질의 이미지로부터 획득된 유사도 이미지에 기반하여 병해충 결과를 제공하는 단계
   를 포함하는 병해충 검색 방법.
9. 병해충 검색을 위한 병해충 검색 시스템에 있어서,
   이미지가 입력됨을 수신함에 따라 상기 이미지를 질의 이미지로 인식하고, 상기 질의 이미지에 대한 병해충 결과를 출력하는 통합 모듈;
   상기 질의 이미지에 대한 유사도 기반의 이미지 검색을 통하여 유사도 이미지를 획득하는 이미지 검색 모듈;
   상기 질의 이미지에 대항 영상 처리를 수행하여 병해충 정보 및 상기 병해충 정보와 관련된 병해충 이미지를 획득하는 영상 인식 모듈; 및
   상기 질의 이미지와 비교하기 위한 병해충 이미지 및 상기 병해충과 관련된 병해충 정보를 저장하는 데이터베이스
   를 포함하고,
   상기 병해충 검색 시스템은,
   유사도 기반의 이미지 검색 기술과 기계 학습에 기반한 영상 인식 기술을 결합한 것을 포함하고,
   상기 이미지 검색 모듈은,
   이미지 검색 라이브러리인 LiRe을 사용하여 상기 질의 이미지로부터 복수 개의 특징점을 추출한 후, 각 특징점을 하나의 필드로 해서 색인 및 검색을 수행하고, 상기 추출된 복수 개의 특징점에 기반하여 기 저장된 병해충 이미지와 유사도 계산 및 매칭을 수행함으로써 유사도 이미지를 검색하고,
   상기 유사도 이미지를 검색할 때, 상기 질의 이미지를 농작물 질병 데이터 셋(data set)에서 선택하고, 상기 데이터 셋에 존재하는 이미지를 인덱싱(indexing)하고 인덱싱한 결과를 인덱스 파일(index file)로 저장하고, 이미지의 특징 값을 표현하는 CEDD, ACC, SCH, FCTH, JCD, OH, SC, CL, EH, Tamura, Gabor, LL, PHOG, JH를 포함하는 디스크립터(Descriptor)를 이용하여 상기 질의 이미지에 대한 유사도 이미지를 인덱스 파일에서 검색하고, 상기 질의 이미지와 검색된 유사도 이미지 사이의 거리 값을 계산하여 계산된 거리 값을 저장하고, 상기 질의 이미지와 검색된 유사도 이미지 사이의 거리 값이 작은 것부터 정해진 개수의 유사도 이미지들을 출력하는 것을 포함하고,
   상기 영상 인식 모듈은,
   상기 질의 이미지에 대한 영상 처리로서 이미지 전처리를 수행한 후 CNN 기계 학습에 기반하여 이미지 전처리를 수행한 이미지를 인식시킴으로써 병해충명, 이미지에 포함된 작물의 이름, 병해충 처방 정보, 병해충 예방 방법을 포함하는 병해충 정보를 획득하는 것을 포함하고,
   상기 통합 모듈은,
   상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명 및 상기 병해충명에 기반하여 검색된 병해충 이미지들을 제공하고, 상기 병해충 이미지들 중 선택된 병해충 이미지에 대응되는 병해충 상세 정보를 제공하고, 상기 병해충 상세 정보로 상기 질의 이미지에 대한 진단 결과를 위험 정도에 따라 기 설정된 등급으로 분류하고, 상기 위험 정도에 따라 등급을 선택하여 출력하고, 농업 기술 센터와 관련된 연락처(메일 주소, 사이트 주소, 전화 번호 등)을 제공하여 신고할 수 있도록 하는 것을 포함하고,
   상기 CNN 기계 학습은, 상기 이미지 전처리를 수행한 질의 이미지에 Convolution layer와 Pooling layer의 반복 과정으로 특징을 추출하고, 상기 추출된 특징을 Fully connected layer를 통해 Drop out의 threshold 값에 기반하여 노드들을 떨어뜨리면서(drop out) 학습함으로써 병해충 정보를 분류하고, 첫 번째 Convolution layer에서 11x11 크기의 마스크로 특징을 추출하며 zero padding으로 수행하고, Max pooling layer에서 2x2 마스크로 pooling을 수행하여 마스크 내의 자질 값을 가져오면서 사이즈를 가로, 세로 각 절반으로 줄이고, 다음의 Convolution layer에서 5x5 마스크를 사용해서 16개의 특징맵을 출력하는 과정을 반복한 뒤, Max pooling layer에서 4x4 크기의 특징맵 128개가 입력 데이터가 되어 2x2 크기의 특징맵 128개를 출력하고 Fully connected layer에서 512개의 노드로 입력데이터가 되고, Drop out을 통해 정규화를 하게 되며 마지막으로 복수 개의 노드가 출력됨으로써 복수 가지의 병해를 분류하고, 학습 시 사용되는 역전파(Backpropagation)를 Feed forward와 Backpropagation 두 과정을 통해 가중치와 바이어스 값을 갱신하고, Feed forward 단계에서 훈련 데이터와 가중치를 곱하여 기대 오차를(loss function) 도출하고, Backpropagation단계에서 오차 값을 이용해 가중치와 바이어스 값을 갱신하는 과정을 반복적으로 이용하는
   병해충 검색 시스템.
10. 제9항에 있어서,
    상기 통합 모듈은,
    상기 질의 이미지에 대한 병해충 정보를 포함하는 병해충 결과를 출력하고, 상기 질의 이미지로부터 획득된 유사도 이미지 또는 상기 병해충 정보와 관련된 병해충 이미지를 제공하는
    것을 특징으로 하는 병해충 검색 시스템.
11. 삭제
12. 제10항에 있어서,
    상기 통합 모듈은,
    상기 질의 이미지에 상기 질의 이미지로부터 획득된 병해충명을 출력하고, 상기 질의 이미지에 대하여 유사도 기반의 이미지 검색을 통하여 검색된 유사도 이미지들을 유사도가 높은 순서로 정렬하여 제공하고, 상기 유사도 이미지들 중 선택된 유사도 이미지에 대응하는 병해충 상세 정보를 제공하는
    것을 특징으로 하는 병해충 검색 시스템.
13. 삭제
14. 삭제
15. 삭제

Images