KR20180096966A - Automatic Counting Method of Rice Plant by Centroid of Closed Rice Plant Contour Image - Google Patents
Automatic Counting Method of Rice Plant by Centroid of Closed Rice Plant Contour Image Download PDFInfo
- Publication number
- KR20180096966A KR20180096966A KR1020170023420A KR20170023420A KR20180096966A KR 20180096966 A KR20180096966 A KR 20180096966A KR 1020170023420 A KR1020170023420 A KR 1020170023420A KR 20170023420 A KR20170023420 A KR 20170023420A KR 20180096966 A KR20180096966 A KR 20180096966A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- rice
- processing unit
- central processing
- rice seedlings
- Prior art date
Links
- 241000209094 Oryza Species 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 43
- 235000007164 Oryza sativa Nutrition 0.000 claims abstract description 61
- 235000009566 rice Nutrition 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000000877 morphologic effect Effects 0.000 claims abstract description 30
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 241000196324 Embryophyta Species 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000003628 erosive effect Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012364 cultivation method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000035784 germination Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 형태적 연산과 연결 연산을 이용한 벼 모종 자동 개수 세는 방법에 관한 것으로서, 보다 상세하게는 저고도 무인 항공기에서 얻은 일반 경작지 현장 상황 영상을 이용하여 벼를 검출하고 그 개수를 자동 집계 하기 위한 영상 처리 기법을 적용함으로써, 이앙된 벼 모종의 개수를 자동으로 셀 수 있도록 한 형태적 연산과 연결 연산을 이용한 벼 모종 자동 개수 세는 방법에 관한 것이다.The present invention relates to a method of automatically counting rice seedlings using morphological operations and connection operations. More particularly, the present invention relates to a method and apparatus for detecting a rice paddy using a general agricultural field scene image obtained from a low altitude unmanned aerial vehicle And a method of automatically counting seedlings of rice seedlings using a morphological operation and a connection operation which automatically counts the number of transferred rice seedlings by applying a treatment technique.
벼는 특히 아시아에서 세계 인구의 엄청난 부분을 차지하는 중요한 작물이다. 그런데 벼의 성장, 품질 및 수확량은 유적적뿐만 아니라 환경 요인과 재배 방법에도 영향을 받는다. 즉, 벼의 재식 거리와 밀도는 벼 생산량에 지대한 영향을 주는 인자로서, 식물의 식생 및 생식 발달의 경쟁적 특성은 벼의 성장과 수확량에 큰 영향을 미치는 식물 밀도에 의해 크게 영향을 받는다. Rice is an important crop that is a large part of the world's population, especially in Asia. However, growth, quality and yield of rice are affected not only by relics but also by environmental factors and cultivation methods. That is to say, the planting density and the planting density and the planting density of the rice plant have a great influence on the rice yield. The competitive characteristics of the plant vegetation and the germination development are greatly influenced by the plant density which greatly affects the growth and yield of rice.
따라서, 이식에서 수확까지 벼 모니터링은 바람직한 성장과 수확량을 얻는데 중요하며 면적당 식물의 수는 산출량 측정에 매우 중요하다. Thus, from transplantation to harvesting, rice monitoring is critical for achieving the desired growth and yield, and the number of plants per area is crucial to yield.
그러나 수동 필드 기반 식물 모니터링은 노동 집약적이고 광범위하며 시간 소모적이므로 더 쉬우며 간단하고 저렴한 수단을 필요로 한다.However, manual field-based plant monitoring is labor intensive, extensive and time consuming, so it is easier, simpler and cheaper.
한편, 원격 감지 및 디지털 영상 처리 기법은 농업에서 이미 사용되고 있으나, 배경으로부터 물체를 추출하고 겹침과 터치로부터 물체를 분리하고 자동 집계하기 위한 디지털 영상 처리에 어려움으로 인해 그 사용에 한계를 갖고 있다. On the other hand, remote sensing and digital image processing techniques are already used in agriculture, but their use is limited due to difficulties in extracting objects from the background, separating objects from overlapping and touch, and processing digital images for automatic aggregation.
그럼에도 불구하고, 무인 항공기를 이용하여 나무 또는 꽃의 수를 세는 연구가 진행되었고, 정확도가 높지는 않으나 그 가능성은 보여주었다. Nevertheless, research on counting the number of trees or flowers using an unmanned aerial vehicle has been carried out, and although the accuracy is not high, the possibility has been shown.
그러나, 이 방법은 벼 검출과 집계에 적용할 수 없는 문제점을 가지고 있는데, 이는 벼가 일반적인 종류의 나무와 비교하여, 벼의 형태학적 구조가 매우 불규칙적이고, 성장속도가 빨라 잎 밀도는 시간에 따라 획기적으로 증가하며, 농민들의 경작 방법에 따라 조식밀도 등의 다양한 변수가 존재하기 때문이다. However, this method has problems that can not be applied to rice detection and aggregation because rice morphological structure is very irregular and growth rate is faster than that of general kinds of rice, And there are various variables such as the density of breakfast depending on the cultivation methods of the farmers.
따라서, 벼와 같은 특성을 갖는 식물에게 적용될 수 있는 수량 판별 방법의 개발이 필요하고, 더 나아가 이렇게 개발된 방법을 벼에 비해 좀더 용이한 형태적 특성의 식물에게도 적용함으로써, 그 판별 정확도를 높이는 것이 필요한 시점이다.Therefore, it is necessary to develop a method of quantitative determination that can be applied to plants having characteristics such as rice, and further, by applying the thus-developed method to plants having morphological characteristics more easily than rice, It is a necessary point.
본 발명은 상기와 같은 문제를 해결하기 위하여 안출된 것으로, 본 발명에 따른 형태적 연산과 연결 연산을 이용한 벼 모종 자동 개수 세는 방법 저고도 무인 항공기 영상을 사용하여 일반 필드 상황에서 벼를 자동으로 검출하고 집계하는 영상 처리 기법을 제안한다. SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide a method of automatically counting rice seedlings using morphological calculation and connection calculation according to the present invention. We propose an image processing technique that compiles.
상기 목적을 달성하기 위한 본 발명에 따른 형태적 연산과 연결 연산을 이용한 벼 모종 자동 개수 세는 방법은 (a)무인항공기가 논 위를 비행하며 탑재된 카메라를 통해 논의 디지털 영상을 촬영 후 디지털 영상을 중앙처리부에 전송하는 단계; (b)중앙처리부가 무인항공기로부터 전송받은 영상을 이용하여 벼 모종 개수를 세는 단계; 및 (c)화면출력부가 중앙처리부로부터 전달받은 벼 모종 개수를 화면에 생성하는 단계;를 특징으로 한다.In order to achieve the above object, there is provided a method of counting rice seedlings using a morphological operation and a connection operation according to the present invention, comprising the steps of: (a) taking an image of a digital image through a camera mounted on a non- To the central processing unit; (b) counting the number of rice seedlings using the image transmitted from the unmanned airplane by the central processing unit; And (c) generating a number of rice seedlings transferred from the central processing unit on the screen.
또한, 상기 (a)단계의 디지털 영상은 RGB(Red Green Blue) 영상인 것을 특징으로 한다.In addition, the digital image of step (a) is RGB (Red Green Blue) image.
또한, 상기 (b) 단계는 (b-1) 디지털 영상을 회색음영(Grayscale) 영상으로 변환하는 단계: (b-2) 상기 회색음영영상의 노이즈를 제거하는 단계; (b-3) 상기 노이즈가 제거된 회색음영영상을 이진(Binary) 영상으로 변환하는 단계; (b-4) 상기 이진영상에 형태학적 연산을 하는 단계; (b-5) 상기 형태학적 처리가 된 이진영상 내에서 존재하는 형태의 윤곽선을 연결하여 구조요소를 형성하는 단계; (b-6) 상기 구조요소의 개수를 세는 단계;를 포함하되, 상기 벼 모종 개수는 상기 구조요소의 개수인 것을 특징으로 한다.The step (b) may further include: (b-1) converting the digital image into a grayscale image; (b-2) removing noise from the grayscale image; (b-3) converting the noise-removed grayscale image into a binary image; (b-4) performing a morphological operation on the binary image; (b-5) forming contour elements by connecting contours of shapes present in the morphologically processed binary image; (b-6) counting the number of the structural elements, wherein the number of the seedlings is the number of the structural elements.
또한, 상기 (b-4)단계와 (b-5)단계 사이에 상기 형태학적 연산 처리가 된 이진영상에 대하여 노이즈를 제거하는 단계;를 더 것을 특징으로 한다.The method may further include removing noise from the binary image subjected to the morphological operation processing between steps (b-4) and (b-5).
또한, 상기 노이즈 제거에는 적응적 메디안필터(Adaptive median filter)가 적용되는 것을 특징으로 한다.In addition, an adaptive median filter is applied to the noise removal.
또한, 상기 (b-5)단계에서 상기 구조요소의 중심점을 형성하는 단계;를 더 포함하는 것을 특징으로 한다.Further, the method may further include forming a center point of the structural element in the step (b-5).
또한, 상기 윤곽선과 중심점을 비교하여 윤곽선 또는 중심점 중 어느 하나를 구조요소로 인정하는 단계;를 더 포함하는 것을 특징으로 한다.Further, the method further includes the step of comparing the outline and the center point and recognizing any one of the outline or the center point as a structural element.
상기와 같은 특징을 갖는 본 발명에 따른 형태적 연산과 연결 연산을 이용한 벼 모종 자동 개수 세는 방법은 기계적 간섭 없이 벼를 검출하고 집계할 수 있으며 다른 작물을 위해 자동화된 도구로 이용될 수 있는 효과가 있다. The method of automatic counting of rice seedlings using morphological calculation and connection calculation according to the present invention having the above characteristics can detect and count rice without mechanical interference and can be used as an automated tool for other crops have.
도 1은 형태학적 영상처리 기법을 통한 형태적 변화 모습
도 2는 실험 연구 지역 모습
도 3은 무인항공기를 포함한 실험 장비 및 작동 관계
도 4는 벼 집계 알고리즘의 흐름도
도 5는 무인항공기에서 촬영한 RGB 영상
도 6은 회색음영 영상
도 7은 노이즈를 제거한 회색음영 영상
도 8은 이진 영상
도 9는 형태학적 연산이 적용된 이진 영상
도 10은 구조요소가 형성된 영상
도 11은 구조요소에 중심점이 형성된 영상
도 12는 긍정오류(false positive ) 사례
도 13은 제안된 방법과 실측 자료 사이에 쌀 집계 수의 상관관계 그래프Figure 1 shows morphological changes through morphological image processing techniques.
Figure 2 shows an experimental study area
Figure 3 shows the experimental equipment and operating relationship including unmanned aerial vehicles
Figure 4 is a flow chart of the rice aggregation algorithm
FIG. 5 is a view showing an RGB image
FIG. 6 shows a gray-
FIG. 7 is a graph showing a gray shaded image
Fig.
FIG. 9 shows a binary image
FIG. 10 is a view showing an image
Fig. 11 is a view showing an image
FIG. 12 shows a case where a false positive case
Figure 13 shows the correlation graph of rice counts between the proposed method and actual data
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명을 실시하기 위한 구체적인 내용에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.The term used in the present invention is a general term that is widely used at present. However, in some cases, there is a term selected arbitrarily by the applicant. In this case, the term used in the present invention It is necessary to understand the meaning.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어 발명의 요지를 불필요하게 흐릴 소지가 있는 구성에 대해서는 그 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings.
본 발명에 따른 벼 모종 자동 개수 세는 방법은 (a) 무인항공기가 논 위를 비행하며 탑재된 카메라를 통해 논의 디지털 영상을 촬영 후 디지털 영상을 중앙처리부에 전송하는 단계; (b) 중앙처리부가 무인항공기로부터 전송받은 영상을 이용하여 벼 모종 개수를 세는 단계; 및 (c) 화면출력부가 중앙처리부로부터 전달받은 벼 모종 개수를 화면에 생성하는 단계;를 포함한다. The method for counting rice seedling seedlings according to the present invention comprises the steps of: (a) capturing a digital image of a discussion through a camera mounted on an unmanned aerial vehicle and transmitting the digital image to a central processing unit; (b) counting the number of rice seedlings using the image transmitted from the unmanned airplane by the central processing unit; And (c) generating a number of seedlings transferred from the central processing unit on the screen.
여기서, 중앙처리부는 메인프로세스가 포함된 컴퓨터 또는 노트북일 수 있으며, 화면출력부는 각 컴퓨터 또는 노트북에 연결된 모니터일 수 있다.Here, the central processing unit may be a computer or a notebook computer including a main process, and the screen output unit may be a monitor connected to each computer or a notebook computer.
한편, (a)단계의 디지털 영상은 RGB(Red Green Blue) 영상이 바람직하다.On the other hand, the digital image of step (a) is preferably RGB (Red Green Blue) image.
이를 상기 (b) 중앙처리부가 무인항공기로부터 전송받은 영상을 이용하여 벼 모종 개수를 세는 단계를 세부화하면서 살펴보면, 상기 (b) 단계는 (b-1) RGB(Red Green Blue) 영상을 회색음영(Grayscale) 영상으로 변환하는 단계: (b-2) 상기 회색음영영상의 노이즈를 제거하는 단계; (b-3) 상기 노이즈가 제거된 회색음영영상을 이진(Binary) 영상으로 변환하는 단계; (b-4) 상기 이진영상에 형태학적 연산을 하는 단계; (b-5) 상기 형태학적 처리가 된 이진영상 내에서 존재하는 형태의 윤곽선을 연결하여 구조요소를 형성하는 단계; (b-6) 상기 구조요소의 개수를 세는 단계;를 포함한다.(B) counting the number of seedlings by counting the number of rice seedlings using the image received from the unmanned airplane by the central processing unit (b), the step (b) (B-2) removing noise of the grayscale image; (b-3) converting the noise-removed grayscale image into a binary image; (b-4) performing a morphological operation on the binary image; (b-5) forming contour elements by connecting contours of shapes present in the morphologically processed binary image; (b-6) counting the number of the structural elements.
특히, 상기 (b-4)단계와 (b-5)단계 사이에 상기 형태학적 연산 처리가 된 이진영상에 대하여 노이즈를 제거하는 단계;를 더 포함할 수 있으며, 상기 노이즈 제거에는 적응적 메디안필터(Adaptive median filter)가 적용된다.In particular, the method may further include removing noise from the binary image subjected to the morphological operation processing between steps (b-4) and (b-5), wherein the noise removal includes an adaptive median filter (Adaptive median filter) is applied.
상기 적응적 메디안필터는 적응마스크 모양 및 영역 세분화를 한 후, 변형된 스위칭 메디안 필터로 처리함으로써, 저고도 무인항공기기 비행 중 촬영한 크기가 작고 형태가 불규칙한 벼의 형태적 특징에 햇빛 반사, 영상 흐림, 왜곡, 무인 항공기 그림자, 벼 경작지의 장애물 등과 같은, 다른 조건 등의 환경적 요인이 가해져 발생하는 다양한 형태의 노이즈를 효과적으로 제거할 수 있게 된다.The adaptive median filter is characterized by adaptive mask shape and area segmentation, and then processed with a modified switching median filter, thereby reducing sunlight reflection, image blurring , Various types of noise caused by environmental factors such as distortion, unmanned airplane shadows, and other conditions such as obstacles of rice cultivated land can be effectively removed.
특히, (b-4)단계와 (b-5)단계 사이에 상기 형태학적 연산 처리가 된 이진영상에 대하여 노이즈 제거를 적응적 메디안필터를 통해 한번 더 처리함으로써, 상기 구조요소를 확정하는데 정확도를 최적화시키는 효과가 있다.Particularly, by performing noise removal once more on the binary image subjected to the morphological operation processing between steps (b-4) and (b-5) through an adaptive median filter, the accuracy There is an effect to optimize.
야기서, 상기 구조요소는 벼의 형태적 윤곽으로서, 카운팅하고자 하는 벼의 개수가 된다.The structural element is the morphological contour of the rice, which is the number of rice to be counted.
이는 (b-4)단계의 이진영상에 형태학적 연산을 통해 달성된다.This is achieved by morphological operations on the binary image of step (b-4).
본 발명에 채택된 형태학적 연산이란 일종의 영상처리 기법으로서, 형태학적 영상 처리는 영상의 형상 또는 형태와 관련된 비선형 처리 그룹이며, 형상감지, 분할, 노이즈 제거 등과 같은 영상 처리 방법에 사용된다. 형태학적 연산은 수학적 수치가 아닌 픽셀 수치의 상대적 순서에만 의존하므로 이진 영상 처리에 특히 적합한데, 이러한 형태학적 영상 처리에서 팽창과 침식은 기본 형태학적 처리 연산이며 알고리즘의 기본 요소로 적용된다. 이 연산자는 구조 요소(SE)라고 하는 관심 픽셀 세트가 있는 영상에 사용된다. The morphological operation adopted in the present invention is a kind of image processing method. Morphological image processing is a nonlinear processing group related to the shape or form of an image, and is used in an image processing method such as shape detection, division, noise removal and the like. Morphological operations are particularly suitable for binary image processing because they depend only on the relative order of pixel values, not on mathematical values. In such morphological image processing, expansion and erosion are basic morphological processing operations and are applied as a basic element of the algorithm. This operator is used for images with a set of pixels of interest, called Structure Elements (SE).
이러한 팽창과 침식은, 도 1을 참조하면, 구조요소가 형태학적 영상처리가 되지 않은 기본 영상(a)에서 팽창(b)과 침식(c)을 통해 그 형태가 변화하는 것을 볼 수 있다.Referring to FIG. 1, the expansion and erosion can be seen in the basic image (a) in which the structural element is not morphologically processed, and its shape changes through expansion (b) and erosion (c).
특히, 본 발명에 채택된 형태학적 연산은 오직 형태적 연산의 닫힘만 사용한다. 닫힘 연산은 단순히 두 연산에서 동일한 구조 요소(SE)를 사용하는 침식이 뒤따르는 팽창과 같다. In particular, the morphological operations employed in the present invention only use closures of morphological operations. A closed operation is simply an expansion followed by erosion using the same construction element (SE) in both operations.
한편, 상기 (b-5)단계에서 상기 구조요소의 중심점을 형성하는 단계;를 더 포함하고, 상기 윤곽선과 중심점을 비교하여 윤곽선 또는 중심점 중 어느 하나를 구조요소로 인정하는 단계;를 더 포함할 수 있다.The method may further include forming a center point of the structural element in the step (b-5), and comparing the outline and the center point to recognize any one of the outline or the center point as a structural element .
이는, 도 9를 참조하면, (b-5)단계에서 형태학적 처리가 완료된 이진영상 내에 존재하는 형태의 윤곽선을 연결하여 구조요소를 형성하더라도, 이의 중심점이 형성되지 않는 경우가 발생하며, 이를 모종으로 인정할 지에 대한 결정에 따라 모종 개수의 정확도가 달라질 수 있기 때문이다.Referring to FIG. 9, even if a contour of a shape existing in a morphologically processed binary image is connected to form a structural element in step (b-5), a center point of the structure element may not be formed, Because the accuracy of the number of seedlings can be changed according to the decision on whether to accept the seedlings.
따라서, 보수적으로 모종 개수의 정화도를 높이고자 할 경우 중심점을 구한 후 중심점을 구조요소로 인정하여 이를 카운팅하는 방법을 추가적으로 선택할 수 있다.Therefore, in order to increase the degree of purification of the seedlings conservatively, it is possible to additionally select a method of counting the center point after recognizing the center point as a structural element.
이하, 본 발명을 실시예에 의해 상세히 설명한다. 단, 하기 실시예는 본 발명을 예시하는 것일 뿐, 본 발명의 내용이 하기 실시예에 한정되는 것은 아니다.Hereinafter, the present invention will be described in detail by way of examples. However, the following examples are illustrative of the present invention, and the present invention is not limited to the following examples.
재료 및 방법Materials and methods
연구 지역Research Area
이 실험을 위한 연구 지역은, 도 2를 참조하면, 한국 나주의 전라남도 농업기술센터 및 농업인 상담소(latitude 35°1'34.24" N and Longitude 126°49'14.21" E)이다. 주요 실험 필드 면적은 12580m2 이고 작물은 쌀이었다. (Oryza sativa L.) 쌀 이식 날짜는 2016년 5월 25일 이었다. 쌀 성장 시기에 무인 항공기에 탑재한 RGB 카메라를 사용하여 2주 간격으로 영상을 촬영했다. The study area for this experiment is shown in Fig. 2, which is
정보 획득Obtain information
도 3을 참조하면, 현장에서 나온 영상은 이식 직후 촬영 한 것이다. Sony alpha a5100 디지털 카메라(lens: Sony E 16mm f 2.8)를 사용한다. 카메라는 CMOS영상이 있는 24.3MP 였고, 최대 해상도는 6000*4000 이다. 쌀 영상은 맑고 화창한 날에 촬영되었고 카메라의 높이는 작물에서 10m였습니다. 카메라는 회전익 형 무인 항공기 (model: DJI-S1000; Geospatial Information Co. Ltd.)에 장착되었다. 전진 비행 속도는 2.5 m/s 였습니다. 노트북은 무선 데이터 링크 커넥터(model: LK 900, dji, 900MHz)로 무인 항공기와 연결되었다.Referring to FIG. 3, the image taken from the field is taken immediately after implantation. Use a Sony alpha a5100 digital camera (lens: Sony E 16mm f 2.8). The camera was 24.3MP with CMOS image and the maximum resolution was 6000 * 4000. The rice image was taken on a clear sunny day and the height of the camera was 10m from the crop. The camera was mounted on a rotor-type unmanned aerial vehicle (model: DJI-S1000; Geospatial Information Co. Ltd.). The forward flight speed was 2.5 m / s. The notebook was connected to the unmanned aircraft with a wireless data link connector (model: LK 900, dji, 900MHz).
영상 처리Image processing
도 4는 벼 집계 알고리즘의 흐름도 이다. 먼저, 무인 항공기에 탑재된 카메라에서 가져온 RGB 영상(도 5참조)을 MATLAB 작업공간으로 읽고 회색 음영 영상(도 6 참조)으로 변환한다. 노이즈 제거를 위해 적응적 메디언 필터(Adaptive median filter)를 회색 음영 영상(도 7 참조)에 적용했다. 그 후, 형태학적 연산은 이진 영상에 적용되기 때문에 회색 음영 영상은 이진 영상(도 8 참조)으로 변환되었다. 이 방법에서 이진 영상에 닫힘 형태학적 기법을 사용했다(도 9 참조). 닫힘 연산은 윤곽부분을 부드럽게 하고 좁은 틈과 길고 얇은 골을 결합하여 작은 작은 구멍을 제거하고 윤곽의 틈을 채운다. 4 is a flowchart of the rice counting algorithm. First, the RGB image (see FIG. 5) taken from the camera mounted on the unmanned airplane is read as a MATLAB workspace and converted into a grayscale image (see FIG. 6). An adaptive median filter was applied to the gray shade image (see FIG. 7) for noise reduction. Then, since the morphological operation is applied to the binary image, the grayscale image is converted into the binary image (see FIG. 8). In this method, closed morphological techniques were used for binary images (see FIG. 9). The Closed operation softens the contour portion and combines the narrow and long thin valleys to remove small tiny holes and fill the gaps in the contour.
그리고 다시 적응 중간 필터가 영상에 적용되어 더 많은 노이즈가 제거 된다. 이 과정이 후에 형태학적 처리가 된 이진영상 내에서 존재하는 형태의 윤곽선을 연결하여 경계를 그림으로써 구조요소를 형성한다 (도 10 참조). 그런 다음 각각의 연결된 구성 요소에 중심점(도 11 참조)을 만들고 중심점을 벼로 집계한다. 총 수를 집계하고 결과를 표시한다. 형태적 연산에 의해 획득된 벼 모종 후보들로부터 연결 연산을 통해 식 1의 8방향에 있는 요소 중 어느 하나의 항목 하고 현재 화소 값이 연결되어 있으면 연결 요소로 취급함으로써 벼를 검출하게 된다.Again, adaptive intermediate filters are applied to the image to remove more noise. This process is followed by linking contours of existing shapes in a morphologically processed binary image to form a structural element by drawing the boundary (see FIG. 10). Then, a center point (see FIG. 11) is created for each connected component and the center point is counted in rice paddies. Aggregate the total number and display the results. If one of the elements in the 8 direction of Equation 1 and the current pixel value are connected through the connection operation from the rice seedling candidate obtained by the morphological operation, the rice is detected by treating it as a connecting element.
{(x-1, y-1), (x-1, y), (x-1, y+1), (x, y-1), (x, y+1), (x+1, y-1), (x+1, y), (x+1, y+1)}. …………. (식 1)1, x + 1, y + 1, x + 1, y + 1, (x + 1, y), (x + 1, y + 1)}. ... ... ... ... . (Equation 1)
여기서, x, y는 각 축의 좌표값이다.Here, x and y are coordinate values of the respective axes.
이렇게 획득된 벼 모종의 개수를 세기 위해 벼 모종의 외곽선을 구하고 이를 기반으로 벼 모종의 중심점을 구한다. 이렇게 구한 벼 모종의 중심점 개수를 통해 벼 모종의 개수를 획득한다.To obtain the number of rice seedlings thus obtained, the outline of rice seedlings is obtained and the center point of the rice seedlings is obtained based on the outline. The number of rice seedlings is obtained through the number of center points of the rice seedlings thus obtained.
성능 평가Performance evaluation
성능 측정을 위해 정확률, 재현률 그리고 F-Measure을 선택했다. 다음 방정식으로 계산한다. We chose accuracy, recall, and F-Measure for performance measurements. Calculate with the following equation.
여기서 TP는 정확하게 검출된 벼의 수 이고, TN은 정확하게 벼가 아닌 것을 검출한 수 이고, FP는 검출된 벼에서 벼가 아닌 것의 수 이다. Where TP is the number of correctly detected rice, TN is the exact number of non-rice detection, and FP is the number of non-rice in the detected rice.
이 성능 측정 형식을 사용하여 본 방법의 성능을 측정할 수 있다.This performance measurement format can be used to measure the performance of the method.
실험 결과Experiment result
영상 처리Image processing
영상 처리 알고리즘의 처음 네 단계는 영상 형식의 기본 변환과 노이즈 제거를 위한 필터를 사용하는 것이다. 이러한 모든 과정은 형태학적 처리 전에 사용되었다. 회색 음영과 이진 영상은 노이즈 제거와 함께 좋은 결과를 보여주었다. 형태학적 연산의 닫힘이 수행된 후, 적응적 메디언 필터(adaptive median filter)가 적용되어 매우 좋은 결과를 얻었다. 이 단계에서 이진 픽셀 (0s and 1s)은 영상의 구성 요소를 나타낸다. 1은 검은 색 픽셀을 벼로 나타내고 있으며, 0은 영상의 배경을 나타내고 있다. 이것에 의해 1은 개별 벼의 무게중심을 보여준다. 영상에서 닫힘 연산을 수행한 후 필터를 적용하면 아래 그림과 같이 식물의 무게중심이 더 선명하고 명확하게 보여진다. 이 과정이 끝나면 연결된 검은 색 픽셀마다 연결된 구성 요소로 경계를 그린다. 그런 다음 연결된 구성요소 각각에 무게중심을 만들고 벼로 인식하고 중심점을 집계한다. 총 수를 집계하고 결과를 표시한다. The first four steps of the image processing algorithm are to use a filter for the basic transformation of the image format and noise reduction. All of these procedures were used prior to morphological processing. Gray shades and binary images showed good results with noise reduction. After the closure of the morphological operation was performed, an adaptive median filter was applied and very good results were obtained. At this stage, the binary pixels (0s and 1s) represent the components of the image. 1 indicates a black pixel in rice, and 0 indicates a background of an image. By this, 1 shows the center of gravity of individual rice. If the filter is applied after performing a close operation on the image, the center of gravity of the plant is shown clearly and clearly as shown in the figure below. At the end of this process, each connected black pixel is bounded by a connected component. It then creates a center of gravity for each connected component, recognizes it as rice, and counts the center points. Aggregate the total number and display the results.
성능 평가Performance evaluation
10개의 테스트 영상을 무작위로 선택하여 제안된 알고리즘을 테스트 하였다. The proposed algorithm was tested by randomly selecting 10 test images.
표 2에 제안한 방법과 육안으로 검출하고 집계한 벼의 수가 표시되어있다. 벼의 True positive, false positive, false negative 수 또한 계산되어 있다. 재현률, 정확률, 그리고 F-measure는 식 (2), (3), (4)를 사용하여 계산되었다. 결과는 85%의 정확률과 89%의 재현률에 해당하는 F-measure에 의해 알고리즘이 87%의 성능을 수행 할 수 있음을 보여준다. 가장 잘 맞는 영상은 F-measure에 따라 93%의 성능을 보여주며, 90%의 정확률과 97%의 재현률에 해당한다. 도 12에서는 false positive 오류로 인해 약간의 오류가 보여진다. 제안된 방법과 실측 자료 사이에 쌀 집계 수의 상관관계는 도 13에서 보여진다. R2 값은 약 0.47이다.Table 2 shows the proposed method and the number of rice detected and counted visually. True positive, false positive, and false negative numbers of rice are also calculated. Recall, precision, and F-measure were calculated using equations (2), (3), and (4). The results show that the algorithm can perform 87% of the performance with the F-measure corresponding to 85% accuracy and 89% recall. The best-fit image shows 93% performance according to F-measure, 90% accuracy and 97% recall. In Figure 12, some errors are shown due to false positive errors. The correlation of rice counts between the proposed method and actual data is shown in Fig. The R 2 value is about 0.47.
이상의 설명은 본 발명을 예시적으로 설명한 것이고, 명세서에 게시된 실시예는 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술사상을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 그러므로 본 발명의 보호범위는 청구범위에 기재된 사항에 의해 해석되고, 그와 균등한 범위 내에 있는 기술적 사항도 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention. Various modifications and variations will be possible without departing from the spirit of the invention. Therefore, the scope of the present invention should be construed as being covered by the scope of the appended claims, and technical scope within the scope of equivalents thereof should be construed as being included in the scope of the present invention.
Claims (7)
(b) 중앙처리부가 무인항공기로부터 전송받은 영상을 이용하여 벼 모종 개수를 세는 단계; 및
(c) 화면출력부가 중앙처리부로부터 전달받은 벼 모종 개수를 화면에 생성하는 단계;를 특징으로 하는 벼 모종 자동 개수 세는 방법.
(a) taking a digital image of a discussion through a camera mounted on an unmanned aerial vehicle and transmitting the digital image to a central processing unit;
(b) counting the number of rice seedlings using the image transmitted from the unmanned airplane by the central processing unit; And
(c) generating on the screen the number of rice seedlings transferred from the central processing unit by the screen output unit.
상기 (a)단계의 디지털 영상은 RGB(Red Green Blue) 영상인 것을 특징으로 하는 벼 모종 자동 개수 세는 방법.
The method according to claim 1,
Wherein the digital image of step (a) is RGB (Red Green Blue) image.
상기 (b) 단계는
(b-1) 디지털 영상을 회색음영(Grayscale) 영상으로 변환하는 단계:
(b-2) 상기 회색음영영상의 노이즈를 제거하는 단계;
(b-3) 상기 노이즈가 제거된 회색음영영상을 이진(Binary) 영상으로 변환하는 단계;
(b-4) 상기 이진영상에 형태학적 연산을 하는 단계;
(b-5) 상기 형태학적 처리가 된 이진영상 내에서 존재하는 형태의 윤곽선을 연결하여 구조요소를 형성하는 단계;
(b-6) 상기 구조요소의 개수를 세는 단계;를 포함하되,
상기 벼 모종 개수는 상기 구조요소의 개수인 것을 특징으로 하는 벼 모종 자동 개수 세는 방법.
The method according to claim 1,
The step (b)
(b-1) converting a digital image into a grayscale image;
(b-2) removing noise of the grayscale image;
(b-3) converting the noise-removed grayscale image into a binary image;
(b-4) performing a morphological operation on the binary image;
(b-5) forming contour elements by connecting contours of shapes present in the morphologically processed binary image;
(b-6) counting the number of the structural elements,
Wherein the number of the rice seedlings is the number of the structural elements.
상기 (b-4)단계와 (b-5)단계 사이에 상기 형태학적 연산 처리가 된 이진영상에 대하여 노이즈를 제거하는 단계;를 더 것을 특징으로 하는 벼 모종 자동 개수 세는 방법.
The method of claim 3,
And removing noise from the binary image subjected to the morphological operation processing between the step (b-4) and the step (b-5).
상기 노이즈 제거에는 적응적 메디안필터(Adaptive median filter)가 적용되는 것을 특징으로 하는 벼 모종 자동 개수 세는 방법.
The method of claim 4,
Wherein an adaptive median filter is applied to the noise removal.
상기 (b-5)단계에서 상기 구조요소의 중심점을 형성하는 단계;를 더 포함하는 것을 특징으로 하는 벼 모종 자동 개수 세는 방법.
The method of claim 3,
And forming a center point of the structural element in the step (b-5).
상기 윤곽선과 중심점을 비교하여 윤곽선 또는 중심점 중 어느 하나를 구조요소로 인정하는 단계;를 더 포함하는 것을 특징으로 하는 벼 모종 자동 개수 세는 방법.
The method of claim 6,
Comparing the contour with a center point to recognize either the contour or the center point as a structural element.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170023420A KR20180096966A (en) | 2017-02-22 | 2017-02-22 | Automatic Counting Method of Rice Plant by Centroid of Closed Rice Plant Contour Image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170023420A KR20180096966A (en) | 2017-02-22 | 2017-02-22 | Automatic Counting Method of Rice Plant by Centroid of Closed Rice Plant Contour Image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180096966A true KR20180096966A (en) | 2018-08-30 |
Family
ID=63453561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170023420A KR20180096966A (en) | 2017-02-22 | 2017-02-22 | Automatic Counting Method of Rice Plant by Centroid of Closed Rice Plant Contour Image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180096966A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215714A (en) * | 2020-09-08 | 2021-01-12 | 北京农业智能装备技术研究中心 | Rice ear detection method and device based on unmanned aerial vehicle |
| CN113888397A (en) * | 2021-10-08 | 2022-01-04 | 云南省烟草公司昆明市公司 | Tobacco pond cleaning and plant counting method based on unmanned aerial vehicle remote sensing and image processing technology |
| CN116543385A (en) * | 2023-07-05 | 2023-08-04 | 江西农业大学 | Intelligent detection method and device for morphology of rice leaf cells |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101207098B1 (en) | 2011-06-13 | 2012-12-03 | 김영준 | Goods estimating apparatus using of image analysis and method of the same |
-
2017
- 2017-02-22 KR KR1020170023420A patent/KR20180096966A/en not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101207098B1 (en) | 2011-06-13 | 2012-12-03 | 김영준 | Goods estimating apparatus using of image analysis and method of the same |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215714A (en) * | 2020-09-08 | 2021-01-12 | 北京农业智能装备技术研究中心 | Rice ear detection method and device based on unmanned aerial vehicle |
| CN112215714B (en) * | 2020-09-08 | 2024-05-10 | 北京农业智能装备技术研究中心 | Unmanned aerial vehicle-based rice spike detection method and device |
| CN113888397A (en) * | 2021-10-08 | 2022-01-04 | 云南省烟草公司昆明市公司 | Tobacco pond cleaning and plant counting method based on unmanned aerial vehicle remote sensing and image processing technology |
| CN116543385A (en) * | 2023-07-05 | 2023-08-04 | 江西农业大学 | Intelligent detection method and device for morphology of rice leaf cells |
| CN116543385B (en) * | 2023-07-05 | 2023-09-05 | 江西农业大学 | Intelligent detection method and device for morphology of rice leaf cells |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering | |
| Jay et al. | In-field crop row phenotyping from 3D modeling performed using Structure from Motion | |
| CN109447945B (en) | Quick counting method for basic wheat seedlings based on machine vision and graphic processing | |
| CN106951836B (en) | crop coverage extraction method based on prior threshold optimization convolutional neural network | |
| CN111868782A (en) | System and method for determining crop stubble scores using blind source separation of color images | |
| US20190019281A1 (en) | Methods of yield assessment with crop photometry | |
| Huang et al. | Cotton yield estimation using very high-resolution digital images acquired with a low-cost small unmanned aerial vehicle | |
| Nielsen et al. | Vision-based 3D peach tree reconstruction for automated blossom thinning | |
| Diago et al. | On‐the‐go assessment of vineyard canopy porosity, bunch and leaf exposure by image analysis | |
| David et al. | Vegetation indices and textures in object-based weed detection from UAV imagery | |
| CN110070571B (en) | Phyllostachys pubescens morphological parameter detection method based on depth camera | |
| CN114067207A (en) | Vegetable seedling field weed detection method based on deep learning and image processing | |
| CN105005813A (en) | Insect pest analyzing and counting method and system | |
| Long et al. | Row and water front detection from UAV thermal-infrared imagery for furrow irrigation monitoring | |
| KR20180096966A (en) | Automatic Counting Method of Rice Plant by Centroid of Closed Rice Plant Contour Image | |
| CN107121535A (en) | A kind of effective crop growth environment monitoring system | |
| CN105427279B (en) | A kind of grassland Drought Information Monitoring System and method based on computer vision and Internet of Things | |
| Reza et al. | Automatic counting of rice plant numbers after transplanting using low altitude uav images | |
| CN107464232B (en) | Image detection method for planting quality of unmanned rice transplanter | |
| Tubau Comas et al. | Automatic apple tree blossom estimation from UAV RGB imagery | |
| Smit et al. | Vine signal extraction-an application of remote sensing in precision viticulture | |
| CN110689022A (en) | Leaf matching-based image extraction method for each crop | |
| CN116579446B (en) | Method for estimating high-precision wheat grain yield by using phenotypic characteristics | |
| CN117193347A (en) | Unmanned aerial vehicle flight height control method and device, electronic equipment and storage medium | |
| CN116721344A (en) | Vegetation detection method, device and equipment based on aerial photographing equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |