KR101334794B1 - 특징정보를 이용하는 꽃 인식 장치 및 방법 - Google Patents

Abstract

개시된 기술은 특징정보를 이용하는 꽃 인식 방법 및 장치에 관한 것으로, 컴퓨터 또는 휴대용 단말기를 이용하여 꽃을 포함하는 영상을 입력받고, 상기 영상에서 특징정보를 추출하여 상기 꽃을 인식하는 방법에 있어서, 영상장치에서 꽃을 포함하는 영역을 영상으로 입력하는 단계; 상기 영상에서 꽃 영역을 검출하는 단계; 상기 꽃 영역에서 색상에 대한 제 1 특징정보를 추출하는 단계; 상기 꽃 영역에서 상기 꽃의 무게중심, 상기 꽃의 윤곽선 및 상기 꽃의 무게중심에서부터 상기 꽃의 윤곽선까지의 거리를 구하고, 상기 꽃의 모양에 대한 제 2 특징정보를 추출하는 단계; 기 저장된 8가지 색상값 및 상기 꽃 영역의 각 픽셀에 대한 색상정보 간에 Euclidean Distance값을 적용하여 제 3 특징정보를 추출하는 단계; 상기 꽃의 무게중심에서부터 상기 꽃의 윤곽선까지의 거리를 3분할하여 상기 꽃의 무게중심에서부터 제 1 영역, 제 2 영역 및 제 3 영역으로 나누고, 상기 제 1 영역, 상기 제 2 영역 및 상기 제 3 영역 각각의 색상에 대한 제 4 특징정보들을 추출하는 단계; 및 상기 제 1 특징정보, 상기 제 2 특징정보, 상기 제 3특징정보 및 상기 제 4 특징정보를 이용하여 상기 꽃에 대한 인식 후보 모델을 생성하는 단계를 포함한다. 따라서 꽃의 형태학적 특징을 추출함으로써 유사한 꽃이나 다양한 꽃이 대해 인식성능을 높이는 효과를 제공한다.

Description

특징정보를 이용하는 꽃 인식 장치 및 방법 {Flower Recognition Method And Apparatus Using Feature Extraction}

개시된 기술은 특징정보를 이용하는 꽃 인식 장치 및 방법에 관한 것으로, 보다 자세하지만 제한됨 없이는 영상장치에서 촬영한 영상을 입력받아 꽃을 정확하게 인식하는 방법 및 장치에 관한 것이다.

식물의 꽃이나 잎을 분석하여 해당하는 식물이 어떤 종류인지 인식하는 방법은 고전적인 식물분류학에서 연구되고 있는 분야이다. 즉, 식물의 꽃이나 잎에 따른 특징정보를 분석하여 해당하는 식물과 가장 유사한 식물을 찾아냄으로써 식물의 종류를 판별하고 있다.

식물의 종류를 판별하는데 있어서, 종래의 기술들에서는 입력받은 영상을 그레이 영상으로 변환하고, 꽃의 윤곽선의 특징을 추출하는 방법을 이용한다. 이러한 방법은 영상이 가진 다양한 색상에 대한 특징을 이용하지 않고, 꽃의 윤곽선에 따른 모양 정보를 이용하는 것이므로 인식하려고 하는 식물과 유사한 다른 식물에 대한 오인식률이 높아져서 결과적으로 인식률이 떨어지는 문제점이 있었다.

특징정보를 이용하여 식물을 판별하는 방법 및 장치에 대한 종래기술로는 한국 공개특허 제10-2009-0109727호 (발명의 명칭 : 영상에서 관심 영역 지정 및 윤곽선 영상을 이용한 객체 인식 방법 및 장치) 및 한국 공개특허 제 10-2010-0076795호 (발명의 명칭 : 디지털 영상 처리에서 꽃을 인식하는 장치 및 방법)가 있다.

개시된 기술은 색상 및 모양에 대한 특징정보들을 이용하여 꽃을 정확하게 인식하는 장치 및 방법을 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 컴퓨터 또는 휴대용 단말기를 이용하여 꽃을 포함하는 영상을 입력받고, 영상에서 특징정보를 추출하여 꽃을 인식하는 방법에 있어서, 영상장치에서 꽃을 포함하는 영역을 영상으로 입력하는 단계, 꽃 영역을 검출하는 단계, 꽃 영역에서 색상에 대한 제 1 특징정보를 추출하는 단계, 꽃 영역에서 꽃의 무게중심, 꽃의 윤곽선 및 꽃의 무게중심에서부터 꽃의 윤곽선까지의 거리를 구하고, 꽃의 모양에 대한 제 2 특징정보를 추출하는 단계, 기 저장된 8가지 색상값과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 적용하여 제 3 특징정보를 추출하는 단계, 꽃의 무게중심에서부터 꽃의 윤곽선까지의 거리를 3분할하여 꽃의 무게중심에서부터 제 1 영역, 제 2 영역 및 제 3 영역으로 나누고, 제 1 영역, 제 2 영역 및 제 3 영역 각각의 색상에 대한 제 4 특징정보들을 추출하는 단계 및 제 1 특징정보, 제 2 특징정보, 제 3특징정보 및 제 4 특징정보를 이용하여 꽃 인식 후보 모델을 생성하는 단계를 포함하는 특징정보를 이용하는 꽃 인식 후보 모델 생성 방법을 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 컴퓨터 또는 휴대용 단말기를 이용하여 꽃을 포함하는 영상을 입력받고, 영상에서 특징정보를 추출하여 꽃을 인식하는 방법에 있어서, 영상장치에서 꽃을 포함하는 영역을 영상으로 입력받는 입력부, 꽃 영역에서 색상에 대한 제 1 특징정보를 추출하는 제 1 특징정보 추출부, 꽃 영역에서 꽃의 무게중심, 꽃의 윤곽선 및 꽃의 무게중심에서부터 꽃의 윤곽선까지의 거리를 구하고, 꽃의 모양에 대한 제 2 특징정보를 추출하는 제 2 특징정보 추출부, 기 저장된 8가지 색상값 및 꽃 영역의 각 픽셀에 대한 색상정보 간에 Euclidean Distance값을 적용하여 제 3 특징정보를 추출하는 제 3 특징정보 추출부, 꽃의 무게중심에서부터 꽃의 윤곽선까지의 거리를 3분할하여 꽃의 무게중심에서부터 제 1 영역, 제 2 영역 및 제 3 영역으로 나누고, 제 1 영역, 상기 제 2 영역 및 제 3 영역 각각의 색상에 대한 제 4 특징정보들을 추출하는 제 4 특징정보 추출부 및 제 1 특징정보, 제 2 특징정보, 제 3 특징정보 및 제 4 특징정보를 이용하여 꽃에 대한 인식 후보 모델을 생성하는 후보 모델 생성부를 포함하는 특징정보를 이용하는 꽃 인식 후보 모델 생성 장치를 제공하는데 있다.

개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

개시된 기술의 일 실시예에 따르면 꽃 영상의 형태학적 특징을 이용하여 특징정보를 추출함으로써, 유사한 꽃 및 다양한 꽃의 영상에 대한 인식성능을 높일 수 있는 효과를 제공한다. 또한, 전체 및 분할된 꽃 영역의 색상에 대한 특징과 모양정보를 이용함으로써 빛의 영향을 최소화하는 효과를 제공한다.

도 1은 개시된 기술의 일 실시예에 따른 특징정보를 이용하는 꽃 인식 후보 모델 생성 방법에 대한 순서도이다.
도 2는 개시된 기술의 다른 일 실시예에 따른 특징정보를 이용하는 꽃 인식 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에서 이용하는 8개의 기본색상을 나타내는 도면이다.
도 4는 개시된 기술의 일 실시예에서 꽃 모양에 대한 특징정보를 추출하는 도면이다.
도 5는 개시된 기술의 일 실시예에서 꽃을 3분할하는 과정을 나타내는 도면이다.
도 6은 개시된 기술의 꽃 영상 인식 성능을 나타내는 도면이다.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 사이에" 와 "바로 ~사이에" 또는 "~에 이웃하는" 과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

도 1은 개시된 기술의 일 실시예에 따른 특징정보를 이용하는 꽃 인식 후보 모델 생성 방법에 대한 순서도이다. 도 1을 참조하면, 특징정보를 이용하는 꽃 인식 후보 모델 생성 방법은 영상장치에서 영상을 입력하는 단계(110), 영상에서 꽃의 영역을 검출하는 단계(120), 꽃의 영역에서 제 1 특징정보를 추출하는 단계(130), 꽃의 영역에서 제 2 특징정보를 추출하는 단계(140), 꽃의 영역에서 제 3 특징정보를 추출하는 단계(150), 꽃의 영역에서 제 4 특징정보를 추출하는 단계(160) 및 꽃에 대한 인식 후보 모델을 생성하는 단계(170)를 포함한다. 이하에서는 각 단계별로 수행되는 기술적 특징에 대하여 상세하게 설명한다.

110 단계에서는 영상장치에서 영상을 입력한다. 개시된 기술의 일실시예에서 영상장치라 함은 컴퓨터 또는 휴대용 단말기를 의미한다. 물론 꽃 영상의 촬영이 가능한 다른 전자 기기나 촬영 장치를 이용할 수 있다는 점은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.

즉, 110 단계에서는 컴퓨터, 휴대용 단말기, 촬영이 가능한 전자 기기 또는 촬영 장치를 이용하여 영상을 입력한다. 그리고 입력하는 영상에는 개시된 기술이 이루고자하는 목적에 위배되지 아니하도록 꽃을 포함하는 것이 바람직하다. 예컨대 개시된 기술의 일 실시예에서 영상은 꽃을 포함하는 사진 또는 동영상일 수 있다.

120 단계에서는 상기 입력된 영상에서 꽃 영역을 검출한다. 꽃의 영역을 검출하는 방법으로는 예컨대, 꽃을 포함한 영상에서 Intellgent Scissors 알고리즘 또는 Watershed 알고리즘을 이용하는 것일 수 있다. Intellgent Scissors 및 Watershed는 종래의 영상검출 알고리즘이며, 이러한 영상검출 알고리즘을 이용하면 영상에서 꽃의 영역을 검출하는 것이 가능하다.

130 단계에서는 영상이 포함하는 꽃의 영역 전체에서 색상에 대한 제 1 특징정보를 추출한다. 130 단계를 설명하기에 앞서 꽃의 영역 전체라고 함은 영상에서 꽃의 일부가 포함된 영역이 아닌 꽃 전체가 포함된 영역을 의미한다. 영상에서 영역은 영상 안에서 인식하고자 하는 꽃을 포함하는 특정한 범위이다. 따라서, 130 단계에서는 꽃 영역 전체에서 색상에 대한 제 1 특징정보를 추출한다.

앞서 설명한 바와 같이 제 1 특징정보는 색상에 대한 특징정보이다. 즉, 제 1 특징정보는 RGB 또는 YCbCr의 평균값을 추출한 것이다. 여기에서 RGB의 평균값은 꽃 영역에서 Red의 평균, Green의 평균 및 Blue의 평균을 포함한다. 그리고 YCbCr의 평균값은 꽃 영역에서 Y의 평균, Cb의 평균 및 Cr의 평균을 포함한다. RGB의 평균값과 YCbCr의 평균값을 계산하는 과정에 대한 상세한 설명을 위하여 이하의 공식 (1)과 공식 (2)를 참조하여 각각 설명하면 다음과 같다.

Average of Red = Sum of Red / Flower pixel

Average of Green = Sum of Green / Flower pixel (1)

Average of Blue = Sum of Blue / Flower pixel

위의 공식 (1)을 참조하면 Red의 평균(Average of Red)은 꽃 영역의 전체 Red의 합(Sum of Red)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Red의 평균(Average of Red)을 구한 것임을 알 수 있다. 그리고 Green의 평균(Average of Green)은 꽃 영역의 전체 Green의 합(Sum of Green)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Green의 평균(Average of Green)을 구한 것이고, Blue의 평균(Average of Blue)은 Blue의 합(Sum of Blue)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Blue의 평균(Average of Blue)을 구한 것이다.

Average of Y = Sum of Y / Flower pixel

Average of Cb = Sum of Cb / Flower pixel (2)

Average of Cr = Sum of Cr / Flower pixel

한편, 위의 공식 (2)를 참조하면 Y의 평균(Average of Y)은 Y의 합(Sum of Y)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Y의 평균(Average of Y)을 구한 것임을 알 수 있다. 그리고 Cb의 평균(Average of Cb)은 Cb의 합(Sum of Cb)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Cb의 평균(Average of Cb)을 구한 것이고, Cr의 평균(Average of Cr)은 Cr의 합(Sum of Cr)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Cr의 평균(Average of Cr)을 구한 것이다.

위와 같이 추출한 각 6개의 평균값들은 꽃 영역에 대한 특징정보로 이용한다. 기 공개된 종래 기술들의 경우에서는 위와 같이 다양한 색상에 대한 특징정보들을 이용하지 아니하고, 색상을 이용한 꽃의 판단 유무 및 영상이 포함하는 꽃의 모양에 대한 특징정보들만 이용하였으므로, 꽃의 인식률이 떨어지는 단점이 있었다. 그러나 개시된 기술에서는 모양에 대한 특징정보를 추출함과 동시에 색상에 대한 특징정보도 추출하여 추출한 모든 특징정보들을 이용하고 있으므로 높은 인식률을 제공하는 효과가 있다.

140 단계에서는 꽃의 모양에 대한 제 2 특징정보를 추출한다. 모양에 대한 특징정보를 추출하기에 앞서, 140 단계에서는 꽃의 무게중심과 윤곽선, 그리고 무게중심으로부터 꽃의 윤곽선까지 거리를 구한다. 무게중심을 구하는데 있어서, 개시된 기술의 일실시예에서는 이하의 수학식 1을 이용한다.

위의 수학식 1에서 C는 무게중심이고, N은 꽃 영역의 픽셀 수를 나타내고,

및

은 해당 픽셀의 좌표값이다. 이 수학식 1을 이용하면 영상이 포함하는 꽃 영역에서 꽃의 무게중심을 계산하는 것이 가능하다.

또한 140 단계에서는 앞서 꽃의 무게중심을 구하는 것과 함께 무게중심으로부터 꽃의 윤곽선까지 거리도 계산한다. 꽃의 무게중심으로부터 꽃 윤곽선까지의 거리정보는 꽃의 모양에 대한 제 2 특징정보를 구하기 위하여 필요로 하는 것이다. 즉, 앞서 구한 꽃의 무게중심 및 무게중심으로부터 꽃의 윤곽선까지의 거리정보를 이용하여 꽃의 모양에 대한 특징정보인 제 2 특징정보를 구하게 된다. 제 2 특징정보는 꽃의 꽃잎 수에 대한 정보를 포함한다. 개시된 기술의 일 실시예에서는 꽃잎 수를 계산하기 위하여 이하의 수학식 2를 이용한다.

위의 수학식 2에서 영교차율(Zero Crossing Rate)의 기준 값은 객체 영상의 무게중심으로부터의 개별 거리에 대한 평균 거리값을 영점으로 이용하고, 추출된 윤곽 선 전체 둘레 길이

내에서 객체 영상의 무게중심으로부터의 윤곽선의 거리가 기준점을 지나는 양의 부호를 판단하며 이는 곧 꽃 객체의 꽃잎 수를 판별할 수 있는 중요한 특징으로 사용된다. 여기서

는 꽃 영상의 무게중심으로부터 윤곽선까지의 거리이며,

은 평균거리를 의미한다. 개시된 기술의 일 실시예에서는 영교차율에 따라 꽃잎 수를 계산하여 제 2 특징정보로 이용한다.

150 단계에서는 기 저장된 8가지 색상값과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 적용한 것을 이용한다. 여기에서 8가지 색상값은 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black의 8가지 색상이다. 그리고 Euclidean Distance값은 n차원의 공간에서 두 벡터 또는 두 점 간의 거리를 의미한다.

160 단계에서는 꽃의 영역을 3분할하여 분할된 영역 각각의 색상에 대한 제 1 특징정보 및 제 3 특징정보를 추출한다. 160 단계에서는 앞서 140 단계에서 구한 꽃의 무게중심과 꽃의 윤곽선까지의 평균 거리정보를 이용하여 꽃 영역을 3분할하고, 각각 제 1 영역, 제 2 영역 및 제 3 영역으로 나눈다.

개시된 기술의 일실시예에서는 무게중심에서 가까운 순서대로 제 1 영역, 제 2 영역 및 제 3 영역으로 3분할을 하고 있으나, 이와 같은 제 1, 제 2 및 제 3의 번호들은 단순히 각각의 영역을 구분하는 숫자에 불과한 것이며 3개 이하 및 이상도 가능하고, 번호의 순서가 순차적인 의미로 확대 해석 되는 것은 아니다. 즉, 사용자의 의도에 따라 영역의 개수 및 제 1 영역, 제 2 영역 및 제 3 영역의 순서가 충분히 바뀔 가능성이 있다. 이러한 점은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.

한편, 160 단계에서는 꽃의 영역을 3분할로 나누었으므로, 각각의 색상에 대한 특징정보들을 추출하는 것이 바람직하다. 따라서 제 4 특징정보는 제 1 영역의 색상에 대한 특징정보, 제 2 영역의 색상에 대한 특징정보 및 제 3 영역의 색상에 대한 특징정보를 포함한다.

따라서, 160 단계에서는 제 4 특징정보로 제 1 영역의 Red, Green 및 Blue의 평균값, Y, Cb 및 Cr의 평균값을 구하고, 미리 저장된 8가지 색상값인 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black의 색상과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 이용한다. 그리고 제 2 영역의 Red, Green 및 Blue의 평균값, Y, Cb 및 Cr의 평균값을 구하고, 8가지 색상값인 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black의 색상과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 이용한다. 그리고 제 3 영역의 Red, Green 및 Blue의 평균값, Y, Cb 및 Cr의 평균값을 구하고, 8가지 색상값인 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black의 색상과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 이용한다. 즉, 각 영역 당 14개의 특징정보를 추출하여 총 42개의 특징정보를 추출한 것을 제 4 특징정보로 이용한다.

170 단계에서는 꽃을 인식하기 위하여 후보 모델을 생성한다. 꽃을 인식하는 과정에 있어서, 개시된 기술의 일실시예에서는 인식 후보 모델을 이용한다. 170 단계에서는 앞서 130 단계, 140 단계, 150 단계 및 160 단계에서 추출한 제 1 특징정보, 제 2 특징정보, 제 3 특징정보 및 제 4 특징정보를 기존의 패턴인식 알고리즘의 하나인 Multi Class SVM을 이용하여 인식 후보 모델을 생성한다.

도 2는 개시된 기술의 일 실시예에 따른 특징정보를 이용하는 꽃 인식 장치에 대한 순서도이다. 도 2를 참조하면, 특징정보를 이용하는 꽃 인식 장치는 영상장치에서 영상을 입력하는 입력부(210), 영상에서 꽃 영역을 검출하는 검출부(220), 영상에서 제 1 특징정보를 추출하는 제 1 특징정보 추출부(230), 영상에서 제 2 특징정보를 추출하는 제 2 특징정보 추출부(240), 영상에서 제 3 특징정보를 추출하는 제 3 특징정보 추출부(250), 영상에서 제 4 특징정보를 추출하는 제 4 특징정보 추출부(260) 및 적어도 하나의 인식 후보 모델을 저장하는 후보 모델 DB(270)를 이용하는 후보 모델 생성부(280) 를 포함한다. 이하에서는 각 구성요소들의 기술적 특징에 대한 상세한 설명을 한다.

입력부(210)는 영상장치에서 꽃을 포함하는 영상을 입력받는다. 앞서 도 1을 참조하여 개시된 기술의 일 실시예를 설명한 바와 같이, 개시된 기술의 일 실시예에서 영상장치라 함은 컴퓨터 또는 휴대용 단말기를 의미한다. 또한 앞서 설명한 바와 마찬가지로 촬영이 가능한 다른 전자 기기나 촬영 장치를 이용할 수 있다는 점은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.

한편, 입력부(210)는 꽃의 전체영역을 포함하는 영상을 입력하는 것이 바람직하다. 입력한 영상은 꽃 영역을 검출하는 검출부(220)를 거쳐 제 1 특징정보 추출부(230), 제 2 특징정보 추출부(240), 제 3 특징정보 추출부(250) 및 제 4 특징정보 추출부(260)로 전송되어 각각의 구성요소에서 서로 다른 특징정보들을 추출하게 된다. 이하에서는 검출부(220), 제 1 특징정보 추출부(230), 제 2 특징정보 추출부(240), 제 3 특징정보 추출부(250), 제 4 특징정보 추출부(260) 및 후보 모델 생성부(280)에서 수행되는 기술적 특징을 상세하게 설명한다.

검출부(220)는 앞서 도 1을 참조하여 설명한 바와 같이 입력받은 꽃을 포함한 영상에서 Intellgent Scissors 알고리즘, Watershed 알고리즘 등의 영상검출 알고리즘을 이용하여 꽃 영역의 영상을 검출한다. Intellgent Scissors 및 Watershed는 영상을 검출하는데 이용하는 종래의 알고리즘이다. 이러한 알고리즘을 이용하면 영상이 포함하는 꽃을 검출하는 것이 가능하다.

제 1 특징정보 추출부(230)는 꽃 영역 전체에서 색상에 대한 특징정보를 추출한다. 이하부터는 색상에 대한 특징정보를 제 1 특징정보라고 한다. 제 1 특징정보 추출부(230)는 RGB 및 YCbCr의 평균값을 제 1 특징정보로 추출한다. 여기에서 RGB의 평균값은 꽃 영역 전체에서 Red의 평균, Green의 평균 및 Blue의 평균을 포함하는 것을 의미한다. 그리고 YCbCr의 평균값은 꽃 영역에서 Y의 평균, Cb의 평균 및 Cr의 평균을 포함하는 것을 의미한다. 즉, RGB의 평균값은 Red의 평균, Green의 평균 및 Blue의 평균을 포함한다. 그리고 YCbCr의 평균값은 Y의 평균, Cb의 평균 및 Cr의 평균을 포함한다. 제 1 특징정보 추출부(230)는 이러한 꽃 영역의 색상에 대한 특징정보들을 추출한다.

제 2 특징정보 추출부(240)는 꽃의 모양에 대한 특징정보를 추출한다. 이하부터는 꽃의 모양에 대한 특징정보를 제 2 특징정보라고 한다. 제 2 특징정보 추출부(240)는 제 2 특징정보를 추출하는데 있어서, 꽃의 무게중심 및 꽃의 무게중심으로부터 윤곽선까지의 거리정보를 구하고 이들을 이용하여 꽃의 모양에 대한 특징정보를 추출한다. 꽃의 모양에 대한 특징정보로는 다양한 것들이 있겠으나, 개시된 기술에서는 꽃을 정확하게 인식하는 것을 목적으로 하고 있으므로, 꽃의 주된 특징정보 중에 하나인 꽃잎 수 및 꽃 영역 무게중심으로부터 꽃 영역 윤곽선까지의 거리정보를 추출하는 것을 제 2 특징정보로 이용한다.

한편, 꽃잎 수 및 꽃 영역의 무게중심으로부터 꽃 영역 윤곽선까지의 거리정보를 계산하는데 있어서, 개시된 기술의 일 실시예에서는 영교차율(Zero Crossing Rate)을 이용한다. 영교차율은 꽃의 윤곽선이 기준 축을 교차하는 회수이다. 즉, 꽃 영역 무게중심으로부터 꽃 영역 윤곽선까지의 거리정보를 특징에 사용하며, 꽃 영역이 포함하는 꽃의 꽃잎 수를 판별하는 정보가 된다. 따라서, 제 2 특징정보 추출부(240)는 꽃 영역 무게중심으로부터 꽃 영역 윤곽선까지의 거리정보 및 영교차율에 따라 꽃잎 수를 계산하고 이를 제 2 특징정보로 이용한다.

제 3 특징정보 추출부(250)는 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black의 미리 저장된 8가지 색상값과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 적용한 제 3 특정정보를 추출한다. Euclidean Distance값은 n차원의 공간에서 두 벡터 또는 두 점 간의 거리를 의미한다.

제 4 특징정보 추출부(260)는 앞서 제 2 특징정보 추출부(240)에서 구한 꽃의 무게중심 및 꽃 영역 무게중심으로부터 꽃 영역 윤곽선까지의 거리정보를 이용하여 꽃 영역을 3분할한다. 그리고 3분할된 각각의 영역에서 색상에 대한 제 1 특징정보 및 제 3 특징정보들을 추출한다. 개시된 기술의 일 실시예에 대한 상세한 설명을 위해서 3분할된 각각의 영역을 제 1 영역, 제 2 영역 및 제 3 영역이라고 하겠다. 제 4 특징정보 추출부(260)는 제 1 영역에서 제 1 특징정보 및 제 3 특징정보를 추출한다. 그리고 제 2 영역에서도 제 1 특징정보 및 제 3 특징정보를 추출하고, 제 3 영역에서도 제 1 특징정보 및 제 3 특징정보를 추출한다.

각 영역들에서 추출된 제 1 특징정보 및 제 3 특징정보들은 색상에 대한 특징정보라는 점에서는 서로 동일한 특성을 가지고 있으나, 특징정보를 추출하는 범위가 서로 다르기 때문에 추출된 값은 서로 다를 수 있다. 제 4 특징정보는 이들 각각의 영역에서 추출된 제 1 특징정보 및 제 3 특징정보의 값이다.

인식 후보 모델 DB(270)는 개시된 기술의 일 실시예에서 후보 모델 생성부가 이용하는 것이다. 인식 후보 모델 DB(270)는 후보 모델이 되는 적어도 하나의 꽃에 대한 특징정보들을 미리 추출하여 저장한다. 따라서, 이러한 후보 모델을 이용하여 촬영된 꽃을 인식한다.

한편, 도 2에서 도시하는 바와 같이 인식 후보 모델 DB(270)는 후보 모델 생성부(280)가 이용하되 별도로 구성되는 것일 수 있다. 물론 후보 모델 생성부(280)에 포함되는 구성요소로 이용할 수 있음은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.

후보 모델 생성부(280)는 인식 후보 모델 DB(270)에 미리 저장된 후보 모델들을 이용하여 입력된 꽃 영상 특징정보의 유사도를 측정하여 꽃을 인식한다. 여기에서 후보 모델 생성부(280)는 가능하다면 많은 후보 모델들과 입력된 꽃 영상의 특징에서 추출된 특징정보를 비교하여 유사도가 가장 높은 클래스로 분류하여 꽃을 인식하는 것이 바람직하다. 즉, 오인식률을 줄이기 위해서 비슷한 특징정보를 갖는 많은 수의 후보 모델들과 인식하려하는 꽃을 비교하는 것이 바람직하다.

한편, 인식 후보 모델 DB와 촬영 또는 기 촬영된 꽃 영상 특징정보를 기존의 패턴인식 알고리즘의 하나인 Multi Class SVM을 이용하여 유사도가 가장 높은 클래스로 분류한다는 점은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.

또한, 개시된 기술의 일 실시예에서는 도 2에서와 같이 아래와 같은 구성요소를 추가적으로 제공하는 것이 가능하다. 290은 인식에 따른 결과를 출력하는 결과 출력부이다. 결과 출력부(290)는 인식한 꽃 영상의 학명, 식물명, 관련정보 등의 결과를 출력한다. 따라서 종래의 기술들에서 꽃의 모양 및 색상에 따른 꽃의 판단 유무에 의지하여 꽃을 인식하는 것으로 인한 인식률 저하의 문제점을 해결하는 것이 가능하다. 예컨대, 결과 출력부(290)는 모니터 또는 스크린과 같은 영상장치이고, 이러한 영상장치를 통하여 인식 결과를 출력할 수 있다.

도 3은 개시된 기술의 일 실시예에서 이용하는 8개의 색상값을 나타내는 도면이다. 도 3을 참조하면 개시된 기술의 일 실시예에서 기 저장된 8개의 색상값은 각각 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black이다. 도면에서 도시하였듯이 RGB의 범위는 각각 0에서 255까지이다. 또한, 도 3을 참조하면 RGB의 Red, Green 및 Blue는 각각 8개의 기준 색상값에 대한 0에서 255까지의 서로 다른 범위를 포함한다.

개시된 기술의 일 실시예에서는 꽃의 영역 전체의 픽셀 색상에 대하여 위의 8개의 색상값 간에 Euclidean Distance값을 이용한다. 또한, 꽃의 영역을 3분할한 각각의 영역들이 색상에 대하여 제 1 특징정보 및 제 3 특징정보를 이용한다. 따라서 종래의 기술에서 꽃의 모양에 대한 정보만을 이용하는 것과 비교하여 보다 뛰어난 인식 성능을 제공하는 것이 가능하다.

도 4는 개시된 기술의 일 실시예에서 꽃 모양에 대한 특징정보를 추출하는 도면이다. 앞서 도 1 및 도 2를 참조하여 설명한 바와 같이 개시된 기술의 일 실시예에서는 꽃의 무게중심 및 꽃의 무게중심으로부터 꽃의 윤곽선까지의 정보를 구하고 이를 이용하여 꽃의 모양에 대한 특징정보인 제 2 특징정보를 추출한다. 도 4를 참조하면 꽃의 윤곽선의 둘레 길이(Edge length)들과 무게중심 간의 거리인 Distance를 구하고, 이 Distance의 평균인 Average Distance를 계산하는 것을 알 수 있다.

개시된 기술에서 인식하고자 하는 꽃은 실제의 생김새가 완전한 원형이 아닐 수 있다. 또한 촬영하는 각도 및 위치에 따라서 도 4의 Edge length값을 어디서 구하느냐에 따라 편차가 크게 벌어질 수 있다. 따라서 개시된 기술의 일 실시예에서는 이러한 각각의 Distance 값들을 구하고, 이들의 평균인 Average Distance를 이용한다. 이러한 Average Distance는 영상이 포함하는 꽃을 분할하는 기준으로 이용한다. 꽃을 분할하는 과정은 이하의 도 5를 통하여 후술한다.

도 5는 개시된 기술의 일 실시예에서 꽃을 분할하는 과정을 나타내는 도면이다. 도 5를 참조하면, 영상이 포함하는 꽃을 분할하는데 있어서, 무게중심을 기준으로 총 3개의 영역으로 분할함을 알 수 있다. 앞서 도 4를 통하여 설명한 바와 같이 꽃의 윤곽선을 어디로 잡느냐에 따라서 꽃의 무게중심과 꽃의 윤곽선까지의 거리가 달라질 수 있다. 따라서 모든 거리를 구하여 그 평균값을 3분할하는 기준으로 삼는다.

한편, 개시된 기술의 일 실시예에서 꽃을 3분할하는데 있어서, 기본적으로는 3등분하여 영역을 3개로 분할하고 있으나, 사용자의 설정에 따라서 3등분이 아닌 설정값에 따라 영역을 3분할하는 것이 가능함은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.

개시된 기술의 일 실시예에서는 이와 같이 분할된 각각의 영역들에 다시 색상에 대한 특징정보를 추출한다. 따라서 꽃의 인식에 따른 오차를 줄이는 효과를 제공한다.

도 6은 개시된 기술의 꽃 인식 성능을 나타내는 도면이다. 도 6을 참조하면 개시된 기술에서 영상이 포함하는 꽃을 인식한 결과를 알 수 있다. 앞서 도 1 내지 도 5를 통하여 설명한 각 단계 및 구성요소들의 기술적 특징에 따라 꽃을 인식하는 실험을 수행하였다. 30종의 서로 다른 꽃 영상에 대하여 1092회의 인식 실험을 하였다.

도 6의 가로축은 영상에서 입력된 서로 다른 꽃들이다. 세로축은 미리 특징정보들을 추출하여 기 저장된 후보 모델들이다. 실험 결과 총 1092회 중 1068회를 인식하는데 성공하였고, 24회 인식에 실패하였다. 결과적으로 약 97%의 높은 인식성공률을 도출하였다.

개시된 기술의 실시예들을 통한 특징정보를 이용하는 꽃 인식 장치 및 방법은 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허 청구 범위에 의해 정해져야 할 것이다.

110 : 영상 입력 단계 120 : 꽃 영역 검출 단계
130 : 제 1 특징정보 추출 단계 140 : 제 2 특징정보 추출 단계
150 : 제 3 특징정보 추출 단계 160 : 제 4 특징정보 추출 단계
170 : 인식 후보 모델 생성 단계
210 : 영상 입력 220 : 꽃 영역 검출
230 : 제 1 특징정보 추출 240 : 제 2 특징정보 추출
250 : 제 3 특징정보 추출 260 : 제 4 특징정보 추출
270 : 인식 후보 모델 DB 280 : 유사도 측정
290 : 인식 결과

Claims (14)

1. 컴퓨터 또는 휴대용 단말기를 이용하여 꽃을 포함하는 영상을 입력받고, 상기 영상에서 특징정보를 추출하여 상기 꽃을 인식하는 방법에 있어서,
   영상장치에서 꽃을 포함하는 영상을 입력하는 단계;
   상기 영상에서 꽃 영역을 검출하는 단계;
   상기 꽃 영역에서 색상에 대한 제 1 특징정보를 추출하는 단계;
   상기 꽃 영역에서 상기 꽃의 무게중심, 상기 꽃의 윤곽선 및 상기 꽃의 무게중심에서부터 상기 꽃의 윤곽선까지의 거리를 구하고, 상기 꽃의 모양에 대한 제 2 특징정보를 추출하는 단계;
   기 저장된 8가지 색상값 및 상기 꽃 영역의 각 픽셀에 대한 색상정보 간에 Euclidean Distance값을 적용하여 제 3 특징정보를 추출하는 단계;
   상기 꽃의 무게중심에서부터 상기 꽃의 윤곽선까지의 거리를 3분할하여 상기 꽃의 무게중심에서부터 제 1 영역, 제 2 영역 및 제 3 영역으로 나누고, 상기 제 1 영역, 상기 제 2 영역 및 상기 제 3 영역 각각의 색상에 대한 제 4 특징정보들을 추출하는 단계; 및
   상기 제 1 특징정보, 상기 제 2 특징정보, 상기 제 3 특징정보 및 상기 제 4 특징정보를 이용하여 상기 꽃에 대한 인식 후보 모델을 생성하는 단계를 포함하는 특징정보를 이용하는 꽃 인식 후보 모델 생성 방법.
2. 제 1 항에 있어서, 상기 제 1 특징정보는,
   RGB 또는 YCbCr의 평균값을 추출한 것이고, 상기 RGB는 상기 꽃 영역에서 Red의 평균, Green의 평균 및 Blue의 평균을 포함하고, 상기 YCbCr는 상기 영역에서 Y의 평균, Cb의 평균 및 Cr의 평균을 포함하는 특징정보를 이용하는 꽃 인식 방법.
3. 제 1 항에 있어서, 상기 제 2 특징정보는,
   상기 꽃의 무게중심 및 상기 꽃의 윤곽선까지의 거리를 이용하여 상기 꽃의 꽃잎 수를 계산하는 단계를 포함하는 특징정보를 이용하는 꽃 인식 방법.
4. 제 1 항에 있어서, 상기 꽃의 무게중심은,
   이하의 수학식에 따라 구하는 특징정보를 이용하는 꽃 인식 방법.
   

   

   
   (상기 수학식에서

   

   은 상기 픽셀의 수를 나타내고, 상기

   

   는 해당하는 픽셀의 좌표값을 나타낸다.)
5. 삭제
6. 제 1 항에 있어서, 상기 기 저장된 8가지 색상값은,
   White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black인 특징정보를 이용하는 꽃 인식 방법.
7. 제 1 항에 있어서, 상기 꽃에 대한 인식 후보 모델을 생성하는 단계는,
   Multi Class SVM을 이용하여 상기 꽃의 후보 모델들을 적어도 하나 생성하고, 상기 후보 모델들 및 상기 꽃의 유사도를 측정하는 특징정보를 이용하는 꽃 인식 방법.
8. 컴퓨터 또는 휴대용 단말기를 이용하여 꽃을 포함하는 영상을 입력받고, 상기 영상에서 특징정보를 추출하여 상기 꽃을 인식하는 장치에 있어서,
   영상장치에서 꽃을 포함하는 영상을 입력받는 입력부;
   상기 영상의 꽃 영역에서 색상에 대한 제 1 특징정보를 추출하는 제 1 특징정보 추출부;
   상기 꽃 영역에서 상기 꽃의 무게중심, 상기 꽃의 윤곽선 및 상기 꽃의 무게중심에서부터 상기 꽃의 윤곽선까지의 거리를 구하고, 상기 꽃의 모양에 대한 제 2 특징정보를 추출하는 제 2 특징정보 추출부;
   기 저장된 8가지 색상값 및 상기 꽃 영역의 각 픽셀에 대한 색상정보 간에 Euclidean Distance값을 적용하여 제 3 특징정보를 추출하는 제 3 특징정보 추출부;
   상기 꽃의 무게중심에서부터 상기 꽃의 윤곽선까지의 거리를 3분할하여 상기 꽃의 무게중심에서부터 제 1 영역, 제 2 영역 및 제 3 영역으로 나누고, 상기 제 1 영역, 상기 제 2 영역 및 상기 제 3 영역 각각의 색상에 대한 제 4 특징정보들을 추출하는 제 4 특징정보 추출부; 및
   상기 제 1 특징정보, 상기 제 2 특징정보, 상기 제 3특징정보 및 상기 제 4 특징정보를 이용하여 상기 꽃에 대한 인식 후보 모델을 생성하는 후보 모델 생성부를 포함하는 특징정보를 이용하는 꽃 인식 후보 모델 생성 장치.
9. 제 8 항에 있어서, 상기 제 1 특징정보 추출부는,
   RGB 또는 YCbCr의 평균값을 추출하고, 상기 RGB는 상기 꽃 영역에서 Red의 평균, Green의 평균 및 Blue의 평균을 포함하고, 상기 YCbCr는 상기 영역에서 Y의 평균, Cb의 평균 및 Cr의 평균을 포함하는 특징정보를 이용하는 꽃 인식 장치.
10. 제 8 항에 있어서, 상기 제 2 특징정보 추출부는,
    상기 꽃의 무게중심 및 상기 꽃의 윤곽선까지의 거리를 이용하여 상기 꽃의 꽃잎 수를 계산하는 특징정보를 이용하는 꽃 인식 장치.
11. 제 8 항에 있어서, 상기 꽃의 무게중심은,
    이하의 수학식에 따라 구하는 특징정보를 이용하는 꽃 인식 장치.
    

    

    
    (상기 수학식에서

    

    은 상기 영역의 픽셀 수를 나타내고, 상기

    

    는 해당 픽셀의 좌표값을 나타낸다.)
12. 삭제
13. 제 9 항에 있어서, 상기 기 저장된 8가지 색상값은,
    White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black인 특징정보를 이용하는 꽃 인식 장치.
14. 제 8 항에 있어서, 상기 후보 모델 생성부는,
    Multi Class SVM을 이용하여 상기 꽃의 후보 모델들을 적어도 하나 생성하고, 상기 후보 모델들 및 상기 꽃의 유사도를 측정하는 특징정보를 이용하는 꽃 인식 장치.
    
    

Images