KR20050063021A - 영상 검색 방법 - Google Patents

Abstract

본 발명은 영상 검색 방법에 관한 것으로, 평균필터(빨강, 파랑, 녹색)를 이용하여 전처리 한 후, 정지 영상을 순차적으로 읽어 들이면서, 임계값에 따라 동일한 특성을 가진 영역으로 순차적으로 분할함과 동시에 색상 평균값을 구하는 군집영역 분할 과정과, 분할된 각 군집영역을 다수개의 분할 영역으로 구획하고 투영하는 과정과, 추출된 특징벡터인 색상 평균값과 투영을 거친 화소수 및 RGB공간에서 색상의 방향성을 고려한 θ값을 기준으로 검색하고자 하는 영상과의 유사성을 판단하여 영상을 검색하고 그 검색된 결과를 나타내는 유사도 판단 과정으로 구성되는 영상 검색 방법을 제공하여, 적은 색인정보를 사용하고 방향성 및 공간성을 고려하여, 빠르고 우수한 검색효율을 얻을 수 있도록 하는 것이다.

Description

영상 검색 방법{SEARCHING METHOD OF IMAGE}

본 발명은 영상 검색 방법에 관한 것으로, 보다 상세하게는 영상의 공간정보와 컬러 정보를 효과적으로 이용하기 위해 RGB 컬러 영상을 동일한 특성을 가진 영역으로 분할한 후 각 영역에 대해 투영시켜 화소수를 합산하는 방법을 사용함으로써, 검색을 위한 특징의 수가 매우 작으면서도 검색 효율이 우수한 영상 검색 방법에 관한 것이다.

멀티미디어와 컴퓨터의 발달, 인터넷의 대중화 및 급속한 확장으로 방대한 자료의 증가를 가져오게 되었으며, 이 자료에는 문자 이외에도 음성, 영상 등이 있다.

이러한 멀티미디어의 정보 중에서 영상은 기존의 문자 자료에 비해 용량이 클 뿐 아니라 포함하고 있는 내용이 복잡하므로 신속하고 효율적인 검색에 있어 어려운 점이 있었다.

따라서 이러한 문제점을 해결하고자 최근에는 영상을 효과적으로 검색하고 관리할 수 있도록 하는 검색기법이 연구되고 있다.

이러한 종래의 영상 데이터 베이스 검색 방법은 크게 문자기반, 내용기반, 의미론에 기반을 둔 검색 방법으로 나눌 수 있다.

이 중에서 내용기반 영상검색은 영상의 내용요소인 컬러(color), 모양(shape), 질감(texture), 물체의 모양, 공간적인 관계 등과 같은 영상의 특징과 속성을 추출하여 영상 자료간의 유사성을 계산하여 영상을 검색하는 방법으로 추출한 특성벡터를 색인정보로 저장하는 시스템을 구현할 수 있다는 장점이 있어 많은 연구가 되어오고 있다.

이러한 내용기반 영상검색 방법 중에서 대표적인 방법은 Swain의 히스토그램 인터섹션이다.

이 방법은 컬러에 대해 영상내의 같은 색상을 가진 화소들의 빈도 수를 색인 정보로 이용하고 질의 영상의 컬러 히스토그램을 데이터베이스 안의 모든 영상의 컬러 히스토그램과 비교해보는 검색 방법으로 컬러의 빈도만 계산하기 때문에 계산이 간단하다.

따라서 어떠한 영상이라도 히스토그램만 유사하면 검색되기 때문에 영상내에서 물체의 이동이 있는 경우, 영상의 회전이 있을 경우에도 좋은 검색 결과를 나타낸다.

그러나 공간 정보가 포함되어 있지 않으므로 영상에 분포된 컬러의 빈도수만 같고 영상의 내용은 전혀 다른데도 유사 영상으로 검색되어 질 수 있는 단점을 지니고 있다.

이러한 히스토그램이 가지는 공간 정보부재 문제 해결을 위한 방법의 하나로 제안된 Pass and Zabih의 CCV방법이다.

이 방법은 영상 내에서의 잡음을 제거하고 흐리게 하여 영상을 몇개의 구별되는 컬러를 갖는 컬러 공간으로 양자화 한 후 동일한 컬러를 갖는 화소들에 대해서 서로 연결되어 있는 화소들의 수가 일정한 임계값보다 크면 군집(coherent)된 화소로 분류하고, 그렇지 않으면 비 군군집(incoherent)화소로 분류하여, 이를 특징점으로 검색에 이용한다.

이 방법에 의하면 컬러히스토그램과 마찬가지로 영상 내에서 물체의 이동, 회전과 카메라 위치의 미세한 변화에 큰 영향을 받지 않는다는 장점이 있다.

그러나, 전체적인 색인 정보는 기존의 컬러 히스토그램 방법의 2배가 되므로 동일한 컬러를 갖는 화소간의 연결성을 파악하는데 많은 시간이 소요되고, 임계값 설정에 따라 검색 결과가 크게 달라지므로 적당한 임계값을 선택해야 한다는 문제가 있다.

상기한 바와 같은 문제점을 해결하기 위한 본 발명의 목적은 공간정보와 컬러 정보를 효과적으로 이용할 수 있도록 순차 영역 분할 기법을 이용하고, 검색을 위한 특징의 수가 적어 검색공간이 절감되고 속도가 향상되도록 하며, 영상의 회전을 고려한 영상 검색이 이루어지도록 하는 영상 검색 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 특징은,

영상을 이루고 있는 화소들을 순차적으로 읽어 들여 최초 입력된 화소값으로부터 일정범위 이내의 값 즉 연속하는 화소값의 차가 임계값 이내일 경우 이들을 하나의 군집 영역으로 분할하고 임계값을 초과하는 화소에 대해서는 임계값을 초과하는 최초 값을 기준으로 다시 군집 영역을 분할하여 영상을 소정 갯수의 군집 영역으로 구획함과 동시에 각 군집 영역별 색평균을 구하는 군집 영역 분할 과정과,

군집 영역 분할 과정을 거친 후, 분할된 각 군집 영역에 대해서 무게 중심을 구하여 무게중심으로부터 해당 군집 영역을 다수개 분할 영역으로 구획하고 각 분할 영역에 대해서 투영(projection)시켜 화소수를 구하는 투영과정과,

투영과정을 통한 화소수와 색상평균값 및 RGB공간에서 색상의 방향성을 고려한 θ값을 기준으로 검색하고자 하는 영상과의 유사도를 판단하여 희망하는 영상을 검색하는 유사도 판단 과정으로 이루어지는 영상 검색 방법에 있다.

한편, 상기 유사도 판단 과정에서 영상의 회전을 고려하여 각 분할 영역을 임의의 각도로 회전시키고, 회전된 각 분할 영역과 회전되지 않은 분할 영역의 동일 위치의 화소수를 비교 즉 화소 수의 차를 계산하여, 비교값 중 최소의 값을 취한다.

또한, 군집 영역의 수에 따라 검색하고자 하는 영상의 군집영역과 검색대상이 되는 영상의 군집 영역의 위치가 바뀌는 것을 고려하여, 동일위치의 군집영역별로 유사도를 판단하되, 발생될 수 있는 위치 변동 경우를 모두 계산하여 최소값을 택해서 유사도를 측정한다.

이하 첨부된 도면에 의해 본 발명의 실시예를 하기에서 상세히 설명한다.

도 1은 본 발명에 따른 영상 검색 방법을 나타내는 순서도이다.

본 발명에 따른 영상 검색 방법은 잡음 제거 역할을 하는 평균필터(빨강, 파랑, 녹색)로 정지 영상을 전처리 한 후, 순차적으로 읽어 들이면서 임계값에 따라 동일한 특성을 가진 영역으로 순차적으로 분할함과 동시에 색상 평균값을 구하는 군집영역 분할 과정과, 분할된 각 군집영역을 다수개의 분할 영역으로 구획하고 투영하는 과정과, 추출된 특징벡터인 색상 평균값과 투영을 거친 화소수 및 RGB공간에서 색상의 방향성을 고려한 θ값을 기준으로 검색하고자 하는 영상과의 유사성을 판단하여 영상을 검색하고 그 검색된 결과를 나타내는 유사도 판단 과정으로 구성된다.

상기에서 RGB공간에서의 색상의 방향성은 두 벡터의 종점간의 거리가 같은 경우 같은 축상에 있는 두 벡터와 예각을 낀 두 벡터 사이의 차이를 나타낼 수가 있다. 예를 들어, 질의 영상의 RGB성분이 (100,100,100)이고 데이터베이스영상 2개의 RGB성분이 (70,70,70),(70.130. 70)일 경우 벡터 종점간의 거리를 나타내는 식을 사용하면 질의영상과 데이터베이스의 첫번째 영상(70,70,70)이 색상이 다름에도 불구하고 질의 영상과 데이터베이스영상의 색상차가 같게 나온다. 따라서 방향성을 고려하면 영상에 대한 색상 유사도에 대한 효율을 높일 수 있다.

우선, 상기 군집 영역 분할 과정을 하기에서 도 2, 도 3a, 도 3b를 참조하여 살펴본다.

상기 군집 영역을 분할하는 과정을 살펴보면, 표 1에 나타내는 바와 같은 픽셀 구성을 갖는 정지영상을 순차적으로 즉, (0,0) (0,1) (0,2) (0,3) (0,4) (1,0) (1,1)..., ...(7,3) (7,4)의 순으로 읽어들인다.

(0,0)	(0,1)	(0,2)	(0,3)	(0,4)
(1,0)	(1,1)	(1,2)	(1,3)	(1,4)
(2,0)	(2,1)	(2,2)	(2,3)	(2,4)
(3,0)	(3,1)	(3,2)	(3,3)	(3,4)
(4,0)	(4,1)	(4,2)	(4,3)	(4,4)
(5,0)	(5,1)	(5,2)	(5,3)	(5,4)
(6,0)	(6,1)	(6,2)	(6,3)	(6,4)
(7,0)	(7,1)	(7,2)	(7,3)	(7,4)

이렇게 픽셀을 읽어들이는 과정에서 먼저 입력되는 최초의 픽셀이 첫 번째 군집영역이 된다.

이 최초 화소의 컬러성분을 대표값으로 정하고 이 대표값과 다음 읽어들이는 화소의 컬러 성분과의 차이를 계산하여 임계값과 비교한다. 여기서 임계값은 시각적으로 보기에 양호한 상태로 분할되도록 실험에 의해 가장 적절한 값을 미리 정해둔 것이다.

상기한 바와 같은 임계값과의 비교를 통하여, 임계값보다 큰 경우에는 새로운 군집영역, 즉 두 번째 영역이 생성되고, 임계값보다 작은 경우에는 기존의 첫 번째 영역에 포함되어진다.

그리고 첫 번째와 두 번째 영역이 생성된 후에는 마찬가지로 임계값과의 비교를 통해서 세 번째 군집영역을 생성하게 된다.

이와 같은 순차영역 분할 방법에 의해 본 발명의 실시예에서는 영상을 3개의 군집 영역으로 분할하고, 이 과정에서 각 군집 영역별로 색상 평균값을 구한다.

즉, 읽어들이는 영상의 화소 값인 p와 군집영역 G간의 거리를 d(p,G)로 나타내면 가 되며, 이 때 는 G의 대표값(평균값)을 나타내며, 생성된 군집영역에 입력되는 영상의 화소의 값 p가 할당될 때마다 해당 군집영역의 색상 평균값을 수학식 1과 같이 적응적으로 변화시킨다.

상기 수학식 1에서 는 입력 화소값 p가 m번째 군집영역에 할당된 상태에서 계산된 화소의 수를 나타내며, 및 는 각각 입력 화소값 p가 군집영역 G_m에 할당되기 전과 후의 색상 평균값을 나타낸다.

수학식 2에서 m은 순차영역분할에 의해 생성된 군집영역의 수를 나타내고, n_m은 m번째 영역의 화소수를 나타낸다. 및 r_m, g_m, b_m은 각 영역의 RGB 3채널의 평균값 및 화소의 값을 나타내며, r,g,b는 입력되는 화소값이다. D는 유클리디안 거리를 나타내고, th는 분할을 위한 임의의 설정값으로, 상기 수학식 2를 통해서 군집영역을 분할하게 된다.

이와 같은 과정을 통하여 군집 영역을 분할한 예를 도 3a및 도 3b에 나타낸다.

도 3a 및 도 3b는 영상에 순차영역 분할 방법을 적용하여 3개의 영역으로 분할하는 예를 나타내는데, 왼쪽에서부터 순차적으로 원래 영상과, 첫번째 군집 영역, 두번째 군집 영역 및 세번째 군집 영역을 나타낸다.

그리고, 투영과정을 하기에서 살펴본다.

상기 투영 과정은 영역 분할 후 공간 정보를 고려하기 위한 방법으로 분할된 각 영역(첫 번째, 두 번째, 세 번째 영역)에 대해서 무게 중심을 구하고, 무게 중심으로부터 일정 거리 떨어진 정도를 본 발명의 실시예에서는 5개의 분할 영역으로 나누어, 각 분할 영역에 대해서 한 방향으로 투영시킨다.

여기서 무게중심은 각 영역의 픽셀들이 차지하고 있는 면적의 중심을 말하며, 상기 투영이란 5개 영역 각각에 대해 화소의 수를 합산한 결과가 되며, 그 예를 도 4a내지 도 4e를 참조하여 살펴보면, 도 4a의 투영결과는 분할 영역 1 = 7, 도 4b의 분할영역 2=4, 도 4c의 분할 영역 3 = 4, 도 4d의 분할 영역 4 = 7, 도 4e의 분할 영역 5 = 12이다.

한편, 원래의 영상에 대해 영상이 회전할 경우를 고려하여 이후 유사도 판단 과정에서는 투영된 영상에 대해 서로 교차 비교하여 회전된 영상에 대해서도 인식율을 향상시키는데 이를 하기에서 보다 상세하게 살펴본다.

도 5a내지 도 5c는 원래의 영상에 대해 영상이 회전할 경우를 고려하여 도 5a는 90도, 도 5b는 180도, 도 5c는 270도 회전한 경우의 투영벡터, 즉 투영된 5부분에 대해 화소수들이 어떻게 매칭되는지를 나타낸다.

도 5a를 예로 들면 원래 영상의 좌측 상단 x1 부분은 90도 회전된 영상의 우측 상단 x1 부분과 일치된다.

질의 영상과 데이터 베이스 영상에서의 한 방향으로 투영된 5부분에 대한 각 화소들의 합을 수평방향에 대해 각각 및 라 할때 유사도 비교는 아래의 수학식 3에 나타낸다.

상기 수학식 3에서 식 (3.1)은 회전하지 않은, 즉 0도 일 때의 질의 영상과 데이터베이스 영상간의 유사도를 나타내며, 식 (3.2)는 90도 회전, 식(3.3)은 180도 회전, 식 (3.4)는 270도 회전을 고려했을 때의 유사도를 나타낸다.

따라서 0도, 90도, 180도, 270도 회전한 경우를 고려하여 식 (3.5)에서 보는 바와 같이 4가지 경우 중 가장 작은값을 택하여 유사도 판단 과정에서 정확성을 높일 수 있도록 한다.

유사도 판단 과정을 하기에서 살펴본다.

유사도를 판단하기 위한 색인정보는 3개로 분할된 각 영역에 대한 색상평균값과 도 6에 나타내는 바와 같이 RGB 공간에서 색상의 방향성을 고려한 값 2개, 그리고 각 영역에 대해 5방향으로 투영하여 얻은 화소의 갯수이다.

그리고, 본 발명에서는 군집 영역을 3개로 하였으므로 전체 유사도 판단을 위해 영역별로 매칭시켜 6가지 경우의 수를 이용하여 거리, 즉 6가지 중에 색인정보인 값이 최소가 되는 값을 선택하도록 한다.

여기서, 는 RGB 공간에서 색상평균값의 차이를 나타내고 는 RGB 공간에서 색상의 방향성을 고려한 두 값들에 대한 차이를 나타내고 는 각 영역에 대해 투영 및 회전하여 얻은 화소값들의 합산 차이를 나타내며, 두 영상에 대한 유사도 측정은 하기의 수학식 4와 같다.

상기 수학식 4에서 는 첫 번째 분할된 영역을 나타내고 는 두 번째 영역, 는 세 번째 영역을 나타낸다.

6가지 경우에서 각각에 대해 0도, 90도, 180도, 270도 회전각을 고려하여 식 (3.7)과 같이 최소가 되는 값을 선택하여 유사도를 높인다.

그리고, 각각의 유사도를 계산한 후 수학식 5와 같이 각 특성에 가중치를 주어 전체 유사도 를 구한다.

상기 수학식 5에서 w₁, w₂, w₃ 는 가중치를 나타내는 것으로, 상기 가중치는 실험(시뮬레이션)을 통해 일정한 비율로 주게 된다.

상기한 본 발명의 유사도 판단 과정에서 순차영역분할(sequential clustering)은 입력되는 화소순서, 즉 최초의 입력화소가 첫 번째 영역으로 지정되고 그 후 임계값에 의해 두 번째, 세 번째 영역이 지정된다.

그러나, 도 3a및 도 3b에 나타내는 바와 같이 유사한 영상이라도 분할된 영역의 순서가 일치하지 않는 경우가 존재한다.

이런 이유로 인해 수학식 4의 (4.1)식만을 적용한다면 가장 유사한 영상을 순위 내에 검색하지 못하게 되는 경우가 발생한다.

따라서, 본 발명에서는 상기한 문제점을 고려하기 위해 6가지 경우의 수를 이용하여 거리(distance), 즉 6가지 중에 dc+dp+dθ 값이 최소가 되는 값을 선택한다.

이와 같은 본 발명에 의하여 검색된 결과를 도 7a내지 도 7c를 참조하여 살펴본다.

도 7a는 본 발명에 따른 영상 검색 방법에 의한 검색 결과를 나타내도 도 7b는 종래 Swain의 히스토그램 인터섹션 방법을 적용하였을 때 검색결과이며, 도 7c는 CCV방법이다.

상기한 검색 결과에서 본 발명의 방법이 우수함을 알 수 있다.

그리고, 상술한 본 발명의 영상 검색 방법은 영상의 유사도를 포함한 각종 색인정보를 계산하는 중앙처리장치와, 영상과 유사도 판단을 위한 색인정보 등의 각종 데이터가 입력되는 메모리, 상기 메모리 혹은 온라인을 통해 연결된 외부 시스템의 영상을 전처리하는 평균필터, 검색결과를 표시해주는 디스플레이부 등을 포함하는 영상 검색 시스템에 의하여 구성되며, 이러한 영상 검색 시스템은 그 운용방법을 본 발명의 방법을 따를 뿐 이미 공지된 기술이므로 상세한 설명은 생략한다.

이상에서 상술한 바와 같이 본 발명은 색상정보와 공간정보를 고려하기 위해 RGB 컬러 영상을 동일한 특성을 가진 영역으로 분할한 후 각 영역에 대해 투영시켜 화소수를 합산하는 방법을 사용함으로써, 하나의 영상에 대해 특징 벡터의 수가 작아서 적은 저장공간을 가지면서도 검색 성능이 우수한 효과가 있다.

또한, 본 발명은 하나의 군집 영역에서 다시 다수개의 분할 영역의 정보를 가지게 되어 위치정보를 적은 정보량으로 고려할 수 있으므로 컬러 히스토그램의 단점인 공간 정보 부재의 문제를 해결할 수 있는 효과가 있다.

그리고, 본 발명은 순차영역분할기법으로 영상을 분할함에 있어 고정 분할 방법을 사용하지 않고 영상의 색상이 동일한 영역을 적응적으로 처리하여 연속되는 일련의 자료를 군집화하는 기법으로 처리속도가 매우 빠른 효과가 있다. 즉 순차적으로 화소값을 읽어 들이면서 동시에 영역분할이 이뤄지도록 알고리즘화 하여 좀 더 빠르며 시각적으로 양호한 영역 분할이 가능하도록 한다.

도 1은 본 발명에 따른 영상 검색 방법을 나타내는 순서도

도 2는 본 발명의 영상 검색 방법 중 군집 영역 분할 과정을 나타내는 순서도

도 3a및 도 3b는 본 발명에 따른 군집 영역 분할 과정을 나타내는 도면

도 4a내지 도 4e는 본 발명에 따른 영상의 투영과정을 나타내는 도면

도 5a내지 도 5c는 본 발명에 따른 영상의 회전에 따른 투영과정을 나타내는 도면

도 6은 본 발명의 공간 벡터를 나타내는 도면

도 7a내지 도 7c는 영상 검색 결과를 나타내는 도면

Claims (4)

1. 영상을 이루고 있는 화소들을 순차적으로 읽어 들여 최초 입력된 화소값으로부터 일정범위 이내의 값 즉 연속하는 화소값의 차가 임계값 이내일 경우 이들을 하나의 군집 영역으로 분할하고 임계값을 초과하는 화소에 대해서는 임계값을 초과하는 최초 값을 기준으로 다시 군집 영역을 분할하여 영상을 소정 갯수의 군집 영역으로 구획함과 동시에 각 군집 영역별 색평균을 구하는 군집 영역 분할 과정과,

   군집 영역 분할 과정을 거친 후, 분할된 각 군집 영역에 대해서 무게 중심을 구하여 무게중심으로부터 해당 군집 영역을 다수개 분할 영역으로 구획하고 각 분할 영역에 대해서 투영(projection)시켜 화소수를 구하는 투영과정과,

   투영과정을 통한 화소수와 색상평균값 및 RGB공간에서 색상의 방향성을 고려한 θ값을 기준으로 검색하고자 하는 영상과의 유사도를 판단하여 희망하는 영상을 검색하는 유사도 판단 과정으로 이루어지는 것을 특징으로 하는 영상 검색 방법.
2. 제 1항에 있어서, 상기 유사도 판단 단계에서 영상의 회전을 고려하여 각 분할 영역을 임의의 각도로 회전시켜 회전된 각 분할 영역과 회전되지 않은 분할 영역의 동일 위치의 화소수를 비교 즉 화소 수의 차를 계산하여, 비교값 중 최소의 값을 취하는 것을 특징으로 하는 영상 검색 방법.
3. 제 1항에 있어서, 상기 유사도 판단 단계에서 군집 영역의 수에 따라 검색하고자 하는 영상의 군집영역과 검색대상이 되는 영상의 군집 영역의 위치가 바뀌는 것을 고려하여, 동일위치의 군집영역별로 유사도를 판단하되, 발생될 수 있는 경우를 모두 계산하여 최소값을 택해서 유사도를 측정하는 것을 특징으로 하는 영상 검색 방법.
4. 제 1항에 있어서, 상기 유사도 판단 단계에서, 영상의 회전을 고려하여 각 분할 영역을 임의의 각도로 회전시켜 회전된 각 분할 영역과 회전되지 않은 분할 영역의 동일 위치의 화소수를 비교 즉 화소 수의 차를 계산하여, 비교값 중 최소의 값을 취하고,

   군집 영역의 수에 따라 검색하고자 하는 영상의 군집영역과 검색대상이 되는 영상의 군집 영역의 위치가 바뀌는 것을 고려하여, 동일위치의 군집영역별로 유사도를 판단하되, 발생될 수 있는 경우를 모두 계산하여 최소값을 택해서 유사도를 측정하는 것을 특징으로 하는 영상 검색 방법.