KR20030005908A

KR20030005908A - 영상의 객체 특징 추출과 이를 이용한 내용 기반 영상검색 장치 및 방법

Info

Publication number: KR20030005908A
Application number: KR1020010041376A
Authority: KR
Inventors: 장동식; 유헌우; 송문호
Original assignee: 주식회사 오픈비주얼
Priority date: 2001-07-10
Filing date: 2001-07-10
Publication date: 2003-01-23

Abstract

본 발명은 한 영상의 내용을 적절하게 표현하는 대표 객체 특성을 빠르게 추출하고 이를 영상검색에 이용함으로써, 내용 기반의 영상 검색이 가능한 장치 및 방법을 제공하기 위한 것으로서, 정지 영상을 구성하고 있는 주요 객체들의 대표 색상 및 질감 특정치를 VQ(Vector Quantization) 알고리즘을 이용하여 빠르게 추출하였으며, 한 영상의 내용을 적절하게 표현하는 대표 특징치를 내용 기반 검색에 이용함으로써, 정지영상의 내용에 근거한 검색을 가능하게 했다. 그리고 객체 단위 검색을 함으로써, 객체의 위치, 회전 및 크기변화에 무관한 검색을 가능하게 했다

Description

영상의 객체 특징 추출과 이를 이용한 내용 기반 영상 검색 장치 및 방법{apparatus and method for representative feature extraction of objects and, its application to content-based image retrieval}

본 발명은 디지털 영상처리기술을 이용한 영상의 분석 및 검색 시스템에 관한 것으로, 특히 VQ(Vector Quantization) 벡터 클러스터링 알고리즘을 통한 영상의 객체 특징 추출과 이를 이용한 내용 기반 영상을 검색하는 장치 및 방법에 관한 것이다.

최근 컴퓨터와 통신기술의 발달과 더불어 멀티미디어 정보 서비스에 대한 요구가 증가하고 있으며, 인터넷상의 정지화상 및 동영상검색, 방송제작에 사용될 VOD(Video On Demand) 서비스, 전자도서관, 의료분야(원격진료, 의료영상검색)등 응용될 수 있는 멀티미디어 검색기술에 대한 연구의 필요성이 증가되고 있다.

연구 초기에는 검색의 대상이 되는 모든 멀티미디어 데이터에 사람이 직접 색인을 첨가하고, 사용자 또한 주제어를 이용하여 원하는 정보를 검색하는 텍스트 기반 검색이 사용되어 왔다.

그러나 이 방법은 시간 및 비용이 많이 들며, 색인을 첨가하는 사람과 검색하는 사용자의 관점이 불일치할 경우 검색의 효율성이 크게 떨어지게 된다. 또한 멀티미디어 데이터가 가지는 복잡한 속성을 텍스트만으로는 정확하게 표현할 수 없다는 단점을 가지고 있다.

이를 보완하기 위해 멀티미디어 데이터의 내용을 대표할 수 있는 특징을 추출하여 이를 기반으로 색인과 검출을 수행하는 내용기반 검색방법이 필요하게 되었다. 이 방법은 멀티미디어 데이터로부터 특징을 자동으로 추출하여 색인과정에 사용함으로써, 데이터베이스 구축에 필요한 시간 및 인력의 소모를 줄일 수 있다는 장점이 있어 현재 많은 연구 이루어지고 있다.

현재 대표적인 내용기반 영상 검색 시스템으로는 IBM사의 QBIC, Virabe사의 Virage, Interpix Software사의 Image Surfer, 콜롬비아 대학의 VisualSEEK, 시카고 대학교의 WebSeer, Excalibur사의 Excalibur Visual RetrievalWare 등이 있다.

이 시스템들은 내용기반 영상 검색을 위해 한 영상을 구성하는 객체들을 정확히 분할(segmentation)하여 분할된 각 객체들을 대표하는 대표특징을 추출한 후 이를 영상 검색에 이용함으로써, 영상에서 검색을 원하는 객체에 대한 명확한 질의가 가능하도록 하고 있다.

그러나 실제로 한 영상을 구성하는 객체들을 정확하게 분할하기란 쉽지 않다.

따라서, 이를 해결하기 위해 영상내의 한 객체는 유사한 색상과 질감특징을 갖는다고 보고, 한 영상에서 추출한 특징치들을 EM(Expectation-Maximization)이란 패턴 분류 알고리즘을 통해 클러스터링(clustering)하여 이를 검색에 이용하는 Region-Based Query에 관한 연구가 진행중이다(Serge Belongie, Chad Carson, Hayit greenspan, and Jitendra Malik, "Color and Texture-Based Image Segmentation Using EM and Its Application to Content-Based Image Retrieval", Sixth Intenational Conference on Computer Vison, pp.675~682, January. 1998).

그러나 상기 EM 알고리즘은 클러스터링 될 클러스터 수를 미리 정해주어야 하며, 임의의 여러 클러스터 수에 대한 클러스터링 결과 중 영상을 구성하는 주요 개체 수만큼 가장 적절하게 분류된 클러스터 수를 선정해야 한다. 그러므로, 객체의 대표 특징을 추출하는데 많은 시간이 소요되고, 또한 한 영상의 내용을 적절하게 표현하는 대표 특징치를 추출하기가 쉽지 않은 문제가 있다.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 한 영상의 내용을 적절하게 표현하는 대표 객체 특성을 빠르게 추출하고 이를 영상검색에 이용함으로써, 내용 기반의 영상 검색이 가능한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 내용 기반의 영상 검색을 통해 객체의 위치, 회전 및 크기변화에 무관한 영상 검색이 가능한 장치 및 방법을 제공하는데 있다.

도 1 은 본 발명에 따른 정지영상의 객체 특징을 추출하기 위한 장치를 나타낸 도면

도 2 는 본 발명에 따른 영상의 객체 특징을 추출하기 위한 방법을 나타낸 도면

도 3 은 본 발명에 따른 VQ 벡터 클러스터링 알고리즘을 나타낸 흐름도

도 4 는 본 발명에 따른 대표 특징치 영상을 나타낸 실시예

도 5 은 본 발명에 따른 영상 검색 과정을 나타낸 흐름도

도 6 은 본 발명에 따른 색상 테이블을 갖는 질의 영상과 DB내 영상을 나타낸 실시예

도 7 은 본 발명에 따른 클러스터링에 소요되는 시간을 종래와 비교한 그래프

*도면의 주요부분에 대한 부호의 설명

10 : 제 1 변환부20 : 제 2 변환부

30 : 색상 특징 추출부40 : 질감 특징 추출부

50 : VQ 부60 : 특징치 DB

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상의 객체 특징 추출 장치의 특징은 외부에서 입력되는 RGB 색상모델의 영상데이터를 HSV 색상모델의 영상으로 변환하는 제 1 변환부와, 외부에서 입력되는 RGB 모델의 영상데이터를 그레이 화소값으로 변환하는 제 2 변환부와, 상기 제 1 변환부에서 변환되어 출력되는 각 화소의 색상 특징과, 상기 제 2 변환부에서 변환되어 출력되는 각 화소의 질감 특징치를 추출하는 특징 추출부와, 상기 특징 추출부에서 출력되는 8차원 벡터를 클러스터링하는 VQ부와, 상기 VQ부에서 클러스터링된 각각의 클러스터를 저장하는특징치 DB를 포함하여 구성되는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상의 객체 특징 추출 방법의 특징은 외부에서 RGB 모델의 영상데이터가 입력되면, 상기 RGB 모델의 영상데이터를 HSV 모델의 영상데이터와 그레이 화소값으로 변환하는 단계와, 상기 HSV모델로 변환된 영상 데이터로 각 화소별 색도, 채도, 명도인 3개의 색상 특징을 추출하고, 상기 그레이 화소값으로 변환된 영상데이터로 각 화소간의 ASM(Angular Second Moment), 대비(contrast), 연관성(correlation), 분산(variance), 혼잡도(entropy)인 5개의 질감 특징치를 추출하는 단계와, 상기 추출된 5개의 질감 특징치를 해당 영역안의 모든 화소에 각각 부여하여 각 화소가 8차원 특징치 벡터를 갖도록 하는 단계와, 상기 8차원 특정치 벡터를 갖는 각 화소를 VQ(Vector Quantization) 벡터 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여 군집화된 클러스터를 생성하고, 특정치 DB에 저장하는 단계를 포함하여 이루어지는데 있다.

이때 상기 VQ 벡터 클러스터링 알고리즘은 클러스터링 과정에서 사용할 군집화 범위를 지정하기 위한 임계값을 지정하는 단계와, 화소 단위로 8차원 특징치 벡터가 입력되면 입력된 화소에 벡터 데이터가 존재하는지 판단하는 제 1 판단 단계와, 상기 제 1 판단결과 벡터 데이터가 존재하지 않으면, 한 영상에 대한 클러스터링이 모두 끝난 것으로 판단하여, 실행을 종료하는 단계와, 상기 제 1 판단결과 벡터 데이터가 존재하면, 특징치 DB에 클러스터가 존재하는지 판단하는 제 2 판단 단계와, 상기 제 2 판단 결과, 특징치 DB에 저장된 클러스터가 없으면, 해당 화소의특징치 벡터를 중심값으로 하는 새로운 클러스터를 생성하고, 이를 특징치 DB에 저장하는 단계와, 상기 제 2 판단 결과, 특징치 DB에 저장된 클러스터가 있으면, 입력 데이터와 저장된 모든 클러스터들의 중심값 사이의 거리를 측정하고 이중 가장 가까운 최소 거리를 갖는 클러스터를 검색하는 단계와, 상기 검색된 최소 거리와 상기 지정된 임계값과 비교하는 단계와, 상기 비교 결과, 최소 거리가 정의된 임계값 보다 적으면, 입력 데이터를 선택된 클러스터의 멤버로 포함하여 군집화시키고, 상기 클러스터의 중심값은 새롭게 계산하는 단계와, 상기 비교 결과, 최소 거리가 정의된 임계값보다 크면, 입력 데이터를 중심값으로 하는 새로운 클러스터를 생성하는 단계를 포함하여 이루어지는데 다른 특징이 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상의 객체 특징 추출을 이용한 내용 기반 영상 검색 방법의 특징은 검색하고자 하는 관심 객체의 정지 영상을 스캐너 또는 인터넷 등을 통해 이미지 파일인 질의 영상을 준비하는 단계와, 상기 질의 영상을 VQ 벡터 클러스터링 알고리즘을 이용하여 다수개 클러스터의 대표 특징치로 추출, 선정하고 특징치 DB에 저장하는 단계와, 상기 특징치 DB에 저장된 8차원 특징치 중 색상 특징만을 이용하여 색상 테이블을 생성하는 단계와, 상기 생성된 색상 테이블에 표시된 다수의 대표 색상 중 검색을 원하는 객체의 해당 색상을 선택하는 단계와, 상기 선택한 해당 색상의 대표 특징치와 특징치 DB에 저장된 다수 객체들의 대표 특징치들 간의 유사도를 계산하는 단계와, 상기 유사도 계산을 통해 유사도가 가까운 순으로 대표 특징치에 따른 영상을 사용자에게 제공하는 단계를 포함하여 이루어지는데 있다.

본 발명의 다른 목적, 특성 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따른 영상의 객체 특징을 추출과 이를 이용한 내용 기반 영상 검색 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다.

도 1 은 본 발명에 따른 정지영상의 객체 특징을 추출하기 위한 장치를 나타낸 도면이다.

도 1을 보면, 외부에서 입력되는 RGB 색상모델의 영상데이터를 HSV 색상모델의 영상으로 변환하는 제 1 변환부(10)와, 외부에서 입력되는 RGB 모델의 영상데이터를 그레이 화소값으로 변환하는 제 2 변환부(20)와, 상기 제 1 변환부(10)에서 변환되어 출력되는 각 화소의 색도(hue), 채도(saturation), 명도(value)인 3개의 색상 특징을 추출하는 색상 특징 추출부(30)와, 공통발생 매트릭스(co-occurrence matrix)를 이용하여 각 화소간의 ASM(Angular Second Moment), 대비(contrast), 연관성(correlation), 분산(variance), 혼잡도(entropy)인 5개의 질감 특징치를 추출하고 이를 각 화소에 부여하는 질감 특징 추출부(40)와, 상기 색상 특징 추출부(30)와 질감 특징 추출부(40)에서 출력되는 각 화소의 색상 및 질감 특징치인 8차원 벡터를 클러스터링하는 VQ부(50)와, 상기 VQ부(50)에서 클러스터링된 각각의 클러스터를 저장하는 특징치 DB(60)로 구성된다.

이와 같이 구성된 영상의 객체 특징을 추출하기 위한 장치의 동작을 도면을 참조하여 상세히 살펴보면 다음과 같다.

도 2 는 본 발명에 따른 영상의 객체 특징을 추출하기 위한 방법을 나타낸 도면이다.

도 2를 보면, 먼저 외부에서 RGB 모델의 영상데이터가 입력되면(S10), 상기 RGB 모델의 영상데이터를 제 1 변환부(10)를 통해 HSV 모델의 영상데이터로 변환하고, 제 2 변환부(20)를 통해 그레이 화소값으로 변환한다(S20). 이때 상기 제 1 변환부(10)는 다음 수학식 1, 2, 3과 같이 수행한다.

여기서,이다.

이어 RGB 모델의 영상데이터가 제 1 변환부(10)에 의해 HSV 모델의 영상데이터로 변환되었는지, 또는 제 2 변환부(20)에 의해 그레이 화소값으로 변환되었는지 판단한다(S20).

이어 RGB 모델의 영상데이터가 상기 제 1 변환부(10)에서 HSV모델로 변환된 영상 데이터를 색상 특징 추출부(30)에서 각 화소별 색도, 채도, 명도인 3개의 색상 특징을 추출한다(S40).

그리고 RGB 모델의 영상데이터가 상기 제 2 변환부(20)에서 그레이 화소값으로 변환된 영상데이터를 질감 특징 추출부(40)에서 각 화소간의 ASM(Angular Second Moment), 대비(contrast), 연관성(correlation), 분산(variance), 혼잡도(entropy)인 5개의 질감 특징치를 추출한다(S50).

이때 상기 질감 특징치를 추출하는 방법을 보면 먼저, 공통발생 매트릭스(co-occurrence matrix)를 이용하여 각 화소간의 ASM(Angular Second Moment), 대비(contrast), 연관성(correlation), 분산(variance), 혼잡도(entropy)인 5개의 질감 특징을 추출한다.

이때, ASM과 혼잡도는 영상의 균일성을 나타내며, 대비는 영상 안에서 나타나는 대조성과 지역적 변동성을 나타내며, 연관성은 그레이 톤(gray-tone)의 선형적 의존성을 나타낸다. 그리고 분산은 인접 화소의 그레이 레벨(gray-level)차에 대한 산포도를 나타낸다.

따라서 질감 특징을 얻기 위해서는 한 영상을 7 x 7, 즉 49개의 영역으로 나누어 각 블록에 대해 먼저 정규화된 4방향(0°,90°,45°,135°)의 그레이 레벨 공통발생 매트릭스를 계산한 후, 이들 매트릭스로부터 질감 특징치를 추출하여 평균함으로써, 회전에 무관한 질감 특징치를 얻게 된다.

이를 수학식으로 표현하면 다음과 같다.

먼저, 정규화 되기 전 매트릭스의 각 엔트리의 값은 아래와 같은 정의에 의해 얻을 수 있다.

P(i,j,d,방향) : 각 방향에 대한 매트릭스 i행 j열 entry의 값

Lx = {1,2,...,Nx), Ly = {1,2,...,Ny), G = {1,2,...,Ng)

영상(image) I : Ly ×Lx -> G

Nx : 영상의 가로방향 화소수

Ny : 영상의 세로방향 화소수

Ng : 그레이 레벨

d : 계산에 고려할 이웃 화소와의 거리

num : 정의를 만족하는 계수

이와 같이 매트릭스의 각 엔트리 값을 계산한 후 각 방향에 대해 아래와 같은 R값으로 각 엔트리를 나눠줌으로써, 정규화하여 4방향(0°,90°,45°,135°)에 대한 각각의 그레이 레벨 공통발생 매트릭스를 얻을 수 있다.

0°: R = 2Ly(Lx-1)90°: R = 2Lx(Ly-1)

45°: R = 2(Ly-1)(Lx-1)135°: R = 2(Lx-1)(Ly-1)

그리고 상기 방법을 통해 얻은 매트릭스를 이용하여 수학식 4 내지 수학식 8과 같이 계산함으로써 각 질감 특징치를 얻게 된다.

여기서, p(i,j) : 그레이 레벨 공통발생 매트릭스의 (i,j)째 엔트리

Ng : 그레이 레벨

: P_x와 P_y의 평균과 표준편차

mu : 그레이 레벨 공통발생 매트릭스의 평균

P_x: p(i,j)의 행을 합하여 얻은 주변 확률 매트릭스

P_y: p(i,j)의 열을 합하여 얻은 주변 확률 매트릭스

이때 색상 특징 추출부(30)에서의 색상특징은 각 화소로부터 추출하며, 질감 특징 추출부(40)에서의 질감특징은 인접화소간의 관계를 통해서 추출하게 된다.

따라서 색상특징은 화소단위 특징인 반면, 질감특징은 지역단위 특징이다.

그러므로 VQ(Vector Quantization) 벡터 클러스터링 알고리즘을 이용하기 위해서는 질감 특징치를 영역안의 모든 화소에 부여하는 방법을 통하여 질감 특징도가 화소단위 특징치를 갖도록 변환하여야 한다(S60).

그래서 각 블록의 질감 특징치 5개를 그 블록안의 모든 화소에 부여함으로써, 색상 특징치 3개와 더불어 각 화소는 8차원 특징치 벡터를 갖게 된다(S70).

이를 VQ(Vector Quantization) 벡터 클러스터링 알고리즘을 이용하여 클러스터링을 수행한 후(S80), 특징치 DB(60)에 저장한다(S90).

이 특징치 DB(60)에 저장된 군집화된 8차원 특징치 벡터는 차후 객체의 대표 특징치 추출을 위한 데이터로 사용된다.

이때, 상기 VQ 벡터 클러스터링 알고리즘을 도면을 참조하여 상세히 설명하면 다음과 같다.

도 3 은 본 발명에 따른 VQ 벡터 클러스터링 알고리즘을 나타낸 흐름도이다.

도 3을 참조하여 설명하면, 먼저 클러스터링 과정에서 사용할 군집화 범위를 지정하기 위한 임계값을 미리 지정하여 준다(S100).

상기 임계값은 데이터의 차원(dimension)과 특성, 그리고 데이터가 갖는 범위 등을 고려하여, 적절한 임계값을 결정하여 주어야 한다.

만약, 임계값을 너무 작게 하면 한 객체에 대해 여러 개로 클러스터링 되고, 임계값을 너무 크게 하면 여러 객체의 특징이 한 클러스터로 클러스터링 되는 좋지 않은 결과를 낳는다.

그래서 가장 적절한 임계값을 설정하는 것이 중요한데, 각 영상을 구성하는 객체들마다 필요로 하는 임계값을 다르기 때문에 이를 모두 만족하는 임계값 선정은 불가능하다. 본 발명에서는 바람직하게 0.4를 임계값으로 사용한다.

이와 같이 임계값이 정해지면, 화소 단위로 8차원 특징치 벡터를 입력받는다(S110).

그리고 입력된 화소에 클러스터링 n-차원 벡터 데이터가 존재하는지 판단한다(S120). 즉, 한 영상의 모든 화소에 대해 클러스터링이 이루어지면, 더 이상은 n-차원 벡터 데이터가 존재하지 않게 된다.

따라서, 상기 판단결과 n-차원 벡터 데이터가 존재하지 않으면, 한 영상에 대한 클러스터링이 모두 끝난 것으로 판단하여, 실행을 종료한다.

그리고 상기 판단결과 n-차원 벡터 데이터가 존재하면, 현재 특징치 DB(60)에 클러스터가 존재하는지 판단한다(S130).

상기 판단 결과, 특징치 DB(60)에 저장되어 있는 클러스터가 없는 경우는 해당 화소의 특징치 벡터를 중심값으로 하는 새로운 클러스터를 생성하고, 이를 특징치 DB(60)에 저장한다. 즉, 첫 번째 입력 데이터가 첫 번째 클러스터가 되며, 또한 그 벡터 값이 클러스터의 중심값이 된다(S180).

상기 판단 결과, 특징치 DB(60)에 클러스터가 저장되어 있으면, 입력 데이터와 저장되어 있는 모든 클러스터들의 중심값 사이의 거리를 측정한다(S140).

그리고 상기 측정된 입력 데이터와 클러스터의 거리 중 가장 가까운 거리를 갖는 클러스터를 검색한다(S150).

이때, 상기 가장 가까운 거리를 갖는 클러스터를 찾는 방법은 다음 수학식 9, 10을 통해서 계산된다.

, 여기서

여기서, X^(p): p번째 입력벡터,N : 벡터 차원

C_j: j번째 클러스터(cluster)의 중심값

C_k: 입력 데이터와 가장 가까운 클러스터의 중심값

N_x: 클러스터 포함 멤버(데이터) 수

S_k: k 번째 클러스터 집합

그리고 이렇게 구해진 해당 클러스터와 해당 화소의 특징치 벡터의 거리를 지정한 임계값과 비교한다(S160).

상기 비교 결과, 최소 거리가 정의된 임계값인 0.4보다 적으면, 이 입력 데이터를 선택된 클러스터의 멤버로 포함하여 군집화시킨다. 그리고 해당 화소를 포함시킨 클러스터의 중심값은 상기 수학식 11에 의하여 새롭게 계산한다.

한편, 상기 비교 결과, 상기 구해진 해당 클러스터와 해당 화소의 특징치 벡터의 거리가 정의된 임계값인 0.4보다 크면, 현재 특징치 DB(60)에 저장된 클러스터 중 해당 화소와 클러스터링될 클러스터가 존재하지 않는 것으로 판단하여, 입력 데이터를 중심값으로 하는 새로운 클러스터를 생성한다. 이때도, 첫 번째 화소의 특징치 벡터가 첫 클러스터의 중심값이 된다(S180).

이와 같이, 상기 VQ 벡터 클러스터링 알고리즘은 분류될 데이터의 클러스터링 개수를 미리 정하여 주지 않아도 적절한 클러스터링 개수만큼 데이터를 자동적으로 군집화하여 분류한다.

이런 특징을 사용함으로써, EM 알고리즘을 비롯한 다른 알고리즘에 비해 VQ 알고리즘은 영상을 구성하는 주요 객체의 수만큼 비교적 유연하게 대표 특징을 추출할 수 있고, 또한 특징 추출 시간을 줄일 수 있다.

그리고 특징 추출 시간을 줄이기 위한 다른 방법으로 클러스터를 추출하기 위한 영상 데이터가 가로 192 화소, 세로 128 화소 영상을 사용한다고 할 때, 영상이 갖는 총 화소는 192 x 128 = 24,576개가된다.

그러면, VQ 벡터 클러스터링 알고리즘이 수행하여야 할 입력 벡터 수도 24,576 개가된다.

이때, 영상에서는 인접 화소간에는 중복성(redundancy)에 의하여 질감 특징과 색상특징이 비슷하므로, 모든 화소의 특징치 벡터를 사용하는 것은 불필요하게 소요시간만 늘릴 뿐이다.

따라서 영상에서 수평과 수직방향으로 두 화소씩 건너뛰면서 입력 벡터로 사용할 화소의 특징치를 샘플링하여 수행한다.

이에 따라 한 영상 당 2,752개의 입력 벡터만 사용하면 되기 때문에 VQ 벡터 클러스터링 알고리즘 이용을 위한 입력 벡터 수를 약 1/9로 줄일 수 있게 된다.

이와 같은 방법으로 도 4와 같은 정지 영상을 VQ 벡터 클러스터링 알고리즘을 이용하여 추출된 클러스터 4개의 대표 특징치는 표 1과 같이 계산되어 특징치 DB(60)에 저장된다.

이는 도 4의 영상을 구성하는 주요 클러스터인 하늘, 집, 짚, 잔디에 관한 대표 특징치가 8차원 벡터로 나타남을 볼 수 있다.

객 체	하늘	집	짚	잔디
클러스터	1	2	3	4
멤버수	748	422	370	290
중심값	색도	0.5653	0.0576	0.0904	0.3319
	채도	0.3820	0.3025	0.4357	0.2440
	명도	0.4300	0.4014	0.6291	0.3396
	ASM	0.0151	0.0017	0.0013	0.0030
	대비	0.0065	0.0294	0.0399	0.0193
	연관성	0.7690	0.6932	0.5969	0.6505
	분산	0.0256	0.0995	0.1006	0.0601
	혼잡도	0.4184	0.5901	0.6014	0.5779

다음으로 상기 특징치 DB(60)에 저장된 영상의 객체 특징 추출을 이용하여 내용 기반에 따른 영상을 검색하는 방법을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 5 은 본 발명에 따른 영상 검색 과정을 나타낸 흐름도이다.

도 5를 참조하여 설명하면, 먼저 사용자는 검색하고자 하는 관심 객체의 정지 영상을 스캐너 또는 인터넷 등을 통해 이미지 파일로 준비한다(S190).

그리고 상기 준비된 이미지 파일, 즉 질의 영상을 위에서 설명된 VQ 벡터 클러스터링 알고리즘을 이용하여 다수개 클러스터의 대표 특징치로 추출, 선정하고 특징치 DB(60)에 저장한다(S200).

이어 이렇게 얻어진 다수개의 각 클러스터의 중심값을 특징치 DB(60)에서 검출하고, 이 8차원 특징치 중 색상 특징인 색상, 채도, 명도만을 이용하여 색상 테이블을 생성한다(S210).

즉, 도 6과 같이, 사용자가 준비한 질의 영상을 이용하여 주요 대표 특징치 4개가 선정된 색상테이블을 제공받게 된다.

그러면 사용자는 상기 색상 테이블에 표시된 대표 색상 중 검색을 원하는 객체의 해당 색상을 선택한다(S220).

이어 상기 사용자가 선택한 해당 색상의 대표 특징치와 특징치 DB(60)에 각 정지영상마다 계산해 놓은 다수개의 객체들의 대표 특징치들 간의 유사도 계산을 수행한다(S230).

이때, 상기 유사도 계산을 위해서는 각 특징치들 간의 거리계산이 필요한데, 이는 다음 수학식 12와 같이 가중치를 준 유클리디언 거리 계산법을 이용하여 계산한다.

여기서, Q : 질의 영상에 관한 인덱스,

D : 특징치 DB내 영상에 관한 인덱스,

H : 색도(hue),S : 채도(saturation),V : 명도(value),

ASM : Angular Second Moment,CON : 대비(contrast),

COR : 연관성(correlation),VAR : 분산(variance),

ETRP : 혼잡도(entropy),

w₁-w₈: 각 특징치에 대한 가중치,w₉: 색상 특징에 대한 가중치,

w₁₀: 질감 특징에 대한 가중치.

이와 같이 계산된 가중치는 특징치 DB(60)안의 여러 클러스터에 대한 테스트를 거쳐 가장 효과적인 것으로 결정한다.

본 발명에서는 바람직한 실시예로 거리 계산을 위한 가중치로는 색상과 질감특징에 각각 0.5로 통일된 가중치를 주었으며, 색상특징에 대해서 색도는 0.44, 채도와 명도는 0.28로, 색도에 더 많은 중요도를 부과했다. 그리고 질감특징은 5개 모두 0.2로 동일하게 가중치를 주었다.

이 가중치의 값은 효과적인 검색 결과를 보기 위한 바람직한 값들이다.

그리고 유사도 S_QD는 수학식 13에 의해서 두 객체 특징치 간의 유사도를 0~1 사이의 값으로 표현했다. 또 색상과 질감이 전혀 다른 객체인 경우는 0에 가까운 값으로, 그리고 동일한 객체간의 유사도는 1로 표현한다.

이와 같은 유사도 계산을 통해 유사도가 가까운 순으로 대표 특징치에 따른 영상을 사용자에게 다수 개 제공한다(S240).

다음과 같은 방법으로 VQ 벡터 클러스터링 알고리즘과 EM 알고리즘의 클러스터링 소요시간을 비교한 결과를 보면, 도 7과 같이 EM이 VQ에 비해 대략 1.4배정도의 시간이 더 소요됨을 알 수 있다.

이상에서 설명한 바와 같은 본 발명에 따른 영상의 객체 특징 추출과 이를 이용한 내용 기반 영상 검색 장치 및 방법은 다음과 같은 효과가 있다.

첫째, 일반적인 색상과 질감 특징 추출방법과 더불어 VQ 벡터 클러스터링 알고리즘을 이용하여 정지 영상을 구성하고 있는 객체들의 대표 색상과 질감 특징을 빠르게 추출할 수 있다.

둘째, 상기 첫째 효과에서 추출된 특징치를 내용 기반 검색에 이용함으로써 정지영상의 내용에 근거한 검색을 하였고, 객체 단위 검색을 함으로써, 객체의 위치, 회전 및 크기변화에 무관한 검색을 가능하게 할 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 이탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims

외부에서 입력되는 RGB 색상모델의 영상데이터를 HSV 색상모델의 영상으로 변환하는 제 1 변환부와,

외부에서 입력되는 RGB 모델의 영상데이터를 그레이 화소값으로 변환하는 제 2 변환부와,

상기 제 1 변환부에서 변환되어 출력되는 각 화소의 색상 특징과, 상기 제 2 변환부에서 변환되어 출력되는 각 화소의 질감 특징치를 추출하는 특징 추출부와,

상기 특징 추출부에서 출력되는 8차원 벡터를 클러스터링하는 VQ부와,

상기 VQ부에서 클러스터링된 각각의 클러스터를 저장하는 특징치 DB를 포함하여 구성되는 것을 특징으로 하는 영상의 객체 특징 추출 장치.
제 1 항에 있어서, 상기 특징 추출부는

각 화소의 색도(hue), 채도(saturation), 명도(value)인 3개의 색상 특징을 추출하는 색상 특징 추출부와,

각 화소간의 ASM(Angular Second Moment), 대비(contrast), 연관성(correlation), 분산(variance), 혼잡도(entropy)인 5개의 질감 특징치를 추출하고 이를 각 화소에 부여하는 질감 특징 추출부를 포함하여 구성되는 것을 특징으로 하는 영상의 객체 특징 추출 장치.
외부에서 RGB 모델의 영상데이터가 입력되면, 상기 RGB 모델의 영상데이터를 HSV 모델의 영상데이터와 그레이 화소값으로 변환하는 단계와,

상기 HSV모델로 변환된 영상 데이터로 각 화소별 색도, 채도, 명도인 3개의 색상 특징을 추출하고, 상기 그레이 화소값으로 변환된 영상데이터로 각 화소간의 ASM(Angular Second Moment), 대비(contrast), 연관성(correlation), 분산(variance), 혼잡도(entropy)인 5개의 질감 특징치를 추출하는 단계와,

상기 추출된 5개의 질감 특징치를 해당 영역안의 모든 화소에 각각 부여하여 각 화소가 8차원 특징치 벡터를 갖도록 하는 단계와,

상기 8차원 특정치 벡터를 갖는 각 화소를 VQ(Vector Quantization) 벡터 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여 군집화된 클러스터를 생성하고, 특정치 DB에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상의 객체 특징 추출 방법.
제 3 항에 있어서, 상기 VQ 벡터 클러스터링 알고리즘은

클러스터링 과정에서 사용할 군집화 범위를 지정하기 위한 임계값을 지정하는 단계와,

화소 단위로 8차원 특징치 벡터가 입력되면 입력된 화소에 벡터 데이터가 존재하는지 판단하는 제 1 판단 단계와,

상기 제 1 판단결과 벡터 데이터가 존재하지 않으면, 한 영상에 대한 클러스터링이 모두 끝난 것으로 판단하여, 실행을 종료하는 단계와,

상기 제 1 판단결과 벡터 데이터가 존재하면, 특징치 DB에 클러스터가 존재하는지 판단하는 제 2 판단 단계와,

상기 제 2 판단 결과, 특징치 DB에 저장된 클러스터가 없으면, 해당 화소의 특징치 벡터를 중심값으로 하는 새로운 클러스터를 생성하고, 이를 특징치 DB에 저장하는 단계와,

상기 제 2 판단 결과, 특징치 DB에 저장된 클러스터가 있으면, 입력 데이터와 저장된 모든 클러스터들의 중심값 사이의 거리를 측정하고 이중 가장 가까운 최소 거리를 갖는 클러스터를 검색하는 단계와,

상기 검색된 최소 거리와 상기 지정된 임계값과 비교하는 단계와,

상기 비교 결과, 최소 거리가 정의된 임계값 보다 적으면, 입력 데이터를 선택된 클러스터의 멤버로 포함하여 군집화시키고, 상기 클러스터의 중심값은 새롭게 계산하는 단계와,

상기 비교 결과, 최소 거리가 정의된 임계값보다 크면, 입력 데이터를 중심값으로 하는 새로운 클러스터를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상의 객체 특징 추출 방법.
제 4 항에 있어서,

상기 임계값은 데이터의 차원(dimension)과 특성, 그리고 데이터가 갖는 범위 등을 고려하여 결정하는 것을 특징으로 하는 영상의 객체 특성 추출 방법.
제 4 항에 있어서,

상기 임계값은 0.4인 것을 특징으로 하는 영상의 객체 특징 추출 방법.
제 3 항에 있어서,

상기 색상 특징의 추출과 질감 특징치의 추출은 입력 영상에서 수평과 수직방향으로 두 화소씩 건너뛰면서 화소의 특징치를 샘플링하여 추출하는 것을 포함하여 이루어지는 것을 특징으로 하는 영상의 객체 특징 추출 방법.
검색하고자 하는 관심 객체의 정지 영상을 스캐너 또는 인터넷 등을 통해 이미지 파일인 질의 영상을 준비하는 단계와,

상기 질의 영상을 VQ 벡터 클러스터링 알고리즘을 이용하여 다수개 클러스터의 대표 특징치로 추출, 선정하고 특징치 DB에 저장하는 단계와,

상기 특징치 DB에 저장된 8차원 특징치 중 색상 특징만을 이용하여 색상 테이블을 생성하는 단계와,

상기 생성된 색상 테이블에 표시된 다수의 대표 색상 중 검색을 원하는 객체의 해당 색상을 선택하는 단계와,

상기 선택한 해당 색상의 대표 특징치와 특징치 DB에 저장된 다수 객체들의 대표 특징치들 간의 유사도를 계산하는 단계와,

상기 유사도 계산을 통해 유사도가 가까운 순으로 대표 특징치에 따른 영상을 사용자에게 제공하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상의객체 특징 추출을 이용한 내용 기반 영상 검색 방법.
제 8 항에 있어서,

상기 유사도 계산은 가중치를 준 유클리디언 거리 계산법을 이용하여 계산하는 것을 특징으로 하는 영상의 객체 특징 추출을 이용한 내용 기반 영상 검색 방법.
제 9 항에 있어서, 상기 가중치는

색상과 질감특징에 0.5, 색상특징에 대해서 색도는 0.44, 채도와 명도는 0.28로, 그리고 질감특징은 5개 모두 0.2로 동일하게 가중치를 준 것을 특징으로 하는 영상의 객체 특징 추출을 이용한 내용 기반 영상 검색 방법.