KR101350221B1 - 인지모방 기법을 이용한 지능형 영상 검색 방법 - Google Patents

인지모방 기법을 이용한 지능형 영상 검색 방법 Download PDF

Info

Publication number
KR101350221B1
KR101350221B1 KR1020120019012A KR20120019012A KR101350221B1 KR 101350221 B1 KR101350221 B1 KR 101350221B1 KR 1020120019012 A KR1020120019012 A KR 1020120019012A KR 20120019012 A KR20120019012 A KR 20120019012A KR 101350221 B1 KR101350221 B1 KR 101350221B1
Authority
KR
South Korea
Prior art keywords
image
target
image data
classification
input
Prior art date
Application number
KR1020120019012A
Other languages
English (en)
Other versions
KR20130097391A (ko
Inventor
김양웅
Original Assignee
주식회사 시티캣
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 시티캣 filed Critical 주식회사 시티캣
Priority to KR1020120019012A priority Critical patent/KR101350221B1/ko
Publication of KR20130097391A publication Critical patent/KR20130097391A/ko
Application granted granted Critical
Publication of KR101350221B1 publication Critical patent/KR101350221B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지에 투영된 피사체가 분류 저장된 데이터 베이스로부터 입력된 영상을 검색하는 방법에 관한 것으로, 본 발명은 영상 데이터를 입력받는 영상 획득부와, 입력된 영상 데이터를 분석하여 저장하는 제어부와, 상기 영상 데이터가 저장되는 데이터베이스를 포함하여 구성되는 인지모방 기법을 이용한 타겟 분류 시스템을 이용하여 입력된 검색 대상 영상과 유사한 영상 데이터를 검색하는 방법에 있어서, (A) 검색 대상 영상을 입력받는 단계와; (B) 상기 검색 대상 영상을 인지모방분류 단계를 통해 분류하는 단계와; (C) 상기 데이터 베이스에 구분된 세부분류중 상기 입력 영상 데이터가 해당하는 세부 분류를 검출하는 단계와; (D) 상기 검색 대상 영상이 속하는 세부분류에 저장된 소속 영상 데이터를 출력하는 단계를 포함하여 수행되고: 상기 (B) 단계는, (B1) 피사체의 외곽선을 추출하여 피사체의 형태를 파악하는 단계와; (B2) 상기 피사체의 형태에 따라 상기 피사체의 상위분류를 검출하는 단계와; (B3) 상기 피사체의 타겟을 추출하는 단계를 포함하여 수행된다. 이와 같은 본 발명에 의하면, 인물이나, 사물의 형태를 영상인식을 통해 검출하고 이를 비교함으로 빠른 검색과 키워드 검색의 한계를 극복할 수 있는 효과가 있다.

Description

인지모방 기법을 이용한 지능형 영상 검색 방법 {INTELLIGENT RETRIEVAL METHOD FOR IMAGE USING RECOGNITION}
본 발명은 이미지에 투영된 피사체가 분류 저장된 데이터 베이스로부터 입력된 영상을 검색하는 방법에 관한 것으로. 중소기업청 창업진흥원의 예비기술창업자 육성사업 중 'iSO 플랫폼 기반의 신체인식 이상형 찾기 앱 과제를 수행함에 있어 산출된 결과물에 대한 발명이다.
최근에는 이미지의 특정부분을 추출하여 다양한 산업 영역에 이용하는 기술이 개발되어 적용되고 있다. 예를 들어 카메라를 통해 촬영된 영상을 이용하여 자동으로 특정 타겟을 추출하고, 타겟에 대한 정보를 인식하기 위한 기술이 활발하게 연구되고 있다.
도 1에 도시된 바와 같이, 교통 카메라에 촬영된 영상으로부터 자동차 번호판 만을 타겟으로 추출하여 인식하는 기술에 대하여 대한민국 공개 특허 2003-0038014호 등의 선행 기술이 개발되어 적용되고 있다.
그러나 이들 타겟 추출 기술은 이미지에서 특정 타겟을 추출하는 것에 불과하고, 수집된 이미지들이 저장된 데이터베이스로부터 입력된 이미지와 유사한 이미지에 대한 검색을 제공하지는 못하는 문제점이 있었다.
대한민국 공개 특허 2003-0038014호
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명은 입력된 이미지의 피사체의 특성을 인간의 인지방법과 유사한 방식으로 파악하여 구분하고, 이들 구분된 내용에 따라 데이터베이스로부터 유사 이미지를 검색하는 방법을 제공하는 것이다.
또한 본 발명은 나날이 증가하는 멀티미디어 자료의 효율적 관리를 위하여, 인물이나, 사물의 형태를 영상인식을 통해 검출하고 이를 비교함으로 빠른 검색과 키워드 검색의 한계를 극복할 수 있도록 하고, 사람의 인지판단 능력을 시스템에 적용함으로 디지털 비교로 인한 오류를 예방할 수 있으며, 빠른 검색이 가능하도록 대상을 유사형태로 그룹화하고, 새로운 형태 특징이 발견되면 새로운 그룹으로 자동 형성하도록 하는 인지모방 기법을 이용한 지능형 영상 검색 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 영상 데이터를 입력받는 영상 획득부와, 입력된 영상 데이터를 분석하여 저장하는 제어부와, 상기 영상 데이터가 저장되는 데이터베이스를 포함하여 구성되는 인지모방 기법을 이용한 타겟 분류 시스템을 이용하여 입력된 검색 대상 영상과 유사한 영상 데이터를 검색하는 방법에 있어서, (A) 검색 대상 영상을 입력받는 단계와; (B) 상기 검색 대상 영상을 인지모방분류 단계를 통해 분류하는 단계와; (C) 상기 데이터 베이스에 구분된 세부분류중 상기 입력 영상 데이터가 해당하는 세부 분류를 검출하는 단계와; (D) 상기 검색 대상 영상이 속하는 세부분류에 저장된 소속 영상 데이터를 출력하는 단계를 포함하여 수행되고: 상기 (B) 단계는, (B1) 피사체의 외곽선을 추출하여 피사체의 형태를 파악하는 단계와; (B2) 상기 피사체의 형태에 따라 상기 피사체의 상위분류를 검출하는 단계와; (B3) 상기 피사체의 타겟을 추출하는 단계를 포함하여 수행된다.
이때, 상기 (C) 단계는, 타겟이 검출된 상기 입력 영상과 상기 데이터베이스에 저장된 각 평균 영상과의 유사도를 비교함에 의해 수행되되; 검출된 각 타겟에 각각 다른 가중치를 부여하여 유사도를 판단할 수도 있다.
한편, 본 발명은 영상 데이터를 입력받는 영상 획득부와, 입력된 영상 데이터를 분석하여 저장하는 제어부와, 상기 영상 데이터가 저장되는 데이터베이스를 포함하여 구성되는 인지모방 기법을 이용한 타겟 분류 시스템을 이용하여 입력된 검색 대상 영상과 유사한 영상 데이터를 검색하는 방법에 있어서, (a) 검색 대상 영상을 입력받는 단계와; (b) 입력된 검색 대상 영상이 복수 개인지 판단하는 단계와; (c) 상기 입력된 검색 대상 영상이 복수 개인 경우, 검색 대상 영상들의 평균영상을 산출하는 단계와; (d) 상기 평균영상을 인지모방분류 단계를 통해 분류하는 단계와; (e) 상기 데이터 베이스에 구분된 세부분류중 상기 평균영상이 해당하는 세부 분류를 검출하는 단계와; (f) 상기 평균영상이 속하는 세부분류에 저장된 소속 영상 데이터를 출력하는 단계를 포함하여 수행되고: 상기 (d) 단계는, (d1) 피사체의 외곽선을 추출하여 피사체의 형태를 파악하는 단계와; (d2) 상기 피사체의 형태에 따라 상기 피사체의 상위분류를 검출하는 단계와; (d3) 상기 피사체의 타겟을 추출하는 단계를 포함하여 수행되는 인지모방 기법을 이용한 지능형 영상 검색 방법을 포함한다.
이때, 상기 (e) 단계는, 타겟이 검출된 상기 입력 영상과 상기 데이터베이스에 저장된 각 평균 영상과의 유사도를 비교함에 의해 수행되되; 검출된 각 타겟에 각각 다른 가중치를 부여하여 유사도를 판단할 수도 있다.
그리고 상기 (c)단계는, 상기 평균영상은 입력된 영상들을 디지털화하여 변환하고, 디지털화된 영상에서 형태를 추출한 후, 변화된 영상들 형태의 평균 이진 영상을 산출함에 의해 수행될 수도 있다.
또한, 상기 인지모방 기법을 이용한 타겟 분류 시스템은, 영상 데이터를 입력받는 영상 획득부와; 입력된 영상 데이터를 분석하여 저장하는 제어부와; 상기 영상 데이터가 저장되는 데이터베이스를 포함하여 구성되고: 상기 데이터베이스는, 영상 데이터의 피사체 종류를 구분하여 상기 피사체의 종류에 따라 상기 입력 영상 데이터를 저장하기 위한 분류체계가 구분되고; 상기 분류체계의 세부분류에는 각각, 상기 세부분류에 속하는 소속 영상 데이터들과; 상기 소속 영상 데이터의 소속 영상들의 평균을 산출한 평균 영상 데이터; 그리고 상기 소속 영상 데이터의 소속 영상 중 상기 평균 영상 데이터의 평균 영상과 유사도가 가장 높은 대표 영상 데이터가 저장될 수도 있다.
그리고 상기 제어부는, 이미지 피사체의 형태를 인식하고, 해당 물체의 타겟을 검출하는 타겟추출부와; 상기 타겟 추출부에서 추출된 타겟에 대하여 타겟 별로 가중치를 부가하고, 상기 가중치가 부여된 타겟을 상기 데이터베이스에 저장된 영상 데이터와 비교하여 유사도 검출하는 유사 판단부를 포함하여 구성될 수도 있다.
다음으로는 본 발명에 의한 인지모방 기법을 이용한 지능형 영상 검색 방법을 통해 과제를 해결하는 원리에 대하여 설명하기로 한다.
1. 타겟 검출 (Haar-like feature + AdaBoost)
도 2에 도시된 바와 같이 Haar-like feature 는 Viola 가 얼굴 검출에 적용한 것으로 단순 합 이미지를 이용하여 특징값을 표현하는 것이다. 이는 위치, 모양 크기에 따라서 수많은 형태를 가질 수 있다. 이를 AdaBoost 학습 알고리즘을 사용하여 약한 인식자들을 합쳐서 강인한 인식자의 그룹으로 만든다. 이때 생성된 특징값은 얼굴의 특징을 잘 포용하는 장점을 가진다. 계산 방식이 단순 합이기 때문에 동영상에서의 적용이 매우 용이하며 1초 안에 얼굴 이미지 데이터를 추출하는 것이 가능해진다.
2. 형태검출 (edge detection)
도 3에 도시된 바와 같이, 대상 피사체의 엣지를 검출하는 것으로, 영상에서 가장 자리를 뜯어내는 영상처리 기법을 말한다.
- 물체의 위치, 물체의 모양과 크기, 텍스쳐의 정보 제공
- 영상의 밝기가 급격하게 변하는 지점에 존재
- 넓이와 형태에 따라서 무수히 많은 엣지의 방향이 가능
3. 영상비교 (Template matching)
a. 소스 이미지 : DB등에 저장된 영상.
b. 비교(후보) 이미지 : 소스이미지와 유사성을 확인할 이미지
1단계 : 유사성( Similarity ) 찾기
Template Matching을 이용하여 a, b의 상관계수 맵(Coefficient Map)을 생성. a이미지와 B 이미지를 겹쳐 얼마만큼 유사성(Similarity)이 있는지를 구하는 것.
유사성을 구하는 방법에는 유클리디안(Euclidean)법 등을 이용
( R(x,y)=sumx' ,y'[T(x',y')-I(x+x',y+y')]2 )
2단계 : 최대값 ( Maximum value ) 찾기
1단계에서 구한 상관계수 맵에서 최대의 유사성을 갖는 값(Maximum value)을 산출
이하에서는 본 발명에 적용되는 인지모방 기법을 이용한 타겟 분류 시스템의 기능별 분류와 이들의 기능에 대하여 간단히 설명하기로 한다.
1. 타겟검출부(인지모방부)
기초 영상을 이용하여 그룹의 생성, 분류 및 탐색을 위한 대표영상, 목표값을 생성하기 위한 장치로 사람의 판단을 학습하여 결정하다. 그룹이란 대표영상과 그에 속하는 영상의 집합을 말하며 목표값 메타데이터를 포함한다.
분류할 타겟 예를 들어 얼굴, 눈, 코, 입, 헤어스타일, 신체, 체형, 가방, 신발, 모자, 의류, 자동차등 형태를 가진 실물은 모두 타겟으로 본다.
그중 가방을 예로 들면 최하위(세부) 카테고리로 파우치, 백팩, 핸드백, 숄더백, 잇백, 모터백등 제품 형태에 대한 정의와 그에 속한 특징 예를 들면 가방의 박스모양, 손잡이 모양, 손잡이 위치 색상 등을 정의한다. 이후 가방의 다수 기초영상을 인지모방부를 이용하여 사람에게 노출하고 얻게되는 판단결과 예를 들어 노출된 영상이 A백팩형태 그룹의 대표영상이 될 수 있는지 판단, 노출된 영상이 A백팩형태 그룹에 속하는 집합체의 일부가 될 수 있는지 판단, 새로운 백팩형태의 B백팩형태로 판단 등이다. 그룹의 대표영상 판단결과는 노출되는 영상에 따라 갱신될 수 있다.
이렇게 기초영상을 토대로 판단되어 분류된 그룹의 집합체를 그룹의 대표영상과 각각 비교하여 유사도(상관계수)를 산출하게 된다. 이 유사도의 평균을 계산하여 추후 시스템이 그룹에 속할 수 있는지를 판단하는 목표값이라 설정한다.
2. 제어부(그룹생성부)
인지모방부에서 생성된 정보를 이용하여 그룹을 생성한다. 하나의 그룹은 그룹을 대표하는 영상과 목표값, 그룹의 속성 정보를 가진 메타데이터로 이루어진다.
4. 데이터베이스
그룹에 관한 영상데이터, 목표값, 속성값 등을 저장한다.
5. 제어부(그룹탐색부)
각각의 그룹을 순차적으로 탐색하며 유사도판단부로 하여금 입력영상과 비교할 수 있도록 그룹데이터를 관리하는 기능.
6. 타겟추출부(전처리)
영상에서 찾고자하는 타겟을 Harr-like Feature와 AdaBoost등 알고리즘을 이용하여 검출하는 장치이다. 타겟은 얼굴, 눈, 코, 입, 헤어스타일, 신체, 체형, 가방, 신발, 모자, 의류, 자동차등 형태를 가진 실물은 모두 검출 가능한 타겟이다. 검출된 타겟은 각각 분리되고 분리된 정보는 Edge Detection(형태검출)을 통해 타겟의 모양정보를 습득, 메모리에 저장한다. Edge Detection은 Robert's edge detector, Prewitt edge detector, Sobel edge detector, Frie Chen edge detector, Canny edge detector등의 알고리즘이 사용된다. 이렇게 검출된 정보는 비교, 저장등을 위해 디지털 정보로 저장된다 디지털 정보는 영상의 색상, 위치 정보 등을 말하는 것으로 이미지의 디지털화의 일 예가 도 4에 도시되어 있다.
7. 유사 판단부
검출된 타겟후보 영상과 기존에 검출되어 데이터베이스에 그룹 형태로 저장된 각 그룹의 대표 타겟영상과 비교하여 유사도(상관계수)를 산출하게 된다. 이렇게 산출된 유사도를 이용하여 그룹의 집합으로 판달할 수 있는 그룹 목표값에 해당할 경우 그룹에 속하게 되고 그렇지 않은 경우 다음 그룹의 대표 타겟영상과 비교하게 된다. 이렇게 탐색되어 타겟후보 영상의 그룹이 결정되며 해당 그룹의 집합체로 데이터베이스에 저장된다. 단 모든 그룹을 탐색하였으나 목표값에 해당하지 않는 타겟후보가 나올경우 인지모방부로 타겟후보를 보내 새로운 그룹으로 생성한다.
가중치 : 타겟의 추출한 특징에 따라 중요한 선택기준을 우선순위로 가중치를 부여.
유사도 점수의 예
유사도 점수 = ((박스의 모양 비교 상관계수 * (50 가중치))+(손잡이 방향 상관계수 * (20 가중치))+(손잡이 모양 상관계수 * (20 가중치))+(색상 상관계수 * (10 가중치))) / ((50 가중치) + (20 가중치)+(20 가중치)+(10 가중치) * 100)
두 가방의 최종 상관계수 = ((유사도 점수 * 유사도 점수) * 100) / 10000
유사도 기준값 : 타겟의 유사여부를 판단하는 값으로 타겟에 따라 인지모방부에서 설정한다.
유사도 성립 : 유사도 기준값 <= 최종 상관계수 값
유사도 불성립 : 유사도 기준값 > 최종 상관계수 값
위에서 살핀 바와 같은 본 발명에 의한 인지모방 기법을 이용한 타겟 분류 시스템 및 방법에서는 다음과 같은 효과를 기대할 수 있다.
즉, 본 발명에서는 인물이나, 사물의 형태를 영상인식을 통해 검출하고 이를 비교함으로 빠른 검색과 키워드 검색의 한계를 극복할 수 있다.
그리고 본 발명에서는 사람의 인지판단 능력을 시스템에 적용함으로 디지털 비교로 인한 오류를 예방할 수 있다.
또한, 빠른 검색이 가능하도록 대상을 유사형태로 그룹화하고, 새로운 형태 특징이 발견되면 새로운 그룹으로 자동 형성하도록 하는 학습형 인지모방 기법을 이용한 타겟 분류 시스템 및 방법을 제공할 수 있다.
그리고 본 발명에서는 다수 개의 이미지가 입력된 경우, 이들의 평균과 유사도가 높은 이미지를 검색결과로 제공할 수 있어, 사용자가 다양한 이미지를 입력하는 경우 사용자 취향에 맞는 검색결과를 제공할 수 있는 장점이 있다.
도 1은 종래기술에 의한 이미지 영상 인식 실시예를 도시한 예시도.
도 2는 본 발명에 의한 타겟 검출 기법을 도시한 참고도.
도 3은 본 발명에 의한 형태 검출 기법의 일예를 도시한 예시도.
도 4는 본 발명에 의한 이미지의 디지털화 기법의 일예를 도시한 예시도.
도 5는 본 발명에 적용되는 인지모방 기법을 이용한 타겟 분류 시스템의 구성을 도시한 블록도.
도 6은 본 발명에 의한 인지모방 기법을 이용한 타겟 분류방법을 도시한 흐름도.
도 7은 본 발명에 의한 인지모방 기법을 이용한 지능형 영상 검색 방법의 구체적 실시예를 도시한 흐름도.
도 8은 본 발명에 의한 인지모방 기법을 이용한 지능형 영상 검색 방법의 다른 실시예를 도시한 흐름도.
도 9는 본 발명에 의한 인지모방 기법을 이용한 지능형 영상 검색 방법에 있어 평균영상을 생성하는 일예를 도시한 예시도.
이하에서는 첨부된 도면을 참조하여 본 발명의 구체적인 실시예에 의한 본 발명에 의한 인지모방 기법을 이용한 지능형 영상 검색 방법을 상세히 설명하기로 한다.
먼저, 본 발명에 의한 검색방법에 적용되는 인지모방 기법을 이용한 타겟 분류 시스템 및 이의 데이터 베이스 구축 방법에 대하여 설명하기로 한다.
이하 본 발명을 설명함에 있어, 영상 데이터라 함은 이미지 영상 정보를 포함하여 해당 영상 이미지에 대한 부가적인 정보가 포함된 것을 의미한다.
도 5는 본 발명에 의한 인지모방 기법을 이용한 타겟 분류 시스템의 구성을 도시한 블록도이다.
이에 도시된 바와 같이, 본 발명에 의한 인지모방 기법을 이용한 타겟 분류 시스템은 영상획득부(100), 제어부(200) 및 데이터베이스(300)를 포함하여 구성된다.
상기 영상 획득부(100)는 처리할 영상을 입력받는 부분으로, 단말기에 구비된 카메라 모듈일 수도 있고, 사용자에 의해 특정 이미지를 입력받는 통상의 장치로 구성될 수도 있다.
한편, 상기 제어부(200)는 입력된 영상을 분석하여 분류하고, 이를 후술할 데이터베이스(300)에 저장하며, 검색을 원하는 이미지가 입력된 경우, 입력된 이미지를 상기 데이터베이스(300)에 저장된 이미지와 비교 분석하는 부분이다.
이를 위해 상기 제어부(200)는 타겟추출부(210)와 유사판단부(220)를 포함하여 구성된다.
상기 타겟 추출부(210)는 사람이 물체를 인식하는 방식인 인지모방분류를 통해 입력 이미지 피사체의 타겟을 추출하는 부분이다.
상기 인지모방분류 방법에 대하여는 이하 본 발명의 수행 방법을 설명함에 있어 상세히 설명하기로 한다.
한편, 상기 유사판단부(220)는 상기 타겟 추출부에서 추출된 타겟 별로 가중치를 부가하고, 이를 통해 상기 데이터베이스(300)에 저장된 영상 데이터와 비교하여, 상기 입력된 이미지와 가장 유사한 카테고리의 분류를 산출하는 역할을 수행한다.
그리고 상기 데이터 베이스(300)는 다양한 제품의 영상 데이터는 물론, 해당 물품의 상세 데이터를 저장하는 부분으로, 도 5에 도시된 바와 같이 카테고리 별로 분류되어 저장된다.
즉, 상기 데이터베이스(300)에는 물품의 종류에 따른 카테고리가 상위분류부터 하위분류까지 분류되어 저장되고, 최종 세부분류에 속한 카테고리에는 해당 세부 분류에 속한 소속 영상 데이터들(310)이 저장된다.
상기 소속 영상 데이터(310)는 영상 이미지 데이터는 물론 상기 이미지 데이터의 물품에 대한 물품정보가 포함되어 저장된다. 상기 물품정보는 상기 피사체의 종류에 따라 각각 다르게 설정된다. 즉, 상기 이미지 데이터의 피사체가 물품인 경우 상기 물품의 판매 웹페이지의 링크데이터, 브렌드 정보, 제품번호, 가격정보 등이 될 수 있고, 상기 피사체가 인물의 이미지인 경우 상기 인물에 대한 정보일 수도 있다.
한편, 상기 최종 세부분류의 카테고리에는 상기 소속 영상들의 평균을 산출한 평균영상이 저장된 평균영상 데이터(330)가 저장된다.
그리고 상기 평균 영상과 유사도가 가장 높은 상기 소속 영상을 선정하여 대표 영상으로 산정하며, 상기 대표 영상이 포함된 대표 영상 데이터(310)가 저장된다.
다음으로 본 발명의 실시를 위한 데이터베이스의 구축과정을 설명하도록 한다.
도 6은 본 발명에 의한 인지모방 기법을 이용한 타겟 분류방법을 도시한 흐름도이다.
도 6에 도시된 바와 같이, 본 발명에 의한 인지모방 기법을 이용한 타겟 분류 방법은 영상 획득부(100)를 통해 영상을 획득하는 것으로부터 시작된다(S100).
상기 제어부(200)는 획득된 영상을 인지모방분류 단계를 통해 분류하는 단계를 수행한다(S200).
이때, 상기 인지모방분류란 사람이 물체를 인식하는 인지과정을 모방한 것으로 물체의 외곽 형태를 통해 물체의 종류를 파악하고, 해당 물체의 특징부(타겟)를 분리하여 해당 특징부의 구조에 따라 해당 물체의 세부 분류를 파악하는 인지과정을 의미한다.
상기 인지모방 분류단계는, 도 6에 도시된 바와 같이, 먼저 피사체의 외곽선 을 추출하여 피사체의 형태를 인식하는 단계에 의해 시작된다(S210).
피사체의 형태가 인식되면, 다음으로 상기 형태에 따라 상기 외곽물체의 상위분류를 검출한다(S220). 이때 상위분류라 함은 입력된 이미지의 피사체가 가방인 경우 상기 피사체가 의류인지 신발인지 또는 가방인지 와 같이 해당 물품의 대분류를 의미한다.
한편, 상기 피사체의 외곽선을 추출하는 기술은 배경 이미지와의 색상, 명암 등의 변화도에 따라 외곽선을 추출하는 기술 등이 적용될 수 있다.
그리고 상기 상위분류가 검출된 이후에는, 해당 피사체의 타겟을 추출한다(S230). 상기 타겟이라 함은 상기 피사체를 상위분류로부터 하위분류로 구분 짓게 하는 특정 부분의 이미지를 의미한다. 즉, 가방을 예로 들면, 손잡이, 몸체의 형태 등이 될 수 있는데, 이러한 가방의 타겟은 가방을 파우치, 백팩, 핸드백, 숄더백, 잇백, 모터백 등과 같이 세부분류로 구분 짓게 한다.
이와 같은 타겟의 추출은 전술한 바와 같은 다양한 알고리즘(Robert's edge detector, Prewitt edge detector, Sobel edge detector 등)에 의해 수행된다.
이와 같이 상기 타겟을 검출하면 상기 검출된 타겟 이미지를 이용하여 해당 피사체의 세부분류를 검출한다(S240).
이때, 상기 세부 분류의 검출은 타겟이 검출된 입력 영상과 상기 데이터 베이스(300)에 저장된 대표 영상과의 유사도를 산출하여 검출한다.
이후, 전술한 인지모방분류 단계를 통해 상기 세부 분류가 검출된 영상 데이터는 데이터 베이스(300)의 해당 세부 분류에 저장되는데, 상기 영상 데이터의 저장 및 데이터 베이스 구축 과정을 살피면 다음과 같다.
즉, 도 5에 도시된 바와 같이, 상기 인지모방분류단계를 수행한 이후에는 입력 영상과 데이터 베이스의 해당 세부분류의 평균 영상과의 유사도를 산출한다.
그리고 산출된 입력 영상과 평균 영상과의 유사도와 기 저장된 대표 영상과 평균 영상과의 유사도를 비교한다(S300).
이는 상기 평균 영상과 유사도가 가장 높은 영상을 대표 영상으로 설정하기 위한 것으로, 신규 저장되는 영상이 있는 경우, 상기 대표 영상의 갱신이 필요한지 판단하기 위함이다.
이후, 상기 입력 영상과 평균 영상과의 유사도가 기 저장된 대표 영상과 평균 영상과의 유사도보다 큰 경우, 상기 입력 영상을 대표 영상으로 변경하여 저장한다(S400).
반면에 상기 입력 영상과 평균 영상과의 유사도가 기 저장된 대표 영상과 평균 영상과의 유사도보다 작거나 같은 경우, 상기 입력 영상을 일반의 소속 영상으로 저장한다(S500).
한편, 상기 입력 영상이 저장된 이후에는, 상기 세부 분류 데이터베이스(300)에 대한 관리단계가 수행된다.
상기 세부분류 관리 내용을 살펴보면, 제400단계 또는 제500단계를 수행하여 신규 영상이 저장되면, 상기 제어부는 상기 분류체계를 세분화할 필요성이 있는지 판단하도록 할 수 있다.
즉, 저장 영상의 개수가 설정된 개수(n) 이상인지 여부와, 저장된 영상 이미지들의 유사도 분포가 설정된 값(m) 이상인지 여부를 판별한다(S600, S700).
이들의 판단결과, 저장 영상의 개수가 특정 개수 이상이고, 유사도 분포가 특정값 이상으로 넓게 분포된 경우 해당 세부분류를 분할하여 저장한다(S800).
이때, 상기 세부분류에 대한 분할은 상기 각 소속 영상들의 유사도에 의해 결정되는데, 예를 들어 유사도가 가장 상이한 두 개의 영상을 산출하고, 산출된 두개의 영상과 각 소속 영상들의 유사도에 따라 두 개의 하위 분류로 나누는 방법이 적용될 수도 있다.
한편, 전술한 바와 같이, 세부분류 분할 조건을 만족하지 못한다면, 신규 저장된 영상 데이터를 반영하여 평균영상 데이터를 보정하고, 영상 데이터의 분류 및 저장과정을 마친다(S900).
다음으로 전술한 바와 같은 방법에 의해 구축된 인지모방 기법을 이용한 타겟 분류 시스템을 이용하여 영상 데이터를 검색하는 방법에 대하여 상세히 설명하기로 한다.
도 7은 본 발명에 의한 인지모방 기법을 이용한 지능형 영상 검색 방법의 구체적 실시예를 도시한 흐름도이다.
도 7에 도시된 바와 같이, 본 발명에 의한 인지모방 기법을 이용한 타겟 검색방법은, 검색대상 영상이 입력되는 것으로부터 시작된다(S1100).
상기 검색대상 영상이 입력되는 경우, 인지모방 기법을 이용한 타겟 검색 시스템의 제어부는 인지모방분류 기법에 의해 상기 검색 대상 영상의 피사체 형태 및 타겟을 검출한다(S2000, S2100, S2200, S2300).
상기 제2000단계 내지 제2300단계는 제200단계 내지 제240단계에서 설명한 인지모방분류기법과 동일한 방식에 의해 수행된다.
이후, 입력된 검색 대상 영상의 세부 분류가 산출되면, 해당 세부분류에 속한 소속 영상데이터를 이용자에게 출력한다(S3000).
다음으로, 본 발명에 의한 인지모방 기법을 이용한 지능형 영상 검색 방법의 다른 실시예를 설명하기로 한다.
도 8은 본 발명에 의한 인지모방 기법을 이용한 지능형 영상 검색 방법의 다른 실시예를 도시한 흐름도이고, 도 9는 본 발명에 의한 인지모방 기법을 이용한 지능형 영상 검색 방법에 있어 평균영상을 생성하는 일예를 도시한 예시도이다.
전술한 실시예에서는 검색 대상 영상이 하나의 영상인 경우의 실시예를 설명하였다. 반면, 본 발명의 다른 실시예에서는 검색 대상 영상이 복수개 입력된 경우의 검색 방법에 대하여 설명하기로 한다.
도 8에 도시된 바와 같이, 검색대상 영상이 입력되면, 상기 제어부는 입력된 검색대상 영상이 복수 개 인지 여부를 판별한다(S10, S20).
이후 상기 입력된 검색 대상 영상이 복수 개인 경우, 상기 입력된 검색 대상 영상들의 평균영상을 생성한다(S30).
상기 평균영상은 입력된 영상들을 디지털화(이진화)하여 변환하고, 디지털화된 영상에서 형태를 추출한 후, 변화된 영상들 형태의 평균 이진 영상을 산출함에 의해 수행된다.
한편, 상기 평균영상 생성 과정을 가시적으로 도시하면 도 9a 내지 도 9c 와 같다. 즉, 도 9a에 도시된 바와 같이, 다수개의 입력 영상들이 입력되면, 각 영상을 이진화하여 도 9b에 도시된 바와 같이 형태를 추출한다. 이후, 도 9c 에 도시된 바와 같이, 각 영상의 형태의 외곽선의 평균값은 산출하여 평균영상을 산출한다.
이후, 상기 산출된 평균영상을 이용하여 전술한 바와 같은 인지모방분류단계를 통해 상기 평균영상의 세부분류를 검출한다(S40).
그리고 검출된 세부분류에 해당하는 소속영상 데이터들을 사용자에게 제공한다(S50).
상기 인지모방분류단계의 실행 내용은 전술한 바와 같으므로, 상세한 설명은 생략하기로 한다.
한편, 상기 제20단계의 판단결과 입력된 검색대상 영상이 복수개가 아닌 경우(한 개인 경우), 전술한 본 발명의 구체적인 실시예와 동일하므로 입력된 검색대상 영상을 이용하여 제40단계 내지 제50단계를 수행한다.
이와 같은 검색 방법은 동일종류의 물품을 검색하고자 하는 온라인 쇼핑몰의 이용자에게 유용하게 적용될 수 있다.
즉, 이용자가 별도의 정보 없이 이미지만을 가진 경우, 해당 이미지를 입력함에 의해 데이터베이스에 저장된 물품정보 중 입력된 해당이미지와 유사한 제품만을 선별하여 이용자에게 제공하여, 이용자에게 편리하게 제품정보를 제공할 수 있도록 한다.
한편, 본 발명에서 적용된 유사도 판단에 있어, 검출된 각 타겟에 각각 다른 가중치를 부여하여 유사도를 판단할 수 있다.
즉, 해당 물품 중 물품분류에 영향을 미치는 주요 타겟에는 높은 가중치를 부여하여 유사도 판단의 신뢰성을 높이는 것이 가능하다.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
본 발명은 이미지에 투영된 피사체가 분류 저장된 데이터 베이스로부터 입력된 영상을 검색하는 방법에 관한 것으로, 본 발명에 의하면, 인물이나, 사물의 형태를 영상인식을 통해 검출하고 이를 비교함으로 빠른 검색과 키워드 검색의 한계를 극복할 수 있는 효과가 있다.
100 : 영상 획득부 200 : 제어부
300 : 데이터 베이스

Claims (7)

  1. 영상 데이터를 입력받는 영상 획득부와, 입력된 영상 데이터를 분석하여 저장하는 제어부와, 상기 영상 데이터가 저장되는 데이터베이스를 포함하여 구성되는 인지모방 기법을 이용한 타겟 분류 시스템을 이용하여 입력된 검색 대상 영상과 유사한 영상 데이터를 검색하는 지능형 영상 검색방법에 있어서,
    (A) 검색 대상 영상을 입력받는 단계와;
    (B1) 상기 검색 대상 영상의 외곽선을 추출하여 상기 검색 대상 영상의 형태를 파악하는 단계와;
    (B2) 상기 검색대상 영상의 형태에 따라 상기 검색대상 영상의 상위분류를 검출하는 인지모방분류 단계와;
    (B3) 상기 검색대상 영상의 타겟을 추출하는 단계와;
    (C) 상기 (B3)로부터 추출된 타겟에 따라 상기 데이터 베이스에 구분된 세부분류중 상기 입력 영상 데이터가 해당하는 세부 분류를 검출하는 단계; 그리고
    (D) 상기 검색 대상 영상이 속하는 세부분류에 저장된 소속 영상 데이터를 출력하는 단계를 포함하여 수행됨을 특징으로 하는 인지모방 기법을 이용한 지능형 영상 검색 방법.
  2. 제 1 항에 있어서,
    상기 (C) 단계는,
    타겟이 검출된 상기 입력 영상과 상기 데이터베이스에 저장된 각 평균 영상과의 유사도를 비교함에 의해 수행되되;
    검출된 각 타겟에 각각 다른 가중치를 부여하여 유사도를 판단함을 특징으로 하는 인지모방 기법을 이용한 지능형 영상 검색 방법.
  3. 영상 데이터를 입력받는 영상 획득부와, 입력된 영상 데이터를 분석하여 저장하는 제어부와, 상기 영상 데이터가 저장되는 데이터베이스를 포함하여 구성되는 인지모방 기법을 이용한 타겟 분류 시스템을 이용하여 입력된 검색 대상 영상과 유사한 영상 데이터를 검색하는 지능형 영상 검색방법에 있어서,
    (a) 검색 대상 영상을 입력받는 단계와;
    (b) 입력된 검색 대상 영상이 복수 개인지 판단하는 단계와;
    (c) 상기 입력된 검색 대상 영상이 복수 개인 경우, 검색 대상 영상들의 평균영상을 산출하는 단계와;
    (d1) 상기 평균영상의 외곽선을 추출하여 상기 평균영상의 형태를 파악하는 단계와;
    (d2) 상기 평균영상의 형태에 따라 상기 평균영상의 상위분류를 검출하는 단계와;
    (d3) 상기 평균영상의 타겟을 추출하는 단계와;
    (e) 상기 (d3) 단계로부터 추출된 타겟에 따라 상기 데이터 베이스에 구분된 세부분류중 상기 평균영상이 해당하는 세부 분류를 검출하는 단계; 그리고
    (f) 상기 평균영상이 속하는 세부분류에 저장된 소속 영상 데이터를 출력하는 단계를 포함하여 수행됨을 특징으로 하는 인지모방 기법을 이용한 지능형 영상 검색 방법.
  4. 제 3 항에 있어서,
    상기 (e) 단계는,
    타겟이 검출된 상기 입력 영상과 상기 데이터베이스에 저장된 각 평균 영상과의 유사도를 비교함에 의해 수행되되;
    검출된 각 타겟에 각각 다른 가중치를 부여하여 유사도를 판단함을 특징으로 하는 인지모방 기법을 이용한 타겟 분류 방법.
  5. 제 3 항에 있어서,
    상기 (c)단계는,
    상기 평균영상은 입력된 영상들을 디지털화하여 변환하고, 디지털화된 영상에서 형태를 추출한 후, 상기 변환된 영상들 형태의 평균 이진 영상을 산출함에 의해 수행됨을 특징으로 하는 인지모방 기법을 이용한 지능형 영상 검색 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 인지모방 기법을 이용한 타겟 분류 시스템은,
    영상 데이터를 입력받는 영상 획득부와;
    입력된 영상 데이터를 분석하여 저장하는 제어부와;
    상기 영상 데이터가 저장되는 데이터베이스를 포함하여 구성되고:
    상기 데이터베이스는,
    영상 데이터의 피사체 종류를 구분하여 상기 피사체의 종류에 따라 상기 입력 영상 데이터를 저장하기 위한 분류체계가 구분되고;
    상기 분류체계의 세부분류에는 각각,
    상기 세부분류에 속하는 소속 영상 데이터들과;
    상기 소속 영상 데이터의 소속 영상들의 평균을 산출한 평균 영상 데이터; 그리고
    상기 소속 영상 데이터의 소속 영상 중 상기 평균 영상 데이터의 평균 영상과 유사도가 가장 높은 대표 영상 데이터가 저장됨을 특징으로 하는 인지모방 기법을 이용한 지능형 영상 검색 방법.
  7. 제 6 항에 있어서,
    상기 제어부는,
    이미지 피사체의 형태를 인식하고, 해당 물체의 타겟을 검출하는 타겟추출부와;
    상기 타겟 추출부에서 추출된 타겟에 대하여 타겟 별로 가중치를 부가하고, 상기 가중치가 부여된 타겟을 상기 데이터베이스에 저장된 영상 데이터와 비교하여 유사도 검출하는 유사 판단부를 포함하여 구성됨을 특징으로 하는 인지모방 기법을 이용한 지능형 영상 검색 방법.
KR1020120019012A 2012-02-24 2012-02-24 인지모방 기법을 이용한 지능형 영상 검색 방법 KR101350221B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120019012A KR101350221B1 (ko) 2012-02-24 2012-02-24 인지모방 기법을 이용한 지능형 영상 검색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120019012A KR101350221B1 (ko) 2012-02-24 2012-02-24 인지모방 기법을 이용한 지능형 영상 검색 방법

Publications (2)

Publication Number Publication Date
KR20130097391A KR20130097391A (ko) 2013-09-03
KR101350221B1 true KR101350221B1 (ko) 2014-01-24

Family

ID=49449780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120019012A KR101350221B1 (ko) 2012-02-24 2012-02-24 인지모방 기법을 이용한 지능형 영상 검색 방법

Country Status (1)

Country Link
KR (1) KR101350221B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102113813B1 (ko) * 2013-11-19 2020-05-22 한국전자통신연구원 정합 쌍을 이용한 신발 영상 검색 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022676A (ko) * 2003-08-29 2005-03-08 (주)워치비젼 얼굴 인식 기술을 이용한 관상정보 제공장치 및 그 방법
JP2008065560A (ja) * 2006-09-06 2008-03-21 Nikon Corp 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法
KR100942997B1 (ko) * 2009-08-07 2010-02-17 주식회사 인트로메딕 캡슐 내시경 영상의 디스플레이 시스템 및 그 방법
KR20110046874A (ko) * 2009-10-29 2011-05-06 한국인식산업(주) 영상 검색 및 인식 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022676A (ko) * 2003-08-29 2005-03-08 (주)워치비젼 얼굴 인식 기술을 이용한 관상정보 제공장치 및 그 방법
JP2008065560A (ja) * 2006-09-06 2008-03-21 Nikon Corp 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法
KR100942997B1 (ko) * 2009-08-07 2010-02-17 주식회사 인트로메딕 캡슐 내시경 영상의 디스플레이 시스템 및 그 방법
KR20110046874A (ko) * 2009-10-29 2011-05-06 한국인식산업(주) 영상 검색 및 인식 방법

Also Published As

Publication number Publication date
KR20130097391A (ko) 2013-09-03

Similar Documents

Publication Publication Date Title
Simo-Serra et al. Fashion style in 128 floats: Joint ranking and classification using weak data for feature extraction
CN107330451B (zh) 基于深度卷积神经网络的服装属性检索方法
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
Berretti et al. A set of selected SIFT features for 3D facial expression recognition
JP2021101384A (ja) 画像処理装置、画像処理方法およびプログラム
CN106096542B (zh) 基于距离预测信息的图像视频场景识别方法
Becker et al. Evaluating open-universe face identification on the web
Lu et al. A Delaunay-based temporal coding model for micro-expression recognition
CN105095884B (zh) 一种基于随机森林支持向量机的行人识别***及处理方法
JP4668680B2 (ja) 属性識別システムおよび属性識別辞書生成装置
CN106845513B (zh) 基于条件随机森林的人手检测器及方法
Arigbabu et al. Integration of multiple soft biometrics for human identification
JP6351243B2 (ja) 画像処理装置、画像処理方法
US10949460B2 (en) Product indexing method and system thereof
CN110413825B (zh) 面向时尚电商的街拍推荐***
Zhang et al. Discovering the best feature extraction and selection algorithms for spontaneous facial expression recognition
Ekweariri et al. Facial expression recognition using enhanced local binary patterns
Samuvel et al. Music recommendation system based on facial emotion recognition
JP2017084078A (ja) スタイル検索装置、方法、及びプログラム
KR101672814B1 (ko) 랜덤 포레스트를 이용한 성별인식 방법
CN107944363A (zh) 人脸图像处理方法、***及服务器
KR101350221B1 (ko) 인지모방 기법을 이용한 지능형 영상 검색 방법
KR101350220B1 (ko) 인지모방 기법을 이용한 타겟 분류 시스템 및 방법
KR101468457B1 (ko) 스마트 상품 검색 제공 방법
Kumar et al. Face Recognition with decision tree using SVM and SURF

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170605

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180108

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 7