KR101191223B1 - 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 - Google Patents
이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 Download PDFInfo
- Publication number
- KR101191223B1 KR101191223B1 KR1020110119638A KR20110119638A KR101191223B1 KR 101191223 B1 KR101191223 B1 KR 101191223B1 KR 1020110119638 A KR1020110119638 A KR 1020110119638A KR 20110119638 A KR20110119638 A KR 20110119638A KR 101191223 B1 KR101191223 B1 KR 101191223B1
- Authority
- KR
- South Korea
- Prior art keywords
- word
- feature
- image
- images
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 239000013598 vector Substances 0.000 claims abstract description 14
- 238000012800 visualization Methods 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000003064 k means clustering Methods 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 본 발명의 일 태양에 따르면, 이미지 검색 장치에서, (a) 입력 이미지의 특징점들을 획득하는 단계, (b) 특징점들 각각이 속하는 워드와 특징점들 각각이 속하는 워드와 거리가 인접한 인접 워드를 획득하는 단계 - 워드가 시각화 특징 공간(visual feature space) 상에 포함된 복수개의 워드 셀들 중 제1워드 셀에 부여되면, 인접 워드는 복수개의 워드 셀들 중 워드가 부여된 제1 워드 셀과의 거리가 인접한 적어도 하나의 제2 워드 셀에 부여된 워드이고, 복수개의 워드 셀들에 서로 다른 워드가 부여되고, 워드와 기설정된 거리 이내의 적어도 하나의 워드를 인접 워드로 설정 가능함 - , 및 (c) 데이터베이스에 저장된 워드에 속하는 제1 이미지들에 대한 정보 및 인접 워드에 속하는 제2 이미지들에 대한 정보를 대상으로 입력 이미지와 동일하거나 유사한 이미지를 검색하는 단계를 포함하는 이미지 검색 방법이 제공된다. 본 발명에 의하면, 입력 이미지의 특징점이 이진화된 코드에 해당하면, 데이터베이스의 이진화된 코드에 속하는 제1 이미지들 뿐만 아니라 이진화된 코드와 인접한 거리 정보를 가지는 인접 이진화된 코드에 속하는 제2 이미지들을 대상으로 입력 이미지의 특징점과 동일하거나 유사한 특징점을 가지는 이미지를 검색함으로써 검색의 정확도를 개선할 수 있다.
Description
본 발명은 입력 이미지의 특징점들이 각각 특정 워드들 또는 특정 이진화된 코드들에 해당하면, 데이터베이스의 특정 워드들 또는 특정 이진화된 코드들에 해당하는 제1 이미지들 뿐만 아니라 특정 워드들 또는 특정 이진화된 코드들에 해당하는 제1 이미지들과 거리 상으로 인접하는 인접 워드 또는 인접 이진화된 코드들에 해당하는 제2 이미지들을 대상으로 입력 이미지의 특징점과 동일하거나 유사한 특징점을 가지는 이미지를 검색함으로써, 이미지 검색의 정확도를 높일 수 있는 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
문서 검색에서는 문서를 특정 어휘(vocabulary)에서 선택된 단어(word)들의 빈도수로 표현하고, 이 빈도수를 비교함으로써 유사도를 측정한다.
이미지 검색에서도 이와 마찬가지로 한 이미지를 특정 시각화 어휘(visual vocabulary)에서 선택된 시각화 단어(visual word)들의 빈도수로 표현하고 이 빈도수를 비교함으로써 이미지들 사이의 유사도를 측정한다.
예를 들어, 이미지 1, 2, 3 각각이 3개의 특징점들을 가지고, 이미지 1의 특징점들 각각에 해당하는 워드가 "a", "b", "c"이고, 이미지 2의 특징점들 각각에 해당하는 워드가 "a", "c", "d"이고, 이미지 3의 특징점들 각각에 해당하는 워드가 "a", "d", "e"인 경우에, 이미지 1과 이미지 2의 유사도는 2이고, 이미지 1과 이미지 3의 유사도는 1이 된다.
그러나, 이미지의 경우에 텍스트 문서와 달리 시각화 단어(visual word)들이 노이즈와 사진 촬영 각도 등으로 인해서 미묘하게 달라지는 일이 자주 발생한다는 특성이 있다. 즉, 원래 워드 "a"로 표현될 특징점(feature)이 어떤 이유로 인해 거리 상 인접한 워드인 "e"로 표현될 수도 있게 된다. 이에 따르면, 데이터베이스 내의 식별 워드 "e"에 속하는 이미지들만 검색하여 특징점과 동일하거나 유사한 적어도 하나의 이미지를 검색하기 때문에 검색의 정확도가 떨어지게 되는 문제가 있다.
가령, 2003년 IEEE International Conference on Computer Vision에 Josef Sivic and Andrew Zisserman에 의해서 "Video Google: A Text Retrieval Approach to Object Matching in Videos"라는 명칭으로 공개된 논문은 시각화 단어를 사용하여 이미지를 검색하는 기술을 공개하고 있는데, 이 기술은 상술한 바와 같은 문제를 가지고 있었다.
본 발명은 상술한 문제점을 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 입력 이미지의 특징점들이 특정 워드들 또는 특정 이진화된 코드들에 해당하면, 데이터베이스의 특정 워드들 또는 특정 이진화된 코드들에 해당하는 제1 이미지들 뿐만 아니라 특정 워드들 또는 특정 이진화된 코드들에 해당하는 제1 이미지들과 거리 상으로 인접하는 인접 워드 또는 인접 이진화된 코드들에 해당하는 제2 이미지들을 대상으로 입력 이미지의 특징점과 동일하거나 유사한 특징점을 가지는 이미지를 검색함으로써, 이미지 검색의 정확도를 높일 수 있는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양의 방법에 따르면, (a) 이미지 검색 장치에서, 입력 이미지의 특징점들을 획득하는 단계, (b) 상기 이미지 검색 장치에서, 상기 특징점들 각각이 속하는 워드와 상기 특징점들 각각이 속하는 워드와 거리가 인접한 인접 워드를 획득하는 단계 - 상기 워드가 시각화 특징 공간(visual feature space) 상에 포함된 복수개의 워드 셀들 중 제1워드 셀에 부여되면, 상기 인접 워드는 상기 복수개의 워드 셀들 중 상기 워드가 부여된 상기 제1 워드 셀과의 거리가 인접한 적어도 하나의 제2 워드 셀에 부여된 워드이고, 상기 복수개의 워드 셀들에 서로 다른 워드가 부여되고, 상기 워드와 기설정된 거리 이내의 적어도 하나의 워드를 상기 인접 워드로 설정 가능함 -, 및 (c) 상기 이미지 검색 장치에서, 데이터베이스에 저장된 상기 워드에 속하는 제1 이미지들에 대한 정보 및 상기 인접 워드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법이 제공된다.
본 발명의 다른 태양의 방법에 따르면, (a) 이미지 검색 장치에서, 입력 이미지의 특징점들을 획득하는 단계, (b) 상기 이미지 검색 장치에서, 상기 특징점들 각각이 속하는 이진화된 코드를 획득하는 단계, 및 (c) 상기 이미지 검색 장치에서, 데이터베이스에 저장된 상기 이진화된 코드에 속하는 제1 이미지들에 대한 정보 및 상기 이진화된 코드와 거리가 인접하면서 상기 이진화된 코드와의 거리 정보를 포함하는 인접 이진화된 코드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 단계 - 상기 이진화된 코드가 시각화 특징 공간(visual feature space) 상의 복수개의 워드 셀들 중 제1워드 셀에 부여되면, 상기 인접 이진화된 코드는 상기 복수개의 워드 셀들 중 상기 제1워드 셀에 인접하고 상기 제1워드 셀과의 상기 거리 정보를 포함하는 적어도 하나의 제2워드 셀에 부여된 코드이고, 상기 복수개의 워드 셀들에 서로 다른 이진화된 코드가 부여되고, 상기 복수개의 워드 셀들에 서로 다른 이진화된 코드가 부여되고, 상기 이진화된 코드로부터 기설정된 거리 이내의 적어도 하나의 이진화된 코드를 상기 인접 이진화된 코드로 설정 가능함 - 를 포함하는 것을 특징으로 하는 이미지 검색 방법이 제공된다.
본 발명의 또 다른 태양의 방법에 따르면, (a) 이미지 검색 장치에서, 입력 이미지의 특징점들을 획득하는 단계, (b) 상기 이미지 검색 장치에서, 상기 입력 이미지의 특징점들 각각에 대한 특징점 기술자들을 획득하는 단계, (c) 상기 이미지 검색 장치에서, 상기 입력 이미지의 상기 특징점들의 상기 특징점 기술자들을 이진화된 코드에 대응시키는 단계, 및 (d) 상기 이미지 검색 장치에서, 데이터베이스에 저장된 상기 이진화된 코드에 속하는 제1 이미지들에 대한 정보 및 상기 이진화된 코드와 인접한 거리 정보를 포함하는 인접 이진화된 코드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 단계 - 상기 이진화된 코드로부터 기설정된 거리 이내의 적어도 하나의 이진화된 코드를 상기 인접 이진화된 코드로 설정 가능함 - 를 포함하는 것을 특징으로 하는 이미지 검색 방법이 제공된다.
본 발명의 또 다른 태양의 방법에 따르면, (a) 이미지 검색 장치에서, 입력 이미지의 특징점들을 획득하는 단계, (b) 상기 이미지 검색 장치에서, 상기 입력 이미지의 특징점들 각각에 대한 특징점 기술자들을 획득하는 단계, (c) 상기 이미지 검색 장치에서, 상기 입력 이미지의 상기 특징점들의 상기 특징점 기술자들을 이진화된 코드에 대응시키는 단계, 및 (d) 상기 이미지 검색 장치에서, 데이터베이스에 저장된 상기 이진화된 코드에 속하는 제1 이미지들에 대한 정보 및 상기 이진화된 코드와 인접한 거리 정보를 포함하는 인접 이진화된 코드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 단계 - 상기 이진화된 코드로부터 기설정된 거리 이내의 적어도 하나의 이진화된 코드를 상기 인접 이진화된 코드로 설정 가능함 - 를 포함하는 것을 특징으로 하는 이미지 검색 방법이 제공된다.
삭제
본 발명의 일 태양의 장치에 따르면, 입력 이미지의 특징점들을 획득하는 특징점 획득부, 상기 특징점들 각각이 속하는 워드를 획득하고, 상기 워드와 거리가 인접한 인접 워드를 획득하는 워드 및 인접 워드 획득부 - 상기 워드가 시각화 특징 공간(visual feature space) 상에 포함된 복수개의 워드 셀들 중 제1워드 셀에 부여되면, 상기 인접 워드는 상기 복수개의 워드 셀들 중 상기 워드가 부여된 상기 제1 워드 셀과의 거리가 인접한 적어도 하나의 제2 워드 셀에 부여된 워드이고, 상기 복수개의 워드 셀들에 서로 다른 워드가 부여되고, 상기 워드와 기설정된 거리 이내의 적어도 하나의 워드를 상기 인접 워드로 설정 가능함 -, 및 데이터베이스에 저장된 상기 워드에 속하는 제1 이미지들에 대한 정보 및 상기 인접 워드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 검색부를 포함하는 것을 특징으로 하는 이미지 검색 장치가 제공된다.
본 발명의 다른 태양의 장치에 따르면, 입력 이미지의 특징점들을 획득하는 특징점 획득부, 상기 특징점들 각각이 속하는 이진화된 코드를 획득하는 이진 코드 획득부, 및 데이터베이스에 저장된 상기 이진화된 코드에 속하는 제1 이미지들에 대한 정보 및 상기 이진화된 코드와 거리가 인접하면서 상기 이진화된 코드와의 거리 정보를 포함하는 인접 이진화된 코드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 검색부 - 상기 이진화된 코드가 시각화 특징 공간(visual feature space) 상의 복수개의 워드 셀들 중 제1워드 셀에 부여되면, 상기 인접 이진화된 코드는 상기 복수개의 워드 셀들 중 제1워드 셀에 인접하고 상기 제1워드 셀과의 상기 거리 정보를 포함하는 적어도 하나의 제2 워드 셀에 부여된 코드이고, 상기 복수개의 워드 셀들에 서로 다른 이진화된 코드가 부여되고, 상기 이진화된 코드로부터 기설정된 거리 이내의 적어도 하나의 이진화된 코드를 상기 인접 이진화된 코드로 설정 가능함 - 를 포함하는 것을 특징으로 하는 이미지 검색 장치가 제공된다.
본 발명의 또 다른 태양의 장치에 따르면, 입력 이미지의 특징점들을 획득하는 특징점 획득부, 상기 입력 이미지의 특징점들 각각에 대한 특징점 기술자들을 획득하는 특징점 기술자 획득부, 상기 입력 이미지의 상기 특징점들의 상기 특징점 기술자들을 이진화된 코드에 대응시키는 특징점 기술자 - 이진 코드 맵핑부, 및 데이터베이스에 저장된 상기 이진화된 코드에 속하는 제1 이미지들에 대한 정보 및 상기 이진화된 코드와 인접한 거리 정보를 포함하는 인접 이진화된 코드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 검색부 - 상기 이진화된 코드로부터 기설정된 거리 이내의 적어도 하나의 이진화된 코드를 상기 인접 이진화된 코드로 설정 가능함 - 를 포함하는 것을 특징으로 하는 이미지 검색 장치가 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 입력 이미지의 특징점이 특정 워드 또는 특정 이진화된 코드에 해당하면, 데이터베이스의 특정 워드 또는 특정 이진화된 코드에 해당하는 제1 이미지들 뿐만 아니라 특정 워드 또는 특정 이진화된 코드에 해당하는 제1 이미지들과 거리 상으로 인접하는 인접 워드 또는 인접 이진화된 코드에 해당하는 제2 이미지들을 대상으로 입력 이미지의 특징점과 동일하거나 유사한 특징점을 가지는 이미지를 검색함으로써, 입력 이미지가 노이즈와 사진 촬영 각도 등으로 인해서 달라지더라도 정확한 이미지 검색이 이루어질 수 있다.
도 1은 본 발명의 일 실시예의 이미지 검색 시스템의 구성을 나타내는 도면이다.
도 2 내지 4는 본 발명의 일 실시예의 서버가 데이터베이스의 이미지들을 이용하여 데이터베이스의 색인과 이미지 정보를 구축하는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예의 색인과 이미지 정보에 따른 데이터베이스를 나타내는 것이다.
도 6은 본 발명의 일 실시예의 서버의 구성을 나타내는 블록도이다.
도 7의 본 발명의 일 실시예의 워드 대 인접 워드 룩업 테이블을 나타내는 것이다.
도 8은 본 발명의 다른 실시예의 서버의 구성을 나타내는 블록도이다.
도 9는 본 발명의 또 다른 실시예의 서버의 구성을 나타내는 블록도이다.
도 10은 본 발명의 일 실시예의 검색부의 구성을 나타내는 블록도이다.
도 2 내지 4는 본 발명의 일 실시예의 서버가 데이터베이스의 이미지들을 이용하여 데이터베이스의 색인과 이미지 정보를 구축하는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예의 색인과 이미지 정보에 따른 데이터베이스를 나타내는 것이다.
도 6은 본 발명의 일 실시예의 서버의 구성을 나타내는 블록도이다.
도 7의 본 발명의 일 실시예의 워드 대 인접 워드 룩업 테이블을 나타내는 것이다.
도 8은 본 발명의 다른 실시예의 서버의 구성을 나타내는 블록도이다.
도 9는 본 발명의 또 다른 실시예의 서버의 구성을 나타내는 블록도이다.
도 10은 본 발명의 일 실시예의 검색부의 구성을 나타내는 블록도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예의 이미지 검색 시스템의 구성을 나타내는 도면이다.
도 1에 도시되어 있는 바와 같이, 본 발명의 이미지 검색 시스템(100)은 단말기(110), 통신망(120), 서버(130) 및 데이터베이스(140)을 포함할 수 있다.
도 1에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
먼저, 단말기(100)는 사용자가 통신망(120)을 통하여 서버(130)에 접속한 후 통신하여 이미지를 입력하여 검색할 수 있는 기능을 포함하는 디지털 기기로서, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드, 휴대용 전화기 등이 될 수 있다. 또한, 도 1에서, 단말기(110)가 하나인 것으로 도시되어 있으나, 실제로는 복수의 사용자의 단말기들이 통신망(120)을 통하여 연결될 수도 있다.
그리고, 통신망(120)은 유선 및 무선과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN: Local Area Network), 도시권 통신망(MAN: Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 발명에서 말하는 통신망(100)은 공지의 월드와이드웹(WWW: World Wide Web)일 수 있다.
데이터베이스(140)는 복수개의 이미지들을 저장할 수 있으며, 색인(index)과 색인에 속하는 이미지들의 이미지 정보로 구분하여 저장할 수 있다.
일 실시예로서, 데이터베이스(140)는 특징점들 사이의 거리 정보를 포함하지 않는 서로 다른 1차원의 워드(또는 1차원의 숫자)들을 색인으로 가질 수 있으며, 이미지들의 이미지 정보는 가령 이미지의 특징점에 대한 정보를 포함할 수 있다. 1차원의 특정 워드에 속하는 이미지들의 특징점들은 소정 범위 내의 거리 정보를 가지고, 상기 특정 워드 이외의 1차원의 워드들에 속하는 이미지들의 특징점들은 소정 범위 보다 큰 거리 정보를 가지는 것을 의미하는 것으로 볼 수 있다.
한편, 데이터베이스(140)의 색인에 기재된 1차원의 워드(또는 1차원의 숫자)는 다른 워드와의 거리 정보를 포함할 수도 있다. 예를 들면, 데이터베이스(140)의 색인이 1차원의 워드들로 이루어지는 경우에, 인접한 순서의 워드들(가령, A와 B, B와 C, ... 등)은 그렇지 않은 워드들(가령, A와 C, A와 D, ... 등)에 비해서 더 인접한 거리 정보를 포함하고, 데이터베이스(140)의 색인이 1차원의 숫자들로 이루어지는 경우에, 인접한 크기의 숫자들(가령, 100과 101, 101과 102, ... 등)은 그렇지 않은 숫자들(가령, 100과 102, 101과 103, ... 등)에 비해서 더 인접한 거리 정보를 포함할 수 있다.
다른 실시예로서, 데이터베이스(140)는 해밍 거리(hamming distance)에 해당하는 거리 정보를 포함하는 이진화된 코드들을 색인으로 가질 수 있으며, 이미지들의 이미지 정보는 가령 이미지의 특징점에 대한 정보를 포함할 수 있다. 하나의 m차원(비트)의 이진화된 코드에 속하는 이미지들의 특징점들은 서로 소정 범위 내의 거리 정보를 가지고, 서로 다른 m차원의 이진화된 코드들은 m차원의 이진화된 코드에 속하는 이미지들의 특징점들 사이의 거리 차의 값이 포함된 다른 소정 범위 내의 거리 정보를 포함할 수 있다.
서버(130)는 데이터베이스(140)의 복수개의 이미지들을 대상으로 하여 입력 이미지와 동일하거나 유사한 이미지들을 검색한다.
일 실시예로서, 서버(130)는 데이터베이스(140)에 저장된 복수개의 이미지들 각각의 특징점들에 대한 정보를 추출할 수 있다. 물론, 이 경우 데이터베이스(140)에는 이미 복수개의 이미지들 각각의 특징점이 추출되어 저장되어 있을 수 있고, 이 경우 서버(130)는 데이터베이스(140)로부터 복수개의 이미지들 각각의 특징점에 대한 정보를 획득할 수도 있음은 물론이라 할 것이다. 또한, 서버(130)는 복수개의 이미지들의 특징점들을 시각화 특징 공간(visual feature space) 상에서의 위치에 기초하여 서로 인접한 특징점들을 클러스터링(가령, K-means clustering 기술을 이용하여 클러스터링)함에 의해서 클러스터들(이하, 워드 셀들이라 함)을 형성할 수 있다. 그리고, 서버(130)는 워드 셀들에 서로 다른 1차원의 워드(또는 숫자)를 색인으로 부여하고, 해당 워드 셀에 대응하는 이미지 정보를 데이터베이스(140)에 저장할 수 있다. 이미지 정보는 해당 워드 셀에 속하는 이미지의 식별 기호 및 특징점에 대한 정보를 포함할 수 있다. 이때, 서버(130)가 워드 셀들에 1차원의 워드(또는 숫자)를 부여할 때, 거리 정보를 포함하지 않은 워드를 부여할 수도 있으며, 워드 셀들 사이의 거리 정보가 포함되도록 하여 워드들을 부여할 수도 있다. 즉, 데이터베이스(140)의 색인으로 저장되는 1차원의 워드들(또는 1차원의 숫자들)에 거리 정보가 포함되지 않을 수도 있고, 포함될 수도 있다. 그리고, 서버(130)는 단말기(110)로부터 쿼리로서 전송되는 입력 이미지가 획득되면, 입력 이미지의 특징점들을 검출하고, 특징점에 대한 정보를 추출할 수 있다. 물론, 이 경우 서버(130)가 단말기(110)로부터 입력 이미지에 대한 특징점에 대한 정보 자체를 전송 받을 수도 있음은 물론이라 할 것이다.
서버(130)는 시각화 특징 공간 상에서 특징점이 속하는 워드 및 특징점이 속하는 워드와 거리 상으로 인접하는 인접 워드를 획득할 수 있다. 만일 워드들 자체에 거리 정보가 포함되어 있지 않은 경우에는 추후 설명될 도 7과 같은 룩 업 테이블을 사용하여 인접 워드를 획득할 수 있을 것이지만, 만일 워드들 자체에 거리 정보가 포함되어 있는 경우에는 인접 워드를 획득하기 위하여 도 7의 룩 업 테이블을 사용할 필요가 없을 것이다.
서버(130)는 데이터베이스(140) 내에서 워드 및 인접 워드에 속하는 이미지들을 대상으로 입력 이미지의 특징점과 동일하거나 유사한 특징점을 포함하는 이미지를 검색할 수 있다.
다른 실시예로서, 서버(130)는 데이터베이스(140)에 저장된 복수개의 이미지들 각각의 특징점들을 검출하고, 특징점에 대한 정보를 추출할 수 있다. 물론, 이 경우 데이터베이스(140)에는 이미 복수개의 이미지들 각각의 특징점이 추출되어 저장되어 있을 수 있고, 이 경우 서버(130)는 데이터베이스(140)로부터 복수개의 이미지들 각각의 특징점에 대한 정보를 획득할 수도 있음은 물론이라 할 것이다. 또한, 서버(130)는 복수개의 이미지들의 특징점들의 시각화 특징 공간 상에서의 위치에 기초하여 서로 인접한 특징점들을 클러스터링(가령, K-means clustering 기술을 이용하여 클러스터링)함에 의해서 워드 셀들을 형성할 수 있다. 서버(130)는 워드 셀들 사이의 거리 정보를 포함하는 서로 다른 m차원(비트)의 이진화된 코드들을 색인으로, 해당 이진화된 코드가 부여된 워드 셀에 속하는 이미지의 식별 기호 및 특징점에 대한 정보를 이미지 정보로 데이터베이스(140)에 저장할 수 있다.
그리고, 서버(130)는 단말기(110)로부터 쿼리로서 전송되는 입력 이미지가 획득되면, 입력 이미지의 특징점들을 검출하고, 특징점에 대한 정보를 추출할 수 있다. 물론, 이 경우 서버(130)가 단말기(110)로부터 입력 이미지에 대한 특징점에 대한 정보 자체를 전송 받을 수도 있음은 물론이라 할 것이다. 서버(130)는 시각화 특징 공간 상에서 특징점이 속하는 m차원 이진화된 코드 및 인접 m차원 이진화된 코드에 속하는 이미지들을 대상으로 하여 입력 이미지의 특징점과 동일하거나 유사한 특징점을 포함하는 이미지를 검색할 수 있다.
특징점에 대한 정보는 n차원의 벡터로 표현되는 특징점 기술자를 포함할 수 있으며, n차원 벡터로 표현되는 특징점 기술자들을 m차원의 이진화된 코드들로 대응시키는 기술은 2011년 4월 CVPR(conference on computer vision and pattern recognition)에서 Yunchao Gong과 Svetlana Lazebnik에 의해서 "Iterative Quantization: A Procrustean Approach to Learning Binary Codes"라는 명칭으로 공개되어 있다. 이 기술에 따르면, n차원 벡터로 표현되는 특징점 기술자들을 m차원의 이진화한 코드들로 대응시키더라도 원래의 특징점 기술자들의 거리 정보를 유지할 수 있다.
이 기술은 상술한 다른 실시예의 서버(130)가 워드 셀들 사이의 거리 정보를 포함하는 서로 다른 m차원의 이진화된 코드들로 변환시에, 워드 셀들 각각의 중심점의 기술자(가령, n차원 벡터로 표현되는 기술자)를 m차원의 이진화된 코드로 대응시키는 경우에도 적용될 수 있다.
또 다른 실시예로서, 서버(130)는 데이터베이스(140)에 저장된 복수개의 이미지들 각각의 특징점들을 검출하고, 특징점에 대한 정보를 추출할 수 있다. 물론, 이 경우 데이터베이스(140)에는 이미 복수개의 이미지들 각각의 특징점이 추출되어 저장되어 있을 수 있고, 이 경우 서버(130)는 데이터베이스(140)로부터 복수개의 이미지들 각각의 특징점에 대한 정보를 획득할 수도 있음은 물론이라 할 것이다. 또한, 서버(130)는 복수개의 이미지들의 특징점 기술자들을 거리 정보를 포함하는 서로 다른 m차원의 이진화된 코드들에 대응시킬 수 있다. 서버(130)는 복수개의 이미지들의 특징점 기술자들 중 소정 범위 내의 거리를 가지는 특징점 기술자들을 하나의 이진화된 코드에 대응시킬 수 있다. 이에 따라, 복수개의 서로 다른 소정 범위 내의 거리를 가지는 특징점 기술자들을 서로 다른 이진화된 코드들에 대응시킬 수 있다. 서버(130)는 거리 정보를 포함하는 서로 다른 m차원의 이진화된 코드들을 색인으로 부여하고, 해당 워드 셀에 대응하는 이미지 정보를 데이터베이스(140)에 저장할 수 있다. 이미지 정보는 해당 워드 셀에 속하는 이미지의 식별 기호 및 특징점에 대한 정보일 수 있다.
참고로, 상술한 다른 실시예의 서버(130)가 시각화 특징 공간상에서 특징점이 속하는 워드 셀에 대응되는 m차원 이진화된 코드 및 인접 m차원 이진화된 코드에 속하는 이미지들을 대상으로 검색하는 것과 달리, 또 다른 실시예의 서버(130)는 입력 이미지의 특징점을 직접 m차원의 이진화된 코드에 대응시켜, m차원 이진화된 코드 및 인접 m차원 이진화된 코드에 속하는 이미지들을 대상으로 검색할 수 있다.
상술한 다른 실시예 및 또 다른 실시예에서, m차원의 이진화된 코드들은 해밍 거리(hamming distance)에 해당하는 거리 정보를 가지는 코드들일 수 있으며, m은 n보다 작은 정수일 수 있다. 예를 들면, 특징점 기술자가 128차원의 벡터로 표현되는 경우에, 이진화된 코드는 32비트 또는 64비트로 표현될 수 있다. 하지만, 반드시 m이 n보다 작은 정수일 필요는 없을 것이다. 그리고, 거리 정보는 유클리디안 거리(Euclidean distance)에 관한 정보일 수 있다.
도 2 내지 도 4는 본 발명의 일 실시예의 서버가 데이터베이스의 이미지들을 이용하여 데이터베이스의 색인과 이미지 정보를 구축하는 것을 설명하기 위한 도면이다.
도 2는 데이터베이스(140)에 저장되는 복수개의 이미지들(IM1 ~ IMk)을 나타내고, f11, f12, f1x는 이미지(IM1)의 복수개의 특징점들 중 3개의 특징점들을, f21, f22, f2x는 이미지(IM2)의 복수개의 특징점들 중 3개의 특징점들을, fk1, fk2, fkx는 이미지(IMk)의 복수개의 특징점들 중 3개의 특징점들을 나타낼 수 있다.
도 3은 2차원의 시각화 특징 공간 상에서 데이터베이스(140)에 저장된 복수개의 이미지들(IM1 ~ IMk)의 복수개의 특징점들에 대한 위치 정보를 나타내는 것으로, n차원의 벡터로 표현되는 특징점 기술자들을 차원 감소(dimension reduction)하여 2차원의 시각화 특징 공간 상에서 나타낸 것이다. 도 3의 2차원의 시각화 특징 공간 상에서 복수개의 이미지들(IM1 ~ IMk)의 특징점들을 클러스터링(가령, K-means clustering 기술을 이용하여 클러스터링)함에 의해서 8개의 워드 셀들이 형성될 수 있으며, 8개의 워드 셀들에 워드(A 내지 H)가 부여될 수 있다. 그리고, 8개의 워드 셀들 각각의 중심점(c1 ~ c8)의 정보가 획득될 수 있다. 본 발명에서, 워드 셀들 각각의 중심점의 정보는 중심점의 기술자일 수 있으며, 중심점의 기술자는 워드 셀에 속하는 특징점 기술자들의 평균값일 수 있다.
도 4는 본 발명의 일 실시예의 색인과 이미지 정보에 따른 데이터베이스를 나타내는 것으로, 도 3의 워드 셀들 각각의 워드(A 내지 H)를 색인으로 저장하고, 도 3의 워드(A)에 속하는 이미지(IM1)의 식별 기호와 특징점(f11)의 특징점 기술자 및 이미지(IM2)의 식별 기호와 특징점(f21)의 특징점 기술자 등을 이미지 정보로 저장하고, 도 3의 워드(B)에 속하는 이미지(IM2)의 식별 기호와 특징점(f22)의 특징점 기술자 등을 이미지 정보로 저장하고, 도 3의 워드(C)에 속하는 이미지(IM1)의 식별 기호와 특징점(f12)의 특징점 기술자 등을 이미지 정보로 저장할 수 있다. 마찬가지로, 도 3의 워드(D)에 속하는 이미지(IMk)의 식별 기호 및 특징점(fk1)의 특징점 기술자 등을 이미지 정보로 저장하고, 워드(E)에 속하는 이미지(IMk)의 식별 기호 및 특징점(fk2)의 특징점 기술자 등을 이미지 정보로 저장하고, 워드(F)에 속하는 이미지(IMk)의 식별 기호 및 특징점(fkx)의 특징점 기술자 등을 이미지 정보로 저장하고, 워드(G)에 속하는 이미지(IM2)의 식별 기호 및 특징점(f2k)의 특징점 기술자 등을 이미지 정보로 저장하고, 워드(H)에 속하는 이미지(IM1)의 식별 기호 및 특징점(f1k)의 특징점 기술자 등을 이미지 정보로 저장할 수 있다. 도 4에서는 편의상 식별 기호를 IM1, IM2, ...로, 특징점 기술자를 f11, f21, f22, f12, f1k, ...로 도시하였다.
도 5는 본 발명의 다른 실시예의 색인과 이미지 정보에 따른 데이터베이스를 나타내는 것으로, 도 3의 워드 셀들에 부여된 1차원 워드에 거리 정보를 포함하는 4차원(즉, 4비트)의 이진화된 코드들을 부여하여 색인으로 저장할 수 있다. 예를 들어, 도 3의 워드(A)가 부여된 워드 셀에 이진화된 코드 "0000"를 부여하였다면, 워드(A)가 부여된 워드 셀에 인접한 워드(B)가 부여된 워드 셀에 이진화된 코드 "0001"을 부여하고, 워드(C)가 부여된 워드 셀에 이진화된 코드 "0011"을 부여하고, 워드(H)가 부여된 워드 셀에 이진화된 코드 "1111"을 부여할 수 있다. 이진화된 코드들은 해밍 거리에 해당하는 거리 정보를 포함하는 코드들일 수 있으며, 따라서, 이진화된 코드 "0000"와 "0001"은 1비트가 다르므로 거리 차이가 1인 워드 셀임을 나타내고, 이진화된 코드 "0000"와 "0011"은 2비트가 다르므로 거리 차이가 2인 워드 셀임을 나타내고, 이진화된 코드 "0000"와 "1111"은 4비트가 다르므로 거리 차이가 4인 워드 셀임을 나타낼 수 있다. 이에 따르면, 워드(A)의 이진화된 코드와 워드(B)의 이진화된 코드는 1비트만 다르고, 워드(B)의 이진화된 코드와 워드(C)의 이진화된 코드도 1비트만 다르므로, 워드(A)와 워드(B)가 인접해 있다는 거리 정보가 이진화된 코드에 그대로 반영되어 있고, 워드(B)와 워드(C)가 인접해 있다는 거리 정보도 이진화된 코드에 그대로 반영되어 있음을 알 수 있다.
그리고, 본 발명의 또 다른 실시예에 따르면, 도 5의 데이터베이스는 도 3의 시각화 특징 공간을 거치지 않고 상술한 n차원 벡터로 표현되는 특징점 기술자들을 m차원의 이진화된 코드들로 대응시키는 기술을 사용함에 의해서 구축될 수도 있을 것이다.
도 5의 데이터베이스를 구축할 때, m차원의 이진화된 코드들 중 중요하지 않은 이미지 정보를 포함하는 이진화된 코드는 색인에서 제외시킬 수도 있다. 예를 들면, 중요하지 않은 이미지 정보를 포함하는 이진화된 코드는 다른 이진화된 코드들에 비해서 적은 수의 이미지들의 특징점들에 대한 정보를 포함하는 것일 수 있지만, 반드시 이에 한정되는 것은 아닐 것이다.
도 6은 본 발명의 일 실시예의 서버의 구성을 나타내는 블록도로서, 서버(130)는 특징점 획득부(131), 특징점 기술자 획득부(133), 워드 및 인접 워드 획득부(135) 및 검색부(137)를 포함할 수 있다.
도 6의 블록들 각각의 기능을 설명하면 다음과 같다.
특징점 획득부(131)는 입력 이미지의 특징점들을 획득할 수 있다. 특징점 기술자 획득부(133)는 특징점들 각각의 특징점 기술자를 획득할 수 있다. 특징점 기술자는 n차원의 벡터로 표현될 수 있다. 워드 및 인접 워드 획득부(135)는 특징점 기술자를 이용하여 특징점이 속하는 워드 및 인접 워드를 획득할 수 있다. 특징점 기술자가 속하는 워드를 획득하는 방법은 도 3의 시각화 특징 공간 상에서 소정 특징점이 포함되는 워드 셀에 부여된 워드를 부여하거나, 소정 특징점과 워드 셀들 각각의 중심점(c1 ~ c8) 사이의 거리를 계산하여 소정 특징점과 가장 가까운 거리를 나타내는 중심점이 포함된 워드 셀에 부여된 워드를 부여함에 의해서 획득할 수 있다. 그리고, 인접 워드를 획득하는 방법은 특징점 기술자의 워드가 획득되면, 도 7의 본 발명의 일 실시예의 워드 대 인접 워드 테이블을 이용하여 거리 차이에 따른 인접 워드를 획득할 수도 있다. 도 7의 룩업 테이블은 도 3의 시각화 특징 공간 상에서 워드(A)가 부여된 셀과 워드(B)가 부여된 셀의 거리 차이가 1이고, 워드(A)가 부여된 셀과 워드(C)가 부여된 셀의 거리 차이가 2이고, 워드(A)가 부여된 셀과 워드(H)가 부여된 셀의 거리 차이가 4임을 나타내고 있다. 워드 및 인접 워드 획득부(135)는 각 워드에 인접한 인접 워드를 룩업 테이블에 저장하여 둘 수 있고, 입력 이미지의 특징점의 워드가 획득되면 인접 워드가 바로 획득될 수 있다. 그러나, 만일 워드들 자체에 거리 정보가 포함되어 있는 경우에는 인접 워드를 획득하기 위하여 도 7의 룩 업 테이블을 사용할 필요가 없을 것이다. 검색부(137)는 데이터베이스(140)의 워드 및 인접 워드에 속하는 이미지 정보를 대상으로 입력 이미지와 동일하거나 유사한 이미지를 검색할 수 있다. 예를 들면, 검색부(137)는, 데이터베이스(140)의 워드 및 인접 워드에 속하는 이미지 정보를 대상으로, 특징점 기술자 획득부(133)에 의해서 획득된 특징점의 특징점 기술자와 워드 및 인접 워드에 속하는 이미지 정보에 포함된 특징점의 특징점 기술자들 사이의 거리에 기초하여 거리가 가장 가까운 특징점의 이미지의 식별 기호를 해당 특징점의 식별 기호로 할당할 수 있다. 이와 같은 방법으로, 검색부(137)는 입력 이미지의 특징점들 각각에 대하여 식별 기호를 할당한 후, 많이 할당된 식별 기호를 가지는 적어도 하나의 이미지를 동일하거나 유사한 이미지로 분류할 수 있다.
도 6의 일 실시예의 서버(130)의 검색부(137)는 도 4의 데이터베이스를 검색함에 의해서 입력 이미지와 동일하거나 유사한 이미지를 검색할 수 있다.
도 8은 본 발명의 다른 실시예의 서버의 구성을 나타내는 블록도로서, 서버(130)는 특징점 획득부(131'), 특징점 기술자 획득부(133'), 이진 코드 획득부(135'), 및 검색부(137')을 포함할 수 있다.
도 8에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
특징점 획득부(131) 및 특징점 기술자 획득부(133')는 도 6의 특징점 획득부(131) 및 특징점 기술자 획득부(133)와 동일 또는 유사한 기능을 수행할 수 있다. 이진 코드 획득부(135')는 시각화 특징 공간 상에서 특징점이 속하는 워드 셀에 부여된 이진화된 코드, 즉 거리 정보를 포함하는 이진화된 코드를 획득할 수 있다. 특징점이 속하는 워드 셀에 부여된 이진화된 코드를 획득하는 방법은, 입력 이미지의 특징점의 기술자와 워드 셀들 각각의 중심점(c1 ~ c8)의 기술자 사이의 거리를 계산하여 입력 이미지의 특징점의 기술자와 가장 가까운 거리를 나타내는 중심점의 기술자가 포함된 워드 셀에 기부여된 이진화된 코드를 부여함에 의해서 획득할 수 있다. 검색부(137')는 이진 코드 획득부(135')에 의해서 추출된 이진화된 코드와 이 코드에 인접하는 인접 이진화된 코드에 속하는 이미지 정보를 대상으로 입력 이미지와 동일하거나 유사한 이미지를 검색할 수 있다. 검색부(137')은 데이터베이스(140)의 색인의 이진화된 코드에 거리 정보가 포함되어 있기 때문에 이진화된 코드만 획득하면 인접 이진화된 코드까지를 검색할 수 있으며, 거리 차이 정보를 설정함에 의해서 기설정된 거리 차이 이내에 해당되는 인접 이진화된 코드까지를 검색할 수 있다. 만일 거리 차이가 1로 설정되어 있으면, 검색부(137')은 이진화된 코드와 1비트 다른 이진화된 코드에 속하는 이미지 정보를 대상으로 입력 이미지와 동일하거나 유사한 이미지를 검색할 수 있다. 예를 들면, 검색부(137')는 특징점 기술자 획득부(133')에 의해서 획득된 특징점의 특징점 기술자와 이진 코드 획득부(135')에 의해서 획득된 이진화된 코드 및 인접 이진화된 코드에 속하는 이미지 정보에 포함된 특징점들의 특징점 기술자들 사이의 거리에 기초하여 거리가 가장 가까운 특징점의 이미지의 식별 기호를 해당 특징점의 식별 기호로 할당할 수 있다. 이와 같은 방법으로, 검색부(137')는 입력 이미지의 특징점들 각각에 대하여 식별 기호를 할당한 후, 많이 할당된 식별 기호를 가지는 적어도 하나의 이미지를 동일하거나 유사한 이미지로 분류할 수 있다.
도 8의 다른 실시예의 서버(130)의 검색부(137')는 도 5의 데이터베이스를 검색함에 의해서 입력 이미지와 동일하거나 유사한 이미지를 검색할 수 있다.
도 9는 본 발명의 또 다른 실시예의 서버의 구성을 나타내는 블록도로서, 서버(130)는 특징점 획득부(131"), 특징점 기술자 획득부(133"), 특징점 기술자 - 이진 코드 맵핑부(135") 및 검색부(137")을 포함할 수 있다.
도 9에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
특징점 획득부(131") 및 특징점 기술자 획득부(133")는 도 6의 특징점 획득부(131) 및 특징점 기술자 획득부(133)와 동일 또는 유사한 기능을 수행할 수 있다. 특징점 기술자 - 이진 코드 맵핑부(135")는 특징점들 사이의 거리 정보가 유지되도록 하면서 n차원의 벡터로 표현되는 특징점 기술자들을 m차원의 이진화된 코드에 대응시킬 수 있다. 특징점 기술자 - 이진 코드 맵핑부(135")는 시각화 특징 공간 상에서 특징점들의 클러스터들을 형성하지 않고, 상술한 CVPR에서 공개된 기술을 이용하여 특징점 기술자들을 m차원의 이진화된 코드로 맵핑할 수 있다. 이 기술은 소정 범위 내의 거리를 가지는 특징점 기술자들 각각을 해당 이진화된 코드로 맵핑할 수 있다. 검색부(137")의 기능은 도 8의 검색부(137')의 설명을 참고로 하면 쉽게 이해될 것이므로, 이에 관한 설명은 생략하기로 한다.
도 10은 본 발명의 일 실시예의 검색부의 구성을 나타내는 블록도로서, 검색부(137)는 식별 기호 할당부(137-1) 및 분류부(137-2)를 포함할 수 있다.
도 10에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.
식별 기호 할당부(137-1)는 입력 이미지의 특징점과 워드 및 인접 워드에 속하는 이미지들 각각의 특징점 사이의 거리에 기초하여 워드 및 인접 워드에 속하는 이미지들 중 적어도 하나의 이미지에 대한 정보를 할당할 수 있다. 예를 들면, 식별 기호 할당부(137-1)는 입력 이미지의 특징점과 워드 및 인접 워드에 속하는 이미지들 각각의 특징점 사이의 거리를 계산하여 입력 이미지의 특징점과 가장 가까운 거리를 가지는 워드 및 인접 워드에 속하는 특징점에 대한 이미지의 식별 기호를 할당할 수 있다.
분류부(137-2)는 입력 이미지의 특징점들 각각에 할당된 이미지의 식별 기호에 기초하여 입력 이미지와 동일하거나 유사한 이미지를 분류할 수 있다. 예를 들면, 분류부(137-2)는 입력 이미지의 특징점들 각각에 할당된 이미지의 식별 기호를 파악하여 가장 많이 할당된 식별 기호를 가지는 이미지를 입력 이미지와 동일하거나 유사한 이미지로 분류할 수 있다.
도 10의 검색부(137)는 도 6의 검색부의 일 실시예일 뿐만 아니라 도 8 및 도 9의 검색부들(137', 137")의 일 실시예일 수 있다.
상술한 실시예에서는 단말기(110)로부터 쿼리로서 입력 이미지가 전송되고, 서버(130)가 입력 이미지를 획득하여 이미지 검색을 수행하는 것으로 설명하였지만, 단말기(110)에서 입력 이미지의 특징점들을 검출하고, 특징점들 에 대한 정보를 추출하여 서버(130)로 전송할 수도 있고, 특징점이 속하는 워드 및 특징점이 속하는 워드와 거리 상으로 인접하는 인접 워드를 획득하여 서버(130)로 전송할 수도 있다.
또한, 단말기(110)가 자체적으로 데이터베이스(140)의 일부 이미지들을 다운받아 저장하고 있는 경우에, 단말기(110)가 자체적으로 이미지 검색을 수행할 수 있다. 즉, 단말기(110)가 자체적으로 입력 이미지를 입력하고, 상술한 도 6 내지 10의 구성을 구비하여 서버(130)와 동일한 이미지 검색 동작을 자체적으로 수행할 수도 있다.
본 발명의 특징점 검출을 위하여 Hessian Affine 검출기가 이용될 수도 있으며, 특징점 기술자를 추출하기 위하여 SIFT(Scale Invariant Feature Transform) 알고리즘이 이용될 수도 있다. 이 외에도, 본 발명의 특징점 검출 및 특징점 기술자 추출을 위하여 공지된 다양한 기술들이 적용될 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 이미지 검색 장치
110: 단말기
120: 통신망
130: 서버
140: 데이터베이스
131, 131', 131": 특징점 획득부
133, 133', 133": 특징점 기술자 획득부
135; 워드 및 인접 워드 획득부
135': 이진 코드 획득부
135": 특징점 기술자 - 이진 코드 맵핑부
137, 137', 137": 검색부
137-1; 식별 기호 할당부
137-2; 분류부
110: 단말기
120: 통신망
130: 서버
140: 데이터베이스
131, 131', 131": 특징점 획득부
133, 133', 133": 특징점 기술자 획득부
135; 워드 및 인접 워드 획득부
135': 이진 코드 획득부
135": 특징점 기술자 - 이진 코드 맵핑부
137, 137', 137": 검색부
137-1; 식별 기호 할당부
137-2; 분류부
Claims (55)
- (a) 이미지 검색 장치에서, 입력 이미지의 특징점들을 획득하는 단계;
(b) 상기 이미지 검색 장치에서, 상기 특징점들 각각이 속하는 워드와 상기 특징점들 각각이 속하는 워드와 거리가 인접한 인접 워드를 획득하는 단계 - 상기 워드가 시각화 특징 공간(visual feature space) 상에 포함된 복수개의 워드 셀들 중 제1워드 셀에 부여되면, 상기 인접 워드는 상기 복수개의 워드 셀들 중 상기 워드가 부여된 상기 제1 워드 셀과의 거리가 인접한 적어도 하나의 제2 워드 셀에 부여된 워드이고, 상기 복수개의 워드 셀들에 서로 다른 워드가 부여되고, 상기 워드와 기설정된 거리 이내의 적어도 하나의 워드를 상기 인접 워드로 설정 가능함 -; 및
(c) 상기 이미지 검색 장치에서, 데이터베이스에 저장된 상기 워드에 속하는 제1 이미지들에 대한 정보 및 상기 인접 워드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법. - 제1항에 있어서,
상기 (a) 단계는
상기 입력 이미지의 특징점들 각각의 특징점 기술자를 획득하는 것을 특징으로 하는 이미지 검색 방법. - 제1항에 있어서,
상기 거리 정보는
유클리디안 거리에 대한 정보인 것을 특징으로 하는 이미지 검색 방법. - 제2항에 있어서,
상기 워드에 속하는 상기 제1 이미지들에 대한 정보는
상기 시각화 특징 공간 상의 복수개의 워드 셀들 중 상기 워드가 부여된 제1 워드 셀에 속하는 상기 제1 이미지들 각각의 식별 기호 및 특징점 기술자를 포함하고,
상기 인접 워드에 속하는 상기 제2 이미지들에 대한 정보는
상기 시각화 특징 공간 상의 상기 복수개의 워드 셀들 중 상기 워드가 부여된 상기 제1 워드 셀에 인접한 적어도 하나의 제2 워드 셀에 속하는 상기 제2 이미지들 각각의 식별 기호 및 특징점 기술자를 포함하는 것을 특징으로 하는 이미지 검색 방법. - 제4항에 있어서,
상기 시각화 특징 공간 상의 상기 복수개의 워드 셀들은
상기 데이터베이스에 저장된 복수개의 이미지들 각각의 특징점들을 획득하여, 상기 복수개의 이미지들의 상기 특징점들을 상기 시각화 특징 공간 상에서의 위치에 기초하여 클러스터링함에 의해서 형성되고,
상기 복수개의 워드 셀들에 서로 다른 워드가 부여되는 것을 특징으로 하는 이미지 검색 방법. - 제5항에 있어서,
상기 시각화 특징 공간 상에서 상기 복수개의 워드 셀들 사이의 거리 정보를 포함하도록 상기 워드가 부여되는 것을 특징으로 하는 이미지 검색 방법. - 제5항에 있어서,
상기 (b) 단계는
상기 복수개의 워드 셀들 각각에 속하는 이미지들의 특징점들의 평균값인 중심점에 대한 정보를 이용하여, 상기 입력 이미지의 특징점들 각각과 상기 복수개의 워드 셀들 각각의 중심점 사이의 거리를 비교하여 상기 입력 이미지의 특징점과 가장 인접한 중심점이 속하는 워드 셀에 부여된 워드를 상기 워드로 획득하는 것을 특징으로 하는 이미지 검색 방법. - 제4항에 있어서,
상기 (c) 단계는
상기 입력 이미지의 특징점들 각각과 상기 제1 이미지들 및 상기 제2 이미지들 각각의 특징점 사이의 거리에 기초하여 상기 입력 이미지의 특징점들 각각에 상기 제1 이미지들 및 상기 제2 이미지들 중 적어도 하나의 이미지에 대한 상기 식별 기호를 할당하는 단계; 및
상기 입력 이미지의 특징점들 각각에 할당된 상기 식별 기호에 기초하여 상기 입력 이미지와 동일하거나 유사한 이미지를 분류하는 단계를 구비하는 것을 특징으로 하는 이미지 검색 방법. - 삭제
- (a) 이미지 검색 장치에서, 입력 이미지의 특징점들을 획득하는 단계;
(b) 상기 이미지 검색 장치에서, 상기 특징점들 각각이 속하는 이진화된 코드를 획득하는 단계; 및
(c) 상기 이미지 검색 장치에서, 데이터베이스에 저장된 상기 이진화된 코드에 속하는 제1 이미지들에 대한 정보 및 상기 이진화된 코드와 거리가 인접하면서 상기 이진화된 코드와의 거리 정보를 포함하는 인접 이진화된 코드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 단계 - 상기 이진화된 코드가 시각화 특징 공간(visual feature space) 상의 복수개의 워드 셀들 중 제1워드 셀에 부여되면, 상기 인접 이진화된 코드는 상기 복수개의 워드 셀들 중 상기 제1워드 셀에 인접하고 상기 제1워드 셀과의 상기 거리 정보를 포함하는 적어도 하나의 제2워드 셀에 부여된 코드이고, 상기 복수개의 워드 셀들에 서로 다른 이진화된 코드가 부여되고, 상기 복수개의 워드 셀들에 서로 다른 이진화된 코드가 부여되고, 상기 이진화된 코드로부터 기설정된 거리 이내의 적어도 하나의 이진화된 코드를 상기 인접 이진화된 코드로 설정 가능함 -를 포함하는 것을 특징으로 하는 이미지 검색 방법. - 제10항에 있어서,
상기 (a) 단계는
상기 입력 이미지의 특징점들 각각의 특징점 기술자를 획득하는 것을 특징으로 하는 이미지 검색 방법. - 제11항에 있어서,
상기 특징점들 각각의 상기 특징점 기술자는 n차원의 벡터로 표현되고, 상기 이진화된 코드는 상기 n보다 작은 m비트로 이루어지는 것을 특징으로 하는 이미지 검색 방법. - 제10항에 있어서,
상기 거리 정보는
유클리디안 거리에 대한 정보인 것을 특징으로 하는 이미지 검색 방법. - 제11항에 있어서,
상기 이진화된 코드에 속하는 상기 제1 이미지들에 대한 정보는
상기 시각화 특징 공간 상의 복수개의 워드 셀들 중 상기 이진화된 코드가 부여된 제1 워드 셀에 속하는 상기 제1 이미지들 각각의 식별 기호 및 특징점 기술자를 포함하고,
상기 인접 이진화된 코드에 속하는 상기 제2 이미지들에 대한 정보는
상기 시각화 특징 공간 상의 상기 복수개의 워드 셀들 중 상기 이진화된 코드가 부여된 상기 제1 워드 셀에 인접하며 상기 이진화된 코드와의 거리 정보를 포함하는 상기 인접 이진화된 코드가 부여된 제2 워드 셀에 속하는 상기 제2 이미지들 각각의 식별 기호 및 특징점 기술자를 포함하는 것을 특징으로 하는 이미지 검색 방법. - 제14항에 있어서,
상기 시각화 특징 공간 상의 상기 복수개의 워드 셀들은
상기 데이터베이스에 저장된 복수개의 이미지들 각각의 특징점들을 획득하여, 상기 복수개의 이미지들의 상기 특징점들을 상기 시각화 특징 공간 상에서의 위치에 기초하여 클러스터링함에 의해서 형성되고,
상기 복수개의 워드 셀들에 상기 복수개의 워드 셀들 사이의 거리 정보를 포함하는 이진화된 코드가 부여되는 것을 특징으로 하는 이미지 검색 방법. - 제15항에 있어서,
상기 (b) 단계는
상기 복수개의 워드 셀들 각각에 속하는 이미지들의 특징점들의 평균값인 중심점에 대한 기술자를 이용하여, 상기 입력 이미지의 특징점들 각각과 상기 복수개의 워드 셀들 각각의 중심점 사이의 거리를 비교하여 상기 입력 이미지의 특징점과 가장 인접한 중심점이 속하는 워드 셀에 부여된 이진화된 코드를 상기 이진화된 코드로 획득하는 것을 특징으로 하는 이미지 검색 방법. - 제15항에 있어서,
상기 (c) 단계는
상기 입력 이미지의 특징점들 각각과 상기 제1 이미지들 및 상기 제2 이미지들 각각의 특징점 사이의 거리에 기초하여 상기 입력 이미지의 특징점들 각각에 상기 제1 이미지들 및 상기 제2 이미지들 중 적어도 하나의 이미지에 대한 상기 식별 기호를 할당하는 단계; 및
상기 입력 이미지의 특징점들 각각에 할당된 상기 식별 기호에 기초하여 상기 입력 이미지와 동일하거나 유사한 이미지를 분류하는 단계를 구비하는 것을 특징으로 하는 이미지 검색 방법. - 제15항에 있어서,
상기 거리 정보는 해밍 거리에 해당하는 거리 정보인 것을 특징으로 하는 이미지 검색 방법. - 삭제
- (a) 이미지 검색 장치에서, 입력 이미지의 특징점들을 획득하는 단계;
(b) 상기 이미지 검색 장치에서, 상기 입력 이미지의 특징점들 각각에 대한 특징점 기술자들을 획득하는 단계;
(c) 상기 이미지 검색 장치에서, 상기 입력 이미지의 상기 특징점들의 상기 특징점 기술자들을 이진화된 코드에 대응시키는 단계; 및
(d) 상기 이미지 검색 장치에서, 데이터베이스에 저장된 상기 이진화된 코드에 속하는 제1 이미지들에 대한 정보 및 상기 이진화된 코드와 인접한 거리 정보를 포함하는 인접 이진화된 코드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 단계 - 상기 이진화된 코드로부터 기설정된 거리 이내의 적어도 하나의 이진화된 코드를 상기 인접 이진화된 코드로 설정 가능함 - 를 포함하는 것을 특징으로 하는 이미지 검색 방법. - 제20항에 있어서,
상기 특징점들 각각의 상기 특징점 기술자는 n차원의 벡터로 표현되고, 상기 이진화된 코드는 상기 n보다 작은 m비트로 이루어지는 것을 특징으로 하는 이미지 검색 방법. - 제20항에 있어서,
상기 거리 정보는
유클리디안 거리에 대한 정보인 것을 특징으로 하는 이미지 검색 방법. - 제21항에 있어서,
상기 (d) 단계는
상기 입력 이미지의 특징점들 각각과 상기 제1 이미지들 및 상기 제2 이미지들 각각의 특징점 사이의 거리에 기초하여 상기 입력 이미지의 특징점들 각각에 상기 제1 이미지들 및 상기 제2 이미지들 중 적어도 하나의 이미지에 대한 정보를 할당하는 단계; 및
상기 입력 이미지의 특징점들 각각에 할당된 상기 적어도 하나의 이미지에 대한 정보에 기초하여 상기 입력 이미지와 동일하거나 유사한 이미지를 분류하는 단계를 구비하는 것을 특징으로 하는 이미지 검색 방법. - 제20항에 있어서,
상기 (c) 단계는,
상기 데이터베이스에 저장된 복수개의 이미지들 각각의 특징점들을 획득하여, 상기 복수개의 이미지들의 상기 특징점들 각각에 대한 특징점 기술자를 획득하고, 복수개의 서로 다른 소정 범위 내의 거리를 가지는 특징점 기술자들을 서로 다른 이진화된 코드들에 대응시키는 것을 특징으로 하는 이미지 검색 방법. - 제20항에 있어서,
상기 거리 정보는 해밍 거리에 해당하는 거리 정보인 것을 특징으로 하는 이미지 검색 방법. - 삭제
- 제20항에 있어서,
상기 (c) 단계는
해당 소정 범위 내의 거리를 가지는 상기 입력 이미지의 특징점 기술자들 각각을 해당 이진화된 코드에 대응시키는 것을 특징으로 하는 이미지 검색 방법. - 입력 이미지의 특징점들을 획득하는 특징점 획득부;
상기 특징점들 각각이 속하는 워드를 획득하고, 상기 워드와 거리가 인접한 인접 워드를 획득하는 워드 및 인접 워드 획득부 - 상기 워드가 시각화 특징 공간(visual feature space) 상에 포함된 복수개의 워드 셀들 중 제1워드 셀에 부여되면, 상기 인접 워드는 상기 복수개의 워드 셀들 중 상기 워드가 부여된 상기 제1 워드 셀과의 거리가 인접한 적어도 하나의 제2 워드 셀에 부여된 워드이고, 상기 복수개의 워드 셀들에 서로 다른 워드가 부여되고, 상기 워드와 기설정된 거리 이내의 적어도 하나의 워드를 상기 인접 워드로 설정 가능함 -; 및
데이터베이스에 저장된 상기 워드에 속하는 제1 이미지들에 대한 정보 및 상기 인접 워드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 검색부를 포함하는 것을 특징으로 하는 이미지 검색 장치. - 제28항에 있어서,
상기 워드 및 인접 워드 획득부는
상기 시각화 특징 공간 상에서 상기 워드에 대응하는 상기 인접 워드에 대한 정보를 포함하는 룩업 테이블을 구비하는 것을 특징으로 하는 이미지 검색 장치. - 제28항에 있어서,
상기 거리 정보는
유클리디안 거리에 대한 정보인 것을 특징으로 하는 이미지 검색 장치. - 제28항에 있어서,
상기 입력 이미지의 특징점들 각각의 특징점 기술자를 획득하는 특징점 기술자 획득부를 추가적으로 포함하고,
상기 워드에 속하는 상기 제1 이미지들에 대한 정보는
상기 시각화 특징 공간 상의 복수개의 워드 셀들 중 상기 워드가 부여된 제1 워드 셀에 속하는 상기 제1 이미지들 각각의 식별 기호 및 특징점 기술자를 포함하고,
상기 인접 워드에 속하는 상기 제2 이미지들에 대한 정보는
상기 시각화 특징 공간 상의 상기 복수개의 워드 셀들 중 상기 워드가 부여된 상기 제1 워드 셀에 인접한 적어도 하나의 제2 워드 셀에 속하는 상기 제2 이미지들 각각의 식별 기호 및 특징점 기술자를 포함하는 것을 특징으로 하는 이미지 검색 장치. - 제31항에 있어서,
상기 시각화 특징 공간 상의 상기 복수개의 워드 셀들은
상기 데이터베이스에 저장된 복수개의 이미지들 각각의 특징점들을 획득하여, 상기 복수개의 이미지들의 상기 특징점들을 상기 시각화 특징 공간 상에서의 위치에 기초하여 클러스터링함에 의해서 형성되고,
상기 복수개의 워드 셀들에 서로 다른 워드가 부여되는 것을 특징으로 하는 이미지 검색 장치. - 제32항에 있어서,
상기 시각화 특징 공간 상에서 상기 복수개의 워드 셀들 사이의 거리 정보를 포함하도록 상기 워드가 부여되는 것을 특징으로 하는 이미지 검색 장치. - 제32항에 있어서,
상기 워드 및 인접 워드 획득부는
상기 복수개의 워드 셀들 각각에 속하는 이미지들의 특징점들의 평균값인 중심점에 대한 정보를 이용하여, 상기 입력 이미지의 특징점들 각각과 상기 복수개의 워드 셀들 각각의 중심점 사이의 거리를 비교하여 상기 입력 이미지의 특징점과 가장 인접한 중심점이 속하는 워드 셀에 부여된 워드를 상기 워드로 획득하는 것을 특징으로 하는 이미지 검색 장치. - 제31항에 있어서,
상기 검색부는
상기 입력 이미지의 특징점들 각각과 상기 제1 이미지들 및 상기 제2 이미지들 각각의 특징점 사이의 거리에 기초하여 상기 입력 이미지의 특징점들 각각에 상기 제1 이미지들 및 상기 제2 이미지들 중 적어도 하나의 이미지에 대한 상기 식별 기호를 할당하는 식별기호 할당부; 및
상기 입력 이미지의 특징점들 각각에 할당된 상기 식별 기호에 기초하여 상기 입력 이미지와 동일하거나 유사한 이미지를 분류하는 분류부를 포함하는 것을 특징으로 하는 이미지 검색 장치. - 삭제
- 입력 이미지의 특징점들을 획득하는 특징점 획득부;
상기 특징점들 각각이 속하는 이진화된 코드를 획득하는 이진 코드 획득부; 및
데이터베이스에 저장된 상기 이진화된 코드에 속하는 제1 이미지들에 대한 정보 및 상기 이진화된 코드와 거리가 인접하면서 상기 이진화된 코드와의 거리 정보를 포함하는 인접 이진화된 코드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 검색부 - 상기 이진화된 코드가 시각화 특징 공간(visual feature space) 상의 복수개의 워드 셀들 중 제1워드 셀에 부여되면, 상기 인접 이진화된 코드는 상기 복수개의 워드 셀들 중 제1워드 셀에 인접하고 상기 제1워드 셀과의 상기 거리 정보를 포함하는 적어도 하나의 제2 워드 셀에 부여된 코드이고, 상기 복수개의 워드 셀들에 서로 다른 이진화된 코드가 부여되고, 상기 이진화된 코드로부터 기설정된 거리 이내의 적어도 하나의 이진화된 코드를 상기 인접 이진화된 코드로 설정 가능함 - 를 포함하는 것을 특징으로 하는 이미지 검색 장치. - 제37항에 있어서,
상기 입력 이미지의 특징점들 각각의 특징점 기술자를 획득하는 특징점 기술자 획득부를 추가적으로 포함하는 것을 특징으로 하는 이미지 검색 장치. - 제38항에 있어서,
상기 특징점들 각각의 상기 특징점 기술자는 n차원의 벡터로 표현되고, 상기 이진화된 코드는 상기 n보다 작은 m비트로 이루어지는 것을 특징으로 하는 이미지 검색 장치. - 제37항에 있어서,
상기 거리 정보는
유클리디안 거리에 대한 정보인 것을 특징으로 하는 이미지 검색 장치. - 제37항에 있어서,
상기 이진화된 코드에 속하는 상기 제1 이미지들에 대한 정보는
상기 시각화 특징 공간 상의 복수개의 워드 셀들 중 상기 이진화된 코드가 부여된 제1 워드 셀에 속하는 상기 제1 이미지들 각각의 식별 기호 및 특징점 기술자를 포함하고,
상기 인접 이진화된 코드에 속하는 상기 제2 이미지들에 대한 정보는
상기 시각화 특징 공간 상의 상기 복수개의 워드 셀들 중 상기 이진화된 코드가 부여된 상기 제1 워드 셀에 인접하며 상기 이진화된 코드와의 거리 정보를 포함하는 상기 인접 이진화된 코드가 부여된 제2 워드 셀에 속하는 상기 제2 이미지들 각각의 식별 기호 및 특징점 기술자를 포함하는 것을 특징으로 하는 이미지 검색 장치. - 제41항에 있어서,
상기 시각화 특징 공간 상의 상기 복수개의 워드 셀들은
상기 데이터베이스에 저장된 복수개의 이미지들 각각의 특징점들을 획득하여, 상기 복수개의 이미지들의 상기 특징점들을 상기 시각화 특징 공간 상에서의 위치에 기초하여 클러스터링함에 의해서 형성되고,
상기 복수개의 워드 셀들에 상기 복수개의 워드 셀들 사이의 거리 정보를 포함하는 이진화된 코드가 부여되는 것을 특징으로 하는 이미지 검색 장치. - 제42항에 있어서,
상기 이진 코드 획득부는
상기 복수개의 워드 셀들 각각에 속하는 이미지들의 특징점들의 평균값인 중심점에 대한 정보를 이용하여, 상기 입력 이미지의 특징점들 각각과 상기 복수개의 워드 셀들 각각의 중심점 사이의 거리를 비교하여 상기 입력 이미지의 특징점과 가장 인접한 중심점이 속하는 워드 셀에 부여된 이진화된 코드를 상기 이진화된 코드로 획득하는 것을 특징으로 하는 이미지 검색 장치. - 제41항에 있어서,
상기 검색부는
상기 입력 이미지의 특징점들 각각과 상기 제1 이미지들 및 상기 제2 이미지들 각각의 특징점 사이의 거리에 기초하여 상기 입력 이미지의 특징점들 각각에 상기 제1 이미지들 및 상기 제2 이미지들 중 적어도 하나의 이미지에 대한 상기 식별 기호를 할당하는 식별기호 할당부; 및
상기 입력 이미지의 특징점들 각각에 할당된 상기 식별 기호에 기초하여 상기 입력 이미지와 동일하거나 유사한 이미지를 분류하는 분류부를 포함하는 것을 특징으로 하는 이미지 검색 장치. - 제37항에 있어서,
상기 거리 정보는 해밍 거리에 해당하는 거리 정보인 것을 특징으로 하는 이미지 검색 장치. - 삭제
- 입력 이미지의 특징점들을 획득하는 특징점 획득부;
상기 입력 이미지의 특징점들 각각에 대한 특징점 기술자들을 획득하는 특징점 기술자 획득부;
상기 입력 이미지의 상기 특징점들의 상기 특징점 기술자들을 이진화된 코드에 대응시키는 특징점 기술자 - 이진 코드 맵핑부; 및
데이터베이스에 저장된 상기 이진화된 코드에 속하는 제1 이미지들에 대한 정보 및 상기 이진화된 코드와 인접한 거리 정보를 포함하는 인접 이진화된 코드에 속하는 제2 이미지들에 대한 정보를 대상으로 상기 입력 이미지와 동일하거나 유사한 이미지를 검색하는 검색부 - 상기 이진화된 코드로부터 기설정된 거리 이내의 적어도 하나의 이진화된 코드를 상기 인접 이진화된 코드로 설정 가능함 - 를 포함하는 것을 특징으로 하는 이미지 검색 장치. - 제47항에 있어서,
상기 특징점들 각각의 상기 특징점 기술자는 n차원의 벡터로 표현되고, 상기 이진화된 코드는 상기 n보다 작은 m비트로 이루어지는 것을 특징으로 하는 이미지 검색 장치. - 제47항에 있어서,
상기 거리 정보는
유클리디안 거리에 대한 정보인 것을 특징으로 하는 이미지 검색 장치. - 제47항에 있어서,
상기 검색부는
상기 입력 이미지의 특징점들 각각과 상기 제1 이미지들 및 상기 제2 이미지들 각각의 특징점 사이의 거리에 기초하여 상기 입력 이미지의 특징점들 각각에 상기 제1 이미지들 및 상기 제2 이미지들 중 적어도 하나의 이미지에 대한 정보를 할당하는 식별 기호 할당부; 및
상기 입력 이미지의 특징점들 각각에 할당된 상기 적어도 하나의 이미지에 대한 정보에 기초하여 상기 입력 이미지와 동일하거나 유사한 이미지로 분류하는 분류부를 구비하는 것을 특징으로 하는 이미지 검색 장치. - 제47항에 있어서,
상기 데이터베이스에 저장된 복수개의 이미지들 각각의 특징점들을 획득하여, 상기 복수개의 이미지들의 상기 특징점들 각각에 대한 특징점 기술자를 획득하고, 복수개의 서로 다른 소정 범위 내의 거리를 가지는 특징점 기술자들을 서로 다른 이진화된 코드들에 대응시키는 것을 특징으로 하는 이미지 검색 장치. - 제47항에 있어서,
상기 거리 정보는 해밍 거리에 해당하는 거리 정보인 것을 특징으로 하는 이미지 검색 장치. - 삭제
- 제47항에 있어서,
상기 특징점 기술자 - 이진 코드 맵핑부는
해당 소정 범위 내의 거리를 가지는 상기 입력 이미지의 특징점 기술자들 각각을 해당 이진화된 코드에 대응시키는 것을 특징으로 하는 이미지 검색 장치. - 제1항 내지 제8항, 제10항 내지 제18항, 제20항 내지 제25항, 및 제27항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110119638A KR101191223B1 (ko) | 2011-11-16 | 2011-11-16 | 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
US14/343,164 US9747308B2 (en) | 2011-11-16 | 2012-11-12 | Method and apparatus for searching an image, and computer-readable recording medium for executing the method |
CN201280067115.1A CN104094255B (zh) | 2011-11-16 | 2012-11-12 | 用于搜索图像的方法和装置以及用于执行该方法的计算机可读记录介质 |
PCT/KR2012/009506 WO2013073805A1 (ko) | 2011-11-16 | 2012-11-12 | 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110119638A KR101191223B1 (ko) | 2011-11-16 | 2011-11-16 | 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101191223B1 true KR101191223B1 (ko) | 2012-10-15 |
Family
ID=47288020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110119638A KR101191223B1 (ko) | 2011-11-16 | 2011-11-16 | 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9747308B2 (ko) |
KR (1) | KR101191223B1 (ko) |
CN (1) | CN104094255B (ko) |
WO (1) | WO2013073805A1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140073834A (ko) * | 2012-12-07 | 2014-06-17 | 주식회사 케이티 | 컨텐츠를 식별하는 장치 및 방법 |
KR101707166B1 (ko) * | 2015-11-27 | 2017-02-15 | 경희대학교 산학협력단 | 이미지 검색 시스템을 위한 이미지 벡터 추출 방법 및 장치 |
KR20180065939A (ko) * | 2016-12-08 | 2018-06-18 | 경희대학교 산학협력단 | 복수의 질의 이미지 검색을 위한 효과적인 이미지 벡터 병합 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014167880A1 (ja) * | 2013-04-09 | 2014-10-16 | 株式会社日立国際電気 | 画像検索装置、画像検索方法、および記録媒体 |
CN106295489B (zh) * | 2015-06-29 | 2021-09-28 | 株式会社日立制作所 | 信息处理方法、信息处理装置和视频监控*** |
US10628481B2 (en) | 2016-11-17 | 2020-04-21 | Ebay Inc. | Projecting visual aspects into a vector space |
US10437878B2 (en) * | 2016-12-28 | 2019-10-08 | Shutterstock, Inc. | Identification of a salient portion of an image |
US11042586B2 (en) * | 2016-12-29 | 2021-06-22 | Shutterstock, Inc. | Clustering search results based on image composition |
JP7011152B2 (ja) * | 2017-08-30 | 2022-01-26 | 富士通株式会社 | 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム |
CN110879846A (zh) * | 2018-09-05 | 2020-03-13 | 深圳云天励飞技术有限公司 | 图像检索方法及装置、电子设备和计算机可读存储介质 |
CN109348120B (zh) * | 2018-09-30 | 2021-07-20 | 烽火通信科技股份有限公司 | 一种拍摄方法、图像的显示方法、***及设备 |
US11625429B2 (en) * | 2020-01-31 | 2023-04-11 | Walmart Apollo, Llc | Image searching using a full-text search engine |
CN111651674B (zh) * | 2020-06-03 | 2023-08-25 | 北京妙医佳健康科技集团有限公司 | 双向搜索方法、装置及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100267514B1 (ko) | 1997-02-27 | 2000-11-01 | 가네꼬 히사시 | 스트라이프 패턴 대조 확인 시스템 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8335789B2 (en) * | 2004-10-01 | 2012-12-18 | Ricoh Co., Ltd. | Method and system for document fingerprint matching in a mixed media environment |
WO2006092957A1 (ja) * | 2005-03-01 | 2006-09-08 | Osaka Prefecture University Public Corporation | 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置 |
KR100841311B1 (ko) | 2006-11-13 | 2008-06-26 | 엘지전자 주식회사 | 움직임 보상기반 영상 복호화를 위한 영상 압축방법 |
JP4475547B2 (ja) * | 2008-07-29 | 2010-06-09 | パナソニック株式会社 | 画像検索装置、画像検索方法及び画像推定装置 |
US8254697B2 (en) * | 2009-02-02 | 2012-08-28 | Microsoft Corporation | Scalable near duplicate image search with geometric constraints |
JP2011070412A (ja) * | 2009-09-25 | 2011-04-07 | Seiko Epson Corp | 画像検索装置および画像検索方法 |
CN101894130B (zh) * | 2010-06-08 | 2011-12-21 | 浙江大学 | 基于稀疏降维的谱哈希索引方法 |
CN101950302B (zh) * | 2010-09-29 | 2011-12-21 | 李晓耕 | 基于移动设备的海量音乐库管理方法 |
CN102147815B (zh) * | 2011-04-21 | 2013-04-17 | 北京大学 | 图片搜索方法和图片搜索*** |
-
2011
- 2011-11-16 KR KR1020110119638A patent/KR101191223B1/ko not_active IP Right Cessation
-
2012
- 2012-11-12 US US14/343,164 patent/US9747308B2/en active Active
- 2012-11-12 CN CN201280067115.1A patent/CN104094255B/zh active Active
- 2012-11-12 WO PCT/KR2012/009506 patent/WO2013073805A1/ko active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100267514B1 (ko) | 1997-02-27 | 2000-11-01 | 가네꼬 히사시 | 스트라이프 패턴 대조 확인 시스템 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140073834A (ko) * | 2012-12-07 | 2014-06-17 | 주식회사 케이티 | 컨텐츠를 식별하는 장치 및 방법 |
KR101966925B1 (ko) * | 2012-12-07 | 2019-04-08 | 주식회사 케이티 | 컨텐츠를 식별하는 장치 및 방법 |
KR101707166B1 (ko) * | 2015-11-27 | 2017-02-15 | 경희대학교 산학협력단 | 이미지 검색 시스템을 위한 이미지 벡터 추출 방법 및 장치 |
KR20180065939A (ko) * | 2016-12-08 | 2018-06-18 | 경희대학교 산학협력단 | 복수의 질의 이미지 검색을 위한 효과적인 이미지 벡터 병합 |
KR102041994B1 (ko) | 2016-12-08 | 2019-12-02 | 경희대학교 산학협력단 | 복수의 질의 이미지 검색을 위한 효과적인 이미지 벡터 병합 |
Also Published As
Publication number | Publication date |
---|---|
CN104094255B (zh) | 2017-11-17 |
US20140201219A1 (en) | 2014-07-17 |
WO2013073805A1 (ko) | 2013-05-23 |
US9747308B2 (en) | 2017-08-29 |
CN104094255A (zh) | 2014-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101191223B1 (ko) | 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 | |
Kim et al. | Predicting good features for image geo-localization using per-bundle vlad | |
US10061999B1 (en) | System and method for using segmentation to identify object location in images | |
JP4883649B2 (ja) | 画像認識方法、画像認識装置および画像認識プログラム | |
US9361523B1 (en) | Video content-based retrieval | |
JP6211407B2 (ja) | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム | |
KR101782589B1 (ko) | 이미지에 포함된 텍스트를 검출하는 방법, 장치 및 컴퓨터 판독 가능한 기록매체 | |
Iakovidou et al. | Localizing global descriptors for content-based image retrieval | |
JP6708043B2 (ja) | データ検索プログラム、データ検索方法およびデータ検索装置 | |
JP4937395B2 (ja) | 特徴ベクトル生成装置、特徴ベクトル生成方法及びプログラム | |
Li et al. | Logo detection with extendibility and discrimination | |
Sachdeva et al. | Better object recognition using bag of visual word model with compact vocabulary | |
JP6373292B2 (ja) | 特徴量生成装置、方法、及びプログラム | |
JP5520353B2 (ja) | BoF表現生成装置及びBoF表現生成方法 | |
JP5833499B2 (ja) | 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム | |
US10853972B2 (en) | Apparatus for processing image and method thereof | |
Le et al. | Improving logo spotting and matching for document categorization by a post-filter based on homography | |
US20220414393A1 (en) | Methods and Systems for Generating Composite Image Descriptors | |
JP4343038B2 (ja) | 部分画像検索システム及び方法並びにプログラム | |
Aljuaidi et al. | Mini-batch vlad for visual place retrieval | |
Özkan et al. | Visual group binary signature for video copy detection | |
KR101367821B1 (ko) | 계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치 | |
Nayef et al. | Efficient symbol retrieval by building a symbol index from a collection of line drawings | |
Yuan et al. | Common spatial pattern discovery by efficient candidate pruning | |
Al-Barhamtoshy | Towards large scale image similarity discovery model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20151001 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160929 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |