KR101339627B1 - Method and apparatus for content-based image retrieval based on linear-time distance function - Google Patents
Method and apparatus for content-based image retrieval based on linear-time distance function Download PDFInfo
- Publication number
- KR101339627B1 KR101339627B1 KR1020110039485A KR20110039485A KR101339627B1 KR 101339627 B1 KR101339627 B1 KR 101339627B1 KR 1020110039485 A KR1020110039485 A KR 1020110039485A KR 20110039485 A KR20110039485 A KR 20110039485A KR 101339627 B1 KR101339627 B1 KR 101339627B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- colors
- minimum
- color
- cast
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Analysis (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
선형 시간 거리 함수에 기반하여 내용 기반 이미지를 검색하기 위한 방법 및 장치가 제공된다. 두 이미지들 간의 유사도를 측정하기 위해, 두 이미지들의 주조색들의 1차원 순서가 생성된다. 1차원 순서는, 공간 채움 커브, 예컨대 힐베르트 커브에 기반하여 생성될 수 있다. 또한, 유사도를 정확하게 측정하기 위해, 다수의 1차원 순서들이 생성될 수 있으며, 주조색의 공간 상 위치가 조정될 수 있다. 다차원 공간의 색들을 일차원 순서로 빠르게 생성하기 위해 맵핑 테이블이 사용될 수 있다.A method and apparatus are provided for retrieving content-based images based on a linear time distance function. In order to measure the similarity between the two images, a one-dimensional order of the cast colors of the two images is generated. The one-dimensional order may be generated based on a space filling curve, such as a Hilbert curve. In addition, in order to accurately measure the similarity, a plurality of one-dimensional orders can be generated, and the position in the cast color space can be adjusted. A mapping table can be used to quickly generate colors in multidimensional space in one-dimensional order.
Description
아래의 실시예들은 내용 기반 이미지 검색을 하기 위한 방법 및 장치에 관한 것이다.The following embodiments are directed to a method and apparatus for content based image retrieval.
선형 시간 거리 함수에 기반하여 내용 기반 이미지 검색을 수행하는 방법 및 장치가 개시된다.A method and apparatus for performing content based image retrieval based on a linear time distance function is disclosed.
멀티미디어 데이터를 이용한 여러 가지 응용 분야가 크게 발전하면서, 이미지 검색의 중요성이 증가하였다.As the various fields of application using multimedia data are greatly developed, the importance of image retrieval has increased.
이에 따라, 사용자가 원하는 이미지를 정확히 검색하기 위한 다양한 기술들이 연구되었다.Accordingly, various techniques for accurately searching for an image desired by a user have been studied.
내용 기반 이미지 검색(content-based image retrieval; CBIR)은 이미지를 질의로 던지고, 질의된 이미지의 색(color) 분포, 형태, 및 질감 등을 분석함으로써 질의된 이미지와 유사한 이미지를 검색하는 기술이다. 이하, 질의로서 던져진 이미지를 질의 이미지로 명명한다.Content-based image retrieval (CBIR) is a technique for retrieving an image similar to the queried image by throwing the image as a query and analyzing the color distribution, shape, and texture of the queried image. Hereinafter, the image thrown as a query is called a query image.
이하, 질의된 이미지와 유사한 이미지를 검색하는 것을 이미지 검색 또는 검색으로 약술한다.Hereinafter, searching for an image similar to the queried image is abbreviated as an image search or a search.
CBIR이 이루어지기 위해서는, 질의된 이미지와 비교의 대상이 되는 이미지 간의 유사도가 계산되어야 한다.In order to achieve CBIR, the similarity between the queried image and the image to be compared must be calculated.
일반적으로, CBIR을 제공하는 서버는 매우 많은 수의 이미지들을 관리한다. 이하, 서버가 관리하는 이미지들을 대상 이미지들로 명명한다.In general, a server providing CBIR manages a very large number of images. Hereinafter, images managed by the server are called target images.
질의된 이미지와 유사한 이미지를 검색하기 위해서는, 서버 내에 저장된 많은 수의 대상 이미지들 각각에 대하여 질의된 이미지와의 유사도가 계산되어야 한다. 또한, 계산된 유사도에 기반하여(예컨대, 유사도의 내림차순으로) 대상 이미지들 중 질의된 이미지와 가장 유사한 이미지 또는 하나 이상의 유사한 이미지들이 결정되어야 한다.In order to retrieve an image similar to the queried image, the similarity with the queried image must be calculated for each of a large number of target images stored in the server. In addition, based on the calculated similarity (eg, in descending order of similarity), one or more similar images, or images most similar to the queried image, should be determined.
따라서, 많은 수의 대상 이미지들 각각에 대한 유사도를 계산하기 위해, 효율적인 유사도 계산 방법이 요구된다.Therefore, in order to calculate the similarity for each of a large number of target images, an efficient similarity calculation method is required.
본 발명의 일 실시예는 거리 함수에 기반하여 두 이미지들 간의 유사도를 선형 시간에 계산하는 장치 및 방법을 제공할 수 있다.One embodiment of the present invention may provide an apparatus and method for calculating the similarity between two images in linear time based on a distance function.
본 발명의 일 실시예는 두 이미지들 간의 유사도를 선형 시간에 측정할 수 있는 거리 함수를 사용함으로써 대용량의 이미지 데이터베이스 내에서 사용자가 원하는 이미지를 빠른 시간 내에 검색할 수 있는 장치 및 방법을 제공할 수 있다.One embodiment of the present invention can provide an apparatus and method for quickly searching a desired image in a large image database by using a distance function that can measure the similarity between two images in a linear time. have.
본 발명의 일 측에 따르면, 제1 이미지를 수신하는 수신부, 상기 제1 이미지 및 제2 이미지 간의 유사도를 계산하는 유사도 계산부 및 상기 계산된 유사도에 기반하여 생성된 정보를 제공하는 출력부를 포함하고, 상기 유사도 계산부는 상기 제1 이미지 및 상기 제2 이미지의 색 공간을 1차원으로 변환하고, 상기 제1 이미지의 주조색들 및 상기 제2 이미지의 주조색들에 대한 상기 제1 이미지 및 상기 제2 이미지 간의 최소 작업을 상기 유사도로서 계산하는, 이미지 질의 처리 장치가 제공된다.According to one aspect of the present invention, a receiver for receiving a first image, a similarity calculator for calculating the similarity between the first image and the second image and an output unit for providing information generated based on the calculated similarity; The similarity calculator converts the color spaces of the first image and the second image into one dimension, and the first image and the second image of the cast colors of the first image and the cast colors of the second image. An image query processing apparatus is provided, which calculates the minimum work of the liver as the similarity.
상기 이미지 질의 처리 장치는, 상기 제2 이미지를 제공하는 데이터베이스를 더 포함할 수 있다.The image query processing apparatus may further include a database for providing the second image.
상기 제2 이미지는 복수 개일 수 있다.There may be a plurality of second images.
상기 유사도 계산부는 상기 제1 이미지 및 복수 개의 제3 이미지들 각각 간의 유사도들을 계산할 수 있다. 상기 복수 개의 제3 이미지들은 상기 복수 개의 제2 이미지들 중 하나 이상의 이미지들일 수 있다.The similarity calculator may calculate similarities between each of the first image and the plurality of third images. The plurality of third images may be one or more images of the plurality of second images.
상기 이미지 질의 처리 장치는, 상기 제1 이미지 및 상기 복수 개의 제3 이미지들 각각 간의 상기 유사도들에 기반하여 상기 복수 개의 제3 이미지들 각각의 상기 제1 이미지에 대한 유사도 순위들을 계산하는 순위 결정부를 더 포함할 수 있다.The image query processing apparatus may include a ranking unit configured to calculate similarity ranks for the first image of each of the plurality of third images based on the similarities between the first image and each of the plurality of third images. It may further include.
상기 출력부는 상기 유사도 순위들에 기반하여 생성된 정보를 제공할 수 있다.The output unit may provide information generated based on the similarity ranks.
본 발명의 다른 일 측에 따르면, 제1 이미지를 수신하는 수신 동작, 상기 제1 이미지 및 제2 이미지 간의 유사도를 계산하는 유사도 계산 동작 및 상기 계산된 유사도에 기반하여 생성된 정보를 제공하는 출력 동작을 포함하고, 상기 유사도 계산 동작은 상기 제1 이미지의 색 공간 및 상기 제2 이미지의 색 공간을 1차원으로 변환하고, 상기 제1 이미지의 주조색 및 상기 제2 이미지의 주조색들에 대한 상기 제1 이미지 및 상기 제2 이미지 간의 최소 작업을 상기 유사도로서 계산하는, 이미지 질의 처리 방법이 제공된다.According to another aspect of the invention, a receiving operation for receiving a first image, a similarity calculation operation for calculating the similarity between the first image and the second image and an output operation for providing information generated based on the calculated similarity Wherein the similarity calculation operation converts the color space of the first image and the color space of the second image into one dimension, and the first color for the cast color of the first image and the cast colors of the second image. An image query processing method is provided that calculates, as the similarity, the minimum task between an image and the second image.
상기 이미지 질의 처리 방법은, 상기 계산된 유사도에 따라 상기 제2 이미지의 유사도 순위를 결정하는 순위 결정 동작을 더 포함할 수 있다.The image query processing method may further include a ranking operation of determining a similarity rank of the second image according to the calculated similarity.
상기 출력 동작은 상기 결정된 유사도 순위에 기반하여 생성된 동작을 제공할 수 있다.The output operation may provide an operation generated based on the determined similarity ranking.
본 발명의 또 다른 일 측에 따르면, 제1 이미지 및 제2 이미지의 색 공간을 1차원으로 변환하는 차원 변환부, 상기 제1 이미지의 주조색들 및 상기 제2 이미지의 주조색들에 대한 상기 제1 이미지 및 상기 제2 이미지 간의 최소 작업을 계산하는 최소 작업 계산부를 포함하고, 상기 제1 이미지 및 상기 제2 이미지 간의 유사도는 상기 제1 이미지 및 상기 제2 이미지 간의 최소 작업에 기반하여 계산되는, 이미지 유사도 계산 장치가 제공된다.According to another aspect of the present invention, a dimensional conversion unit for converting the color space of the first image and the second image in one dimension, the first color of the cast colors of the first image and the cast colors of the second image And a minimum task calculation unit for calculating a minimum task between an image and the second image, wherein the similarity between the first image and the second image is calculated based on the minimum task between the first image and the second image. Similarity calculating device is provided.
상기 제1 이미지 및 상기 제2 이미지의 상기 색 공간은 3차원 색 공간일 수 있다.The color space of the first image and the second image may be a three-dimensional color space.
상기 최소 작업 계산부는 상기 제1 이미지의 주조색들의 상기 1차원으로 변환된 색 공간 상의 위치 및 상기 제2 이미지의 주조색들의 상기 1차원으로 변환된 색 공간 상의 위치에 기반하여 상기 최소 작업을 계산할 수 있다.The minimum task calculator may calculate the minimum task based on a position in the color space converted into the first dimension of the cast colors of the first image and a position in the color space converted into the first dimension of the cast colors of the second image. .
상기 차원 변환부는 공간 채움 커브를 사용하여 상기 제1 이미지 및 상기 제2 이미지의 색 공간을 상기 1차원으로 변환할 수 있다.The dimensional converter may convert a color space of the first image and the second image into the first dimension by using a space filling curve.
상기 공간 채움 커브는 힐베르트 커브일 수 있다.The space filling curve may be a Hilbert curve.
상기 차원 변환부는 시작점과 방향을 달리함으로써 복수 개의 힐베르트 커브들 및 상기 복수 개의 힐베르트 커브들에 대한 복수 개의 1차원으로 변환된 색 공간들을 생성할 수 있다.The dimensional converter may generate a plurality of Hilbert curves and a plurality of one-dimensionally transformed color spaces for the plurality of Hilbert curves by changing a starting point and a direction.
상기 최소 작업 계산부는 상기 복수 개의 1차원으로 변환된 색 공간들에 각각에 대한 최소 작업들을 계산할 수 있다.The minimum task calculator may calculate minimum tasks for each of the plurality of one-dimensionally converted color spaces.
상기 유사도는 상기 최소 작업들 중 최소값에 기반하여 계산될 수 있다.The similarity may be calculated based on the minimum of the minimum tasks.
상기 최소 작업 계산부는 매핑 테이블을 사용하여 상기 힐베르트 커브 상의 순서를 계산할 수 있다.The minimum task calculator may calculate an order on the Hilbert curve using a mapping table.
상기 매핑 테이블은 배열을 사용함으로써 인덱스를 힐베르트 커브 상의 순서로 매핑할 수 있다.The mapping table can map indices in the order on the Hilbert curve by using an array.
상기 인덱스는 상기 제1 이미지 및 상기 제2 이미지의 상기 색 공간 상의 좌표를 나타낼 수 있다.The index may represent coordinates on the color space of the first image and the second image.
상기 이미지 질의 처리 방법은, 최소 포함 사각형을 이용함으로써 상기 제1 이미지의 주조색들 및 상기 제2 이미지의 주조색들의 상기 제1 이미지 및 상기 제2 이미지의 상기 색 공간 내의 위치를 이동시키는 위치 조정부를 더 포함할 수 있다.The image query processing method may further include a position adjusting unit configured to move a position in the color space of the first image and the second image of the cast colors of the first image and the cast colors of the second image by using a minimum containing rectangle. It may include.
상기 차원 변환부는 제1 이미지 및 제2 이미지의 색 공간을 1차원으로 재변환할 수 있다.The dimensional converter may reconvert the color space of the first image and the second image to one dimension.
상기 최소 작업 계산부는 상기 제1 이미지의 주조색들 및 상기 제2 이미지의 주조색들에 대한 상기 제1 이미지 및 상기 제2 이미지 간의 최소 작업을 재계산할 수 있다.The minimum task calculator may recalculate a minimum task between the first image and the second image for the cast colors of the first image and the cast colors of the second image.
상기 제1 이미지 및 상기 제2 이미지 간의 유사도는 상기 계산된 최소 작업 및 상기 재계산된 최소 작업에 기반하여 생성될 수 있다.Similarity between the first image and the second image may be generated based on the calculated minimum task and the recalculated minimum task.
상기 위치 조정부는 상기 최소 포함 사각형을 상기 제1 이미지 및 상기 제2 이미지의 상기 색 공간의 코너로 이동시킬 수 있다.The position adjusting unit may move the minimum containing rectangle to corners of the color space of the first image and the second image.
본 발명의 또 다른 일측에 따르면, 제1 이미지 및 제2 이미지의 색 공간을 1차원으로 변환하는 차원 변환 동작; 및 상기 제1 이미지의 주조색들 및 상기 제2 이미지의 주조색들에 대한 상기 제1 이미지 및 상기 제2 이미지 간의 최소 작업을 계산하는 최소 작업 계산 동작을 포함하고, 상기 제1 이미지 및 상기 제2 이미지 간의 유사도는 상기 제1 이미지 및 상기 제2 이미지 간의 최소 작업에 기반하여 계산되는, 이미지 유사도 계산 방법이 제공된다.According to another aspect of the invention, the dimensional conversion operation for converting the color space of the first image and the second image in one dimension; And a minimum job calculation operation for calculating a minimum job between the first image and the second image for the cast colors of the first image and the cast colors of the second image, wherein the first image and the second image The similarity between the two is provided based on the minimum operation between the first image and the second image.
상기 이미지 유사도 계산 방법은, 최소 포함 사각형을 이용함으로써 상기 제1 이미지의 주조색들 및 상기 제2 이미지의 주조색들의 상기 제1 이미지 및 상기 제2 이미지의 상기 색 공간 내의 위치를 이동하는 위치 조정 동작, 상기 제1 이미지 및 상기 제2 이미지의 상기 색 공간을 1차원으로 재변환하는 차원 재변환 동작; 및 상기 제1 이미지의 주조색들 및 상기 제2 이미지의 주조색들에 대한 상기 제1 이미지 및 상기 제2 이미지 간의 최소 작업을 재계산하는 최소 작업 재계산 동작을 더 포함할 수 있다.The image similarity calculation method may further include: a position adjusting operation of moving a position in the color space of the first image and the second image of the cast colors of the first image and the cast colors of the second image by using a minimum containing rectangle; A dimensional reconversion operation of reconverting the color space of the first image and the second image into one dimension; And a minimum job recalculation operation of recalculating a minimum job between the first image and the second image for the cast colors of the first image and the cast colors of the second image.
상기 제1 이미지 및 상기 제2 이미지 간의 유사도는 상기 최소 작업 계산 동작에 의한 상기 계산된 최소 작업 및 상기 최소 작업 재계산 동작에 의한 상기 재계산된 상기 최소 작업 중 최소 값에 기반하여 생성될 수 있다.The similarity between the first image and the second image may be generated based on a minimum value of the calculated minimum task by the minimum task calculation operation and the recalculated minimum task by the minimum task recalculation operation. .
상기 차원 변환 동작은 공간 채움 커브를 사용함으로써 상기 제1 이미지 및 상기 제2 이미지의 색 공간을 상기 1차원으로 변환할 수 있다.The dimensional conversion operation may convert a color space of the first image and the second image into the first dimension by using a space filling curve.
상기 차원 재변환 동작은 상기 공간 채움 커브를 사용함으로써 상기 제1 이미지 및 상기 제2 이미지의 색 공간을 상기 1차원의로 재변환할 수 있다.The dimensional reconversion operation may reconvert the color space of the first image and the second image to the one-dimensional by using the space filling curve.
상기 공간 채움 커브는 힐베르트 커브일 수 있다.The space filling curve may be a Hilbert curve.
상기 차원 변환 동작은 시작점과 방향을 달리함으로써 복수 개의 힐베르트 커브들 및 상기 복수 개의 힐베르트 커브들에 대한 복수 개의 1차원으로 변환된 색 공간들을 생성할 수 있다.The dimensional conversion operation may generate a plurality of Hilbert curves and a plurality of one-dimensionally transformed color spaces for the plurality of Hilbert curves by different starting points and directions.
상기 최소 작업 계산 동작은 상기 복수 개의 1차원으로 변환된 색 공간들에 각각에 대한 제1 최소 작업들을 계산할 수 있다.The minimum task calculation operation may calculate first minimum tasks for each of the plurality of one-dimensionally converted color spaces.
상기 차원 재변환 동작은 시작점과 방향을 달리함으로써 복수 개의 힐베르트 커브들 및 상기 복수 개의 힐베르트 커브들에 대한 복수 개의 1차원으로 변환된 색 공간들을 재생성할 수 있다.The dimensional reconversion operation may regenerate a plurality of Hilbert curves and a plurality of one-dimensionally transformed color spaces for the plurality of Hilbert curves by different starting points and directions.
상기 최소 작업 재계산 동작은 상기 복수 개의 1차원으로 변환된 색 공간들에 각각에 대한 제2 최소 작업들을 재계산할 수 있다.The minimum task recalculation operation may recalculate second minimum tasks for each of the plurality of one-dimensionally converted color spaces.
상기 유사도는 상기 최소 작업 계산 동작에 의해 계산된 상기 제1 최소 작업들 및 상기 최소 작업 재계산 동작에 의해 계산된 상기 제2 최소 작업들에 기반하여 생성될 수 있다.The similarity may be generated based on the first minimum tasks calculated by the minimum task calculating operation and the second minimum tasks calculated by the minimum task recalculating operation.
거리 함수에 기반하여 두 이미지들 간의 유사도를 선형 시간에 계산하는 장치 및 방법이 제공된다.An apparatus and method are provided for calculating the similarity between two images in linear time based on a distance function.
두 이미지들 간의 유사도를 선형 시간에 측정할 수 있는 거리 함수를 사용함으로써 대용량의 이미지 데이터베이스 내에서 사용자가 원하는 이미지를 빠른 시간 내에 검색할 수 있는 장치 및 방법이 제공된다.An apparatus and method are provided for quickly searching for an image desired by a user in a large image database by using a distance function that can measure the similarity between two images in a linear time.
도 1은 본 발명의 일 예에 따른 색들의 분포를 표현하는 방법을 설명한다.
도 2는 본 발명의 일 예에 따른 주조색 표현 방법(120)을 사용하는 거리 함수(200)를 설명한다.
도 3은 본 발명의 일 예에 따른 최소 작업을 설명한다.
도 4는 본 발명의 일 실시예에 따른 이미지 질의 처리 장치의 구조도이다.
도 5는 본 발명의 일 예에 따른 힐베르트 커브를 설명한다.
도 6은 본 발명의 일 예에 따른 힐베르트 커브를 통해 생성된 순서 및 다차원 공간 삭 색들의 근접성 간의 관계를 설명한다.
도 7은 본 발명의 일 예에 따른 복수 개의 힐베르트 커브가 사용되었을 때에 발생 가능한 문제점을 설명한다.
도 8은 본 발명의 일 예에 따른 다차원 공간 상 색들의 위치 재조정을 설명한다.
도 9는 본 발명의 일 예에 따른 이미지 질의 방법의 순서도이다.1 illustrates a method of expressing a distribution of colors according to an example of the present invention.
2 illustrates a
3 illustrates a minimum operation according to an example of the present invention.
4 is a structural diagram of an image query processing apparatus according to an embodiment of the present invention.
5 illustrates a Hilbert curve according to an example of the present invention.
6 illustrates the relationship between the order generated through Hilbert curves and the proximity of multidimensional spatial cuts according to an example of the present invention.
7 illustrates a problem that may occur when a plurality of Hilbert curves are used according to an embodiment of the present invention.
8 illustrates repositioning of colors on a multi-dimensional space according to an example of the present invention.
9 is a flowchart illustrating an image query method according to an embodiment of the present invention.
이하에서, 본 발명의 일 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. Like reference symbols in the drawings denote like elements.
도 1은 본 발명의 일 예에 따른 색들의 분포를 표현하는 방법을 설명한다.1 illustrates a method of expressing a distribution of colors according to an example of the present invention.
정확한 CBIR을 수행하기 위해서는, 이미지를 구성하는 색들의 분포(color distribution)을 어떻게 표현할 것인지가 매우 중요한 문제가 된다.In order to perform accurate CBIR, how to express the color distribution (color distribution) constituting the image is a very important problem.
히스토크램 표현 방법(histogram descriptor)(110)은, 전통적인 색 분포 표현 방법으로서, 히스토그램을 사용하여 이미지의(즉, 이미지를 구성하는, 또는, 이미지 내에 포함되는) 모든 색들을 표현하는 방법이다.The
히스토그램 표현 방법(110)은 이미지의 모든 색을 표현하는 고차원 데이터 표현 방법이다. 따라서, 히스토그램 표현 방법(110)이 사용될 경우, 이미지 검색 성능이 크게 저하될 수 있다.The
또한, 이미지의 모든 색이 활용된다고 해서 이미지 검색의 정확도가 향상된다고 간주될 수는 없다. 이미지 검색의 정확도를 판단하는 것은 결국 인간이기 때문에, 인간의 감각에 맞는 색 분포 표현 방법이 사용될 때, 결과적으로 이미지 검색의 정확도가 향상될 수 있다.Also, utilizing all the colors of an image does not mean that the accuracy of image retrieval is improved. Since it is human after all to determine the accuracy of image retrieval, when the color distribution representation method suitable for human sense is used, the accuracy of image retrieval can be improved as a result.
인간은, 이미지를 분석할 때, 이미지에서 비율이 높은 색(즉, 이미지 내에서 빈도가 높은 색)을 중심으로 그 이미지를 분석한다. 예를 들어, 파란 하늘 및 사막을 나타내는 이미지에 대해서, 인간은 이 이미지의 모든 색을 정확히 파악하는 것이 아니라, 파란색(하늘) 및 노란색(모래)로 구성된 이미지로 파악한다.When humans analyze an image, they analyze the image centered on the color with the highest proportion in the image (ie, the color with high frequency in the image). For example, for an image representing a blue sky and a desert, humans do not know all the colors of the image correctly, but rather an image composed of blue (sky) and yellow (sand).
이러한 비율이 높은 색을 중심으로 한 표현 방법을 위해, 주조색 표현 방법(dominant color descriptor)(120)이 제안되었다.For a representation method centering on such a high color ratio, a
주조색 표현 방법(120)은 색들의 양자화 (color quantization)를 통해, 유사한 색들 간의 통합을 수행한다. 이러한 통합에 의해, 주조색 표현 방법(120)은, 1) 이미지를 구성하는 지배적인 몇몇 색들(즉, 주조색) 및 2) 지배적인 색들이 이미지에서 차지하는 비율로서 이미지를 표현한다.The cast
많은 실험을 통해, 주조색 표현 방법(120)을 이용한 이미지 검색이 히스토그램 표현 방법(110)을 이용한 이미지 검색에 비해 향상된 검색 결과를 보이는 것으로 알려져있다.
Through many experiments, it is known that image search using cast
도 2는 본 발명의 일 예에 따른 주조색 표현 방법(120)을 사용하는 거리 함수(200)를 설명한다.2 illustrates a
거리 함수(200)는 검색 이미지와 유사한 이미지를 찾기 위해, 이미지들 간의 유사도를 측정하는 함수이다.The
주조색 표현 방법(120)을 사용하는 거리 함수(200)를 설정하기 위해서, 주조색들 간의 유사도(210)(즉, 양 이미지들 내에서 대응되는 주조색들의 얼마나 유사한 색들인가) 및 대응되는 주조색들 간의 비율(220)(즉, 대응되는 주조색들의 비율들은 얼마나 유사한가)이 조건으로서 고려되어야 한다.To set the
상기의 두 조건들(즉, 210 및 220)을 충족시키는 거리 함수(200)로서, 비교의 대상이 되는 두 이미지들 중 하나의 이미지의 색-비율 분포를 다른 이미지의 색-비율 분포로 옮기기 위한 최소 작업(minimum work)이 사용될 수 있다.A
최소 작업이 도 3을 참조하여 하기에서 상세히 설명된다.
Minimal operation is described in detail below with reference to FIG. 3.
도 3은 본 발명의 일 예에 따른 최소 작업을 설명한다.3 illustrates a minimum operation according to an example of the present invention.
작업(work)은 한 이미지에서 다른 이미지로 옮겨진 색들의 양과 거리를 의미한다.Work refers to the amount and distance of colors transferred from one image to another.
비교의 대상인, 두 이미지 P={(p1, wp1), .... ,(pm, wpm)} 및 Q={(q1, wq1), ... ,(q1, wqn)}가 있다.Two images P = {(p 1 , w p1 ), ...., (p m , w pm )} and Q = {(q 1 , w q1 ), ..., (q 1 , w qn )}.
pi는 P의 주조색을 의미한다. (1 ≤ i ≤ m)p i means the cast color of P. (1 ≤ i ≤ m)
qj는 Q의 주조색을 의미한다. (1 ≤ j ≤ n)q j means the casting color of Q. (1 ≤ j ≤ n)
wpi는 P의 주조색 pi의 비율을 의미한다. (1 ≤ i ≤ m)w pi means the ratio of the cast color p i of P. (1 ≤ i ≤ m)
wqi는 Q의 주조색 qj의 비율을 의미한다. (1 ≤ i ≤ m)w qi means the ratio of the casting color q j of Q. (1 ≤ i ≤ m)
이 때, P의 주조색들의 비율들의 합 및 Q의 주조색들의 비율들의 합은 동일하다.At this time, the sum of the ratios of the cast colors of P and the sum of the ratios of the cast colors of Q are the same.
최소 작업은 P의 색-비율 분포를 Q의 색-비율 분포로 옮기는데 들어가는 최소한의 일의 양을 의미한다.Minimal task means the minimum amount of work involved in moving the color-ratio distribution of P to the color-ratio distribution of Q.
작업은 한 이미지에서 다른 이미지로 옮겨진 색들의 양 f 및 그라운드 거리 d의 곱으로 구할 수 있다.The task can be obtained by multiplying the amount f of the colors transferred from one image to another and the ground distance d.
그라운드 거리는 색들(이동 전의 색 및 이동 후의 색) 간의 유사도를 측정하기 위해 사용되는 거리를 의미한다.Ground distance means the distance used to measure the similarity between colors (color before moving and color after moving).
예컨대, 유클리드 거리(Euclidean distance) 및 L1 거리 등이 그라운드 거리로서 사용될 수 있다.For example, Euclidean distance and L 1 distance may be used as the ground distance.
작업은 하기의 수학식 1에 따라 계산될 수 있다.The job may be calculated according to
수학식 1에 따라, 최소 작업을 만족시킬 수 있는 F = [fij]가 계산될 수 있어야한다.According to
제1 그래프(300) 및 제2 그래프(350)는 최소 작업을 계산하는 예제이다.The
제1 그래프(350)는 이미지 P를 나타낸다. 제1 그래프(300)의 막대들(310, 320 및 330)은 각각 이미지 P의 3 개의 주조색들 중 하나의 주조색을 나타낸다.
일반적으로, 색 공간은 다차원 공간으로 나타내어질 수 있다. 편의상, 본 예에서는 1차원 직선으로 색 공간을 나타낸다.In general, the color space can be represented as a multidimensional space. For convenience, in this example, the color space is represented by a one-dimensional straight line.
주조색은 색 공간 내에서 특정한 위치를 갖는다. 막대(310, 320 또는 330)의 x 축 상에서의 위치는 막대(310, 320 또는 330)에 대응하는 주조색의 색 공간 상에서의 위치를 나타낸다.The cast color has a specific position in the color space. The position on the x axis of the
막대의 x 좌표 상에서의 위치는 막대에 대응하는 주조색의 색 공간 내에서의 위치를 나타낸다.The position on the x coordinate of the bar represents the position in the color space of the cast color corresponding to the bar.
또한, 막대들(310, 320 및 330)의 높이들은 각각 막대가 나타내는 주조색의 비율을 나타낸다.In addition, the heights of the
예컨대, 제2 막대(320)의 높이는 0.5이다. 제2 막대(320)가 나타내는 제2 주조색의 비율은 0.5이다. 제2 주조색은 이미지 P에서 50%의 비중을 차지한다.For example, the height of the
제2 그래프(350)는 이미지 Q를 나타낸다. 제2 그래프(350)의 막대들(360 및 370)은 각각 이미지 Q의 2 개의 주조색들 중 하나의 주조색을 나타낸다.
이미지 P의 주조색들을 이미지 Q로 옮기기 위한 여러 가지 경우의 수가 존재한다.There are several cases for transferring the cast colors of image P to image Q.
이미지 P의 주조색들 중 알파벳들 A 내지 D가 나타내는 부분들(312, 322, 324 및 332)을 각각 이미지 Q의 동일한 알파벳들이 나타내는 부분들(362, 364, 372 및 374)로 옮김으로서 두 이미지들에 대한 최소 작업이 계산될 수 있다. 예컨대, 제1 그래프(300)의 A 부분(312)이 제2 그래프(350)의 A 부분(362)으로 이동된다.Two images by moving the
각 부분을 이동하기 위한 작업은, 부분의 비율 및 부분의 x 좌표 상의 이동 거리의 곱으로 나타낼 수 있다.The operation for moving each part can be represented by the product of the ratio of the part and the moving distance on the x coordinate of the part.
예컨대, 제1 그래프(300)의 A 부분(312)을 제2 그래프(350)의 A 부분(362)으로 이동하기 위한 작업은 0.3 * 2 = 0.6이다. For example, the operation for moving the
제1 그래프(300)의 B 부분(322)을 제2 그래프(350)의 B 부분(364)으로 이동하기 위한 작업은 0.3 * 1 = 0.3이다.The operation for moving the
제1 그래프(300)의 C 부분(324)을 제2 그래프(350)의 C 부분(372)으로 이동하기 위한 작업은 0.2 * 3 = 0.6이다.The operation for moving the
제1 그래프(300)의 D 부분(332)을 제2 그래프(350)의 D 부분(374)으로 이동하기 위한 작업은 0.2 * 1 = 0.2이다.The operation for moving the
따라서, 제1 그래프(300) 및 제2 그래프(350)에 따라, P의 주조색들을 Q의 주조색들로 이동하기 위한 작업은 0.6 + 0.3 + 0.6 + 0.2 = 1.7이다.Thus, according to the
모든 경우의 수를 고려하여 최소 작업을 계산하기 위해서는, 많은 계산량이 요구된다. 따라서, 계산량을 감소시키면서 양 이미지의 최소 작업을 계산할 수 있는 방법이 요구된다.In order to calculate the minimum work taking into account the number of all cases, a large amount of calculation is required. Therefore, there is a need for a method that can calculate the minimum operation of both images while reducing the amount of computation.
하기에서, 최소 작업을 계산하기 위한 최적 색 구성 거리(Optimal Color Composition Distance; OCCD) 방법 및 지면 이동자 거리(Earth Mover's Distance; EMD) 방법을 검토한다.In the following, we review the Optimal Color Composition Distance (OCCD) method and the Earth Mover's Distance (EMD) method for calculating the minimum work.
OCCD는 계산 복잡도를 줄이기 위해 근사 기법(approximate method)을 이용한다.OCCD uses an approximate method to reduce computational complexity.
OCCD는 주조색들의 비율들을 m개의 색 유닛(color unit)으로 나눈다. 각각의 색 영역들은 모두 동일한 영역 비율 p를 갖는다. 이 때, m * p=100이다.OCCD divides the proportions of the cast colors into m color units. Each color gamut has the same area ratio p. At this time, m * p = 100.
이에 따라, 이미지의 주조색들은 m 개의 색 유닛들의 세트(set)로 표현될 수 있다.Accordingly, the cast colors of the image can be represented by a set of m color units.
OCCD는 이러한 색 유닛들을 m 개의 노드를 가지는 비방향 그래프(undirected graph)로 가정하고 최소 비용 그래프 매칭(minimum cost graph matching)을 활용함으로써 두 이미지들의 근사 최소 작업을 계산한다.OCCD assumes these color units as an undirected graph with m nodes and calculates the approximate minimum work of the two images by utilizing minimum cost graph matching.
최소 비용 그래프 매칭이란, 비방향 그래프에 대해, 최소 비용 (minimum cost)을 만족할 수 있도록 비방향 그래프 내의 노드 간의 간선을 이어주는 문제이다.Minimal cost graph matching is a problem that connects the edges between nodes in the non-directional graph to satisfy the minimum cost for the non-directional graph.
OCCD는 O(m3)의 계산 복잡도를 가진다.OCCD has a computational complexity of O (m 3 ).
OCCD는 색 유닛의 크기에 따라 정확도와 성능이 좌우된다.OCCD's accuracy and performance depends on the size of the color unit.
색 유닛의 비율이 크면, 계산 속도는 향상될 수 있지만, 실제 주조색의 비율 및 색 유닛의 비율 간의 차에서 발생하는 색의 손실에 의해 정확도가 떨어질 수 있다.If the ratio of the color unit is large, the calculation speed can be improved, but the accuracy may be degraded by the loss of color occurring in the difference between the ratio of the actual cast color and the ratio of the color unit.
반대로, 색 유닛의 비율이 작은 단위로 나뉘어지면, 정확도는 향상될 수 있지만, 계산 성능이 떨어질 수 있다.Conversely, if the ratio of the color units is divided into smaller units, the accuracy may be improved, but the computational performance may be degraded.
EMD는 정확하게 최소 작업을 계산하는 거리 함수로서 이동 문제(transportation problem)을 이용한다.EMD uses a transport problem as a distance function to accurately calculate the minimum work.
이동 문제는 공급자들이 가지고 있는 물품을 소비자들에게 공급하기 위해 들어가는 최소 비용을 계산하는 문제이다.The problem of migration is the calculation of the minimum cost to supply the consumer with the goods that the suppliers have.
EMD는 한 이미지의 색 분포를 공급자, 다른 이미지의 색 분포를 소비자들이라고 가정한다. 또한, EMD는 각각의 공급자-소비자 쌍에 들어가는 비용을 두 색들 간의 지면 기리(ground distance)로 가정함으로써 이동 문제를 이용하여 두 이미지들에 대한 정확한 최소 작업을 계산할 수 있다.EMD assumes that the color distribution of one image is the supplier and the color distribution of the other image is the consumer. In addition, the EMD can calculate the exact minimum work for both images using a shift problem by assuming the cost of each supplier-consumer pair as the ground distance between the two colors.
EMD는, n 개의 주조색이 존재할 때, O(n3log n)의 계산 복잡도를 가진다.The EMD has a computational complexity of 0 (n 3 log n) when there are n cast colors.
상기에서 검토한 것과 같이, EMD 및 OCCD의 계산 복잡도는 매우 크다. 따라서, EMD 및 OCCD가 사용될 경우, 유사 이미지 검색을 위해 많은 검색 시간이 요구된다. As discussed above, the computational complexity of EMD and OCCD is very large. Therefore, when EMD and OCCD are used, a large search time is required for similar image search.
대용량 데이터베이스는 많은 개수의 대상 이미지들을 저장한다. 따라서, 검색 이미지 및 대상 이미지들 각각 간의 유사도를 계산하기 위해, 많은 횟수의 이미지 비교가 요구된다.Large databases store a large number of target images. Therefore, a large number of image comparisons are required to calculate the similarity between each of the search image and the target images.
따라서, 전술된 것과 같은 계산 복잡도 높은 방법은 대용량 데이터베이스를 사용하는 이미지 검색 시스템에서는 사용되기 어렵다.Therefore, a computationally complex method as described above is difficult to use in an image retrieval system using a large database.
하기에서, 선형 시간(linear time)에 근사 EMD(approximate EMD)를 계산하기 위한 거리 함수가 제안딘다.In the following, a distance function is proposed to calculate an approximate EMD (approximate EMD) at linear time.
1차원 공간에서는, n 개의 주조색들에 대하여, O(n)에 두 이미지들에 대한 최소 작업이 계산될 수 있다.In one-dimensional space, for n cast colors, the minimum work for both images in O (n) can be calculated.
예컨대, 도 3에서, 두 이미지들 p 및 q에서 각각 시작점에서 가장 가까운 색을 선택하여, 두 선택된 색들 간의 최대 공통 비율만큼의 거리를 비교함으로써 두 이미지들에 대한 최소 작업이 획득될 수 있다.For example, in FIG. 3, the minimum operation for the two images can be obtained by selecting the color closest to the starting point in the two images p and q, respectively, and comparing the distance by the maximum common ratio between the two selected colors.
최대 공통 비율이란, 비교하고자 하는 두 색들 중 비율이 더 작은 색의 비율을 의미한다.The maximum common ratio refers to the ratio of the smaller of the two colors to be compared.
예를 들어, 도 3의 이미지 P에서 시작점에 가장 가까운 색(즉, 막대(310)이 나타내는 색)의 비율은 0.3이고, 이미지 Q에서 시작점에 가장 가까운 색(즉, 막대(360)이 나타내는 색)의 비율은 0.6이다. 따라서, 이 두 색들의 최대 공통 비율은 0.3이다.For example, in the image P of FIG. 3, the ratio of the color closest to the starting point (ie, the color indicated by the bar 310) is 0.3, and the color closest to the starting point in the image Q (ie, the color indicated by the
비교된 부분들(즉, A 부분(312) 및 A 부분(362))이 제거되면, 다시 시작점에서 가장 가까운 두 색이 선택되고, 최대 공통 비율만큼의 거리가 비교된다.When the compared parts (i.e., A
이러한 과정이 앞에서부터 순서대로 모든 색에 대해 수행되고, 수행의 결과들을 모두 합하면, 두 이미지들에 대한 최소 작업이 계산될 수 있다.This process is performed for all colors in order from the beginning, and if the results of the performance are summed together, the minimum work for both images can be calculated.
도 3에서, 제1 그래프(300)의 알파벳들이 나타내는 부분들(312, 322, 324 및 332) 및 제2 그래프(350)의 알파벳들이 나타내는 부분들(362, 364, 372 및 374)에서, 동일한 알파벳이 나타내는 부분들(예컨대, 제1 그래프(300)의 A 부분(312) 및 제2 그래프(350)의 A 부분(362))은 이러한 수행의 과정을 나타낸 것이다.In FIG. 3, the
이러한 수행은 1차원 공간 상 두 이미지들의 최소 작업을 만족한다. This performance satisfies the minimum work of two images in one-dimensional space.
즉, 1차원의 두 집합 P 및 Q에 대하여, P의 시작점에서 가까운 가장 색 pfirst 및 Q의 시작점에서 가장 가까운 qfirst 간의 거리를 비교하는 것을, n 개의 색들에 대해 반복한 경우, n 번의 반복들을 통해 비교된 거리들의 합은 두 집합 P 및 Q의 최소 작업이다. 이는, 하기의 설명과 같이 증명될 수 있다.That is, for two sets P and Q in one dimension, comparing the distance between the first color p first closest to the starting point of P and the first q first closest to the starting point of Q, n iterations when n colors are repeated. The sum of the distances compared through is the minimum operation of the two sets P and Q. This can be proved as described below.
하기의 증명은 P 및 Q의 색들을 기준으로 설명되었으나, 하기의 증명은 한정(예컨대, P 및 Q의 주조색들) 또는 확대(예컨대, P 및 Q의 객체(object)로 확대) 적용될 수 있다.The following proof has been described with reference to the colors of P and Q, but the following proof can be applied either limited (e.g., cast colors of P and Q) or magnified (e.g., to objects of P and Q).
우선, 증명을 위해 P 및 Q의 색들의 비율이 동일한 비율의 최소 단위로 쪼개어 졌다고 가정한다. 즉, 이미지 안의 한 색은 같은 비율을 가지는 여러 개의 조각으로 분할될 수 있다.First, for the sake of proof, assume that the ratio of the colors of P and Q is split into the smallest unit of the same ratio. That is, one color in an image can be divided into pieces having the same ratio.
이러한 분할은, P = {p1, p2, ... , pn}, Q = {q1, q2, ... ,qn}와 같이 표현될 수 있다.This division may be expressed as P = {p 1 , p 2 , ..., p n }, Q = {q 1 , q 2 , ..., q n }.
이 때, P 및 Q의 첫 번째 색들을 반복해서 비교하는 것이 최소 비용이 아니라면, p1 및 q1은 특정 색 pi 및 qj와 비교되어야 P 및 Q의 최소 비용이 만족될 것이다. 즉, 하기의 수학식 2가 충족되어야 한다.At this time, if it is not the minimum cost to repeatedly compare the first colors of P and Q, p 1 and q 1 must be compared with specific colors p i and q j so that the minimum cost of P and Q is satisfied. That is,
그러나, p1 ≤ q1 ≤ pi ≤ qj 이면,However, if p 1 ≤ q 1 ≤ p i ≤ q j ,
하기의 수학식 3 및 수학식 4에 의해, 상기의 수학식 2이 만족되지 않음을 알 수 있다. 따라서, 수학식 2의 역인 수학식 5가 만족된다.
즉, 시작점에서 가장 가까운 색들을 차례로 비교함으로써 P 및 Q의 최소 작업이 계산될 수 있다.
That is, the minimum operation of P and Q can be calculated by comparing the colors closest to the starting point.
도 4는 본 발명의 일 실시예에 따른 이미지 질의 처리 장치의 구조도이다.4 is a structural diagram of an image query processing apparatus according to an embodiment of the present invention.
이미지 질의 처리 장치(400)는 입력부(410), 이미지 데이터베이스(420), 유사도 계산부(430), 순위 결정부(440) 및 출력부(450)를 포함할 수 있다.The image
수신부(410)는 제1 이미지(예컨대, 검색 이미지 또는 이미지 p)를 수신한다.The
이미지 데이터베이스(420)는 제2 이미지(예컨대, 대상 이미지 또는 이미지 q)를 제공한다.
유사도 계산부(430)는 제1 이미지 및 제2 이미지 간의 유사도를 계산한다.The
유사도 계산부(430)는 주조색 표현 방법(120)에 기반하여 제1 이미지 및 제2 이미지 간의 유사도를 계산할 수 있다.The
즉, 유사도 계산부(430)는 제1 이미지의 및 제2 이미지의 색 공간을 1차원으로 변환하고, 제1 이미지의 주조색들 및 제2 이미지의 주조색들에 대한 제1 이미지 및 제2 이미지 간의 최소 작업을 유사도로서 계산한다. 유사도 계산부(430)가 최소 작업을 계산하는 방법의 일 예가 도 3을 참조하여 전술되었다.That is, the
출력부(450)는 계산된 유사도에 기반하여 생성된 정보를 제공한다.The
제2 이미지는 복수 개일 수 있다. 이미지 데이터베이스(420)는 복수 개의 이미지들을 저장할 수 있고, 저장된 이미지들 중 전부 또는 일부를 제2 이미지로서 제공할 수 있다.There may be a plurality of second images. The
유사도 계산부(430)는 복수 개의 제2 이미지들 중 전부 또는 일부에 대해 제1 이미지와의 유사도를 계산할 수 있다.The
즉, 제3 이미지가 복수 개의 제2 이미지들 중 하나 이상의 이미지들일 때, 유사도 계산부(430)는 제1 이미지 및 복수 개의 제3 이미지들 각각 간의 유사도들을 계산할 수 있다.That is, when the third image is one or more images of the plurality of second images, the
순위 결정부(440)는 계산된 복수 개의 유사도들을 사용하여 제1 이미지와의 유사도가 계산된 하나 이상의 이미지들 간의 순위를 계산할 수 있다.The
즉, 순위 결정부(440)는 제1 이미지 및 복수 개의 제3 이미지들 각각 간의 유사도들에 기반하여 복수 개의 제3 이미지들 각각의 제1 이미지에 대한 유사도 순위들을 계산할 수 있다.That is, the
또한, 출력부(450)는 계산된 유사도 순위들에 기반하여 생성된 정보를 제공할 수 있다.In addition, the
출력부(450)는 생성된 정보를 화면에 표시하거나, 생성된 정보를 인쇄 매체에 출력하거나, 생성된 정보를 통신 매체를 통해 출력할 수 있다.
The
유사도 계산부(430)는 차원 변환부(432), 위치 조정부(434) 및 최소 작업 계산부(436)을 포함할 수 있다.The
차원 변환부(432)는 제1 이미지 및 제2 이미지의 색 공간을 1차원으로 변환한다. The
제1 이미지 및 제2 이미지의 색 공간은, 예컨대 RGB(Red, Green, Blue) 또는 HSV(Hue, Saturation, Value)와 같은, 3차원 공간일 수 있다. 즉, 제1 이미지의 색 및 제2 이미지의 색은 3차원 공간의 데이터일 수 있다.The color space of the first image and the second image may be, for example, a three-dimensional space, such as RGB (Red, Green, Blue) or HSV (Hue, Saturation, Value). That is, the color of the first image and the color of the second image may be data in a three-dimensional space.
차원 변환부(432)는 공간 채움 커브(space filling curve)를 사용하여 3차원 데이터를 1차원으로 순서화할 수 있다.The
즉, 차원 변환부(432)는 공간 채움 커브를 사용하여 제1 이미지 및 제2 이미지의 색 공간을 상기 1차원으로 변환할 수 있다.That is, the
공간 채움 커브는 다차원 공간을 1차원의 곡선으로 표현하는 기법이다. 공간 채움 커브를 통해, 다차원 데이터 간에 순서가 세워질 수 있다.The space filling curve is a technique for representing a multidimensional space as a one-dimensional curve. With space filling curves, the order between the multidimensional data can be established.
공간 채움 커브의 일 예로, z-순서(z-order), 힐베르트 커브(Hilbert curve) 및 페아노 커브(Peano curve) 등이 있다.Examples of the space filling curves include z-order, Hilbert curves, Peano curves, and the like.
하기에서, 힐베르트 커브를 사용하는 본 발명의 일 실시예/일 예들이 설명된다. 본 발명의 일 실시예/일 예들은 z-순서 및 페이노 커브 등과 같은 다른 공간 채움 커브에도 적용될 수 있다.In the following, one embodiment / examples of the present invention using a Hilbert curve are described. One embodiment / examples of the invention may be applied to other space filling curves such as z-order and pheno curves.
최소 작업 계산부(436)는 제1 이미지의 주조색들 및 제2 이미지의 주조색들에 대한 제1 이미지 및 제2 이미지 간의 최소 작업을 계산한다.The
제1 이미지 및 제2 이미지 간의 유사도는 제1 이미지 및 제2 이미지 간의 최소 작업에 기반하여 계산될 수 있다.The similarity between the first image and the second image may be calculated based on the minimum task between the first image and the second image.
제1 이미지 및 제2 이미지의 색 공간은 3차원 색 공간일 수 있다.The color space of the first image and the second image may be a three-dimensional color space.
최소 작업 계산부(436)는 제1 이미지의 주조색들의 1차원으로 변환된 색 공간 상의 위치 및 제2 이미지의 주조색들의 1차원으로 변환된 색 공간 상의 위치에 기반하여 최소 작업을 계산할 수 있다.
The
도 5는 본 발명의 일 예에 따른 힐베르트 커브를 설명한다.5 illustrates a Hilbert curve according to an example of the present invention.
힐베르트 커브는 다차원의 공간을 1차원의 곡선으로 채운다. 따라서, 곡선에 따라 다차원 데이터들이 순서화될 수 있다. 즉, 곡선이 지나는 순서에 따라 다차원 데이터들의 순서가 결정될 수 이다.Hilbert curves fill multidimensional spaces with one-dimensional curves. Thus, multidimensional data can be ordered according to a curve. That is, the order of the multidimensional data may be determined according to the order in which the curve passes.
제1 그래프(500)에서, 제1 힐베르트 커브(510)는 2행 1열의 공간(526), 1행 1열의 공간(522), 1행 2열의 공간(524) 및 2행 2열의 공간(528)을 순서대로(또는, 역순으로) 지나간다.In the
따라서, 제1 힐베르트 커브(520)에 의해, 2행 1열의 공간(526), 1행 1열의 공간(522), 1행 2열의 공간(524) 및 2행 2열의 공간(528)의 순서로 1차원 순서가 생성된다.Therefore, according to the first Hilbert curve 520, the
제2 그래프(530)에서, 4x4의 공간에 대한 제2 힐베르트 커브(540)가 생성되었다.In the
제3 그래프(560)에서, 8x8의 공간에 대한 제3 힐베르트 커브(570)가 생성되었다.In the
본 예에서, 2 차원 공간을 채우는 힐베르트 커브가 예시되었으나, 본 예의 설명은 다차원 공간을 채우는 힐베르트 커브에도 적용될 수 있다.In this example, the Hilbert curve filling the two-dimensional space is illustrated, but the description of this example may be applied to the Hilbert curve filling the multi-dimensional space.
이미지 공간은 일반적으로, 예컨대 RGB 또는 HSV와 같은, 3차원 공간이다. 따라서, 차원 변환부(432)(또는, 유사도 계산부(430))는 이미지 P 및 Q의 색들(특히, 주조색들)을 3차원 힐베르트 커브에 의해 순서화할 수 있다.Image space is generally three-dimensional space, such as, for example, RGB or HSV. Accordingly, the dimensional converter 432 (or the similarity calculator 430) may order the colors (particularly, cast colors) of the images P and Q by the three-dimensional Hilbert curve.
순서화 후, 차원 변환부(432)(또는, 유사도 계산부(430))는 순서화된 색들을 대상으로 색들 간의 거리를 비교할 수 있다.After ordering, the dimension converter 432 (or the similarity calculator 430) may compare the distances between the colors based on the ordered colors.
주조색들 각각의 거리가 비교될 때, 차원 변환부(432)(또는, 유사도 계산부(430))는 다차원 상의 실제 거리를 비교할 수 있다.
When the distances of each of the cast colors are compared, the dimensional converter 432 (or the similarity calculator 430) may compare the actual distances of the multi-dimensional images.
도 6은 본 발명의 일 예에 따른 힐베르트 커브를 통해 생성된 순서 및 다차원 공간 삭 색들의 근접성 간의 관계를 설명한다.6 illustrates the relationship between the order generated through Hilbert curves and the proximity of multidimensional spatial cuts according to an example of the present invention.
힐베르트 커브를 통해 생성된 순서는, 다차원 공간 상의 색들의 근접성을 정확하게 반영하지 못할 수 있다. 즉, 실제 다차원 공간에서는 가까이 있는 두 색들이, 힐베르트 커브를 통해 멀어지는 경우가 발생할 수 있다. 이 결과로, 주조색들의 순서가 엉뚱하게 배열되어, EMD에 의한 결과에 비해 오차가 발생할 수 있다.The order generated through the Hilbert curve may not accurately reflect the proximity of the colors on the multidimensional space. That is, in the real multidimensional space, two adjacent colors may be separated through the Hilbert curve. As a result, the order of cast colors is erratic, and an error may occur as compared with the result by EMD.
도 6에서, 이미지 P의 주조색들은 P1 및 P2이다. 이를, P = {p1, p2}로 나타낸다. 또한, Q= {q1, q2}이며, 모든 주조색들의 비율은 동일하다.In FIG. 6, the cast colors of the image P are P 1 and P 2 . This is represented by P = {p 1 , p 2 }. In addition, Q = {q 1 , q 2 }, and all cast colors have the same ratio.
이미지 P 및 이미지 Q의 최소 작업이 만족되기 위해서는 p1(622)는 q1(626)와 비교되어야 하고, p2(624)는 q2(628)와 비교되어야 한다.
그러나, 제1 그래프(600)에서, 제1 힐베르트 커브(610)를 통해 주조색들이 순서화된 후, 생성된 순서에 따르면 p1(622)은 q2(628)와 비교되고, p2(624)은 q1(626)와 비교된다. 따라서, 최소 작업이 만족될 수 없다.However, in the
이처럼, 힐베르트 커브가 다차원 공간의 근접성을 만족하지못하는 경우, 색들의 순서가 엉뚱하게 배열될 수 있다.As such, when the Hilbert curve does not satisfy the proximity of the multidimensional space, the colors may be arranged in a wrong order.
그러나, 하나의 다차원 공간에서는, 시작점 및 방향을 달리함으로써 다양한 힐베르트 커브들이 생성될 수 있다.However, in one multidimensional space, various Hilbert curves can be generated by varying the starting point and direction.
즉, 차원 변환부(432)(또는, 유사도 계산부(430))는 작점과 방향을 달리함으로써 복수 개의 힐베르트 커브들을 생성할 수 있고, 생성된 복수 개의 힐베르트 커브들에 대한 복수 개의 1차원으로 변환된 색 공간들을 생성할 수 있다.That is, the dimension conversion unit 432 (or the similarity calculation unit 430) may generate a plurality of Hilbert curves by changing a point and a direction, and convert the plurality of Hilbert curves into a plurality of one-dimensions of the generated Hilbert curves. Generated color spaces.
어떠한 힐베르트 커브를 생성하느냐에 따라, 다차원 공간에 그려지는 주조색들의 순서가 달라진다.Depending on which Hilbert curve is created, the order of cast colors drawn in multidimensional space varies.
제2 그래프(650)에서와 같이, 시작점 및 방향을 달리하여 제2 힐베르트 커브(660)가 그려지면, 기존의 제1 힐베르트 커브(610)와는 다른 순서가 생성된다. As shown in the
제2 힐베르트 커브(660)에 의해 생성된 순서에 따르면, p1(622)는 q1(626)와 비교되고, p2(624)는 q2(628)와 비교되어, 최소 작업 계산부(436)(또는, 유사도 계산부(430))는 이미지 P 및 이미지 Q 간의 최소 작업을 계산할 수 있다.According to the order generated by the
즉, 차원 변환부(432)(또는, 유사도 계산부(430))가 생성하는 힐베르트 커브에 따라 다차원 공간의 근접성을 만족하는 순서가 생성될 수 있다.That is, an order that satisfies the proximity of the multidimensional space may be generated according to the Hilbert curve generated by the dimensional converter 432 (or the similarity calculator 430).
k차원 공간에서는 서로 다른 모양의 (2kㅇk!)/2 개의 힐베르트 커브가 생성될 수 있다. In k-dimensional space, (2 k Ok!) / 2 Hilbert curves of different shapes can be generated.
k차원 공간에는 2k의 코너(corner)가 존재한다. 각 코너를 시작점으로 가지는 2k의 힐베르트 커브가 생성될 수 있다. 또한, 각 코너마다, 진행 방향을 달리함으로써 k! 개의 힐베르트 커브가 생성될 수 있다.In k-dimensional space, there are 2 k corners. A 2k Hilbert curve can be generated with each corner as a starting point. Further, for each corner, k! Hilbert curves can be generated.
즉, k차원 공간에서는 (2kㅇk!)개의 복수 개의 힐베르트 커브들이 생성될 수 있다. 그러나, 생성된 힐베르트 커브들 중에는, 특정 힐베르트 커브와, 시작 코너 및 끝 코너는 서로 반대이고, 이를 제외하고는 동일한 힐베르트 커브가 생성될 수 있다.That is, k-dimensional space in the can may be generated (o 2 k k!) Of a plurality of Hilbert curve. However, among the generated Hilbert curves, the specific Hilbert curve and the start corner and the end corner are opposite to each other, except that the same Hilbert curve can be generated.
이러한 힐베르트 커브를 제외하면, k차원 공간에서는 (2kㅇk!)/2의 힐베르트 커브가 생성될 수 있다.Excluding such a Hilbert curve, a Hilbert curve of (2 k Ok!) / 2 can be generated in k-dimensional space.
예컨대, 3차원 색 공간 내에서는 24 개의 힐베르트 커브들이 생성될 수 있다.For example, 24 Hilbert curves can be generated within the three-dimensional color space.
따라서, 차원 변환부(432)(또는, 유사도 계산부(430))는 시작점 및 진행 방향을 달리함으로써, k차원 공간에 대한 (2kㅇk!)/2 개의 힐베르트 커브들을 생성할 수 있다.Accordingly, the dimensional transform unit 432 (or the similarity calculator 430) may generate (2 k k!) / 2 Hilbert curves for the k-dimensional space by varying the starting point and the advancing direction.
그 후, 최소 작업 계산부(436)(또는, 유사도 계산부(430))는 힐베르트 커브들 각각을 통해 생성된 순서에 따라, 이미지 P 및 이미지 Q의 실제 거리를 계산한 후 그 중 최소값을 이미지 P 및 이미지 Q의 유사도로서 사용할 수 있다.Thereafter, the minimum task calculator 436 (or the similarity calculator 430) calculates the actual distance of the image P and the image Q according to the order generated through each of the Hilbert curves, and then calculates the minimum of the images. Can be used as the similarity of P and image Q.
즉, 최소 작업 계산부(436)(또는, 유사도 계산부(430))는 복수 개의 1차원으로 변환된 색 공간들에 각각에 대한 최소 작업들을 계산할 수 있고, 계산된 최소 작업들 중 최소값에 기반하여 이미지 P 및 이미지 Q 간의 유사도를 계산할 수 있다.
That is, the minimum task calculator 436 (or the similarity calculator 430) may calculate minimum tasks for each of the plurality of one-dimensionally converted color spaces, and are based on the minimum of the calculated minimum tasks. The similarity between the image P and the image Q can be calculated.
도 7은 본 발명의 일 예에 따른 복수 개의 힐베르트 커브가 사용되었을 때에 발생 가능한 문제점을 설명한다.7 illustrates a problem that may occur when a plurality of Hilbert curves are used according to an embodiment of the present invention.
복수 개의 힐베르트 커브가 사용되는 경우에도, 여전히 색들의 순서가 엉뚱하게 배열되어 최소 작업을 만족시키지 못할 수 있다.Even when a plurality of Hilbert curves are used, the order of colors may still be out of order and may not satisfy the minimum operation.
도 7의 그래프들(700, 730, 750 및 770)에서 나타난 것처럼, 사분면의 경계를 기준으로, 비교되어야될 색들이 서로 반대편에 위치한 경우, 다양한 힐베르트 커브가 사용됨에도 불구하고 다차원 공간의 근접성이 반영되기 어려울 수 있다.As shown in the
도 7의 그래프들(700, 730, 750 및 770)에서 다양한 힐베르트 커브들(710, 740, 760 및 780)이 생성되었지만, 어떤 힐베르트 커브(710, 740, 760 또는 780)가 사용된 경우에도, p1(722)은 q2(728)와 비교되고, p2(724)은 q1(726)와 비교된다. 따라서, 최소 작업이 만족될 수 없다.Although various Hilbert curves 710, 740, 760 and 780 were generated in the
이는, 사분면의 경계를 기준으로 서로 반대편에 위치한 두 색들은, 힐베르트 커브 상에서는 대부분의 경우 실제 거리보다 멀게 측정되기 때문이다. 즉, 상이한 사분면에 서로 대응하는 색들이 있는 경우, 실제 공간 상 근접싱이 유지되기 어렵다.This is because the two colors located opposite each other based on the boundary of the quadrant are most often measured farther than the actual distance on the Hilbert curve. That is, when there are colors corresponding to each other in different quadrants, proximity in real space is difficult to maintain.
이러한 문제를 해결하기 위해서는, 다차원 공간 상 색들의 위치를 재조정함으로써 색들이 최대한 동일한 사분면 안에 위치하도록 해야 한다.
To solve this problem, the colors should be located in the same quadrant as much as possible by repositioning the colors in multidimensional space.
도 8은 본 발명의 일 예에 따른 다차원 공간 상 색들의 위치 재조정을 설명한다.8 illustrates repositioning of colors on a multi-dimensional space according to an example of the present invention.
두 이미지의 유사도를 구하기 위해 필요한 것은, 색들의 공간 상 절대 위치가 아닌 색들의 상대적인 거리이다.What is needed to find the similarity of two images is the relative distance of the colors, not the absolute position of the colors.
따라서, 색들 간의 거리를 그대로 보존할 수 있다면, 색들의 공간 상 위치들를 조정하더라도, 두 이미지의 유사도에는 전혀 영향을 미치지 않는다.Thus, if the distance between colors can be preserved as it is, adjusting the positions of the colors in space does not affect the similarity of the two images at all.
색들의 위치는 최소 포함 사각형(Minimum Bounding Box; MBB)를 이용함으로써 재조정될 수 있다. MBB는 k차원 공간에서 k차원 안의 모든 데이터를 묶는 최소 크기의 사각형을 의미한다.The position of the colors can be readjusted by using a Minimum Bounding Box (MBB). MBB is the smallest rectangle that binds all the data in the k-dimensional space in k-dimensional space.
즉, 색들 간의 거리를 보존하기 위해, 다차원 공간의 색들은 MBB로 묶여질 수 있다. 이 후, MBB는 다차원 공간의 한쪽 코너로 이동될 수 있다.That is, to preserve the distance between the colors, the colors of the multidimensional space can be grouped into MBBs. The MBB can then be moved to one corner of the multidimensional space.
제1 그래프(800)는 각 부분 공간(즉, 사분면의 각 분면)의 경계를 중심으로, 두 이미지의 색들이 반대하여 위치한다.The
즉, 이미지 P의 색들(p1(822) 및 p2(824))과 이미지 Q들의 색들(q1(826) 및 q2(828))는 서로 상이한 분면에 위치한다.That is, the
제2 그래프(850)에서 도시된 것과 같이, MBB는 제1 그래프에서의 MBB의 위치(830)로부터 제2 그래프에서의 MBB의 위치(870)로 이동될 수 있다. 즉, MBB는 다차원 공간의 한 코너로 이동될 수 있다. 이러한 이동에 의해, 다차원 공간의 상대적인 근접성이 만족될 수 있다. 따라서, 최소 작업이 계산될 수 있다.As shown in the
위치 조정부(434)(또는, 유사도 계산부(430))는 MBB를 이용함으로써 제1 이미지의 주조색들 및 제2 이미지의 주조색들의 제1 이미지 및 제2 이미지의 색 공간 내의 위치를 이동시킬 수 있다.The position adjuster 434 (or the similarity calculator 430) may move a position in the color space of the first image and the second image of the cast colors of the first image and the cast colors of the second image by using the MBB. .
위치 조정부(434)(또는, 유사도 계산부(430))는 MBB를 제1 이미지 및 제2 이미지의 색 공간으 코너로 이동시킬 수 있다.The position adjuster 434 (or the similarity calculator 430) may move the MBB to the corner of the color space of the first image and the second image.
색들의 위치 재조정을 통해, 다차원 공간 상 색들의 거리 및 힐베르트 커브 상의 거리 간의 차가 줄어들어, 다차원 공간의 근접성이 유지될 수 있다.By repositioning the colors, the difference between the distances of the colors on the multidimensional space and the distance on the Hilbert curve can be reduced, so that the proximity of the multidimensional space can be maintained.
MBB가 하나의 사분면보다 더 큰 경우에도, 색들의 위치 조정을 통해 다른 패턴의 순서가 획득될 수 있다. 따라서, 획득된 다른 패턴의 순서를 통해 다차원 공간의 근접성이 만족될 수 있다.Even if the MBB is larger than one quadrant, the order of the different patterns can be obtained through the positioning of the colors. Therefore, the proximity of the multidimensional space may be satisfied through the order of the obtained different patterns.
색들의 위치가 재조정된 후, 차원 변환부(432)(또는, 유사도 계산부(430))는 제1 이미지 및 제2 이미지의 색 공간을 1차원으로 재변환할 수 있다.After the positions of the colors are readjusted, the dimension converter 432 (or the similarity calculator 430) may reconvert the color space of the first image and the second image to one dimension.
최소 작업 계산부(436)(또는, 유사도 계산부(430))는 제1 이미지의 주조색들 및 제2 이미지의 주조색들에 대한 제1 이미지 및 제2 이미지 간의 최소 작업을 재계산할 수 있다.The minimum task calculator 436 (or the similarity calculator 430) may recalculate the minimum task between the first image and the second image for the cast colors of the first image and the cast colors of the second image.
최소 작업 계산부(436) (또는, 유사도 계산부(430))는 위치 조정 이전에 계산된 최소 작업 및 재계산된 최소 작업에 기반하여 제1 이미지 및 제2 이미지 간의 유사도를 생성할 수 있다. 즉, 최소 작업 계산부(436) (또는, 유사도 계산부(430))는 위치 조정 이전에 계산된 최소 작업 및 재계산된 최소 작업 중 최소 값을 유사도로서 생성할 수 있다.The minimum task calculator 436 (or the similarity calculator 430) may generate a similarity between the first image and the second image based on the minimum task calculated before the position adjustment and the recalculated minimum task. That is, the minimum task calculator 436 (or the similarity calculator 430) may generate, as the degree of similarity, the minimum value of the minimum task calculated before the position adjustment and the recalculated minimum task.
또한, 차원 변환부(432)(또는, 유사도 계산부(430))는 복수 개의 힐베르트 커브들을 이용하여 또 다시 시작점 및 진행 방향을 달리함으로써, k차원 공간에 대한 (2kㅇk!)/2 개의 순서를 재생성할 수 있다.In addition, the dimensional conversion unit 432 (or the similarity degree calculation unit 430) by varying a is again the starting point and proceed by using a plurality of Hilbert curve direction, of the k-dimensional space (2 k o k!) / 2 The order of dogs can be regenerated.
최소 작업 계산부(436)(또는, 유사도 계산부(430))는 힐베르트 커브들 각각을 통해 생성된 순서에 따라, 이미지 P 및 이미지 Q의 실제 거리들을 계산한 후 계산된 거리들 중 최소값을 이미지 P 및 이미지 Q의 유사도로서 사용할 수 있다.The minimum task calculator 436 (or the similarity calculator 430) calculates the actual distances of the image P and the image Q according to the order generated through each of the Hilbert curves, and then displays the minimum value of the calculated distances. Can be used as the similarity of P and image Q.
힐베르트 커브들은, 위치 조정 이전에 (2kㅇk!)/2 개가 생성될 수 있고, 위치 조정 후에 다시 (2kㅇk!)/2 개가 생성될 수 있다. 즉, 전부 (2kㅇk!) 개의 힐베르트 커브들이 생성될 수 있다.Hilbert curves, can be produced before the dog (2 k o k!) / 2 Position and may be re-created dog (2 k o k!) / 2 after the position adjustment. That is, a total of (2 k Ok!) Hilbert curves can be generated.
예컨대, 3차원 공간 상에서는 48 개의 순서가 생성될 수 있다.For example, 48 sequences can be generated in three-dimensional space.
최소 작업 계산부(436)(또는, 유사도 계산부(430))는 (2kㅇk!) 개의 힐베르트 커브들 각각을 통해 생성된 순서에 따라, 이미지 P 및 이미지 Q의 실제 거리들을 계산한 후 계산된 거리들 중 최소값을 이미지 P 및 이미지 Q의 유사도로 설정할 수 있다.The minimum task calculator 436 (or the similarity calculator 430) calculates the actual distances of the image P and Q according to the order generated through each of the (2 k Ok!) Hilbert curves. The minimum value of the calculated distances may be set as the similarity of the image P and the image Q.
(2kㅇk!) 개의 힐베르트 커브들을 생성하기 위해서는 많은 시간이 소요될 수 있다.It can take a long time to generate (2 k ok!) Hilbert curves.
최소 작업 계산부(436)(또는, 유사도 계산부(430))는 매핑 테이블을 사용하여 힐베르트 커브 상의 순서를 계산할 수 있다.The minimum task calculator 436 (or the similarity calculator 430) may calculate the order on the Hilbert curve using the mapping table.
매핑 테이블은 배열을 사용함으로써 인덱스를 힐베르트 커브 상의 순서로 매핑할 수 있고, 인덱스는 제1 이미지 및 제2 이미지의 색 공간 상의 좌표를 나타낼 수 있다.The mapping table may map indices in order on the Hilbert curve by using an array, and the indices may represent coordinates in the color space of the first image and the second image.
매핑 테이블은 k 차원 공간 상의 좌표를 배열[h][i][j]로 받아서, 힐베르트 커브 상의 순서를 계산할 수 있다. 즉, 매핑 테이블은 "mappingTable(originCoord[h][j][i], 힐베르트 커브 상의 순서)"와 같이 표현될 수 있다.The mapping table receives coordinates on the k-dimensional space as an array [h] [i] [j] and calculates the order on the Hilbert curve. That is, the mapping table may be expressed as "mappingTable (originCoord [h] [j] [i], order on Hilbert curve)".
메핑 테이블을 통해, 짧은 메모리 액세스(access) 타임만을 들여서, 주조색들의 힐베르트 커브 상 순서가 빠르게 계산될 수 있다.
Through the mapping table, the order on the Hilbert curves of the cast colors can be quickly calculated, taking only a short memory access time.
도 9는 본 발명의 일 예에 따른 이미지 질의 방법의 순서도이다.9 is a flowchart illustrating an image query method according to an embodiment of the present invention.
이미지 입력 동작(910)에서, 이미지가 입력된다. 즉, 제1 이미지가 수신된다.In
유사도를 계산하는 동작들(920 내지 945)에서 제1 이미지 및 제2 이미지 간의 유사도가 계산된다.Similarities between the first image and the second image are calculated in
유사도를 계산하는 동작들(920 내지 945)은 제1 이미지의 색 공간 및 제2 이미지의 색 공간을 1차원으로 변환하고, 제1 이미지의 주조색 및 제2 이미지의 주조색들에 대한 제1 이미지 및 제2 이미지 간의 최소 작업을 유사도로서 계산할 수 있다.
차원 변환 동작(920)에서, 제1 이미지 및 제2 이미지의 색 공간이 1차원으로 변환된다.In the
차원 변환 동작(920)에서, 공간 채움 커브를 사용함으로써 제1 이미지 및 제2 이미지의 색 공간이 1차원으로 변환될 수 있다.In the
공간 채움 커브는 힐베르트 커브일 수 있다.The space filling curve may be a Hilbert curve.
차원 변환 동작(920)에서, 시작점과 방향을 달리함으로써 복수 개의 힐베르트 커브들 및 상기 복수 개의 힐베르트 커브들에 대한 복수 개의 1차원으로 변환된 색 공간들이 생성될 수 있다.In the
최소 작업 계산 동작(925)에서, 제1 이미지의 주조색들 및 제2 이미지의 주조색들에 대한 상기 제1 이미지 및 상기 제2 이미지 간의 최소 작업이 계산된다.In the minimum
최소 작업 계산 동작(925)에서, 복수 개의 1차원으로 변환된 색 공간들에 각각에 대한 제1 최소 작업들이 계산될 수 있다.In the minimum
위치 조정 동작(930)에서, 최소 포함 사각형을 이용함으로써 제1 이미지의 주조색들 및 제2 이미지의 주조색들의 제1 이미지 및 제2 이미지의 색 공간 내의 위치가 이동된다.In the
차원 재변환 동작(940)에서, 제1 이미지 및 제2 이미지의 색 공간이 1차원으로 재변환된다.In
차원 재변환 동작(940)에서, 공간 채움 커브를 사용함으로써 제1 이미지 및 제2 이미지의 색 공간이 1차원으로 재변환될 수 있다.In
차원 재변환 동작(940)에서, 시작점과 방향을 달리함으로써 복수 개의 힐베르트 커브들 및 상기 복수 개의 힐베르트 커브들에 대한 복수 개의 1차원으로 변환된 색 공간들이 재생성될 수 있다.In the
최소 작업 재계산 동작(945)에서, 제1 이미지의 주조색들 및 제2 이미지의 주조색들에 대한 제1 이미지 및 제2 이미지 간의 최소 작업이 재계산된다.In minimum
최소 작업 재계산 동작(945)에서, 복수 개의 1차원으로 변환된 색 공간들에 각각에 대한 제2 최소 작업들이 재계산될 수 있다.In the minimum
또한, 최소 작업 재계산 동작(945)에서, 최소 작업 계산 동작(925)에 의해 계산된 최소 작업 및 동작(945)에서 재계산된 최소 작업 중 최소값이 유사도로 설정될 수 있다.Further, in the minimum
순위 결정 동작(950)에서, 계산된 유사도에 따라, 제2 이미지의 유사도 순위가 결정된다.In a
유사도는 최소 작업 계산 동작(925)에 의해 계산된 제1 최소 작업들 및 최소 작업 재계산 동작(945)에 의해 계산된 제2 최소 작업들에 기반하여 생성될 수 있다.The similarity may be generated based on the first minimum tasks calculated by the minimum
즉, 유사도는 제1 최소 작업들 및 제2 최소 작업들 중 최소값일 수 있다.That is, the similarity may be the minimum value of the first minimum tasks and the second minimum tasks.
출력 동작(960)에서, 계산된 유사도에 기반하여 생성된 정보가 제공된다.In
앞서 도 1 내지 도 8을 참조하여 설명된 본 발명의 일 실시예에 따른 기술 적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
Technical contents according to an embodiment of the present invention described above with reference to FIGS. 1 to 8 may be applied to the present embodiment as it is. Therefore, more detailed description will be omitted below.
이미지와 같은 멀티미디어 데이터들은 주로 한번 데이터베이스에 저장 되면 삭제되지 않고 계속 관리된다. 따라서, 시간이 지날수록 데이터베이스의 크기가 계속 증가하는 경향을 보인다.Multimedia data, such as images, are usually managed once they are stored in the database without being deleted. As a result, the size of the database tends to increase over time.
또한, 인터넷 서비스 공급자들이 내용 기반 이미지 검색을 통해 사용자가 원하는 이미지를 제공하기 위해서는 대용량의 데이터베이스가 요구된다.In addition, a large database is required for Internet service providers to provide a desired image through content-based image retrieval.
이러한 대용량 데이터베이스에서는 검색의 정확도만큼 검색의 속도 또한 중요하다.In such large databases, the speed of the search is just as important as the accuracy of the search.
대용량 데이터베이스에서는, 내용 기반 이미지 검색을 위해 많은 횟수의 이미지 비교가 요구된다. 따라서, 각 이미지 비교의 계산 복잡도가 크다면, 검색의 속도는 크게 저하될 수밖에 없다.In large databases, many image comparisons are required for content-based image retrieval. Therefore, if the computational complexity of each image comparison is large, the speed of retrieval can be greatly reduced.
본 발명의 실시예들에서 제안된 선형 시간 거리 함수가 사용될 경우, 짧은 시간 내에 두 이미지들의 유사도가 비교될 수 있다. 따라서, 대용량 데이터베이스 내에서 유사한 이미지가 빠르게 검색될 수 있다.When the linear time distance function proposed in the embodiments of the present invention is used, the similarity of the two images can be compared within a short time. Thus, similar images can be quickly retrieved within a large database.
또한, 본 발명의 실시예들에서 제안된 선형 시간 거리 함수는 기존의 내용 기반 이미지 검색에서 사용되었던 지면 이동자 거리와 유사한 정확도를 보인다(즉, 양자는 거의 동일한 결과를 도출한다). 따라서, 사용자는 선형 시간 거리 함수를 사용함으로써 원하는 이미지를 효율적으로 검색할 수 있다.
In addition, the linear time distance function proposed in the embodiments of the present invention has a similar accuracy to the ground mover distance used in the conventional content-based image retrieval (ie, they yield almost the same result). Thus, the user can efficiently search for a desired image by using a linear time distance function.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment of the present invention can be implemented in the form of a program command which can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
400: 이미지 질의 처리 장치
410: 입력부
420: 이미지 데이터베이스
430: 유사도 계산부
440: 순위 결정부
450: 출력부400: image query processing unit
410:
420: image database
430: Similarity calculator
440: ranking unit
450: output unit
Claims (15)
제1 이미지 및 제2 이미지의 색 공간을 1차원으로 변환하는 차원 변환부; 및
상기 제1 이미지의 주조색들 및 상기 제2 이미지의 주조색들에 대한 상기 제1 이미지 및 상기 제2 이미지 간의 최소의 작업을 계산하는 최소 작업 계산부
를 포함하고,
상기 이미지 유사도 계산 장치는 상기 최소의 작업에 기반하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산하고,
상기 최소의 작업은 상기 제1 이미지의 색-비율 분포를 상기 제2 이미지의 색-비율 분포로 옮기는데 들어가는 최소한의 일의 양이고,
상기 일의 양은 상기 제1 이미지에서 상기 제2 이미지로 옮겨진 색들의 양 및 그라운드 거리의 곱이고,
상기 그라운드 거리는 옮겨짐 이전의 색 및 옮겨짐 이후의 색 간의 유사도를 측정하기 위해 사용되는 거리이고,
상기 제1 이미지의 주조색들은 상기 제1 이미지의 색들의 양자화를 통해 유사한 색들이 통합함으로써 생성된 상기 제1 이미지를 구성하는 지배적인 색들이고,
상기 제2 이미지의 주조색들은 상기 제2 이미지의 색들의 양자화를 통해 유사한 색들이 통합함으로써 생성된 상기 제2 이미지를 구성하는 지배적인 색들인, 이미지 유사도 계산 장치.In the image similarity calculation device,
A dimension conversion unit converting the color spaces of the first image and the second image into one dimension; And
A minimum job calculation unit for calculating a minimum job between the first image and the second image for the cast colors of the first image and the cast colors of the second image
Lt; / RTI >
The image similarity calculation device calculates a similarity between the first image and the second image based on the minimum task,
The minimal task is the minimum amount of work involved in transferring the color-ratio distribution of the first image to the color-ratio distribution of the second image,
The amount of work is the product of the amount of colors transferred from the first image to the second image and the ground distance,
The ground distance is a distance used to measure the similarity between the color before the transfer and the color after the transfer,
The cast colors of the first image are dominant colors constituting the first image generated by integrating similar colors through quantization of the colors of the first image,
The cast colors of the second image are dominant colors that make up the second image generated by integrating similar colors through quantization of the colors of the second image.
상기 제1 이미지 및 상기 제2 이미지의 상기 색 공간은 3차원 색 공간인, 이미지 유사도 계산 장치.The method according to claim 6,
And the color space of the first image and the second image is a three-dimensional color space.
상기 최소 작업 계산부는 상기 제1 이미지의 주조색들의 상기 1차원으로 변환된 색 공간 상의 위치 및 상기 제2 이미지의 주조색들의 상기 1차원으로 변환된 색 공간 상의 위치에 기반하여 상기 최소의 작업을 계산하는, 이미지 유사도 계산 장치.The method according to claim 6,
The minimum job calculation unit calculates the minimum job based on a position in the one-dimensional transformed color space of the cast colors of the first image and a position in the one-dimensional converted color space of the cast colors of the second image. , Image similarity calculation device.
상기 차원 변환부는 색 공간 내에서의 3 차원의 공간 채움 커브를 사용하여 상기 제1 이미지 및 상기 제2 이미지의 색 공간을 상기 1차원으로 변환하는, 이미지 유사도 계산 장치.The method according to claim 6,
And the dimension conversion unit converts the color spaces of the first image and the second image into the one dimension by using a three-dimensional space filling curve in the color space.
상기 공간 채움 커브는 힐베르트 커브인, 이미지 유사도 계산 장치.10. The method of claim 9,
And the space filling curve is a Hilbert curve.
상기 차원 변환부는 시작점과 방향을 달리함으로써 복수 개의 힐베르트 커브들 및 상기 복수 개의 힐베르트 커브들에 대한 복수 개의 1차원으로 변환된 색 공간들을 생성하고,
상기 최소 작업 계산부는 상기 복수 개의 1차원으로 변환된 색 공간들에 각각에 대한 최소의 작업들을 계산하고, 상기 유사도는 상기 최소의 작업들 중 최소값에 기반하여 계산되는, 이미지 유사도 계산 장치.The method of claim 10,
The dimensional conversion unit generates a plurality of Hilbert curves and a plurality of one-dimensionally transformed color spaces for the plurality of Hilbert curves by changing a starting point and a direction.
And the minimum task calculator calculates minimum tasks for each of the plurality of one-dimensionally converted color spaces, and the similarity is calculated based on a minimum value of the minimum tasks.
상기 최소 작업 계산부는 매핑 테이블을 사용하여 상기 힐베르트 커브 상의 순서를 계산하고,
상기 매핑 테이블은 배열을 사용함으로써 인덱스를 힐베르트 커브 상의 순서로 매핑하고, 상기 인덱스는 상기 제1 이미지 및 상기 제2 이미지의 상기 색 공간 상의 좌표를 나타내는, 이미지 유사도 계산 장치.The method of claim 10,
The minimum task calculation unit calculates the order on the Hilbert curve using a mapping table,
And the mapping table maps indices in order on a Hilbert curve by using an array, wherein the indices represent coordinates on the color space of the first image and the second image.
최소 포함 사각형을 이용함으로써 상기 제1 이미지의 주조색들 및 상기 제2 이미지의 주조색들의 상기 제1 이미지 및 상기 제2 이미지의 상기 색 공간 내의 위치를 이동시키는 위치 조정부
를 더 포함하고,
상기 차원 변환부는 제1 이미지 및 제2 이미지의 색 공간을 1차원으로 재변환하고,
상기 최소 작업 계산부는 상기 제1 이미지의 주조색들 및 상기 제2 이미지의 주조색들에 대한 상기 제1 이미지 및 상기 제2 이미지 간의 최소의 작업을 재계산하고, 상기 제1 이미지 및 상기 제2 이미지 간의 유사도는 상기 계산된 최소의 작업 및 상기 재계산된 최소의 작업에 기반하여 생성되는, 이미지 유사도 계산 장치.The method of claim 10,
Position adjuster for shifting the position in the color space of the first image and the second image of the cast colors of the first image and the second image by using a minimum containing rectangle
Further comprising:
The dimensional conversion unit reconverts the color space of the first image and the second image to one dimension,
The minimum job calculator recalculates a minimum job between the first image and the second image for the cast colors of the first image and the cast colors of the second image, and between the first image and the second image. And the similarity is generated based on the calculated minimum task and the recalculated minimum task.
상기 위치 조정부는 상기 최소 포함 사각형을 상기 제1 이미지 및 상기 제2 이미지의 상기 색 공간의 코너로 이동시키는, 이미지 유사도 계산 장치.The method of claim 13,
And the position adjusting unit moves the minimum containing rectangle to corners of the color space of the first image and the second image.
제1 이미지 및 제2 이미지의 색 공간을 1차원으로 변환하는 차원 변환 동작;
상기 제1 이미지의 주조색들 및 상기 제2 이미지의 주조색들에 대한 상기 제1 이미지 및 상기 제2 이미지 간의 최소의 작업을 계산하는 최소 작업 계산 동작; 및
상기 최소의 작업에 기반하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산하는 동작
을 포함하고,
상기 최소의 작업은 상기 제1 이미지의 색-비율 분포를 상기 제2 이미지의 색-비율 분포로 옮기는데 들어가는 최소한의 일의 양이고,
상기 일의 양은 상기 제1 이미지에서 상기 제2 이미지로 옮겨진 색들의 양 및 그라운드 거리의 곱이고,
상기 그라운드 거리는 옮겨짐 이전의 색 및 옮겨짐 이후의 색 간의 유사도를 측정하기 위해 사용되는 거리이고
상기 제1 이미지의 주조색들은 상기 제1 이미지의 색들의 양자화를 통해 유사한 색들이 통합함으로써 생성된 상기 제1 이미지를 구성하는 지배적인 색들이고,
상기 제2 이미지의 주조색들은 상기 제2 이미지의 색들의 양자화를 통해 유사한 색들이 통합함으로써 생성된 상기 제2 이미지를 구성하는 지배적인 색들인, 이미지 유사도 계산 방법.Performed by the image similarity calculation device,
A dimension conversion operation of converting color spaces of the first image and the second image into one dimension;
A minimum job calculation operation for calculating a minimum job between the first image and the second image for the cast colors of the first image and the cast colors of the second image; And
Calculate a similarity between the first image and the second image based on the minimal task
/ RTI >
The minimal task is the minimum amount of work involved in transferring the color-ratio distribution of the first image to the color-ratio distribution of the second image,
The amount of work is the product of the amount of colors transferred from the first image to the second image and the ground distance,
The ground distance is the distance used to measure the similarity between the color before transfer and the color after transfer.
The cast colors of the first image are dominant colors constituting the first image generated by integrating similar colors through quantization of the colors of the first image,
The cast colors of the second image are dominant colors that make up the second image generated by integrating similar colors through quantization of the colors of the second image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110039485A KR101339627B1 (en) | 2011-04-27 | 2011-04-27 | Method and apparatus for content-based image retrieval based on linear-time distance function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110039485A KR101339627B1 (en) | 2011-04-27 | 2011-04-27 | Method and apparatus for content-based image retrieval based on linear-time distance function |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120121599A KR20120121599A (en) | 2012-11-06 |
| KR101339627B1 true KR101339627B1 (en) | 2013-12-09 |
Family
ID=47508023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110039485A KR101339627B1 (en) | 2011-04-27 | 2011-04-27 | Method and apparatus for content-based image retrieval based on linear-time distance function |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101339627B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3343394B1 (en) * | 2016-12-27 | 2021-08-25 | Fundacion Centro de Tecnologias de Interaccion Visual y comunicaciones Vicomtech | Method for and system for creating global thematic maps based on extraction of image descriptors |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020075600A (en) * | 2001-03-26 | 2002-10-05 | 엘지전자 주식회사 | Image search system and method |
-
2011
- 2011-04-27 KR KR1020110039485A patent/KR101339627B1/en not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020075600A (en) * | 2001-03-26 | 2002-10-05 | 엘지전자 주식회사 | Image search system and method |
Non-Patent Citations (2)
| Title |
|---|
| N. Nikolaou, N. Papamarkos. Color image retrieval using a fractal signature extraction technique. Engineering Applications of Artificial Intelligence, 2002.2, pp.81-96 * |
| N. Nikolaou, N. Papamarkos. Color image retrieval using a fractal signature extraction technique. Engineering Applications of Artificial Intelligence, 2002.2, pp.81-96* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120121599A (en) | 2012-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pebesma | Simple features for R: standardized support for spatial vector data. | |
| Calenge | Home range estimation in R: the adehabitatHR package | |
| US9176985B2 (en) | Apparatus and method for retrieving image | |
| CN110413816B (en) | Color Sketch Image Search | |
| CN108804094A (en) | Learn autocoder | |
| US9208609B2 (en) | Method for fitting primitive shapes to 3D point clouds using distance fields | |
| US10719549B2 (en) | Querying a database based on a parametric view function | |
| CN103606151A (en) | A wide-range virtual geographical scene automatic construction method based on image point clouds | |
| CN115063539A (en) | Image dimension increasing method and three-dimensional target detection method | |
| JP7017852B2 (en) | Positioning of 3D objects using descriptors | |
| KR20220143612A (en) | 3D CAD data conversion method, program and apparatus for 3D printing of 3D modeling object | |
| CN105574265A (en) | Quantitative description method for assembly model during model retrieval | |
| CN112017219A (en) | Laser point cloud registration method | |
| KR101339627B1 (en) | Method and apparatus for content-based image retrieval based on linear-time distance function | |
| Manuel et al. | A hybrid approach for the semantic annotation of spatially oriented images | |
| Golla et al. | Temporal upsampling of point cloud sequences by optimal transport for plant growth visualization | |
| CN104517280A (en) | Three-dimensional imaging method | |
| JP6947503B2 (en) | Positioning of 3D objects using quantization | |
| CN104992433A (en) | Multispectral image registration method and device based on line segment matching | |
| KR101359661B1 (en) | conversion system and method for 3D object represented by triangle mesh to 3D object represented by DoSurface | |
| Ravada et al. | Query processing in 3d spatial databases: Experiences with oracle spatial 11g | |
| Coeurjolly et al. | Separable distance transformation and its applications | |
| Zhou et al. | Vector and Raster Data Storage based on Morton Code | |
| Karnatak et al. | Performance study of various spatial indexes on 3D geo-data in Geo-RDBMS | |
| KR20160127369A (en) | System and method for searching image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20161004 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |