KR101304311B1 - Method for measuring similarity of corresponding image and recording medium thereof - Google Patents
Method for measuring similarity of corresponding image and recording medium thereof Download PDFInfo
- Publication number
- KR101304311B1 KR101304311B1 KR1020110065974A KR20110065974A KR101304311B1 KR 101304311 B1 KR101304311 B1 KR 101304311B1 KR 1020110065974 A KR1020110065974 A KR 1020110065974A KR 20110065974 A KR20110065974 A KR 20110065974A KR 101304311 B1 KR101304311 B1 KR 101304311B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- similarity
- calculating
- channel
- region
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
대응 영상의 유사성 측정 방법 및 그 기록매체가 개시된다. 본 발명의 일 실시예에 따른 대응 영상의 유사성 측정 방법은 대응 영상 간에 존재하는 복수 개의 대응점을 검색하는 제1단계; 상기 대응 영상 내에서 상기 대응점들을 포함하는 복수 개의 대응 블록을 생성하고, 상기 대응 블록들의 컬러 분포를 비교하여 상기 대응 블록들의 유사성 정도를 나타내는 제1유사도를 산출하는 제2단계; 상기 대응 영상의 전체 영역 중에서 영상이 서로 겹치는 겹침 영역을 생성하고, 상기 겹침 영역들의 컬러 분포를 비교하여 상기 겹침 영역들의 유사성 정도를 나타내는 제2유사도를 산출하는 제3단계; 및 상기 제1유사도 및 상기 제2유사도에 가중치를 부여하여 상기 대응 영상의 유사성을 측정하는 제4단계를 포함하는 것을 특징으로 한다.A method of measuring similarity of a corresponding image and a recording medium thereof are disclosed. A method of measuring similarity of a corresponding image according to an embodiment of the present invention may include a first step of searching for a plurality of corresponding points existing between corresponding images; A second step of generating a plurality of corresponding blocks including the corresponding points in the corresponding image, and comparing a color distribution of the corresponding blocks to calculate a first similarity indicating the degree of similarity between the corresponding blocks; A third step of generating an overlap region in which images overlap with each other among all regions of the corresponding image, and calculating a second similarity degree indicating a degree of similarity between the overlap regions by comparing color distributions of the overlap regions; And a fourth step of measuring similarity of the corresponding image by weighting the first similarity degree and the second similarity degree.
Description
본 발명은 대응 영상의 유사성 측정 방법 및 그 기록매체에 관한 것으로, 보다 상세하게는 컬러 보정을 위한 대응 영상의 유사성을 측정하는 방법 및 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.The present invention relates to a method for measuring similarity of a corresponding image and a recording medium thereof, and more particularly, to a method of measuring similarity of a corresponding image for color correction and a computer readable program having a program for executing the method on a computer. A recording medium.
일반적으로, 다수의 카메라를 사용하여 획득한 영상의 경우에는 획득한 영상의 컬러 값들이 동일하지 않아 발생하는 컬러 차를 보정하는 기술이 요구되고 있다.In general, in the case of an image acquired using a plurality of cameras, a technique for correcting a color difference caused by color values of an acquired image that is not the same is required.
이러한 컬러 차 보정을 위하여 복수 개의 영상에서 동일 컬러를 가지는 픽셀 간의 정확한 대응을 찾아야 하지만, 종래에는 복수 영상의 대응을 찾기 위해 움직임이 없는 영상을 이용하거나 기하학 정합(geometrical registration)을 이용하였으므로 다음과 같은 문제점이 발생하였다. In order to correct the color difference, an exact correspondence between pixels having the same color must be found in a plurality of images. However, conventionally, a motionless image or a geometrical registration is used to find a correspondence of a plurality of images. A problem occurred.
첫째, 장면(영상)이 하나 이상의 평면을 가지는 경우에는 기하학 정합을 이용하여서는 픽셀 간의 정확한 대응을 찾지 못하였고, 둘째, 카메라와 장면과의 거리가 가까울 경우 기하학 정합을 제대로 구할 수 없었다. 또한, 셋째, 픽셀 간 정확한 대응을 구하지 못하는 바, 컬러 비교가 부정확해지므로 이들의 합을 통해 계산되는 영상 간의 유사성 신뢰도가 떨어진다. First, when the scene (image) has more than one plane, geometric matching did not find an exact correspondence between pixels. Second, when the distance between the camera and the scene was close, the geometric matching was not properly obtained. Third, since the exact correspondence between pixels is not obtained, the color comparison becomes inaccurate, and thus the similarity reliability between images calculated through the sum thereof is inferior.
따라서, 대응 영상의 컬러 보정 수행을 위하여 상기 대응 영상의 유사성 신뢰도를 향상시킬 수 있는 방안이 모색되고 있다. Accordingly, in order to perform color correction of a corresponding image, a method of improving similarity reliability of the corresponding image has been sought.
본 발명의 실시예들은 대응 영상 내에서 대응 블록 및 겹침 영역을 생성하여 각각의 유사도를 산출한 후, 가중치를 부여하여 처리함으로써 대응 영상의 유사성 신뢰도를 향상시킨 대응 영상의 유사성 측정 방법 및 그 기록매체를 제공하고자 한다.Embodiments of the present invention generate a corresponding block and an overlapping region in a corresponding image, calculate similarities, and process the result by weighting the similarity to improve the similarity reliability of the corresponding image, and a recording medium thereof. To provide.
본 발명의 일 측면에 따르면, 대응 영상 간에 존재하는 복수 개의 대응점을 검색하는 제1단계; 상기 대응 영상 내에서 상기 대응점들을 포함하는 복수 개의 대응 블록을 생성하고, 상기 대응 블록들의 컬러 분포를 비교하여 상기 대응 블록들의 유사성 정도를 나타내는 제1유사도를 산출하는 제2단계; 상기 대응 영상의 전체 영역 중에서 영상이 서로 겹치는 겹침 영역을 생성하고, 상기 겹침 영역들의 컬러 분포를 비교하여 상기 겹침 영역들의 유사성 정도를 나타내는 제2유사도를 산출하는 제3단계(S130); 및 상기 제1유사도 및 상기 제2유사도에 가중치를 부여하여 상기 대응 영상의 유사성을 측정하는 제4단계(S140)를 포함하는 것을 특징으로 하는 대응 영상의 유사성 측정 방법이 제공될 수 있다. According to an aspect of the present invention, a first step of searching for a plurality of corresponding points existing between the corresponding image; A second step of generating a plurality of corresponding blocks including the corresponding points in the corresponding image, and comparing a color distribution of the corresponding blocks to calculate a first similarity indicating the degree of similarity between the corresponding blocks; A third step (S130) of generating overlap regions in which images overlap with each other among all regions of the corresponding image, and calculating a second similarity indicating a degree of similarity between the overlap regions by comparing color distributions of the overlap regions; And a fourth step (S140) of measuring the similarity of the corresponding image by assigning weights to the first similarity degree and the second similarity degree.
이 때, 상기 제1단계는, 특징량을 검출하는 단계; 검출된 상기 특징량을 매칭하여 제1매칭점을 도출하는 단계; 및 도출된 상기 제1매칭점에서 잘못된 매칭을 제거하여 제2매칭점을 도출하는 단계를 포함하는 것을 특징으로 할 수 있다. In this case, the first step may include: detecting a feature amount; Deriving a first matching point by matching the detected feature amounts; And deriving a second matching point by removing an incorrect matching from the derived first matching point.
또한, 상기 제2단계는, 상기 대응 영상 내에서 상기 대응점들을 포함하는 복수 개의 대응 블록을 생성하는 단계; 상기 대응 블록들의 R,G,B 컬러 세기값의 정규화된 평균을 산출하여 비교하는 단계; 상기 대응 블록들의 히스토그램을 산출하여 비교하는 단계; 및 상기 정규화된 평균 차이 및 상기 히스토그램 차이에 가중치를 부여하여 제1유사도를 산출하는 단계를 포함하는 것을 특징으로 할 수 있다.The second step may include generating a plurality of corresponding blocks including the corresponding points in the corresponding image; Calculating and comparing normalized averages of R, G, and B color intensity values of the corresponding blocks; Calculating and comparing histograms of the corresponding blocks; And calculating a first similarity by weighting the normalized mean difference and the histogram difference.
한편, 상기 제1유사도를 산출하는 단계는 하기 [수학식 1]에 따르는 것을 특징으로 할 수 있다. On the other hand, the step of calculating the first similarity may be characterized in that according to the following [Equation 1].
[수학식 1][Equation 1]
(여기에서, Sblock(i,j)는 제1유사도, Sc μ(i,j)는 대응 블록의 C 채널에서의 R,G,B 컬러 세기값의 정규화된 평균의 차이, dc k(Hi·Hj)는 상기 C 채널에서의 대응 영상의 히스토그램 차이, 상기 C 채널은 R, G, B 중에서 선택되는 하나의 채널, α1은 가중치임.)Where S block (i, j) is the first similarity, S c μ (i, j) is the difference in normalized mean of R, G, B color intensity values in the C channel of the corresponding block, d c k (H i · H j ) is the histogram difference of the corresponding image in the C channel, the C channel is one channel selected from R, G, B, α 1 is a weight.
또한, 상기 제3단계는, 상기 대응 영상의 전체 영역 중에서 영상이 서로 겹치는 겹침 영역을 생성하는 단계; 상기 겹침 영역들의 R,G,B 컬러 세기값의 정규화된 평균을 산출하여 비교하는 단계; 상기 겹침 영역들의 히스토그램을 산출하여 비교하는 단계; 및 상기 정규화된 평균 차이 및 상기 히스토그램 차이에 가중치를 부여하여 제2유사도를 산출하는 단계를 포함하는 것을 특징으로 할 수 있다. The third step may further include generating an overlapping region in which images overlap each other in the entire region of the corresponding image; Calculating and comparing a normalized average of R, G, and B color intensity values of the overlapped areas; Calculating and comparing histograms of the overlapped regions; And calculating a second similarity degree by weighting the normalized mean difference and the histogram difference.
이 때, 상기 제2유사도를 산출하는 단계는 하기 [수학식 2]에 따르는 것을 특징으로 할 수 있다. At this time, the step of calculating the second similarity may be characterized by the following [Equation 2].
[수학식 2]&Quot; (2) "
(여기에서, Simage(i,j)는 제2유사도, μc i, μc j는 i 또는 j 영상에서 C 채널에서의 R,G,B 컬러 세기값의 평균, σc i, σc j는 i 또는 j 영상에서 C 채널에서의 R,G,B 컬러 세기값의 표준편차, dc(Hi·Hj)는 상기 C 채널에서의 대응 영상의 히스토그램 차이, 상기 C 채널은 R,G,B 중에서 선택되는 하나의 채널, α2는 가중치임.)Where S image (i, j) is the second similarity, μ c i , μ c j is the mean of the R, G, B color intensity values in the C channel in the i or j image, σ c i , σ c j is the standard deviation of the R, G, B color intensity values in the C channel in the i or j image, d c (H i · H j ) is the histogram difference of the corresponding image in the C channel, the C channel is R, One channel selected from G and B, α 2 is a weight.)
또한, 상기 제4단계(S140)는 하기 [수학식 3] 및 [수학식 4]에 따르는 것을 특징으로 할 수 있다. In addition, the fourth step (S140) may be characterized in accordance with the following [Equation 3] and [Equation 4].
[수학식 3]&Quot; (3) "
(여기에서, Sblock(i,j)는 제1유사도, Simage(i,j)는 제2유사도, β는 가중치로 하기 수학식 4와 같이 정의됨.)(S block (i, j) is a first similarity, S image (i, j) is a second similarity, β is defined as a weight as shown in Equation 4 below.)
[수학식 4]&Quot; (4) "
(여기에서, OverlapRegioni는 영상 i에서의 겹침 영역이고, OverlapRegionj는 영상 j에서의 겹침 영역이고, Regioni(k)는 영상 i에서 k번째 블록 영역이고, Regionj(k)는 영상 j에서 k번째 블록 영역임.)Where OverlapRegion i is the overlap region in image i, OverlapRegion j is the overlap region in image j, Region i (k) is the k-th block region in image i, and region j (k) is in image j k block area.)
본 발명의 다른 측면에 의하면, 상술한 대응 영상의 유사성 측정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.According to another aspect of the present invention, a computer-readable recording medium having recorded thereon a program for executing the above-described similarity measurement method of a corresponding image on a computer may be provided.
본 발명의 실시예들은 대응 영상의 대응점을 특징량을 검출 및 매칭시켜 검색함으로써, 종래 기하학 정합을 사용할 경우보다 대응 정확성을 향상시킬 수 있다.The embodiments of the present invention can improve the accuracy of correspondence compared to the case of using the conventional geometric matching by detecting and matching the feature points of the corresponding images.
또한, 대응 영상 내에서 대응 블록 및 겹침 영역을 생성하고 각 경우에서의 유사성 정도를 산출한 후에 가중치를 부여하여 처리함으로써, 대응 영상의 유사성 신뢰도를 향상시킬 수 있다.In addition, the similarity reliability of the corresponding image may be improved by generating the corresponding block and the overlapped region in the corresponding image, calculating the similarity degree in each case, and then applying the weighted process.
도 1은 본 발명의 일 실시예에 따른 대응 영상의 유사성 측정 방법의 흐름도이다.
도 2는 도 1에서 제1단계를 세부적으로 나타내는 흐름도이다.
도 3은 코너점을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 검출한 결과를 나타내는 도면이다.
도 4는 불변 특징량을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 검출한 결과를 나타내는 도면이다.
도 5는 MSER을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 검출한 결과를 나타내는 도면이다.
도 6은 도 1에서 제2단계를 세부적으로 나타내는 흐름도이다.
도 7은 도 6에서 대응블록들을 비교하는 모습을 나타내는 도면이다.
도 8은 도 1에서 제3단계를 세부적으로 나타내는 흐름도이다.1 is a flowchart illustrating a method of measuring similarity of a corresponding image according to an embodiment of the present invention.
2 is a flowchart illustrating a first step in FIG. 1 in detail.
3 is a diagram illustrating a result of detecting a feature by using a feature detection method based on a corner point.
4 is a diagram illustrating a result of detecting a feature by using a feature detection method based on an invariant feature.
5 is a diagram illustrating a result of detecting a feature by using a feature detection method based on MSER.
6 is a flowchart illustrating a second step in FIG. 1 in detail.
FIG. 7 is a view illustrating a comparison of corresponding blocks in FIG. 6.
8 is a flowchart illustrating a third step in FIG. 1 in detail.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 설명하도록 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 대응 영상의 유사성 측정 방법(S100)의 흐름도이다. 1 is a flowchart of a method (S100) of measuring similarity of a corresponding image according to an embodiment of the present invention.
도 1을 참조하면, 대응 영상의 유사성 측정 방법(S100)은 대응 영상 간에 존재하는 대응점을 검색하는 제1단계(S110), 상기 대응 영상 내에서 복수 개의 대응 블록을 생성하고, 상기 대응 블록들의 컬러 분포를 비교하여 제1유사도를 산출하는 제2단계(S120), 상기 대응 영상의 전체 영역 중에서 겹침 영역을 생성하고, 상기 겹침 영역들의 컬러 분포를 비교하여 제2유사도를 산출하는 제3단계(S130) 및 제1유사도와 제2유사도에 가중치를 부여하여 상기 대응 영상의 유사성을 측정하는 제4단계(S140)를 포함한다. 이하에서는 각 단계에 대하여 상세히 설명하도록 한다.
Referring to FIG. 1, in the method of measuring similarity of a corresponding image (S100), a first step (S110) of searching for a corresponding point existing between corresponding images, generating a plurality of corresponding blocks in the corresponding image, and generating the color of the corresponding blocks. A second step (S120) of calculating a first similarity by comparing the distributions; a third step of generating an overlapping area among all areas of the corresponding image, and calculating a second similarity by comparing the color distribution of the overlapping areas (S130); And a fourth step (S140) of measuring similarity of the corresponding image by weighting the first similarity degree and the second similarity degree. Hereinafter, each step will be described in detail.
제1단계(The first step ( S110S110 ))
도 2는 도 1에서 제1단계(S110)를 세부적으로 나타내는 흐름도이다. 도 2를 참조하면, 대응 영상 간에 존재하는 복수 개의 대응점을 검색하기 위하여 우선적으로 특징량을 검출한다. FIG. 2 is a flowchart illustrating the first step S110 in FIG. 1 in detail. Referring to FIG. 2, a feature amount is first detected to search for a plurality of corresponding points existing between corresponding images.
여기에서 대응점이란 동일한 물체나 장면을 포함하는 다수의 영상에서 같은 물리적 위치에 있으면서 동일한 특징을 갖는 점들을 의미한다. 대응점을 검색하는 방법은 다양하게 존재할 수 있으나, 본 발명의 일 실시예에서는 대응 영상의 특징량을 추출하여 매칭시키는 방법을 사용함으로써, 기하학 정합을 이용하는 경우보다 대응 정확성을 향상시키는 것을 일 특징으로 한다. The correspondence point herein refers to points having the same characteristics while being at the same physical location in multiple images including the same object or scene. There may be various methods for searching for a corresponding point, but according to an embodiment of the present invention, a method for extracting and matching feature amounts of a corresponding image may be used to improve the accuracy of correspondence compared to the case of using geometric matching. .
한편, 특징량은 영상에서 특징(feature)이 되는 점(point)들을 의미하며, 대체로 영상에서의 코너점 또는 경계선에서 검출될 수 있다. On the other hand, the feature amount refers to the points (features) to be a feature in the image, and may be generally detected at corner points or boundary lines in the image.
특징량을 검출하는 방법은 다양할 수 있으며, 대응 영상에 따라 적절한 방법이 적어도 하나 이상 선택되어 수행 될 수 있다. 예를 들면, 특징량을 검출하기 위하여 코너점을 기반으로 하는 특징량 검출 방법이 수행 될 수 있고, 불변 특징량을 기반으로 하는 특징량 검출 방법이 수행 될 수 있다. 또는, MSER(Maximally Stable Color Region)을 기반으로 하는 특징량을 검출하는 것도 가능하다. The method for detecting the feature may vary, and at least one appropriate method may be selected and performed according to the corresponding image. For example, a feature amount detection method based on a corner point may be performed to detect a feature amount, and a feature amount detection method based on an invariant feature amount may be performed. Alternatively, it is also possible to detect a feature amount based on MSER (Maximally Stable Color Region).
상기 코너점을 기반으로 하는 특징량 검출 방법은 소위 해리스 코너 검출기라 불리는 것으로, 코너점이 양방향으로 곡률이 높다는 점에 착안하여 고유값과 코너응답함수를 이용하여 회전에 불변하는 특징을 찾는 검출 방법을 의미한다. 이와 같이 코너점을 기반으로 하는 특징량 검출 방법은 계산량이 작아 특징량 검출 속도가 빠르고, 코너점에서 특징점이 바로 추출될 확률이 높아 신뢰성이 높다는 장점이 있다. 도 3에는 코너점을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 검출한 결과를 나타내었다.The method for detecting a feature based on the corner point is called a Harris corner detector. A method of detecting a feature that is invariant to rotation by using an eigenvalue and a corner response function focuses on the fact that the corner point has a high curvature in both directions. it means. As such, the feature amount detection method based on the corner point has the advantage that the calculation amount is small and the feature rate detection speed is fast, and the feature point is directly extracted from the corner point, and thus the reliability is high. 3 shows a result of detecting a feature by using a feature detection method based on the corner point.
상기 불변 특징량을 기반으로 하는 특징량 검출 방법은 상기 코너점을 기반으로 하는 특징량 검출 방법이 영상의 스케일 변화 또는 회전 변화에 대응할 수 없으므로 이를 보완하는 역할을 할 수 있다. 상기 불변 특징량을 기반으로 하는 특징량 검출 방법은 영상내에서 대상 영역의 불변한 특징 또는 부분적으로 불변한 특징을 이용하여 특징량을 검출하는 방법으로 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), Harris-Laplace, GLOH(Gradient Location and Orientation Histogram)등과 같은 알고리즘이 이용될 수 있다. 도 4에는 불변 특징량을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 검출한 결과를 나타내었다. The feature amount detection method based on the invariant feature amount may serve to compensate for the feature amount detection method based on the corner point because it cannot correspond to the scale change or rotation change of the image. The feature detection method based on the invariant feature amount is a method of detecting a feature amount using an invariant feature or a partly invariant feature of a target region in an image, such as Scale Invariant Feature Transform (SIFT) and Speeded Up (SURF). Robust Features), Harris-Laplace, and GLOH (Gradient Location and Orientation Histogram) can be used. 4 shows a result of detecting a feature by using a feature detection method based on an invariant feature.
상기 MSER을 기반으로 하는 특징량 검출 방법은 불변 특징량을 기반으로 하는 특징량 검출 방법의 일종으로, 컬러가 유사한 영역을 찾아 컬러 블롭(color blob)을 형성하고 상기 컬러 볼롭에서 특징량을 추출하는 방법이다. 상기 MSER을 기반으로 하는 특징량 검출 방법은 영상이 균일한 영역을 많이 포함하고 있는 경우에도 특징량 검출이 가능하다는 장점이 있다. 도 5에는 MSER을 기반으로 하는 특징량 검출 방법을 이용하여 특징량을 검출한 결과를 나타내었다. 한편, 상술한 특징량 검출 방법들은 모두 공지된 것으로 상기 특징량 검출 방법들의 구체적인 알고리즘등 상세한 설명은 생략하기로 한다(이상 S111). The MSER-based feature variable detection method is a type of feature variable detection method based on an invariant feature amount. Way. The feature detection method based on the MSER has an advantage that the feature detection can be performed even when the image contains a large number of uniform areas. 5 shows a result of detecting a feature by using a feature detection method based on MSER. Meanwhile, the above-described feature detection methods are all known, and detailed descriptions such as specific algorithms of the feature detection methods will be omitted (S111).
다음으로, 검출된 상기 특징량을 매칭하여 제1매칭점을 도출한다. 특징량을 매칭하는 방법은 한정되지 않는다. 예를 들면, 특징량 매칭 방법으로 기술자 매칭(descriptor matching)을 이용할 수 있다. Next, the first matching point is derived by matching the detected feature amounts. The method of matching the feature amounts is not limited. For example, descriptor matching may be used as the feature matching method.
상기 기술자 매칭은 특징점 근처를 기술자로 기술한 다음, 대응 영상간의 가장 비슷한 기술자를 갖는 경우에 두 특징점을 매칭점으로 도출하는 방법을 의미한다. 상기 기술자 매칭을 수행하는 알고리즘으로는 예를 들면, SIFT(Scale Invariant Feature Transform)가 있으며, 상기 SIFT는 영상에서의 도함수(gradient)를 구하여 세부영역을 구성하고, 각 세부영역에서 픽셀들의 기울기 방향 히스토그램을 구분하여 전체 영역을 구성하는 방법을 사용한다. 상기 기술자 매칭은 공지된 것으로 상세한 설명은 생략하기로 한다(이상 S112).The descriptor matching refers to a method of describing a feature near a feature point as a descriptor and then deriving two feature points as matching points when the descriptors have the most similar descriptors between corresponding images. An algorithm for performing the descriptor matching is, for example, a Scale Invariant Feature Transform (SIFT), and the SIFT forms a detail region by obtaining a gradient in an image, and the gradient direction histogram of pixels in each detail region. Use the method of composing the whole area by separating them. The descriptor matching is well known and a detailed description thereof will be omitted (S112).
다음으로, 상기 제1매칭점에서 잘못된 매칭(아웃라이어, outlier)을 제거하여 제2매칭점을 도출한다. 상기 제2매칭점은 잘못된 매칭을 제거하여 최종적으로 얻어진 매칭점들을 의미하며, 상기 제2매칭점들이 대응점으로 결정된다. Next, a wrong matching (outlier, outlier) is removed from the first matching point to derive a second matching point. The second matching points refer to matching points finally obtained by removing erroneous matching, and the second matching points are determined as corresponding points.
잘못된 매칭을 제거하는 방법은 예를 들면, 호모그래피(homography)와 같은 기하학적 모델 및 RANSAC(Random Sample Consensus)와 같은 추정 방법론을 이용할 수 있다. 상기 호모그래피 및 RANSAC을 이용하여 잘못된 매칭을 제거하는 방법은 공지된 것인 바, 상세한 설명은 생략하기로 한다(이상 S113).
The method of eliminating false matching may use, for example, a geometric model such as homography and an estimation methodology such as Random Sample Consensus (RANSAC). The method of removing erroneous matching using the homography and RANSAC is well known, and a detailed description thereof will be omitted (S113).
제2단계(The second step ( S120S120 ))
도 6은 도 1에서 제2단계(S120)를 세부적으로 나타내는 흐름도이다.FIG. 6 is a flowchart illustrating a second step S120 in FIG. 1 in detail.
도 6을 참조하면, 제1유사도를 산출하기 위해서 대응 영상 내에서 복수 개의 대응 블록을 생성한다. 여기에서, 상기 대응 블록은 상기 대응 영상 내에서 대응점들을 포함하는 사각영역을 의미한다. 예를 들면, 도 7에서와 같이 대응 영상 내에서 복수 개의 대응 블록(사각형)을 생성하고 동일한 색으로 표시된 대응 블록들의 컬러 분포를 비교한다(이상 S121). Referring to FIG. 6, a plurality of corresponding blocks are generated in a corresponding image to calculate a first similarity. Here, the corresponding block means a rectangular area including corresponding points in the corresponding image. For example, as shown in FIG. 7, a plurality of corresponding blocks (squares) are generated in a corresponding image and color distributions of corresponding blocks displayed in the same color are compared (S121).
다음으로, 상기 대응 블록들의 R,G,B 컬러 세기값(intensity)의 정규화된 평균을 산출하여 비교한다. 상기 정규화된 평균을 산출하여 비교하는 것은 하기 [식 1]과 같이 표현될 수 있다. Next, a normalized average of R, G, and B color intensity values of the corresponding blocks is calculated and compared. Computing and comparing the normalized average may be expressed as in the following [Formula 1].
[식 1][Formula 1]
여기에서, μc ik, μc jk 는 각각 영상 i와 영상 j의 k번째 대응 블록의 C 채널에서의 R,G,B 컬러 세기값의 평균을 의미하고, σc ik, σc jk 는 각각 영상 i와 영상 j의 k번째 대응 블록의 C 채널에서의 R,G,B 컬러 세기값의 표준편차를 의미한다. 상기 C 채널은 R,G,B 중에서 선택되는 하나의 채널을 의미한다. Here, μ c ik and μ c jk mean the average of R, G, B color intensity values in the C channel of the k-th corresponding block of image i and image j, respectively, and σ c ik and σ c jk , respectively. The standard deviation of R, G, and B color intensity values in the C channel of the kth corresponding block of the image i and the image j. The C channel means one channel selected from R, G, and B.
상기 [식1]은 전체 블록에 대한 컬러 유사성을 산출하는 식으로, 평균을 표준편차로 나눈 정규화된 평균의 차이를 제곱한 후, 각 대응 블록에 대해서 합산하여 제곱근을 취한 형태이다(이상 S122). [Equation 1] is a formula for calculating the color similarity for the entire block, squared the difference of the normalized average divided by the standard deviation, and then summed for each corresponding block to take the square root (above S122). .
다음으로, 상기 대응 블록들의 히스토그램을 산출하여 비교한다. 여기에서, 히스토그램이란 화상(영상)의 각 농도 레벨에 대하여 상기 농도 레벨을 갖는 픽셀의 수 내지는 모든 픽셀 수에 대한 비율을 표시하는 함수를 의미한다. 상기 히스토그램을 산출하여 비교하는 것은 하기 [식 2]와 같이 표현될 수 있다. Next, a histogram of the corresponding blocks is calculated and compared. Here, the histogram means a function for displaying the ratio of the number of pixels having the density level or the number of all the pixels with respect to each density level of the image (image). Computing and comparing the histogram may be expressed as shown in [Equation 2].
[식 2][Formula 2]
여기에서, Hi, Hj는 대응되는 두 영역의 히스토그램을 의미하고, B는 bin의 수를 의미한다. 또한, hc i(l), hc j(l)은 각각 영상 i와 영상 j의 l번째 bin에서 C채널에 해당하는 히스토그램 값을 의미한다. 상기 C채널은 R,G,B 중에서 선택되는 하나의 채널을 의미한다. Here, H i and H j denote histograms of two corresponding regions, and B denote the number of bins. In addition, h c i (l) and h c j (l) mean histogram values corresponding to C channels in the l-th bin of the image i and the image j, respectively. The C channel means one channel selected from R, G, and B.
상기 [식2]는 상기 대응 블록의 유사성을 산출하는 식으로, 히스토그램 차이에 절대값을 취하여 각 bin에 대하여 합산한 형태이다. 한편, 상기 대응 블록 수(N)를 최소 50이상으로 이용할 경우, 상기 bin의 크기는 5로 지정할 수 있다. [Equation 2] is a formula for calculating the similarity of the corresponding block, taking the absolute value of the histogram difference and adds the bins. On the other hand, when the number of the corresponding blocks (N) is at least 50, the size of the bin can be set to 5.
또한, 상기 히스토그램을 산출하여 비교하기 위하여 상기 [식2] 이외에도 다양한 방법이 이용될 수 있다. 예를 들면, χ2(chi-square) 거리나, Kolmogorov-Smirnov 거리와 같은 비계수적인 비교 방법, Kullback-Liebler(KL) 거리와 같은 정보이론을 이용한 비교 방법, EMD(Earth Movers Distance)와 같은 그라운드 거리 측정이 이용되는 것이 가능하다. 상기 방법들은 공지의 것으로 상세한 설명은 생략하도록 한다(이상 S123). In addition, various methods may be used in addition to Equation 2 to calculate and compare the histogram. For example, non-coefficient comparison methods such as χ 2 (chi-square) distance, Kolmogorov-Smirnov distance, comparison methods using information theory such as Kullback-Liebler (KL) distance, and Earth Movers Distance (EMD). It is possible that ground distance measurements are used. The above methods are well known and detailed descriptions thereof will be omitted (S123).
다음으로, 상기 정규화된 평균 차이 및 상기 히스토그램 차이에 가중치를 부여하여 제1유사도를 산출한다. 상기 제1유사도는 하기 [식 3]과 같이 표현될 수 있다. Next, a first similarity is calculated by weighting the normalized mean difference and the histogram difference. The first similarity may be expressed as shown in Equation 3 below.
[식 3][Equation 3]
여기에서, Sblock(i,j)는 제1유사도, Sc μ(i,j)는 대응 블록의 C 채널에서의 R,G,B 컬러 세기값의 정규화된 평균의 차이를 나타내고, dc k(Hi·Hj)는 상기 C 채널에서의 대응 영상의 히스토그램 차이를 나타낸다. 상기 C 채널은 R, G, B 중에서 선택되는 하나의 채널을 의미한다. 한편, α1은 가중치로 상기 정규화된 평균 차이 및 상기 히스토그램 차이의 비중에 따라 달리 설정될 수 있으며, 기본값은 0.5로 설정될 수 있다(이상 S124).
Here, S block (i, j) is the first similarity, S c μ (i, j) is the difference between the normalized mean of the R, G, B color intensity values in the C channel of the corresponding block, d c k (H i · H j ) represents the histogram difference of the corresponding image in the C channel. The C channel means one channel selected from R, G, and B. On the other hand, α 1 may be set differently according to the weighted weights of the normalized mean difference and the histogram difference as a weight, and the default value may be set to 0.5 (or more S124).
제3단계(The third step ( S130S130 ))
도 8은 도 1에서 제3단계(S130)를 세부적으로 나타내는 흐름도이다. FIG. 8 is a flowchart illustrating a third step S130 in detail in FIG. 1.
도 8을 참조하면, 제2유사도를 산출하기 위해서 상기 대응 영상의 전체 영역 중에서 영상이 서로 겹치는 겹침 영역을 생성한다. 여기에서, 겹침 영역은 예를 들어, 대응 영상인 영상 1과 영상 2가 있다고 가정할 때, 상기 영상 1에서 상기 영상 2로 겹쳐지는 영역이 존재하고 상기 영상 2에서 상기 영상 1로 겹쳐지는 영역이 존재하는데, 이러한 상기 영역을 의미한다.Referring to FIG. 8, in order to calculate a second similarity level, overlapping regions in which images overlap each other are generated among all regions of the corresponding image. Here, the overlapped region is, for example, assuming that there is a corresponding image, Image 1 and Image 2, there is a region overlapping from the image 1 to the image 2 and the region overlapping from the image 2 to the image 1 Present, meaning such region.
이는 상기 대응 블록의 컬러 비교만으로는 영상 내의 다양한 컬러 분포를 포함하지 못할 수 있기 때문에, 상기 대응 영상의 전체 영역에 대해서 컬러 비교를 수행하기 위함이다. 다만, 대응 영상 간의 겹치는 부분은 영상 내의 일부분일 수 있으므로, 상술한 것과 같이 겹침 영역을 생성하여 상기 겹침 영역에 대해서만 유사성을 측정할 경우 보다 간단하면서도 동일한 결과를 얻을 수 있다. This is because color comparison of the corresponding block may not include various color distributions in the image, so that color comparison is performed on the entire area of the corresponding image. However, since the overlapping portion between the corresponding images may be a portion in the image, as described above, when the overlap region is generated and the similarity is measured only with respect to the overlapping region, the same result can be obtained.
상기 겹침 영역을 생성하는 방법은 예를 들면, 영상 i의 모든 점을 호모그래피를 이용해서 영상 j로 옮기면, 상기 영상 j 안에 존재하는 점들이 상기 겹침 영역이 될 수 있다. 반대로, 영상 j에서의 모든 점을 영상 i로 옮기는 경우에 상기 영상 i 안에 존재하는 점들이 상기 겹침 영역이 될 수 있다(이상, S131).In the method of generating the overlap region, for example, when all the points of the image i are moved to the image j using homography, the points existing in the image j may be the overlap regions. On the contrary, when all the points in the image j are moved to the image i, the points existing in the image i may become the overlapping region (S131).
다음으로, 상기 겹침 영역들의 R,G,B 컬러 분포값의 정규화된 평균을 산출하여 비교하고, 상기 겹침 영역들의 히스토그램을 산출하여 비교한다. 이는 상기 제2단계(S120)에서 설명한 것과 동일 또는 유사하므로 중복 설명은 생략하기로 한다(이상 S132 및 S133).Next, a normalized average of R, G, and B color distribution values of the overlapped areas is calculated and compared, and a histogram of the overlapped areas is calculated and compared. Since this is the same as or similar to that described in the second step (S120), duplicate description will be omitted (S132 and S133).
다음으로, 상기 겹침 영역들의 상기 정규화된 평균 차이 및 상기 히스토그램 차이에 가중치를 부여하여 제2유사도를 산출한다. 상기 제2유사도는 하기 [식 4]와 같이 표현될 수 있다.Next, a second similarity is calculated by weighting the normalized mean difference and the histogram difference of the overlap regions. The second similarity may be expressed as shown in Equation 4 below.
[식 4][Formula 4]
여기에서, Simage(i,j)는 제2유사도, μc i, μc j는 i 또는 j 영상에서 C 채널에서의 R,G,B 컬러 세기값의 평균을 나타내고, σc i, σc j는 i 또는 j 영상에서 C 채널에서의 R,G,B 컬러 세기값의 표준편차를 나타낸다. 또한, dc(Hi·Hj)는 상기 C 채널에서의 대응 영상의 히스토그램 차이를 나타내고(상기 C 채널은 R,G,B 중 하나의 채널을 의미함), α2는 가중치이다. α2는 상기 정규화된 평균 차이 및 상기 히스토그램 차이의 비중에 따라 달리 설정될 수 있으며, 기본값은 0.5로 설정될 수 있다(이상 S134).
Here, S image (i, j) is the second similarity, μ c i , μ c j represents the average of the R, G, B color intensity values in the C channel in the i or j image, σ c i , σ c j represents the standard deviation of the R, G, B color intensity values in the C channel in the i or j image. Also, d c (H i · H j ) represents the histogram difference of the corresponding image in the C channel (the C channel means one of R, G, and B), and α 2 is a weight. α 2 may be set differently according to the normalized mean difference and the specific gravity of the histogram difference, and the default value may be set to 0.5 (or more, S134).
제4단계(Step 4 ( S140S140 ))
다음으로, 상기 제2단계(S120) 및 제3단계(S130)에서 산출되는 상기 제1유사도 및 제2유사도에 가중치를 부여하여 상기 대응 영상의 유사성을 측정한다. 즉, 상기 대응 영상의 유사성은 대응 블록에 기반하여 측정된 제1유사도와 겹침 영역에 기반하여 측정된 제2유사도의 합으로 이루어지며, 하기 [식 5]와 같이 표현될 수 있다. Next, the similarity of the corresponding image is measured by weighting the first similarity degree and the second similarity degree calculated in the second step S120 and the third step S130. That is, the similarity of the corresponding image is made up of the sum of the first similarity measured based on the corresponding block and the second similarity measured based on the overlapping region, and can be expressed as shown in Equation 5 below.
[식 5][Formula 5]
여기에서, Sblock(i,j)는 제1유사도이고, Simage(i,j)는 제2유사도, β는 가중치에 해당한다. 또한, 상기 가중치 β는 하기 [식 6]에 의해 결정될 수 있다. Here, S block (i, j) is a first similarity, S image (i, j) is a second similarity, and β corresponds to a weight. In addition, the weight β may be determined by Equation 6 below.
[식 6][Formula 6]
여기에서, OverlapRegioni는 영상 i에서의 겹침 영역을 나타내고, OverlapRegionj는 영상 j에서의 겹침 영역을 나타낸다. 또한, Regioni(k)는 영상 i에서 k번째 블록 영역이고, Regionj(k)는 영상 j에서 k번째 블록 영역을 나타낸다. 즉, 상기 가중치 β는 영상 i 및 j에서의 각 블록 영역의 합집합 영역의 전체 겹침 영역에 대한 비율에 의하여 결정된다. 한편, 파라미터인 0.1, 0.4는 영상 조건, 환경 조건등에 따라 변경하는 것도 가능하다(이상 S140). Here, OverlapRegion i represents an overlap region in the image i, and OverlapRegion j represents an overlap region in the image j. In addition, Region i (k) represents a k-th block region in the image i, and Region j (k) represents a k-th block region in the image j. That is, the weight β is determined by the ratio of the total overlapping area of the union area of each block area in the images i and j. On the other hand, the parameters 0.1 and 0.4 can also be changed according to the video condition, environmental condition, etc. (above S140).
상술한 본 발명에 따른 대응 영상의 유사성 측정 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록메체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 대응 영상의 유사성 측정 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The similarity measuring method of the corresponding image according to the present invention described above may be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the similarity measuring method of the corresponding image may be easily inferred by programmers in the art to which the present invention belongs.
상술한 바와 같이, 본 발명의 실시예들은 대응 영상의 대응점을 특징량을 검출 및 매칭시켜 검색함으로써, 종래 기하학 정합을 사용할 경우보다 대응 정확성을 향상시킬 수 있다. 또한, 대응 영상 내에서 대응 블록 및 겹침 영역을 생성하고 각 경우에서의 유사성 정도를 산출한 후에 가중치를 부여하여 처리함으로써, 대응 영상의 유사성 신뢰도를 향상시킬 수 있다.As described above, embodiments of the present invention can improve the accuracy of correspondence compared to the case of using the conventional geometric matching by detecting and matching the feature points of the corresponding images. In addition, the similarity reliability of the corresponding image may be improved by generating the corresponding block and the overlapped region in the corresponding image, calculating the similarity degree in each case, and then applying the weighted process.
이상, 본 발명의 실시예들에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, many modifications and changes may be made by those skilled in the art without departing from the spirit and scope of the invention as defined in the appended claims. The present invention can be variously modified and changed by those skilled in the art, and it is also within the scope of the present invention.
Claims (8)
상기 대응 영상들에서 각각의 상기 대응점을 포함하는 각각의 대응 블록들을 생성하고, 상기 대응 블록들의 컬러 분포를 비교하여 상기 대응 블록들의 유사성 정도를 나타내는 제1유사도를 산출하는 제2단계(S120);
상기 대응 영상들의 전체 영역 중에서 상기 대응 영상들 사이에서 서로 겹치는 영상인 겹침 영역을 생성하고, 상기 겹침 영역들의 컬러 분포를 비교하여 상기 겹침 영역들의 유사성 정도를 나타내는 제2유사도를 산출하는 제3단계(S130); 및
상기 제1유사도 및 상기 제2유사도에 가중치를 부여하여 상기 대응 영상의 유사성을 측정하는 제4단계(S140)를 포함하고,
상기 제1 단계(S110)는 상기 대응 영상들에서 코너점 또는 경계선과 같이 특징을 갖는 특징량을 검출하는 단계(S111);
검출된 상기 특징량을 매칭하여 제1매칭점을 도출하는 단계(S112); 및
도출된 상기 제1매칭점에서 호모그래피(homography)에 기반한 RANSAC(Random Sample Consensus)를 이용하여 잘못된 매칭인 아웃라이어(outlier)를 제거하여 제2매칭점을 도출하는 단계(S113)를 포함하는 것을 특징으로 하는 대응 영상의 유사성 측정 방법.A first step (S110) of searching for a plurality of corresponding points having the same feature while having the same physical location in the corresponding images including the reference image and the comparison image including the same object or scene;
A second step (S120) of generating respective corresponding blocks including each corresponding point in the corresponding images, and comparing a color distribution of the corresponding blocks to calculate a first similarity degree representing the degree of similarity between the corresponding blocks;
A third step of generating an overlap region which is an image overlapping each other among the corresponding images among all the corresponding images, and calculating a second similarity indicating the degree of similarity between the overlap regions by comparing the color distribution of the overlap regions; S130); And
A fourth step (S140) of measuring similarity of the corresponding image by weighting the first similarity degree and the second similarity degree,
The first step (S110) may include detecting a feature amount having a characteristic such as a corner point or a boundary line in the corresponding images (S111);
Deriving a first matching point by matching the detected feature amounts (S112); And
And a step of deriving a second matching point by removing an outlier that is a wrong match using random sample consensus (RANSAC) based on homography in the derived first matching point (S113). A method of measuring similarity of a corresponding video characterized by the above-mentioned.
상기 제2단계(S120)는,
상기 대응 영상 내에서 상기 대응점들을 포함하는 복수 개의 대응 블록을 생성하는 단계(S121);
상기 대응 블록들의 R,G,B 컬러 세기값(intensity)의 정규화된 평균을 산출하여 비교하는 단계(S122);
상기 대응 블록들의 히스토그램을 산출하여 비교하는 단계(S123); 및
상기 정규화된 평균 차이 및 상기 히스토그램 차이에 가중치를 부여하여 제1유사도를 산출하는 단계(S124)를 포함하는 것을 특징으로 하는 대응 영상의 유사성 측정 방법.The method of claim 1,
The second step (S120),
Generating a plurality of corresponding blocks including the corresponding points in the corresponding image (S121);
Calculating and comparing a normalized average of R, G, and B color intensity values of the corresponding blocks (S122);
Calculating and comparing histograms of the corresponding blocks (S123); And
And calculating a first similarity by weighting the normalized mean difference and the histogram difference (S124).
상기 제1유사도를 산출하는 단계(S124)는 하기 [수학식 1]에 따르는 것을 특징으로 하는 대응 영상의 유사성 측정 방법.
[수학식 1]
(여기에서, Sblock(i,j)는 제1유사도, Sc μ(i,j)는 대응 블록의 C 채널에서의 R,G,B 컬러 세기값의 정규화된 평균의 차이, dc k(Hi·Hj)는 상기 C 채널에서의 대응 영상의 히스토그램 차이, N은 히스토그램에서의 Bin(계급 또는 관측값)의 전체 개수, 상기 C 채널은 R, G, B 중에서 선택되는 하나의 채널, α1은 가중치임.)
The method of claim 3, wherein
The calculating of the first similarity (S124) may be performed according to Equation 1 below.
[Equation 1]
Where S block (i, j) is the first similarity, S c μ (i, j) is the difference in normalized mean of R, G, B color intensity values in the C channel of the corresponding block, d c k (H i · H j ) is the histogram difference of the corresponding image in the C channel, N is the total number of bins (class or observation) in the histogram, the C channel is one channel selected from R, G, B , α 1 is the weight.)
상기 제3단계(S130)는,
상기 대응 영상들의 전체 영역 중에서 상기 대응 영상들 사이에서 서로 겹치는 영상인 겹침 영역을 생성하는 단계(S131);
상기 겹침 영역들의 R,G,B 컬러 세기값(intensity)의 정규화된 평균을 산출하여 비교하는 단계(S132);
상기 겹침 영역들의 히스토그램을 산출하여 비교하는 단계(S133); 및
상기 정규화된 평균 차이 및 상기 히스토그램 차이에 가중치를 부여하여 제2유사도를 산출하는 단계(S134)를 포함하는 것을 특징으로 하는 대응 영상의 유사성 측정 방법.
5. The method of claim 4,
The third step (S130),
Generating an overlapping region which is an image overlapping each other among the corresponding images among the entire areas of the corresponding images (S131);
Calculating and comparing a normalized average of R, G, and B color intensity values of the overlapped areas (S132);
Calculating and comparing histograms of the overlapped regions (S133); And
And calculating a second similarity by weighting the normalized average difference and the histogram difference (S134).
상기 제2유사도를 산출하는 단계(S134)는 하기 [수학식 2]에 따르는 것을 특징으로 하는 대응 영상의 유사성 측정 방법.
[수학식 2]
(여기에서, Simage(i,j)는 제2유사도, μc i, μc j는 i 또는 j 영상에서 C 채널에서의 R,G,B 컬러 세기값의 평균, σc i, σc j는 i 또는 j 영상에서 C 채널에서의 R,G,B 컬러 세기값의 표준편차, dc(Hi·Hj)는 상기 C 채널에서의 대응 영상의 히스토그램 차이, 상기 C 채널은 R,G,B 중에서 선택되는 하나의 채널, α2는 가중치임.)
6. The method of claim 5,
The calculating of the second similarity (S134) may be performed according to Equation 2 below.
&Quot; (2) "
Where S image (i, j) is the second similarity, μ c i , μ c j is the mean of the R, G, B color intensity values in the C channel in the i or j image, σ c i , σ c j is the standard deviation of the R, G, B color intensity values in the C channel in the i or j image, d c (H i · H j ) is the histogram difference of the corresponding image in the C channel, the C channel is R, One channel selected from G and B, α 2 is a weight.)
상기 제4단계(S140)는 하기 [수학식 3] 및 [수학식 4]에 따르는 것을 특징으로 하는 대응 영상의 유사성 측정 방법.
[수학식 3]
(여기에서, Sblock(i,j)는 제1유사도, Simage(i,j)는 제2유사도, β는 가중치로 하기 수학식 4와 같이 정의됨.)
[수학식 4]
(여기에서, OverlapRegioni는 영상 i에서의 겹침 영역이고, OverlapRegionj는 영상 j에서의 겹침 영역이고, Regioni(k)는 영상 i에서 k번째 블록 영역이고, Regionj(k)는 영상 j에서 k번째 블록 영역이고, N은 각 영상에서의 전체 영역의 개수임.)
The method according to claim 6,
The fourth step (S140) is a method for measuring similarity of the corresponding image, characterized in that according to the following [Equation 3] and [Equation 4].
&Quot; (3) "
(S block (i, j) is a first similarity, S image (i, j) is a second similarity, β is defined as a weight as shown in Equation 4 below.)
&Quot; (4) "
Where OverlapRegion i is the overlap region in image i, OverlapRegion j is the overlap region in image j, Region i (k) is the k-th block region in image i, and region j (k) is in image j k is the block area, and N is the total number of areas in each image.)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110065974A KR101304311B1 (en) | 2011-07-04 | 2011-07-04 | Method for measuring similarity of corresponding image and recording medium thereof |
| US13/288,477 US8620070B2 (en) | 2011-05-31 | 2011-11-03 | Corresponding image processing method for compensating colour |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110065974A KR101304311B1 (en) | 2011-07-04 | 2011-07-04 | Method for measuring similarity of corresponding image and recording medium thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130004732A KR20130004732A (en) | 2013-01-14 |
| KR101304311B1 true KR101304311B1 (en) | 2013-09-11 |
Family
ID=47836261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110065974A KR101304311B1 (en) | 2011-05-31 | 2011-07-04 | Method for measuring similarity of corresponding image and recording medium thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101304311B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116758165B (en) * | 2023-06-20 | 2024-01-30 | 北京拙河科技有限公司 | Image calibration method and device based on array camera |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000076565A (en) * | 1999-01-29 | 2000-12-26 | 구자홍 | System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination |
| JP2005173840A (en) * | 2003-12-09 | 2005-06-30 | Canon Inc | Device and method for image-corresponding point extraction |
-
2011
- 2011-07-04 KR KR1020110065974A patent/KR101304311B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000076565A (en) * | 1999-01-29 | 2000-12-26 | 구자홍 | System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination |
| JP2005173840A (en) * | 2003-12-09 | 2005-06-30 | Canon Inc | Device and method for image-corresponding point extraction |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130004732A (en) | 2013-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11715227B2 (en) | Information processing apparatus, control method, and program | |
| CN108932496B (en) | Method and device for counting number of target objects in area | |
| US9824294B2 (en) | Saliency information acquisition device and saliency information acquisition method | |
| US8620070B2 (en) | Corresponding image processing method for compensating colour | |
| US10216979B2 (en) | Image processing apparatus, image processing method, and storage medium to detect parts of an object | |
| US9070042B2 (en) | Image processing apparatus, image processing method, and program thereof | |
| CN110546651B (en) | Method, system and computer readable medium for identifying objects | |
| US20130155235A1 (en) | Image processing method | |
| KR101917515B1 (en) | Object recognition apparatus, objection recognition method, and program | |
| CN108268823B (en) | Target re-identification method and device | |
| CN107578424B (en) | Dynamic background difference detection method, system and device based on space-time classification | |
| JP5262705B2 (en) | Motion estimation apparatus and program | |
| JP6589144B2 (en) | Posture estimation method and posture estimation apparatus | |
| CN111340749A (en) | Image quality detection method, device, equipment and storage medium | |
| CN110942473A (en) | Moving target tracking detection method based on characteristic point gridding matching | |
| CN110889817B (en) | Image fusion quality evaluation method and device | |
| Magnier | Edge detection evaluation: A new normalized figure of merit | |
| JP2010277431A (en) | Object detection device | |
| CN109074643B (en) | Orientation-based object matching in images | |
| KR101304311B1 (en) | Method for measuring similarity of corresponding image and recording medium thereof | |
| JP7243372B2 (en) | Object tracking device and object tracking method | |
| CN107067411B (en) | Mean-shift tracking method combined with dense features | |
| WO2017179728A1 (en) | Image recognition device, image recognition method, and image recognition program | |
| KR101227936B1 (en) | Method for compensating colour of corresponding image and recording medium thereof | |
| JP2017182600A (en) | Article recognition apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170512 Year of fee payment: 4 |
|
| R401 | Registration of restoration | ||
| FPAY | Annual fee payment |
Payment date: 20170804 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190610 Year of fee payment: 7 |