KR100930286B1 - Cost function calculation method and hidden region processing method for variance estimation - Google Patents

Cost function calculation method and hidden region processing method for variance estimation Download PDF

Info

Publication number
KR100930286B1
KR100930286B1 KR1020070136756A KR20070136756A KR100930286B1 KR 100930286 B1 KR100930286 B1 KR 100930286B1 KR 1020070136756 A KR1020070136756 A KR 1020070136756A KR 20070136756 A KR20070136756 A KR 20070136756A KR 100930286 B1 KR100930286 B1 KR 100930286B1
Authority
KR
South Korea
Prior art keywords
cost function
pixels
function
resolution
pixel
Prior art date
Application number
KR1020070136756A
Other languages
Korean (ko)
Other versions
KR20090068943A (en
Inventor
손광훈
민동보
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020070136756A priority Critical patent/KR100930286B1/en
Publication of KR20090068943A publication Critical patent/KR20090068943A/en
Application granted granted Critical
Publication of KR100930286B1 publication Critical patent/KR100930286B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리 방법이 개시된다. 개시된 방법은 적어도 둘 이상의 영상에 대한 픽셀 당 비용함수를 연산하는 단계; 상기 연산된 픽셀 당 비용함수, 인접하는 이웃 픽셀과의 화소값의 차이 및 최적 비용 함수의 차이를 파라미터로 하는 에너지 함수를 설정하는 단계; 상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계를 포함한다. Disclosed are a cost function calculation method and a masked area processing method for variance estimation. The disclosed method includes computing a cost function per pixel for at least two images; Setting an energy function whose parameters are a calculated cost function per pixel, a difference in pixel values from adjacent neighboring pixels, and a difference in an optimal cost function; Calculating an optimal cost function that minimizes the value of the set energy function.

Description

변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리 방법{Method for Calculating Cost Function and Handling Occluded area in Disparity Estimation} Method for Calculating Cost Function and Handling Occluded area in Disparity Estimation}

본 발명은 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리 방법에 관한 것으로서 더욱 상세하게는 보다 정확하고 빠르게 변이 추정을 하기 위한 비용 함수 연산 방법 및 가려진 영역 처리 방법에 관한 것이다. The present invention relates to a method of calculating a cost function and a method for processing a masked region in the estimation of a variation, and more particularly, to a method of calculating the cost function and a method for processing a masked region for more accurate and faster variation estimation.

변이 추정은 두 개 이상의 카메라를 이용해 정보를 얻고 이 정보를 이용하여 영상의 깊이 정보를 추정하는 일련의 과정을 의미한다. Disparity estimation refers to a process of obtaining information using two or more cameras and using this information to estimate depth information of an image.

도 1은 변이 추정을 위한 스테레오 구조를 도시한 도면이다. 1 illustrates a stereo structure for disparity estimation.

도 1을 참조하면, C1 및 C2는 각각 렌즈 중심을 나타내고, b는 베이스라인, f는 렌즈와 영상 평면간의 초점 거리를 나타낸다. 3차원 물체의 한 점 W는 렌즈 중심을 통해 각각 p와q에 나타나며, f와 b의 값에 따라 3차원 위치가 정해진다. 변이값 d는 d1와 d2의 차이로 정의되며, 다음의 수학식 1과 같이 표현된다. Referring to FIG. 1, C 1 and C 2 each represent a lens center, b represents a baseline, and f represents a focal length between the lens and the image plane. One point W of the three-dimensional object appears at p and q through the lens center, and the three-dimensional position is determined according to the values of f and b. The variation value d is defined as the difference between d 1 and d 2 , and is represented by Equation 1 below.

Figure 112007092804453-pat00001
Figure 112007092804453-pat00001

위 수학식 1에서, d1와 d2는 렌즈 중심과 픽셀 p와 픽셀 q와의 x축 거리를 나타내고, px, qx는 각 픽셀에 대한 x축상의 좌표값을 각각 나타낸다. b와 초점거리 f를 상수라고 볼 때 깊이 Z와 변이값 d는 반비례 관계임을 알 수 있으며 변이값을 통해 영상의 깊이 정보를 획득할 수 있다. In Equation 1, d1 and d2 represent the x-axis distance between the lens center and the pixel p and the pixel q, and px and qx represent coordinate values on the x-axis for each pixel. When b and the focal length f are constants, it can be seen that the depth Z and the disparity value d are inversely related, and the depth information of the image can be obtained through the disparity value.

변이를 추정하는 과정은 상당히 많은 계산량을 요구하며 단순화를 위해 여러 가지 제약 조건이 이용되고 있다. 예를 들어, 엘리폴라 제약, 유일성 제약, 연속성 제약 등과 같은 제약 조건이 이용된다. The process of estimating the variation requires quite a bit of computation and several constraints are used to simplify it. For example, constraints such as ellipolar constraints, uniqueness constraints, continuity constraints and the like are used.

변이 추정은 크게 국부 방식과 전역 방식으로 분류될 수 있다. 국부 방식은 속도가 빠르다는 장점이 있으나 정확성이 떨어지고, 반대로 전역 방식은 정확도는 뛰어나지만 연산 속도가 느리다는 단점이 있다. 최근 전역 방식의 단점인 속도를 개선하기 위한 알고리즘들의 연구가 활발히 진행중이고 그래프 컷을 이용한 스테레오 정합이나 확률 모델에 근거한 신뢰 확산 알고리즘 등이 제안되었다. Variation estimation can be largely divided into local and global methods. The local method has the advantage that it is fast, but the accuracy is inferior. On the contrary, the global method has the high accuracy but the slow operation speed. Recently, researches on algorithms to improve speed, which are disadvantages of global methods, have been actively conducted, and confidence matching algorithms based on stereo matching or probability models using graph cuts have been proposed.

근래에 들어, 영상 처리의 문제는 에너지 최소화로 접근하고 있다. 이러한 접근 방식은 요구되는 문제에 적절한 에너지 함수를 정의하고 이 에너지를 최소화시키는 변수를 추정하는 것이 주된 작업이다. In recent years, the problem of image processing is approaching energy minimization. In this approach, the main task is to define an appropriate energy function for the problem at hand and to estimate the variables that minimize this energy.

영상 처리에 있어서, 모든 픽셀에는 레이블이 할당되며, 레이블을 할당하는 과정을 레이블 과정이라 한다. 변이 추정 시 레이블은 변이값에 해당된다. 다시 말해, 레이블링 과정이란 모든 픽셀에 변이값을 할당하는 과정이고 정의된 에너지를 최소화시키는 레이블 과정을 찾는 것이 최대 목표라 할 수 있다. In image processing, every pixel is assigned a label, and the process of assigning a label is called a label process. In the estimation of variation, the label corresponds to the variation value. In other words, the labeling process is a process of assigning a variation value to every pixel, and the biggest goal is to find a labeling process that minimizes the defined energy.

변이 추정 과정은 스테레오 영상으로부터 픽셀 차를 획득하는 과정과 픽셀차를 이용하여 비용 함수를 연산하는 과정 및 비용 함수를 이용한 최적화 과정을 통해 최종적인 변이를 연산하는 과정으로 이루어지는 것이 일반적이다. The disparity estimation process generally includes a process of obtaining a pixel difference from a stereo image, a process of calculating a cost function using the pixel difference, and a process of calculating a final disparity through an optimization process using the cost function.

효과적인 변이 추정을 위해 비용 함수에 대한 다양한 알고리즘이 제시되어 있으나 종래의 방식은 주변 픽셀의 정보를 효율적으로 활용하지 못하고 많은 계산량으로 인해 처리가 늦어지는 문제점이 있었다. Various algorithms for cost functions have been proposed for effective variation estimation, but the conventional method has a problem in that processing is delayed due to a large amount of calculation and inefficient utilization of information of neighboring pixels.

한편, 스테레오 영상에 대한 변이 추정 시 각 영상에서 가려진 픽셀에 대한 처리도 중요한 이슈이다. On the other hand, processing of pixels hidden in each image is also an important issue when estimating the variation of a stereo image.

스테레오 영상에서 어느 한 영상에만 존재하는 영역의 픽셀에 대해서는 변이 정보가 존재하지 않으므로 적절한 변이값을 할당하여야 한다. 또한, 스테레오 영상에서 적절하게 가려진 영역을 검출하는 것도 문제가 된다. Since the disparity information does not exist for the pixel of the region existing in only one image in the stereo image, an appropriate disparity value should be assigned. In addition, it is also a problem to detect a region that is properly covered in the stereo image.

종래에 있어서, 가려진 영역을 검출하기 위해 좌영상과 우영상을 서로 체크하는 크로스 체킹 방식이 이용되었다. 이러한 크로스 체킹 방식은 많은 계산량을 요구하고 처리가 늦어지는 문제점이 있었다.  In the related art, a cross checking method of checking a left image and a right image with each other has been used to detect an obscured area. This cross-checking method requires a large amount of computation and has a problem of slow processing.

또한, 종래에는 검출된 가려진 영역의 픽셀에 대해 미리 지정된 값이 부여되었으나, 이러한 미리 지정된 값을 부여하는 것은 변이 추정 시의 오류 중 하나로 작용하였다. In addition, in the past, a predetermined value is given to the pixels of the detected hidden region, but assigning such a predetermined value serves as one of errors in the estimation of the variation.

상기한 바와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명에서는 변이 추정 시 주변 픽셀의 정보를 보다 효율적으로 활용한 최적의 비용 함수를 획득하기 위한 방법을 제안하고자 한다. In order to solve the problems of the prior art as described above, the present invention proposes a method for obtaining an optimal cost function that utilizes the information of the surrounding pixels more efficiently when the variation is estimated.

본 발명의 다른 목적은 계산량을 감소시킴으로써 보다 빠른 시간에 비용함수를 획득하기 위한 방법을 제안하는 것이다. . Another object of the present invention is to propose a method for obtaining a cost function at a faster time by reducing the amount of computation. .

본 발명의 또 다른 목적은 변이 추정 시에 가려진 영역의 픽셀을 보다 효율적으로 검출하기 위한 방법을 제안하는 것이다. It is still another object of the present invention to propose a method for more efficiently detecting pixels of a region covered by the variation estimation.

본 발명의 또 다른 목적은 주변 픽셀의 정보를 이용하여 가려진 영역에 적절한 변이를 할당하는 방법을 제안하는 것이다. It is still another object of the present invention to propose a method of allocating an appropriate mutation to an area covered by using information of surrounding pixels.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 적어도 둘 이상의 영상에 대한 픽셀 당 비용함수를 연산하는 단계; 상기 연산된 픽셀 당 비용함수, 인접하는 이웃 픽셀과의 화소값의 차이 및 최적 비용 함수의 차이를 파라미터로 하는 에너지 함수를 설정하는 단계; 상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계를 포함하는 변이 추정 시 최적 비용 함수 연산 방법이 제공된다. In order to achieve the above object, according to an aspect of the present invention, the step of calculating the cost function per pixel for at least two or more images; Setting an energy function whose parameters are a calculated cost function per pixel, a difference in pixel values from adjacent neighboring pixels, and a difference in an optimal cost function; An optimal cost function calculation method is provided, which comprises calculating an optimal cost function that minimizes the value of the set energy function.

상기 인접하는 픽셀과 해당 픽셀간의 픽셀 포인트 차이는 2 이상인 것이 바람직하다. Preferably, the pixel point difference between the adjacent pixel and the pixel is two or more.

상기 에너지 함수 e(E)는 다음의 수학식과 같이 설정된다. The energy function e (E) is set as in the following equation.

Figure 112007092804453-pat00002
Figure 112007092804453-pat00002

위 수학식에서 E(p)는 추정되는 최적 비용 함수이고 e(p)는 픽셀 당 비용함수이며, w는 인접 픽셀간의 화소값에 상응하는 가중치 함수이고, n 및 은 상호 직교하는 2차원 벡터이며, M은 인접 픽셀의 사이즈임. In the above equation, E (p) is an estimated optimal cost function, e (p) is a cost function per pixel, w is a weight function corresponding to pixel values between adjacent pixels, n and are two-dimensional vectors that are orthogonal to each other, M is the size of adjacent pixels.

상기 가중치 함수 w는 인접 픽셀과의 화소값의 차이와 반비례하는 값을 출력한다. The weight function w outputs a value inversely proportional to the difference in pixel values from adjacent pixels.

상기 에너지 함수를 최소로 하는 최적 비용 함수의 연산은 다음의 수학식에 대한 반복 연산에 의해 연산될 수 있다. The calculation of the optimal cost function that minimizes the energy function may be calculated by an iterative operation on the following equation.

위 수학식에서 e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고, λ는 가중치 상수임. In the above equation, e (p) is a cost function per pixel, E (p) is an optimal cost function, w is a weight function, and λ is a weight constant.

상기 반복 계산에 의한 비용 함수 연산 시 이웃 픽셀을 Nc(p)와 Nn(p)로 Nc (p) and Nn (p) are neighbor pixels in the cost function calculation by the iterative calculation.

Figure 112007092804453-pat00003
Figure 112007092804453-pat00003

분류하여 갱신된 최신의 정보를 반영하여 연산할 수 있다. The calculation can be performed by reflecting the latest updated information.

Figure 112007092804453-pat00004
Figure 112007092804453-pat00004

위 수학식에서 e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고, λ는 가중치 상수임. In the above equation, e (p) is a cost function per pixel, E (p) is an optimal cost function, w is a weight function, and λ is a weight constant.

상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계는, 제1 해상도의 원본 영상에 비해 저 해상도인 제2 해상도의 영상을 획득하는 단계; 상기 제2 해상도의 영상에 대해 최적 비용 함수를 연산하는 단계; 및 상기 제2 해상도의 최적 비용 함수를 제1 해상도의 원본 영상에 대한 최적 비용 함수 연산 시 초기치로 사용하는 단계를 포함할 수 있다. Computing an optimal cost function that minimizes the value of the set energy function, the method comprising: obtaining an image of a second resolution having a lower resolution than the original image of a first resolution; Calculating an optimal cost function for the image of the second resolution; And using the optimal cost function of the second resolution as an initial value when calculating the optimal cost function for the original image having the first resolution.

상술한 방법은, 상기 제2 해상도의 영상에 비해 저해상도인 제3 해상도의 영상을 획득하는 단계; 및 상기 제3 해상도의 영상에 대해 최적 비용 함수를 연산하는 단계; 및 상기 제3 해상도의 영상에 대한 최적 비용 함수를 상기 제2 해상도의 영상에 대한 최적 비용 함수 연산 시 초기치로 활용하는 단계를 더 포함할 수 있다. The method may include obtaining an image having a third resolution having a lower resolution than an image having the second resolution; Calculating an optimal cost function for the image having the third resolution; And using the optimal cost function for the image having the third resolution as an initial value when calculating the optimal cost function for the image having the second resolution.

상기 저해상도의 영상의 획득 시 로우패스 필터링을 수행할 수 있다. Low pass filtering may be performed when the low resolution image is acquired.

상기 저 해상도의 비용 함수를 고 해상도의 비용 함수 연산 시 초기치로 활용할 때, 상기 저 해상도의 비용 함수는 가중치에 기반한 방식으로 보간되어 고 해 상도로 업샘플링되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. When the low-resolution cost function is used as an initial value when calculating a high-resolution cost function, the low-resolution cost function is interpolated in a weighted manner and upsampled to a high resolution. Operation method.

상기 가중치에 기반한 보간은 다음의 수학식에 기초하여 이루어지는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. The interpolation based on the weighting is performed based on the following equation.

Figure 112007092804453-pat00005
Figure 112007092804453-pat00005

상술한 방법은. 가려진 영역의 픽셀을 검출하는 단계; 가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계; 및 상기 연산된 최적 비용 함수에 기초하여 가려진 영역의 픽셀들에 대한 변이를 추정하는 단계를 더 포함할 수 있다. The method described above. Detecting pixels of the obscured area; Computing an optimal cost function for the pixels of the occluded area; And estimating the variation for the pixels of the hidden region based on the calculated optimal cost function.

상기 가려진 영역의 픽셀을 검출하는 단계는, 싱글 매칭에 의해 중복 매칭되는 픽셀들이 존재하는지 여부를 판단하는 단계; 상기 중복 매칭되는 픽셀들이 존재할 경우, 변이에 기초하는 제1 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계; 상기 중복 매칭되는 픽셀들이 존재할 경우, 최적 비용함수에 기초하는 제2 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계; 상기 중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀들을 가려진 픽셀들로 설정하는 단계; 및 상기 중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 존재하지 않는 경우 중복 매칭되는 픽셀 모두를 가려진 후보 픽셀로 설정하는 단계를 포함할 수 있다. Detecting pixels of the masked area may include determining whether there are pixels that are overlapped by a single match; If there are overlapping matching pixels, classifying the pixels that are hidden by the first condition based on the transition and the pixels that are not hidden; Classifying pixels that are hidden and pixels that are not covered by a second condition based on an optimal cost function when there are overlapping matching pixels; Setting pixels that satisfy both a first condition and a second condition among the overlapped matching pixels as occluded pixels; And when there are no pixels that satisfy both the first condition and the second condition among the overlap-matched pixels, setting all of the overlap-matched pixels as hidden candidate pixels.

상기 가려진 픽셀들에 대한 비용 함수를 연산하는 단계는, 상기 중복 매칭되 는 픽셀들 중 가려지지 않은 픽셀에 대한 가시도 함수(O(l))로 제 1값을 할당하는 단계; 상기 중복 매칭되는 픽셀들 중 가려진 픽셀 또는 가려진 픽셀 후보에 대한 가시도 함수(O(l))로 제2 값을 할당하는 단계; 상기 할당된 가시도 함수 값에 기초하여 최적 비용 함수를 연산하는 단계를 포함할 수 있다. Computing the cost function for the occluded pixels includes: assigning a first value to a visibility function (O (l)) for the unoccluded pixel of the overlapping matching pixels; Assigning a second value to a visibility function (O (l)) for a masked pixel or a masked pixel candidate of the overlapping matching pixels; Calculating an optimal cost function based on the assigned visibility function value.

상기 할당된 가시도 함수 값에 기초한 최적의 비용 함수는 다음의 수학식에 기초하여 연산될 수 있다. The optimal cost function based on the assigned visibility function value may be calculated based on the following equation.

Figure 112007092804453-pat00006
Figure 112007092804453-pat00006

본 발명의 다른 측면에 따르면, 제1 해상도를 가지는 원본 영상의 해상도에 비해 해상도가 작은 적어도 하나 이상의 (N+1)해상도를 가지는 영상을 획득하는 단계; 상기 (N+1)해상도 영상에 대한 최적 비용 함수를 연산하는 단계; 및 상기 (N+1)해상도 영상에 대한 최적 비용 함수를 N 해상도를 가지는 영상에 대한 최적 비용 함수 연산 시 초기치로 사용하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법이 제공된다. According to another aspect of the invention, the step of obtaining an image having at least one (N + 1) resolution is smaller than the resolution of the original image having a first resolution; Calculating an optimal cost function for the (N + 1) resolution image; And using the optimal cost function for the (N + 1) resolution image as an initial value when calculating the optimal cost function for an image having N resolution. .

본 발명의 또 다른 측면에 따르면, 싱글 매칭에 기반하여 가려진 영역의 픽셀을 검출하는 단계; 가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계; 및 상기 연산된 최적 비용 함수에 기초하여 가려진 영역의 픽셀들에 대한 변이 를 추정하는 단계를 포함하는 변이 추정 시 가려진 영역 처리 방법이 제공된다.According to still another aspect of the present invention, there is provided a method of detecting a pixel of an area covered by a single match; Computing an optimal cost function for the pixels of the occluded area; And estimating a variation for pixels of the masked region based on the calculated optimal cost function.

본 발명에 의하면, 변이 추정 시 주변 픽셀의 정보를 보다 효율적으로 활용한 최적의 비용 함수를 획득할 수 있는 장점이 있다. According to the present invention, there is an advantage in that it is possible to obtain an optimal cost function that utilizes the information of the surrounding pixels more efficiently when the variation is estimated.

또한, 본 발명은 비용 함수 연산 시 갱신된 최신의 주변 픽셀의 정보를 활용하도록 함으로써 계산량의 감소로 인해 보다 빠른 시간에 비용함수를 획득할 수 있는 장점이 있다. In addition, the present invention has the advantage that it is possible to obtain a cost function at a faster time due to the reduction of the calculation amount by using the updated information of the latest peripheral pixels when calculating the cost function.

또한, 본 발명은 다해상도 접근 방식을 이용하여 비용 함수 연산 시의 반복 계산의 횟수를 줄일 수 있는 장점이 있다. In addition, the present invention has the advantage that it is possible to reduce the number of iterations in the cost function calculation using a multi-resolution approach.

또한, 본 발명은 변이 추정 시에 가려진 영역의 픽셀을 보다 효율적으로 검출할 수 있으며, 주변 픽셀의 정보를 이용하여 가려진 영역에 적절한 변이를 할당할 수 있는 장점이 있다. In addition, the present invention has the advantage that it is possible to more efficiently detect the pixels of the region covered by the estimation of the variation, and to assign an appropriate variation to the masked region using the information of the surrounding pixels.

이하에서, 첨부된 도면을 참조하여 본 발명에 의한 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리 방법의 바람직한 실시예를 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the method for calculating the cost function and the masked region processing method in the variation estimation according to the present invention.

I. 에너지 함수의 설정 및 비용 함수의 연산I. Setup of Energy Functions and Calculation of Cost Functions

본 발명의 실시예에 따르면, 에너지 함수를 설정하고 설정된 에너지 함수를 이용하여 최적의 비용 함수를 획득한다. 본 실시예에서는 스테레오 영상인 좌영상과 우영상이 사용되는 경우에 대해 설명하나, 둘 이상의 영상이 사용되는 경우에 본 발명이 적용될 수 있다는 점은 당업자에게 있어 자명할 것이다. According to an embodiment of the present invention, an energy function is set and an optimal cost function is obtained using the set energy function. In the present embodiment, a case in which a left image and a right image, which are stereo images, is used, it will be apparent to those skilled in the art that the present invention can be applied when two or more images are used.

좌영상과 우영상에 대해 픽셀차가 연산되며, 각 픽셀에 대한 픽셀당 비용함수를 e(p,d)로 정의하고, p는 픽셀을 의미하고 d는 변이를 의미한다. 추정되는 최적의 비용함수는 E(p,d)로 정의하며 최적의 비용함수와 픽셀당 비용 함수는 다음의 수학식 2와 같은 관계가 있다. The pixel difference is calculated for the left image and the right image, and the cost function per pixel for each pixel is defined as e (p, d), where p is a pixel and d is a variation. The estimated optimal cost function is defined as E (p, d), and the optimal cost function and the cost per pixel function are as shown in Equation 2 below.

Figure 112007092804453-pat00007
Figure 112007092804453-pat00007

위 수학식 2에서 n은 노이즈를 의미한다. 이하에서는 E(p,d)는 E(p)로 표현하기로 하며, 이는 모든 변이에 대해 같은 절차가 수행되기 때문이다.In Equation 2, n means noise. In the following, E (p, d) is expressed as E (p), because the same procedure is performed for all the variations.

본 발명의 실시예에서는 추정되는 최적의 비용함수와 픽셀당 비용함수의 차 및 비용함수의 변화량 및 화소값의 변화량을 파라미터로 하는 에너지 함수를 제안한다. The embodiment of the present invention proposes an energy function whose parameters are the difference between the estimated optimal cost function, the cost function per pixel, the amount of change in the cost function, and the amount of change in the pixel value.

본 발명의 에너지 함수는 비용함수의 변화량 및 화소값의 변화량을 연산 시 주변 화소의 정보를 충분히 활용하도록 한다.The energy function of the present invention allows the amount of change in the cost function and the amount of change in the pixel value to fully utilize the information of the surrounding pixels.

다음의 수학식 3은 본 발명에서 제안되는 에너지 함수를 표현한 수학식이다. Equation 3 below is an equation representing the energy function proposed in the present invention.

Figure 112007092804453-pat00008
Figure 112007092804453-pat00008

위 수학식 3에서, w는 가중치 함수이며 이웃 픽셀들의 화소값에 대한 가중치 를 부여한다. w는 p와 p+n 사이의 화소값의 차가 클수록 더 작은 가중치가 부여되도록 하며, 화소값의 차이가 작을수록 더 큰 가중치가 부여되도록 한다. 즉, 화소값의 차이에 반비례하는 가중치가 부여되는 것이다. In Equation 3, w is a weight function and gives weights to pixel values of neighboring pixels. w causes a smaller weight to be assigned as the difference between the pixel values between p and p + n is greater, and a larger weight to be assigned as the difference between the pixel values becomes smaller. In other words, weights are inversely proportional to the difference in pixel values.

또한, 해당 픽셀과 이웃 픽셀 사이의 비용 함수 차이값이 연산되며, 이 비용함수 차이값에 전술한 가중치가 곱해진다. In addition, a cost function difference value between the pixel and the neighboring pixel is calculated, and the cost function difference value is multiplied by the aforementioned weight.

위 수학식 3에서, n 및

Figure 112007092804453-pat00009
은 서로 직교하는 2차원 벡터이다. In Equation 3 above, n and
Figure 112007092804453-pat00009
Are two-dimensional vectors orthogonal to each other.

도 1은 본 발명의 에너지 함수 및 최적 비용함수 연산 시 고려되는 이웃 픽셀의 범위를 도시한 도면이다. 1 is a diagram illustrating a range of neighboring pixels to be considered in calculating an energy function and an optimal cost function of the present invention.

수학식 3 및 도 1에서 M은 에너지 함수에서 고려되는 이웃 픽셀 집합의 사이즈를 나타낸다. 도 1에서, 2차원 벡터 n 및

Figure 112007092804453-pat00010
의 크기는 최대 사이즈인 M까지 설정될 수 있다. In Equation 3 and FIG. 1, M represents a size of a neighboring pixel set considered in an energy function. 1, the two-dimensional vector n and
Figure 112007092804453-pat00010
The size of may be set up to M, the maximum size.

본 발명의 바람직한 실시예에 따르면, 이웃 픽셀의 사이즈 M은 2 이상인 것이 바람직하다. According to a preferred embodiment of the present invention, the size M of the neighboring pixels is preferably 2 or more.

도 2는 N1이 (1,0)인 경우의 변이 지도를 도시한 것으로서, (a)는 스테레오 이미지 패어이고, (b)는 변이가 0일 때의 픽셀 당 비용 함수 (c)는 변이가 6일 때의 픽셀 당 비용 함수이며, 이웃 픽셀 사이즈가 작을 경우 변이 필드에 대한 결과가 만족스럽지 않음을 확인할 수 있다. FIG. 2 shows the disparity map when N1 is (1,0), where (a) is a stereo image pair, and (b) is a cost per pixel function when the variation is zero (c) has a variation of 6 It is a cost per pixel function at, and it can be seen that the result for the variation field is not satisfactory when the neighbor pixel size is small.

비용 함수는 수학식 3과 같은 에너지 함수를 최소로 하는 값이며, 비용함수를 구하기 위해 수학식 3을 E에 대해 미분하면 다음과 같다. The cost function is a value that minimizes the energy function as shown in Equation 3, and the derivative of Equation 3 with respect to E to obtain the cost function is as follows.

Figure 112007092804453-pat00011
Figure 112007092804453-pat00011

위 수학식 4에서.

Figure 112007092804453-pat00012
및
Figure 112007092804453-pat00013
는 -n 및
Figure 112007092804453-pat00014
에 대한 1차 미분 연산자를 나타낸다. 위 수학식 4는 다음의 수학식 5와 같이 표현될 수 있다. In Equation 4 above.
Figure 112007092804453-pat00012
And
Figure 112007092804453-pat00013
Is -n and
Figure 112007092804453-pat00014
Represents the first derivative operator for. Equation 4 may be expressed as Equation 5 below.

Figure 112007092804453-pat00015
Figure 112007092804453-pat00015

위 수학식을 단순화하기 위해 이웃 픽셀의 집합을 재정의한다. p를 (x,y)라고 할 때, 이웃 픽셀의 집합은 다음의 수학식 6과 같이 표현될 수 있다. To simplify the above equation, we redefine the set of neighboring pixels. When p is (x, y), a set of neighboring pixels can be expressed as in Equation 6 below.

Figure 112007092804453-pat00016
Figure 112007092804453-pat00016

위 수학식 6을 이용하여, 수학식 5는 다음의 수학식 7과 같이 표현될 수 있다. Using Equation 6 above, Equation 5 may be expressed as Equation 7 below.

Figure 112007092804453-pat00017
Figure 112007092804453-pat00017

위 수학식 7에서, 가중치 함수인 w는 다음의 수학식 8과 같이 대칭적이라고 가정한다. In Equation 7, the weight function w is assumed to be symmetrical as in Equation 8 below.

Figure 112007092804453-pat00018
Figure 112007092804453-pat00018

위 수학식 7에서, E(p)를 구하기 위해 반복 계산법(Iteration)을 이용한다. (k+1)번째 반복 계산의 해는 다음의 수학식 9와 같이 표현된다. In Equation 7, the iteration is used to find E (p). The solution of the (k + 1) th iteration calculation is expressed by the following equation (9).

Figure 112007092804453-pat00019
Figure 112007092804453-pat00019

위 수학식 9는 정규화된 픽셀 당 비용함수와 이웃한 픽셀들의 비용을 가중치 평균한 비용 함수로 구성되어 있다. 반복 계산을 수행함으로써 비용함수 E(p)는 주변의 이웃한 점들의 비용 함수에 의해 정규화된다. Equation 9 includes a normalized cost function per pixel and a cost function obtained by weighted averages of costs of neighboring pixels. By performing an iterative calculation, the cost function E (p) is normalized by the cost function of neighboring points.

본 발명의 일 실시예에 따르면, CIE-Lab을 이용한 비대칭적인 가우시안 가중치 함수가 사용될 수 있다.rc와 rs는 각각 컬러와 공간상의 거리에 대한 가중치 상 수일 때 가중치 함수는 다음의 수학식 10과 같이 표현될 수 있다. According to an embodiment of the present invention, an asymmetric Gaussian weight function using CIE-Lab may be used. When r c and r s are weight constants for color and spatial distance, respectively, the weight function is expressed by Equation 10 below. It can be expressed as

Figure 112007092804453-pat00020
Figure 112007092804453-pat00020

II. 비용함수의 연산을 가속화하기 위한 실시예II. Embodiments for Accelerating the Computation of Cost Functions

상술한 실시예는 새로운 방식의 에너지 함수를 제안하고 이를 이용하여 최적화된 비용함수를 연산하는 방식에 관한 것이었다. The above-described embodiment relates to a method of proposing a new type of energy function and calculating an optimized cost function using the same.

본 섹션에서는 상술한 비용함수에 대한 연산을 가속화하기 위한 실시예들에 대해 살펴보기로 한다. In this section, embodiments for speeding up the operation of the above-described cost function will be described.

먼저, 가우스-사이들(Gauss-Seidel)을 이용한 연산 가속화에 대해 살펴보기로 한다. First, the operation acceleration using Gauss-Seidel will be described.

수학식 9와 같이 반복 계산에 의해 비용 함수를 연산할 때, 연산 속도는 여러가지 요인으로 인해 지연될 수 있다. 연산이 지연되는 가장 큰 요인 중 하나는 수학식 9에 의한 반복 계산 시 갱신된 가장 최신의 정보를 이용하지 않는다는 점이다. When calculating the cost function by iterative calculation as shown in Equation 9, the calculation speed may be delayed due to various factors. One of the biggest factors that delay the operation is that iterative calculation by Equation 9 does not use the latest updated information.

갱신된 픽셀 정보는 한 번의 반복 계산이 완료된 후에야 반영된다. 이와 같은 문제점은 반복 계산 시 갱신된 픽셀 정보를 즉시 반영하도록 함으로써 보상될 수 있다. The updated pixel information is reflected only after one iteration calculation is completed. This problem can be compensated for by immediately reflecting the updated pixel information in the iteration calculation.

반복 계산이 영상의 좌측에서 우측으로 또한 위에서 아래로 수행된다고 가정 할 때, 이웃 픽셀 집합인 N(p)를 두 개의 파트로 구분한다. Assuming that the iteration calculation is performed from left to right and top to bottom of the image, the neighboring pixel set N (p) is divided into two parts.

도 4는 본 발명의 일 실시예에 따른 이웃 픽셀의 집합인 N(p)를 두 개의 파트로 구분한 예로서, 도 4를 참조하면, N(p)는 제1 파트(400)인 Nc(p) 및 제2 파트(402)인 Nn(p)로 구분된다. 4 is an example of dividing N (p) which is a set of neighboring pixels according to an embodiment of the present invention into two parts. Referring to FIG. 4, N (p) is Nc (the first part 400). p) and Nn (p), which is the second part 402.

이때, 수학식 9는 다음의 수학식 11과 같이 표현될 수 있다. In this case, Equation 9 may be expressed as Equation 11 below.

Figure 112007092804453-pat00021
Figure 112007092804453-pat00021

수학식 11을 이용하여 비용함수를 연산할 경우, 최신의 픽셀 정보를 이용하여 비용함수를 연산하는 바, 반복 계산 시 값의 수렴을 가속화함으로써 반복 계산의 횟수를 줄일 수 있는 장점이 있다. When the cost function is calculated using Equation 11, the cost function is calculated using the latest pixel information, and thus the number of iteration calculations can be reduced by accelerating the convergence of values during the iteration calculation.

본 실시예에서는 비용함수의 연산을 가속화하고 최적의 비용함수를 획득하기 위한 또 다른 수단으로 다해상도 접근 방식을 제안한다. In this embodiment, we propose a multi-resolution approach as another means to accelerate the computation of cost functions and to obtain optimal cost functions.

전술한 바와 같이, 신뢰도를 높이기 위해서는 해당 픽셀로부터 보다 먼 거리에 있는 픽셀 정보들을 고려할 필요가 있으며, 이는 정확한 비용함수의 연산을 위해 많은 반복 계산이 수행될 필요가 있다는 점을 의미한다. As described above, in order to increase the reliability, it is necessary to consider pixel information that is farther from the corresponding pixel, which means that many iterative calculations need to be performed in order to calculate an accurate cost function.

반복 계산의 횟수를 줄이기 위해 가우스-사이들 가속화 방식과 함께 다해상도 접근 방식이 제안된다. In order to reduce the number of iterative calculations, a multiresolution approach is proposed along with a Gaussian-sider acceleration.

다해상도 접근 방식은 원본 이미지의 해상도에 비해 작은 해상도에서 동일한 연산을 수행하고, 연산 결과를 보다 큰 해상도에서의 연산에 이용하는 방식이다. 설명의 편이를 위해, 이하에서는 원본 이미지의 해상도를 제1 해상도라고 하고, 제1 해상도의 1/2에 해당되는 해상도를 제2 해상도, 제2 해상도의 1/2에 해당되는 해상도를 제3 해상도로 하기로 한다. The multiresolution approach is to perform the same operation at a smaller resolution than the resolution of the original image, and to use the result of the calculation at a higher resolution. For convenience of explanation, hereinafter, the resolution of the original image is referred to as a first resolution, and a resolution corresponding to 1/2 of the first resolution is referred to as a second resolution, and a resolution corresponding to 1/2 as a second resolution is referred to as a third resolution. Let it be.

도 5는 본 발명의 일 실시예에 따른 다해상도 접근 방식의 프레임 구조를 도시한 도면이다. 5 is a diagram illustrating a frame structure of a multi-resolution approach according to an embodiment of the present invention.

도 5를 참조하면, 제1 해상도, 제2 해상도 및 제3 해상도에 대한 다해상도 접근에 의한 비용함수 연산이 수행되는 경우가 도시되어 있으나 다해상도 접근을 위한 해상도의 개수가 자유롭게 설정될 수 있다는 점은 당업자에게 있어 자명할 것이다. Referring to FIG. 5, the case where the cost function calculation is performed by the multi-resolution approach to the first resolution, the second resolution, and the third resolution is illustrated, but the number of resolutions for the multi-resolution access can be freely set. Will be apparent to those skilled in the art.

다해상도 접근 방식은 이미지 분할, 움직인 추정 등에 사용되기는 하였으나 이러한 분야에서의 다해상도 접근 방식이 이미지 도메인 상에서 수행이 되었다. 그러나, 본 실시예에서는 이미지 도메인이 아닌 비용(Cost) 도메인에서 다해상도 접근 방식을 적용하며, 이는 종래의 다해상도 접근 방식이 사용되었던 목적과는 달리 반복 계산의 횟수를 줄이기 위한 것이다.  Although the multiresolution approach has been used for image segmentation, motion estimation, etc., a multiresolution approach in this area has been performed on the image domain. However, the present embodiment applies a multiresolution approach in a cost domain rather than an image domain, which is intended to reduce the number of iteration calculations, unlike the purpose of the conventional multiresolution approach.

수학식 11에서, 일반적으로 최적의 비용 함수 E(p)는 픽셀 당 비용함수 e(p)로 초기화될 수 있다. 본 실시예에서는 저 해상도에서의 최종 연산값을 그보다 상위 해상도에서의 초기값으로 활용하는 다해상도 접근 방식을 제안하며 이는 반복 계산 시의 수렴을 가속화시킬 수 있다. In Equation 11, in general, the optimal cost function E (p) can be initialized to the cost function e (p) per pixel. This embodiment proposes a multiresolution approach that utilizes the final computed value at lower resolutions as an initial value at higher resolutions, which can accelerate convergence in iterative computations.

도 5를 참조하면, 원본 이미지의 해상도의 1/4인 제3 해상도에서 픽셀 당 비 용함수 e2(d)를 연산하고, 연산된 e2(d)는 초기치로 활용되어 제3 해상도에서의 비용 함수 E2(d)가 연산된다. Referring to FIG. 5, the cost function e 2 (d) per pixel is calculated at a third resolution that is one fourth of the resolution of the original image, and the calculated e 2 (d) is used as an initial value to obtain the third resolution. The cost function E 2 (d) is calculated.

연산된 제3 해상도에서의 E2(d)는 제2 해상도에서의 초기치로 활용된다. 제2 해상도에서는 제3 해상도에서의 최종 값을 초기치로 활용하여 비용 함수 E1(d)를 연산하며, 연산된 E1(d)는 제1 해상도에서 초기치로 활용된다. The calculated E 2 (d) at the third resolution is utilized as the initial value at the second resolution. In the second resolution, the cost function E 1 (d) is calculated by using the final value at the third resolution as an initial value, and the calculated E 1 (d) is used as the initial value at the first resolution.

즉, 낮은 해상도인 제N 해상도에서 연산된 최종값은 이보다 높은 해상도인 제(N-1) 해상도의 초기치로 활용되는 것이다. 이와 같은 방식은 최종적인 원본 해상도에서의 연산량을 크게 줄일 수 있다. That is, the final value calculated at the low resolution of the Nth resolution is used as the initial value of the higher resolution of the (N-1) th resolution. This approach can greatly reduce the amount of computation at the final original resolution.

다해상도 접근 방식에 의한 연산 시, 비용함수 및 스테레오 이미지에 대한 서브 샘플링이 수행되며, 이는 서브샘플링된 이미지가 가중치 함수 w의 연산에 필요하기 때문이다. In the multiresolution approach, subsampling of the cost function and the stereo image is performed because the subsampled image is needed for the calculation of the weight function w.

서브샘플링 과정에서 발생하는 노이즈를 줄이기 위해, 가우시안 로우패스 필터링이 수행될 수 있다. 가우스 함수의 분산은 서브샘플링 비율에 비례할 수 있다. In order to reduce noise generated in the subsampling process, Gaussian low pass filtering may be performed. The variance of the Gaussian function may be proportional to the subsampling ratio.

전술한 바와 같이, 다해상도 접근 방식을 이용한 연산 시, 저해상도의 결과값이 고해상도에서의 초기값으로 활영되며, (l+1)번째 레벨의 비용 함수가 El +1(p)로 정의될 때, 보다 고해상도 레벨의 비용함수 El(p)는 바이리니어 보간을 이용하여 업샘플리을 수행할 수 있으며, 이는 다음의 수학식 12와 같이 표현될 수 있다. As mentioned above, when calculating using the multi-resolution approach, the low-resolution result is played as the initial value at high resolution, and the cost function of the (l + 1) th level is defined as E l +1 (p). The cost function El (p) of the higher resolution level may perform upsampling using bilinear interpolation, which may be expressed by Equation 12 below.

Figure 112007092804453-pat00022
Figure 112007092804453-pat00022

본 실시예에서는 반복 계산을 가속화하기 위한 또 다른 수단으로 적응적 보간법을 제안한다. 제안되는 적응적 보간법은 다해상도 접근 방식에 의한 연산 시에 적용된다. In this embodiment, an adaptive interpolation method is proposed as another means for accelerating the iterative calculation. The proposed adaptive interpolation method is applied to computations using the multiresolution approach.

저 해상도에서의 비용함수가 선형적으로 보간되어 보다 고 해상도에서의 초기치로 활용될 경우, 에러가 주변의 영역들에 전파될 수 있다. 이러한 문제를 회피하기 위해, 고 해상도로의 업샘플링 시 가중치 최소 자승에 기반한 적응적 보간법이 제안된다. If the cost function at low resolution is linearly interpolated and used as an initial value at higher resolutions, the error can propagate to surrounding areas. To avoid this problem, an adaptive interpolation based on weighted least squares is proposed for upsampling to high resolution.

이때, 레벨 l에서의 에너지 함수는 다음의 수학식 13과 같이 정의된다. At this time, the energy function at level l is defined as in Equation 13 below.

Figure 112007092804453-pat00023
Figure 112007092804453-pat00023

위 수학식 13에서, Pi=(xi, yi)는 저해상도 레벨에서의 픽셀을 의미하고, N(pi)는 다음의 수학식 14와 같이 정의된다.In Equation 13, Pi = (xi, yi) means a pixel at a low resolution level, N (pi) is defined as in the following equation (14).

Figure 112007092804453-pat00024
Figure 112007092804453-pat00024

수학식 13을 최소화하면 다음의 수학식 15과 같이 표현될 수 있다. Minimizing Equation 13 may be expressed as Equation 15 below.

Figure 112007092804453-pat00025
Figure 112007092804453-pat00025

위 수학식 15에서, w는 가중치 함수를 의미하며, 짝수번째 픽셀은 다음의 수학식 16과 같이 1차적으로 계산될 수 있다. In Equation 15, w denotes a weight function, and the even-numbered pixel may be primarily calculated as in Equation 16 below.

이웃 픽셀의 집합인 N(pi)는 (x+1, y+1), (x+1, y-1), (x-1, y+1) 및 (x-1, y-1)을 포함하며, 최종적으로, 남아있는 픽셀들은 수학식 15에 의해 연산된다. N (pi), the set of neighboring pixels, represents (x + 1, y + 1), (x + 1, y-1), (x-1, y + 1) and (x-1, y-1) And finally, the remaining pixels are calculated by equation (15).

Figure 112007092804453-pat00026
Figure 112007092804453-pat00026

수학식 15에서, a는 가중치 요소이며, 일례로 15로 설정될 수 있다. In Equation 15, a is a weighting factor and may be set to, for example, 15.

제안된 적응접 보간법은 연속적인 두 개의 레벨에서의 화소값에 대한 비용함수에 대해 보간을 수행한다는 점에서 기존의 이미지 보간법과는 상이하다. The proposed adaptive interpolation method is different from the conventional image interpolation method in that interpolation is performed on the cost function of pixel values at two consecutive levels.

도 5를 참조하면, 제3 해상도에서 제2해상도로 이동 시와 제2 해상도에서 제1 해상도로 이동 시 적응적 보간법이 수행되는 점이 도시되어 있으며, 이러한 적응적 보간에 의한 업샘플링으로 최종 해상도인 제1 해상도에서는 별도의 비용함수 연산이 필요없다는 점이 실험적으로 확인되었으며, 따라서 비용 함수의 정확도뿐만 아니라 비용 함수 연산을 위한 연산량 역시 적응적 보간에 의해 줄일 수 있다. Referring to FIG. 5, it is shown that adaptive interpolation is performed when moving from the third resolution to the second resolution and when moving from the second resolution to the first resolution, and the final resolution is determined by upsampling by the adaptive interpolation. It has been experimentally confirmed that a separate cost function calculation is not required at the first resolution, so that not only the accuracy of the cost function but also the amount of computation for the cost function calculation can be reduced by adaptive interpolation.

상술한 실시예들에 의해 비용 함수가 획득되면, 비용 함수를 이용한 최적화 과정에 의해 변이를 추정할 수 있다. 최적화 과정으로는 WTA(Winner Takes All), 그래프 컷 등 다양한 최적화 방식이 사용될 수 있을 것이다. When the cost function is obtained by the above-described embodiments, the variation may be estimated by an optimization process using the cost function. The optimization process may include various optimization methods such as Winner Takes All and graph cuts.

III. 가려진 영역의 픽셀 처리. III. Pixel processing of hidden areas.

본 실시예에서는 보다 적은 연산량으로 가려진 영역을 검출하는 방법을 제안한다. 종래에는 좌영상에서 우영상으로 매칭을 수행한 후 다시 우영상에서 좌영상으로 매칭을 수행하는 크로스 체킹에 의해 가려진 영역을 검출하였으나 이는 유사한 연산을 2번 수행하여 연산량이 문제점이 있었다. 본 실시예에서는 크로스 체킹을 수행하지 않고 한 번의 연산으로 가려진 영역을 검출하는 새로운 방식을 제안한다.In this embodiment, a method of detecting an area occluded with a smaller amount of computation is proposed. Conventionally, a region covered by a cross check that performs matching from a left image to a right image and then again matches from a right image to a left image is detected. In this embodiment, a new method for detecting an area occluded by one operation without cross checking is proposed.

또한, 본 실시예에서는 주변 픽셀의 정보를 이용하여 적응적으로 가려진 픽셀에 변이를 할당하는 방법을 제안한다. 종래에는 미리 설정된 변이 값이 가려진 픽셀에 할당되었으나 본 실시예에서는 주변 픽셀의 정보를 이용하여 적절한 변이가 할당될 수 있도록 한다. In addition, the present embodiment proposes a method of allocating mutations to pixels that are adaptively hidden using information of neighboring pixels. In the related art, although the preset shift value is assigned to the hidden pixel, in the present embodiment, an appropriate shift can be allocated using information of neighboring pixels.

도 6은 본 발명의 일 실시예에 따른 가려진 영역의 픽셀 처리 방법에 대한 전체적인 순서도를 도시한 도면이다.  FIG. 6 is a flowchart illustrating an overall method of processing a pixel of an obscured area according to an embodiment of the present invention.

도 6을 참조하면, 우선 좌영상에서 우영상 또는 우영상에서 좌영상으로 싱글 매칭에 의해 중복되는 매칭 포인트가 있는지 여부를 판단한다(단계 600). Referring to FIG. 6, first, it is determined whether there is a matching point overlapped by a single matching from a left image to a right image or a right image to a left image (step 600).

도 7은 가져진 픽셀이 발생되는 경우의 일례를 도시한 도면이다. 7 is a diagram illustrating an example of a case where an imported pixel is generated.

도 7을 참조하면, 가려진 픽셀이 존재할 경우 가려진 픽셀은 가려지지 않은 픽셀과 동일한 점에 매칭이 된다. 도 7에 도시된 바와 같이, 일반적으로 가려진 픽셀은 가려지지 않은 픽셀에 비해 작은 변이를 가지게 된다.Referring to FIG. 7, when there is a hidden pixel, the hidden pixel is matched to the same point as the unhidden pixel. As shown in FIG. 7, generally, the hidden pixels have a small variation compared to the unhidden pixels.

본 발명에서는 1차적으로 중복되는 매칭 포인트가 있는 픽셀들 중 변이가 작은 픽셀과 변이가 큰 픽셀을 구분한다(단계 602). 본 명세서에서 변이에 따라 가려진 픽셀과 가려지지 않는 픽셀을 구분하는 조건을 제1 조건이라고 한다. In the present invention, among the pixels with matching points that are primarily overlapped, a pixel having a small variation and a pixel having a large variation are distinguished (step 602). In the present specification, a condition for distinguishing a pixel that is hidden from pixels according to a variation from a pixel that is not covered is referred to as a first condition.

겹쳐지는 픽셀들 중 변이가 작은 픽셀을 가려진 픽셀로 추정할 수도 있으나, 이와 같은 방식은 신뢰도를 담보할 수 없으며, 종래에는 크로스 체킹에 의해 가려진 픽셀인지 여부를 판단하였다. Among the overlapping pixels, a pixel having a small variation may be estimated as an obscured pixel. However, such a method cannot guarantee reliability, and it is conventionally determined whether the pixel is obscured by cross checking.

도 8은 가려진 픽셀이 발생하는 경우에 대한 다른 예를 도시한 도면이다. 8 is a diagram illustrating another example of a case where an obstructed pixel occurs.

도 8을 참조하면, 가려진 픽셀이 가리는 픽셀에 비해 더 큰 변이를 가지고 있는 경우가 발생함을 확인할 수 있다. Referring to FIG. 8, it can be seen that a case in which a masked pixel has a larger variation than a hidden pixel occurs.

중복 매칭되는 픽셀들에 대해 변이를 체크한 후, 해당 픽셀들에 대해 비용함수를 연산한다(단계 604). 일반적으로, 가려진 픽셀의 비용 함수의 크기는 가려지지 않은 픽셀들에 비해 크다. 비용 함수의 크기에 의해 가려진 픽셀과 가려지지 않는 픽셀을 구분하는 조건을 제2 조건이라고 한다. After checking the disparity for overlapping matching pixels, a cost function is computed for those pixels (step 604). In general, the magnitude of the cost function of occluded pixels is large compared to unoccluded pixels. A condition for distinguishing pixels that are hidden from pixels that are hidden by the size of the cost function is called a second condition.

중복되는 매칭이 일어나는 픽셀들이 있을 때, 어느 한 픽셀이 제1 조건 및 제2 조건을 모두 만족할 경우 해당 픽셀을 가려진 픽셀로 판단한다(단계 606).When there are pixels in which overlapping matching occurs, if a pixel satisfies both the first condition and the second condition, the corresponding pixel is determined as a hidden pixel (step 606).

중복 매칭이 일어나는 픽셀들 중 어느 한 픽셀도 제1 조건 및 제2 조건을 만족하지 않을 경우 중복 매칭이 일어나는 픽셀들 모두를 후보 픽셀들로 설정한다(단 계 608). If any one of the pixels in which the duplicate matching occurs does not satisfy the first condition and the second condition, all of the pixels in which the duplicate matching occurs are set as candidate pixels (step 608).

가려진 영역의 처리를 위해, 두 개의 값(예를 들어, '1'또는 '0'을 가지는 가시도 함수(Visibility Function)를 설정하며, 제1 및 제2 조건에 의한 판단 결과 가려지지 않은 픽셀로 판단되는 경우에는 가시도 함수에 제1 값(예를 들어, '1'을 할당하고, 가려진 픽셀이거나 가려진 픽셀 후보로 판단될 경우 가시도 함수에 제2 값(예를 들어, '0'을 할당한다(단계 610). For the processing of the obscured region, a visibility function having two values (for example, '1' or '0') is set, and as a result of the determination by the first and second conditions, the pixel is not hidden. If determined, assigns a first value (e.g., '1') to the visibility function, and assigns a second value (e.g., '0') to the visibility function if judged to be a hidden or hidden pixel candidate. (Step 610).

가시도 함수에 대한 할당이 완료되면, 다음의 수학식 17에 의해 가려진 픽셀들에 대한 비용 함수를 연산한다. When the assignment to the visibility function is completed, the cost function for the pixels obscured by Equation 17 is calculated.

Figure 112007092804453-pat00027
Figure 112007092804453-pat00027

가려진 픽셀을 처리하기 위한 비용 함수의 연산은 가려진 픽셀들 및 가려진 후보 픽셀들에 대해서만 수행될 수도 있으며, 전체적으로 모든 픽셀들에 대해 수행될 수도 있다. The computation of the cost function for processing the occluded pixel may be performed only on the occluded pixels and the occluded candidate pixels, or may be performed on all the pixels as a whole.

이와 같은 가려진 픽셀 처리 방식은 가려지지 않은 픽셀들의 값이 가려진 픽셀로 전이될 수 있도록 하는 바 미리 설정된 값을 일방적으로 부여하는 종래의 방식에 비해 효과적으로 가려진 픽셀에 대한 처리를 수행할 수 있다. Such a masked pixel processing scheme may perform the processing on the masked pixels more effectively than the conventional scheme of unilaterally assigning a preset value to allow the values of the pixels that are not hidden to be transferred to the hidden pixels.

도 9는 본 발명의 일 실시예에 따른 가려진 영역의 픽셀 처리 시 가려지지 않은 픽셀의 값이 전이되는 일례를 도시한 도면이다. 9 is a diagram illustrating an example in which a value of an unobscured pixel is transferred during pixel processing of an obscured area according to an exemplary embodiment of the present invention.

수학식 17에 의해 비용 함수가 연산되면, WTA, 그래프 컷 등과 같은 최적화 방식을 통해 가려진 영역에 대한 변이를 추정한다. When the cost function is calculated by Equation 17, the variation of the masked area is estimated through an optimization method such as WTA and graph cut.

도 1은 본 발명의 에너지 함수 및 최적 비용함수 연산 시 고려되는 이웃 픽셀의 범위를 도시한 도면.1 illustrates the range of neighboring pixels to be considered in calculating the energy function and optimal cost function of the present invention.

도 2는 N1이 (1,0)인 경우의 변이 지도를 도시한 도면. FIG. 2 is a diagram showing a disparity map when N1 is (1,0). FIG.

도 3은 본 발명의 일 실시예에 따른 가려진 영역의 픽셀 처리 시 가려지지 않은 픽셀의 값이 전이되는 일례를 도시한 도면.3 is a diagram illustrating an example in which a value of an unobscured pixel is transferred during pixel processing of a hidden region according to an exemplary embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 이웃 픽셀의 집합인 N(p)를 두 개의 파트로 구분한 예.4 is an example in which N (p) which is a set of neighboring pixels according to an embodiment of the present invention is divided into two parts.

도 5는 본 발명의 일 실시예에 따른 다해상도 접근 방식의 프레임 구조를 도시한 도면.5 illustrates a frame structure of a multi-resolution approach according to an embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따른 가려진 영역의 픽셀 처리 방법에 대한 전체적인 순서도를 도시한 도면.FIG. 6 illustrates an overall flow diagram for a method of processing pixels in a masked area in accordance with one embodiment of the present invention. FIG.

도 7은 가져진 픽셀이 발생되는 경우의 일례를 도시한 도면.Fig. 7 is a diagram showing an example in which imported pixels are generated.

도 8은 가려진 픽셀이 발생하는 경우에 대한 다른 예를 도시한 도면.8 illustrates another example of a case in which occluded pixels occur.

Claims (24)

적어도 둘 이상의 영상에 대한 픽셀 당 비용함수를 연산하는 단계;Calculating a cost function per pixel for at least two images; 상기 연산된 픽셀 당 비용함수, 인접하는 이웃 픽셀과의 화소값의 차이 및 최적 비용 함수의 차이를 이용하는 에너지 함수를 설정하는 단계;Setting an energy function utilizing the computed cost function per pixel, the difference in pixel values from adjacent neighboring pixels, and the difference in optimal cost function; 상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계; Calculating an optimal cost function that minimizes the value of the set energy function; 가려진 영역의 픽셀을 검출하는 단계; Detecting pixels of the obscured area; 가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계; 및Computing an optimal cost function for the pixels of the occluded area; And 상기 연산된 최적 비용 함수에 기초하여 가려진 영역의 픽셀들에 대한 변이를 추정하는 단계를 포함하되,Estimating a variation for pixels in a masked area based on the calculated optimal cost function, 상기 가려진 영역의 픽셀을 검출하는 단계는, Detecting a pixel of the masked area may include: 싱글 매칭에 의해 중복 매칭되는 픽셀들이 존재하는지 여부를 판단하는 단계, 상기 중복 매칭되는 픽셀들이 존재할 경우, 변이에 기초하는 제1 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계, 상기 중복 매칭되는 픽셀들이 존재할 경우, 최적 비용함수에 기초하는 제2 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계. 상기 중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀들을 가려진 픽셀들로 설정하는 단계 및 상기 중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 존재하지 않는 경우 중복 매칭되는 픽셀 모두를 가려진 후보 픽셀로 설정하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.Determining whether there are overlapping matching pixels by single matching, classifying pixels that are not covered by the first condition based on the variation when the overlapping matching pixels exist, and classifying the non-hidden pixels. Classifying the pixels that are hidden and the pixels that are not covered by the second condition based on the optimal cost function, if there are pixels that are present. Setting pixels satisfying both the first condition and the second condition of the overlapped matching pixels as occluded pixels, and there are no pixels satisfying both the first condition and the second condition of the overlapping matching pixels. Otherwise, setting all overlapping pixels as hidden candidate pixels. 제1항에 있어서, The method of claim 1, 상기 인접하는 픽셀과 해당 픽셀간의 픽셀 포인트 차이는 2 이상인 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. And a pixel point difference between the adjacent pixel and the corresponding pixel is 2 or more. 제1항에 있어서, The method of claim 1, 상기 에너지 함수
Figure 112009038081856-pat00043
(E)는 다음의 수학식과 같이 설정되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. The energy function
Figure 112009038081856-pat00043
(E) is an optimal cost function calculation method for estimating the variation, characterized in that set as in the following equation.
Figure 112009038081856-pat00044
Figure 112009038081856-pat00044
 위 수학식에서 E(p)는 추정되는 최적 비용 함수이고 e(p)는 픽셀 당 비용함수이며, w는 인접 픽셀간의 화소값에 상응하는 가중치 함수이고, n 및
Figure 112009038081856-pat00045
은 상호 직교하는 2차원 벡터이며, M은 인접 픽셀의 사이즈이고, p는 픽셀 좌표이고,
Figure 112009038081856-pat00046
는 가중치 상수임.Where E (p) is an estimated optimal cost function, e (p) is a cost function per pixel, w is a weight function corresponding to pixel values between adjacent pixels, n and
Figure 112009038081856-pat00045
Is a mutually orthogonal two-dimensional vector, M is the size of adjacent pixels, p is the pixel coordinates,
Figure 112009038081856-pat00046
Is a weight constant. 제3항에 있어서,The method of claim 3, 상기 가중치 함수 w는 인접 픽셀과의 화소값의 차이와 반비례하는 값을 출력하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. And the weight function w outputs a value inversely proportional to the difference between pixel values of adjacent pixels. 제1항에 있어서,The method of claim 1, 상기 에너지 함수를 최소로 하는 최적 비용 함수의 연산은 다음의 수학식에 대한 반복 연산에 의해 연산되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. The calculation of the optimal cost function for minimizing the energy function is calculated by iterative operation for the following equation.
Figure 112009038081856-pat00047
Figure 112009038081856-pat00047
 위 수학식에서 e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고,
Figure 112009038081856-pat00048
는 가중치 상수이며, N(p)는 이웃 픽셀의 집합, 위첨자 k+1은 반복 계산에서 k+1번째를 의미하며, k는 반복 계산에서 k번째를 의미하고, 바 표시는 평균을 의미하여
Figure 112009038081856-pat00049
는 픽셀당 비용함수의 가중치 평균을 의마하고,
Figure 112009038081856-pat00050
는 k번째 반복 계산에서의 최적 비용함수의 가중치 평균을 의미함.In the above equation, e (p) is the cost function per pixel, E (p) is the optimal cost function, w is the weight function,
Figure 112009038081856-pat00048
Is a weight constant, N (p) is a set of neighboring pixels, superscript k + 1 means k + 1 th in iteration, k means k th in iteration, and bar means mean
Figure 112009038081856-pat00049
Denotes the weighted average of the cost function per pixel,
Figure 112009038081856-pat00050
Denotes the weighted average of the optimal cost function in the k-th iteration. 제5항에 있어서,The method of claim 5, 상기 반복 계산에 의한 비용 함수 연산 시 이웃 픽셀의 집합인 N(p)를 제1 파트인 Nc(p)와 제2파트인 Nn(p)로 분류하여 갱신된 최신의 정보를 반영하여 연산하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. In calculating the cost function by the iterative calculation, N (p), which is a set of neighboring pixels, is classified into N c (p) as a first part and N n (p) as a second part to reflect the latest updated information. Optimal cost function calculation method for estimating the variation, characterized in that.
Figure 112009038081856-pat00051
Figure 112009038081856-pat00051
 위 수학식에서 e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고, λ는 가중치 상수임. In the above equation, e (p) is a cost function per pixel, E (p) is an optimal cost function, w is a weight function, and λ is a weight constant. 제5항에 있어서,The method of claim 5, 상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계는,  Computing the optimal cost function to minimize the value of the set energy function, 제1 해상도의 원본 영상의 비해 저 해상도인 제2 해상도의 영상을 획득하는 단계;Obtaining an image having a second resolution that is lower than that of the original image having a first resolution; 상기 제2 해상도의 영상에 대해 최적 비용 함수를 연산하는 단계; 및Calculating an optimal cost function for the image of the second resolution; And 상기 제2 해상도의 최적 비용 함수를 제1 해상도의 원본 영상에 대한 최적 비용 함수 연산 시 초기치로 사용하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. And using the optimal cost function of the second resolution as an initial value when calculating the optimal cost function for the original image of the first resolution. 제7항에 있어서,The method of claim 7, wherein 상기 제2 해상도의 영상에 비해 저해상도인 제3 해상도의 영상을 획득하는 단계; 및Acquiring an image having a lower resolution than the image having the second resolution; And 상기 제3 해상도의 영상에 대해 최적 비용 함수를 연산하는 단계; 및Calculating an optimal cost function for the image of the third resolution; And 상기 제3 해상도의 영상에 대한 최적 비용 함수를 상기 제2 해상도의 영상에 대한 최적 비용 함수 연산 시 초기치로 활용하는 단계를 더 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. And using the optimal cost function for the third resolution image as an initial value when calculating the optimal cost function for the second resolution image. 제7항에 있어서,The method of claim 7, wherein 상기 저해상도의 영상의 획득 시 로우패스 필터링을 수행하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. And performing low pass filtering when acquiring the low resolution image. 제8항에 있어서,The method of claim 8, 상기 저 해상도의 비용 함수를 고 해상도의 비용 함수 연산 시 초기치로 활용할 때, 상기 저 해상도의 비용 함수는 가중치에 기반한 방식으로 보간되어 고 해상도로 업샘플링되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. When the low-resolution cost function is used as an initial value when calculating a high-resolution cost function, the low-resolution cost function is interpolated in a weighted manner and upsampled to a high resolution. Way. 제10항에 있어서,The method of claim 10, 상기 가중치에 기반한 보간은 다음의 수학식에 기초하여 이루어지는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. The interpolation based on the weighting is performed based on the following equation.
Figure 112009038081856-pat00052
Figure 112009038081856-pat00052
 위 수학식에서, e는 픽셀 당 비용함수이고, E는 최적 비용 함수이며, p는 픽셀이고, w는 가중치 함수이며,λa는 가중치 상수이고, 아래첨자 1은 해상도 레벨을 의미하여 el(p)는 l번째 해상도 레벨에서의 픽셀당 비용함수, El(p)는 l번째 해상도 레벨에서의 최적 비용 함수, El+1(p)는 l+1번째 해상도 레벨에서의 최적 비용함수, N(pi)는 저해상도 레벨에서의 이웃 픽셀 집합을 의미함. In the above equation, e is the cost function per pixel, E is the optimal cost function, p is the pixel, w is the weight function, λ a is the weight constant, subscript 1 is the resolution level, and e l (p) Is the cost-per-pixel function at the l resolution level, E l (p) is the optimal cost function at the l resolution level, E l + 1 (p) is the optimal cost function at the l + 1 resolution level, N ( p i ) is the set of neighboring pixels at the low resolution level. 삭제delete 삭제delete 적어도 둘 이상의 영상에 대한 픽셀 당 비용함수를 연산하는 단계;Calculating a cost function per pixel for at least two images; 상기 연산된 픽셀 당 비용함수, 인접하는 이웃 픽셀과의 화소값의 차이 및 최적 비용 함수의 차이를 이용하는 에너지 함수를 설정하는 단계;Setting an energy function utilizing the computed cost function per pixel, the difference in pixel values from adjacent neighboring pixels, and the difference in optimal cost function; 상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계; Calculating an optimal cost function that minimizes the value of the set energy function; 가려진 영역의 픽셀을 검출하는 단계; Detecting pixels of the obscured area; 가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계; 및Computing an optimal cost function for the pixels of the occluded area; And 상기 연산된 최적 비용 함수에 기초하여 가려진 영역의 픽셀들에 대한 변이를 추정하는 단계를 포함하되, Estimating a variation for pixels in a masked area based on the calculated optimal cost function, 상기 가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계는, Computing an optimal cost function for the pixels in the occluded region may include: 상기 중복 매칭되는 픽셀들 중 가려지지 않은 픽셀에 대한 가시도 함수(Ol())로 제 1값을 할당하는 단계, 상기 중복 매칭되는 픽셀들 중 가려진 픽셀 또는 가려진 픽셀 후보에 대한 가시도 함수(Ol())로 제2 값을 할당하는 단계, 상기 할당된 가시도 함수 값에 기초하여 최적 비용 함수를 연산하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. Assigning a first value to a visibility function ( Ol ()) for the non-hidden pixels of the overlapping matching pixels, and a visibility function for the hidden or candidate pixel candidates of the overlapping matching pixels ( O l assigning a second value in ()), the optimal cost function variation estimation calculation method comprising the step of computing the optimal cost function to the assigned visibility is based on the function value. 제14항에 있어서,The method of claim 14, 상기 할당된 가시도 함수 값에 기초한 최적의 비용 함수는 다음의 수학식에 기초하여 연산되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. Optimal cost function calculation method based on the assigned visibility function value is calculated based on the following equation.
Figure 112009038081856-pat00053
Figure 112009038081856-pat00053
 위 수학식에서, p는 픽셀 좌표, Ol()는 가시도 함수, e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고, λ는 가중치 상수이며, N(p)는 이웃 픽셀의 집합이고, Nc(p)는 이웃 픽셀의 집합 중 제1 파트이고, Nn(p)는 이웃 픽셀의 집합 중 제2 파트이며, 위첨자 k 및 k+1은 반복 계산에서 k번째 및 k+1번째를 각각 의미함.Where p is the pixel coordinate, O l () is the visibility function, e (p) is the cost per pixel function, E (p) is the optimal cost function, w is the weight function, λ is the weight constant , N (p) is the set of neighboring pixels, N c (p) is the first part of the set of neighboring pixels, N n (p) is the second part of the set of neighboring pixels, superscript k and k + 1 Means kth and k + 1th in iterative calculation, respectively. 제1 해상도를 가지는 원본 영상의 해상도에 비해 해상도가 작은 적어도 하나 이상의 (N+1)해상도를 가지는 영상을 획득하는 단계;Obtaining an image having at least one (N + 1) resolution having a smaller resolution than that of an original image having a first resolution; 상기 (N+1)해상도 영상에 대한 최적 비용 함수를 연산하는 단계; 및Calculating an optimal cost function for the (N + 1) resolution image; And 상기 (N+1)해상도 영상에 대한 최적 비용 함수를 N 해상도를 가지는 영상에 대한 최적 비용 함수 연산 시 초기치로 사용하는 단계를 포함하되,And using the optimal cost function for the (N + 1) resolution image as an initial value when calculating the optimal cost function for an image having N resolution. 상기 (N+1)해상도의 영상을 N해상도의 영상의 초기치로 활용할 때 가중치 기반 보간에 의한 업샘플링을 수행하며, 상기 가중치에 기반 보간은 다음의 수학식에 기초하여 이루어지는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. When using the (N + 1) resolution image as an initial value of the N resolution image, upsampling is performed by weight-based interpolation, and the weight-based interpolation is performed based on the following equation. Of cost-optimal cost function calculations.
Figure 112009038081856-pat00054
Figure 112009038081856-pat00054
 위 수학식에서, e는 픽셀 당 비용함수이고, E는 최적 비용 함수이며, p는 픽셀 좌표이고, w는 가중치 함수이며, λa는 가중치 상수이고, 아래첨자 l은 해상도 레벨을 의미하여 el(p)는 l번째 해상도 레벨에서의 픽셀당 비용함수, El(p)는 l번째 해상도 레벨에서의 최적 비용 함수, El+1(p)는 l+1번째 해상도 레벨에서의 최적 비용함수, N(pi)는 저해상도 레벨에서의 이웃 픽셀 집합을 의미함.In the above equation, e is the cost function per pixel, E is the optimal cost function, p is the pixel coordinate, w is the weight function, λa is the weight constant, and the subscript l means the resolution level, e l (p ) Is the cost-per-pixel function at l resolution level, E l (p) is the optimal cost function at l resolution level, E l + 1 (p) is the optimal cost function at l + 1 resolution level, N (p i ) means a set of neighboring pixels at a low resolution level. 제16항에 있어서,The method of claim 16, 상기 저해상도의 영상의 획득 시 로우패스 필터링을 수행하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. And performing low pass filtering when acquiring the low resolution image. 삭제delete 삭제delete 삭제delete 싱글 매칭에 기반하여 가려진 영역의 픽셀을 검출하는 단계; Detecting pixels of the masked area based on the single match; 가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계; 및Computing an optimal cost function for the pixels of the occluded area; And 상기 연산된 최적 비용 함수에 기초하여 가려진 영역의 픽셀들에 대한 변이를 추정하는 단계를 포함하되,Estimating a variation for pixels in a masked area based on the calculated optimal cost function, 상기 싱글 매칭에 기반하여 가려진 영역의 픽셀을 검출하는 단계는,Detecting the pixel of the masked region based on the single match, 싱글 매칭에 의해 중복 매칭되는 픽셀들이 존재하는지 여부를 판단하는 단계, 상기 중복 매칭되는 픽셀들이 존재할 경우, 변이에 기초하는 제1 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계, 상기 중복 매칭되는 픽셀들이 존재할 경우, 최적 비용함수에 기초하는 제2 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계, 상기 중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀들을 가려진 픽셀들로 설정하는 단계 및 상기 중복 매칭되는Determining whether there are overlapping matching pixels by single matching; classifying pixels that are not covered by the first condition based on the variation, when the overlapping matching pixels exist; Classifying the pixels that are hidden by the second condition based on the optimal cost function and the pixels that are not covered by the pixels, wherein the pixels satisfying both the first and second conditions of the overlapping matching pixels Setting to pixels and the overlapping match 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 존재하지 않는 경우 중복 매칭되는 픽셀 모두를 가려진 후보 픽셀로 설정하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 가려진 영역 처리 방법. If all of the pixels satisfying the first condition and the second condition do not exist, setting all of the overlapping matching pixels as hidden candidate pixels. 삭제delete 제21항에 있어서,The method of claim 21, 상기 가려진 픽셀들에 대한 최적 비용 함수를 연산하는 단계는,Computing an optimal cost function for the occluded pixels, 상기 중복 매칭되는 픽셀들 중 가려지지 않은 픽셀에 대한 가시도 함수(Ol())로 제 1값을 할당하는 단계;Assigning a first value to a visibility function ( Ol ()) for the unhidden pixels among the overlapping matching pixels; 상기 중복 매칭되는 픽셀들 중 가려진 픽셀 또는 가려진 픽셀 후보에 대한 가시도 함수(Ol())로 제2 값을 할당하는 단계;Assigning a second value to a visibility function (O 1 ()) for a masked pixel or a masked pixel candidate of the overlapping matching pixels; 상기 할당된 가시도 함수 값에 기초하여 최적 비용 함수를 연산하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. And calculating an optimal cost function based on the assigned visibility function value. 제23항에 있어서,The method of claim 23, wherein 상기 할당된 가시도 함수 값에 기초한 최적의 비용 함수는 다음의 수학식에 기초하여 연산되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법. Optimal cost function calculation method based on the assigned visibility function value is calculated based on the following equation.
Figure 112009038081856-pat00055
Figure 112009038081856-pat00055
 위 수학식에서 Ol()는 가시도 함수, e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고, λ는 가중치 상수이며, N(p)는 이웃 픽셀의 집합이고, Nc(p)는 이웃 피겔의 집합 중 제1 파트이고, Nn(p)는 이웃 픽셀의 집합 중 제2 파트이며, 위첨자 k 및 k+1은 반복 계산에서 k번째 및 k+1번째를 각각 의미하고, p는 픽셀 좌표를 의미함.In the equation above, O l () is the visibility function, e (p) is the cost function per pixel, E (p) is the optimal cost function, w is the weight function, λ is the weight constant, and N (p) is N c (p) is the first part of the set of neighboring gels, N n (p) is the second part of the set of neighboring pixels, and the superscripts k and k + 1 are kth in the iterative calculation And k + 1th, respectively, and p means pixel coordinates.
KR1020070136756A 2007-12-24 2007-12-24 Cost function calculation method and hidden region processing method for variance estimation KR100930286B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070136756A KR100930286B1 (en) 2007-12-24 2007-12-24 Cost function calculation method and hidden region processing method for variance estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070136756A KR100930286B1 (en) 2007-12-24 2007-12-24 Cost function calculation method and hidden region processing method for variance estimation

Publications (2)

Publication Number Publication Date
KR20090068943A KR20090068943A (en) 2009-06-29
KR100930286B1 true KR100930286B1 (en) 2009-12-09

Family

ID=40996265

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070136756A KR100930286B1 (en) 2007-12-24 2007-12-24 Cost function calculation method and hidden region processing method for variance estimation

Country Status (1)

Country Link
KR (1) KR100930286B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130098109A (en) * 2012-02-27 2013-09-04 삼성전자주식회사 Apparatus and method for estimation disparity using visibility energy model
US8577089B2 (en) 2010-06-14 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for depth unfolding based on multiple depth images
US8867825B2 (en) 2011-08-30 2014-10-21 Thompson Licensing Method and apparatus for determining a similarity or dissimilarity measure
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626057B1 (en) 2009-11-19 2016-05-31 삼성전자주식회사 Method and device for disparity estimation from three views
KR102147361B1 (en) * 2015-09-18 2020-08-24 삼성전자주식회사 Method and apparatus of object recognition, Method and apparatus of learning for object recognition

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060006189A (en) * 2004-07-15 2006-01-19 삼성전자주식회사 Method for estimting disparity for 3d object recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060006189A (en) * 2004-07-15 2006-01-19 삼성전자주식회사 Method for estimting disparity for 3d object recognition

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
박준희, 이병욱, "변이공간에서의 비용 함수의 결정", 한국통신학회논문지, Vol.32. No.5, 2007.05., pp.530-535*
허경무, 유재민, "다해상도 기반 계층적 변이맵을 이용한 중간영상 생성 방법", 제어, 자동화,시스템공학 논문지, 제9권, 제11호, 2003.11., pp.899-905*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577089B2 (en) 2010-06-14 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for depth unfolding based on multiple depth images
US8867825B2 (en) 2011-08-30 2014-10-21 Thompson Licensing Method and apparatus for determining a similarity or dissimilarity measure
KR20130098109A (en) * 2012-02-27 2013-09-04 삼성전자주식회사 Apparatus and method for estimation disparity using visibility energy model
KR101882421B1 (en) * 2012-02-27 2018-07-26 삼성전자주식회사 Apparatus and method for estimation disparity using visibility energy model
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus

Also Published As

Publication number Publication date
KR20090068943A (en) 2009-06-29

Similar Documents

Publication Publication Date Title
US10839535B2 (en) Systems and methods for providing depth map information
US10462445B2 (en) Systems and methods for estimating and refining depth maps
US5432712A (en) Machine vision stereo matching
US10268901B2 (en) Quasi-parametric optical flow estimation
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
US8385630B2 (en) System and method of processing stereo images
KR100930286B1 (en) Cost function calculation method and hidden region processing method for variance estimation
US10321112B2 (en) Stereo matching system and method of operating thereof
EP2538242B1 (en) Depth measurement quality enhancement.
CN110992356A (en) Target object detection method and device and computer equipment
WO2020104423A1 (en) Method and apparatus for data fusion of lidar data and image data
KR20090052889A (en) Method for determining a depth map from images, device for determining a depth map
JP5506717B2 (en) Method for handling occlusion in stereo images
Schumacher et al. Matching cost computation algorithm and high speed fpga architecture for high quality real-time semi global matching stereo vision for road scenes
CN114445473B (en) Stereo matching method and system based on deep learning operator
Krauss et al. Deterministic guided lidar depth map completion
GB2244621A (en) Machine vision stereo matching
JP4394487B2 (en) Stereo image processing device
EP3933341B1 (en) Computation device and parallax calculation method
KR20160149088A (en) Method and apparatus for detecting disparity by using hierarchical stereo matching
JP2961272B1 (en) Object recognition apparatus and method using feature vector
Yang et al. Depth-reliability-based stereo-matching algorithm and its VLSI architecture design
Lee et al. Refinement of inverse depth plane in textureless and occluded regions in a multiview stereo matching scheme
Lucas et al. Multi‐and Stereoscopic Matching, Depth and Disparity
Henson Image registration for sonar applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130925

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee