KR100928906B1 - Estimation device and estimation method using parallax - Google Patents
Estimation device and estimation method using parallax Download PDFInfo
- Publication number
- KR100928906B1 KR100928906B1 KR1020070140634A KR20070140634A KR100928906B1 KR 100928906 B1 KR100928906 B1 KR 100928906B1 KR 1020070140634 A KR1020070140634 A KR 1020070140634A KR 20070140634 A KR20070140634 A KR 20070140634A KR 100928906 B1 KR100928906 B1 KR 100928906B1
- Authority
- KR
- South Korea
- Prior art keywords
- window
- value
- parallax
- distance
- center
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
본 발명은 거리 추정 장치 및 거리 추정 방법에 관한 것이다. 본 발명은 스테레오 비전 영상의 픽셀의 양자화로 인한 오차를 보정할 수 있는 보정 수단을 제공함으로써, 시차의 오차를 줄여 정밀한 시차를 구하고 상기 시차를 이용하여 객체의 정확한 거리를 추정할 수 있는 효과가 있다. 또한, 제안된 추정 방법을 이용하면 원거리에 있는 목표 객체에 대한 추정 오차를 현저히 줄일 수 있는 효과가 있다. 상기와 같은 추정 방법은 다양한 분야에 응용하여 정확한 거리, 속도를 추정할 수 있는 효과가 있다. 예를 들어, 로봇이나 자동차 등에 적용하는 경우 자동차의 추돌 방지, 주행 등의 운전 시스템이나 안전 운행 시스템 등에 적용하여 사용할 수 있다.The present invention relates to a distance estimating apparatus and a distance estimating method. According to the present invention, by providing a correction means for correcting an error due to quantization of pixels of a stereo vision image, it is possible to obtain an accurate parallax by reducing an error of parallax and to estimate an accurate distance of an object using the parallax. . In addition, the proposed estimation method has an effect of significantly reducing the estimation error of the target object in the distance. The above estimation method has an effect of estimating accurate distance and speed by applying to various fields. For example, when applied to a robot or a car, it can be applied to a driving system such as collision prevention of a car, driving, or a safe driving system.
Description
본 발명은 거리 추정 장치 및 거리 추정 방법에 관한 것으로서, 더욱 자세하게는 촬영된 영상을 이용하여 영상에 포함된 객체의 거리를 추정하는 장치 및 거리를 추정하는 방법에 관한 것이다.The present invention relates to a distance estimating apparatus and a distance estimating method, and more particularly, to a device for estimating a distance of an object included in an image using a photographed image and a method for estimating distance.
관찰 측으로부터 떨어져 있는 객체의 거리를 측정하는 방법에는 여러 가지가 있다. 그 가운데 상기 객체에 대해 영상을 촬영하고, 상기 촬영된 영상을 이용하여 영상에 포함된 객체까지의 거리를 측정할 수 있는 방법이 있다.There are several ways to measure the distance of an object away from the observer. Among them, there is a method of capturing an image of the object and measuring a distance to an object included in the image by using the photographed image.
촬영된 영상을 이용하여 영상에 포함된 목표 객체까지의 거리를 측정하는 기술의 하나의 예로 스테레오 비전(stereo vision) 기술을 들 수 있다. 상기 스테레오 비전 기술은 두 대의 영상 촬영 장치, 예를 들어, 카메라 등으로부터 각각 획득한 좌측 영상과 우측 영상을 이용하여 영상에 포함된 객체의 위치, 거리, 속도 등을 측정할 수 있다.One example of a technique of measuring a distance to a target object included in an image by using a captured image is stereo vision technology. The stereo vision technology may measure the position, distance, and speed of an object included in an image using a left image and a right image obtained from two imaging apparatuses, for example, cameras.
종래의 스테레오 비전 기술을 이용한 거리 측정 방법에서는 두 대의 카메라로부터 획득한 좌우 영상으로부터 객체에 대한 대응점(corresponding point)을 찾 아서, 그 대응점에 대한 시차(disparity)를 이용하여 객체의 거리를 측정하였다. 그러나 이러한 방법의 경우에 픽셀(pixel)간의 거리 차를 이용하기 때문에 픽셀의 양자화로 인한 양자화 오차가 발생하고, 상기 양자화 오차는 시차가 작아질수록 즉, 객체가 멀어질수록 오차율이 더 커지게 되는 문제가 있었다.In a conventional distance measuring method using stereo vision technology, a corresponding point of an object is found from left and right images obtained from two cameras, and the distance of the object is measured using disparity of the corresponding point. However, in this case, because the distance difference between pixels is used, quantization error due to quantization of pixels occurs, and the quantization error becomes larger as the parallax becomes smaller, that is, the farther the object is, the greater the error rate. There was a problem.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 객체의 정확한 거리를 추정할 수 있는 거리 추정 장치 및 거리 추정 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to provide a distance estimating apparatus and a distance estimating method capable of estimating an accurate distance of an object.
본 발명에 따른 거리 추정 방법은, 촬영된 영상을 이용하여 목표 객체를 추출하고 추출된 객체의 중심을 구하는 단계, 상기 객체의 중심과 영상의 밝기 분산 정보를 이용하여, 기준 영상에 시차 추정을 위한 윈도우를 설정하는 단계, 상기 설정된 윈도우 내 픽셀의 시차 평균값을 이용하여 기준 영상이 아닌 나머지 영상의 윈도우를 설정하고, 상기 각 영상에 설정된 윈도우 내 픽셀의 유사도를 구하는 단계, 및 상기 유사도를 이용하여 정밀 시차를 추정하는 단계를 포함한다.In the distance estimation method according to the present invention, extracting a target object using the captured image and obtaining the center of the extracted object, by using the center of the object and the brightness distribution information of the image, for estimating the parallax to the reference image Setting a window, setting a window of a remaining image other than a reference image by using a parallax average value of pixels in the set window, obtaining a similarity of pixels in a window set in each image, and using the similarity Estimating the parallax.
다른 관점에서 본 발명에 따른 거리 추정 장치는, 촬영된 영상으로부터 목표 객체를 추출하는 객체 검출부, 상기 추출된 객체의 중심과 영상의 밝기 분산 정보를 이용하여, 상기 좌우 영상에 시차 추정을 위한 윈도우를 설정하고, 상기 윈도우 내 픽셀의 유사도를 구하는 객체 중심 및 윈도우 설정부, 상기 유사도의 값이 포물선을 형성하는 경우를 가정하여, 제1 정밀 시차를 추정하는 제1 정밀 시차 추정부, 및 상기 유사도의 값이 2개의 포물선을 형성하는 경우를 가정하고, 상기 유사도와 제1 정밀 시차를 이용하여 제2 정밀 시차를 추정하는 제2 정밀 시차 추정부를 포함한다.In another aspect, an apparatus for estimating distance according to an embodiment of the present invention may include: an object detector extracting a target object from a photographed image, and a window for disparity estimation on the left and right images by using the center of the extracted object and brightness distribution information of the image. An object center and window setting unit for setting and obtaining a similarity between pixels in the window, a first precision disparity estimator estimating a first precise parallax on the assumption that the value of the similarity forms a parabola, and the similarity of the similarity. Assuming that the values form two parabolas, a second precision parallax estimator estimates a second precision parallax using the similarity and the first precision parallax.
본 발명의 거리 추정 장치 및 거리 추정 방법에 따르면, 거리 추정 오차를 줄이고 목표 객체와의 정확한 거리, 속도를 추정할 수 있는 효과가 있다. 또한, 제안된 추정 방법을 이용하여 원거리에 있는 목표 객체에 대한 추정 오차를 현저히 줄일 수 있는 효과가 있다.According to the distance estimating apparatus and the distance estimating method of the present invention, there is an effect of reducing the distance estimation error and estimating the correct distance and speed with the target object. In addition, the proposed estimation method has an effect of significantly reducing the estimation error of the target object in the distance.
상기와 같은 추정 방법은 다양한 분야에 응용하여 정확한 거리, 속도를 추정할 수 있는 효과가 있다. 예를 들어, 자동차 등에 적용하는 경우 자동차의 추돌 방지, 주행 등의 운전 시스템이나 안전 운행 시스템 등에 적용하여 사용할 수 있다.The above estimation method has an effect of estimating accurate distance and speed by applying to various fields. For example, the present invention can be applied to a driving system such as collision prevention of a vehicle, driving, or a safe driving system.
이하 본 발명의 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다. 아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀 두고자 한다.The objects, features and advantages of the present invention will become apparent from the following detailed description of embodiments taken in conjunction with the accompanying drawings. In addition, the terms used in the present invention was selected as a general term widely used as possible now, but in certain cases, the term is arbitrarily selected by the applicant, in which case the meaning is described in detail in the corresponding description of the invention, It is to be clear that the present invention is to be understood as the meaning of terms rather than names.
이와 같이 구성된 본 발명에 따른 거리 추정 장치 및 거리 추정 방법의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.The operation of the distance estimating apparatus and the distance estimating method according to the present invention configured as described above will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 거리를 추정방식을 개략적으로 나타낸 도면이다.1 is a diagram schematically illustrating a distance estimating method according to an exemplary embodiment of the present invention.
스테레오 비전 시스템을 이용하여 거리를 추정하는 방식의 경우, 좌우 영상 촬영 장치로부터 촬영된 영상을 이용하여 대응점을 찾아 깊이 맵(depth map)을 생성한다. 그리고, 상기 깊이 맵과 좌우 영상을 이용하여 이동 객체를 검출하고, 상기 검출된 이동 객체 내의 시차 평균을 구한다. 스테레오 비전 시스템에서는 상기 구해진 시차를 이용하여 객체의 거리를 추정할 수 있다. 상기 시차와 목표 객체의 거리는 하기의 수학식 1 내지 수학식 2와 상기 도 1의 각종 파라미터를 이용하여 자세히 설명하도록 한다. 상기 도 1에서 dz는 목표 객체(object)와의 거리, db는 좌, 우측 영상 촬영 장치의 중심 사이의 거리, df는 영상 촬영 장치의 초점거리(렌즈와 촬상 장치(예를 들어, CCD) 사이의 거리), dl은 좌측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리, dr은 우측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리, k는 상수, dp는 픽셀(pixel)간 거리를 말한다.In the case of estimating distance using a stereo vision system, a depth map is generated by finding a corresponding point using images captured from the left and right image capturing apparatus. The moving object is detected using the depth map and the left and right images, and a parallax average in the detected moving object is obtained. In the stereo vision system, the distance of an object may be estimated using the obtained parallax. The distance between the parallax and the target object will be described in
상기 수학식 1에서 나타낸 바와 같이 목표 객체와의 거리(dz)와 좌, 우측 영 상 촬영 장치의 중심 사이의 거리(db)의 비는, 영상 촬영 장치의 초점거리(df)와 좌측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리(dl)에서 우측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리(dr)를 뺀 값과의 비와 같으며, 상기 수학식 2는 상기 목표 객체와의 거리(dz)를 상기 수학식 1로부터 도출한 것을 나타낸다.As shown in
그러나, 상기 스테레오 비전 방식의 경우, 좌우 영상 촬영 장치에서의 픽셀간의 거리차를 이용하기 때문에, 양자화 오차(dr-dl ≠ kdp)가 발생하게 되고, 이러한 양자화 오차는 시점 차가 작아질수록, 즉 목표 객체와의 거리가 멀어질수록 오차율이 커지게 된다. 하기 수학식 3은 상기 양자화 오차가 커지는 것을 설명한다. do는 목표 객체와의 실제거리, dmax는 측정할 수 있는 객체의 최대 거리, dm은 추정한 거리(dm = ), △k는 시차의 양자화 오차, εmax는 양자화에 의한 최대 측정 오차를 나타낸다.However, in the stereo vision system, since the distance difference between the pixels in the left and right image capturing apparatuses is used, a quantization error d r -d l ≠ kd p occurs, and the quantization error becomes smaller as the viewpoint difference becomes smaller. That is, as the distance from the target object increases, the error rate increases. Equation 3 below describes that the quantization error increases. d o is the actual distance to the target object, d max is the maximum distance of the object that can be measured, and d m is the estimated distance (d m = ), Δk represents the parallax quantization error, and ε max represents the maximum measurement error due to quantization.
상기 수학식 3에서 최대 측정 오차는 실제거리(do)에서 추정한 거리(dm)를 뺀 값의 절대값을 실제거리(do)로 나누어 백분율한 값으로 표현된다. 상기 수학식 3에서 시차(k)가 적을수록 즉, 거리가 멀어질수록, 또한 시차의 양자화 오차(△k) 값이 커질수록, 시차에 의한 최대 측정 오차가 커지는 것을 확인할 수 있다. 따라서, 정확한 거리 추정을 위해 상기 양자화 오차를 최소화하여야 한다. 이하 상기 오차의 최소화 방안을 설명하기로 한다.The maximum measurement error by the equation (3) is expressed as a percentage by dividing the absolute value of the value obtained by subtracting the distance (d m) estimated in the actual distance (d o) in the actual distance (d o) value. In Equation 3, it can be seen that the smaller the parallax k, i.e., the greater the distance, the larger the quantization error Δk of parallax, the larger the maximum measurement error due to parallax. Therefore, the quantization error should be minimized for accurate distance estimation. Hereinafter, a method of minimizing the error will be described.
상기 스테레오 비전 시스템에서는 생성된 깊이 맵(depth map)과 촬영된 좌우 영상을 이용하여 객체를 추출할 수 있다. 그리고 상기 깊이 맵을 이용하여 상기 객체의 중심을 구한다. 예를 들어, 상기 객체는 같은 시차(disparity)를 갖는 픽셀들의 영역을 객체로 추출할 수 있고, 상기 추출된 영역의 중심을 객체의 중심으로 사용할 수 있다.In the stereo vision system, an object may be extracted using the generated depth map and the captured left and right images. The center of the object is obtained using the depth map. For example, the object may extract a region of pixels having the same disparity as an object, and use the center of the extracted region as the center of the object.
상기 객체의 중심이 정해지면, 상기 기준 영상에서 객체의 중심을 중심 픽셀로 하는 윈도우를 설정한다. 상기 기준 영상은 좌측 영상 또는 우측 영상을 가운데 하나를 기준 영상으로 할 수 있으며, 구현 예에 따라 달라질 수 있다. 이하에서는 설명의 편의를 위해 좌측 영상을 기준 영상으로 한 경우에 대해 설명하도록 한다.When the center of the object is determined, a window is set in which the center of the object is the center pixel in the reference image. The reference image may be one of a left image or a right image as a reference image, and may vary according to implementation. Hereinafter, a case in which the left image is a reference image will be described for convenience of description.
상기 윈도우는 픽셀단위로 홀수 크기를 가질 수 있다. 예를 들어, 디폴트(default)로 설정되는 윈도우로 3×3 크기를 갖는 윈도우를 설정할 수 있다. 상기 윈도우의 크기는 원 영상의 휘도값의 분산에 따라 조정한다. 예를 들어, 상기 설정된 윈도우 안의 영상에 대해 휘도값 분산이 설정된 임계치(TH)보다 커질때까지 상기 윈도우의 크기를 확대한다(5×5, 7×7, …). 상기 휘도의 변화가 적으면 좌우 영상의 정확한 대응점을 찾기 어려우므로, 상기 임계치는 좌우 영상의 정확한 대응점을 찾기에 충분할 정도로 설정될 수 있으며, 이는 구현 예에 따라 달라질 수 있다. 다만, 상기 추정된 객체의 경계선 영역에서는 차폐(occlusion) 영역이 발생할 수 있으므로, 상기 윈도우의 크기는 추정된 객체의 경계선을 넘지 않도록 한다.The window may have an odd size in pixels. For example, a window having a 3 × 3 size may be set as a window set as a default. The size of the window is adjusted according to the dispersion of the luminance value of the original image. For example, the size of the window is enlarged until the luminance value variance for the image in the set window is larger than the set threshold TH (5x5, 7x7, ...). When the change in luminance is small, it is difficult to find an exact correspondence point of the left and right images, and thus the threshold may be set to be large enough to find the exact correspondence point of the left and right images, which may vary depending on implementation. However, since an occlusion area may occur in the boundary area of the estimated object, the size of the window does not exceed the boundary of the estimated object.
도 2는 본 발명에 따른 일 실시예로서, 윈도우가 설정된 영상을 개략적으로 나타낸 도면이다. 상기 도 2에서 자동차가 객체로 추정되었으며, 상기 추정된 객체의 중심을 중심픽셀로 하여 5×5의 윈도우가 영상에 설정된 것을 나타낸다. 상기 도 2에서는 기준 영상인 좌측 영상에 중심픽셀이 Il(xl0,yl0)의 좌표 평면 값을 가지는 윈도우가 설정되고, 상기 좌측 영상의 중심픽셀에 대응되는 픽셀 Ir(xr0,yr0)을 중심 픽셀로 하는 우측 영상의 윈도우가 설정된 것을 나타낸다.2 is a diagram schematically illustrating an image in which a window is set as an embodiment according to the present invention. In FIG. 2, an automobile is estimated as an object, and a 5 × 5 window is set in an image using the center of the estimated object as a center pixel. In FIG. 2, a window having a coordinate plane value of I l (x l0 , y l0 ) is set in a left image that is a reference image, and a pixel I r (x r0 , y corresponding to the center pixel of the left image is set. r0 ) indicates that the window of the right image is set as the center pixel.
이하에서는 설명의 편의를 위해 상기 윈도우의 크기가 3×3로 설정된 경우를 가정하여 설명하기로 한다. 상기 좌측 영상에 대해 객체의 중심을 중심 픽셀로 하는 윈도우가 설정되면, 깊이 맵을 이용하여 좌측 영상 윈도우 내 픽셀의 시차의 평균값을 구한다. 그리고 상기 평균값을 반올림하여 정수값을 얻는다. 상기 반올림된 정수값에 해당하는 시차 값을 갖는 픽셀을 상기 우측 영상의 객체 영역에서 찾아 상기 픽셀을 중심 픽셀로 하는 같은 크기(3×3)의 윈도우를 우측 영상에 설정한다.In the following description, it is assumed that the size of the window is set to 3 × 3 for convenience of description. When a window having the center of the object as the center pixel is set for the left image, an average value of parallaxes of pixels in the left image window is obtained using a depth map. Then, the average value is rounded to obtain an integer value. A pixel having a parallax value corresponding to the rounded integer value is found in an object area of the right image, and a window of the same size (3 × 3) having the pixel as a center pixel is set in the right image.
우측 영상에 상기 윈도우가 설정되면, 상기 우측 영상의 윈도우를 한 픽셀씩 이동하면서 좌측 영상과 우측 영상의 윈도우 내 픽셀의 정규 유사도(Normalized Cross Correlation : 이하 NCC)를 구한다. 상기 정규 유사도는 윈도우 내 픽셀의 유사도 정도를 정규화한 값을 나타낸다.When the window is set in the right image, the normalized cross correlation (hereinafter referred to as NCC) of pixels in the window of the left image and the right image is obtained by moving the window of the right image by one pixel. The normal similarity represents a value obtained by normalizing the degree of similarity of pixels in a window.
예를 들어, 상기 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 우측 영상에서 상기 대응 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값을 NCC0이라고 하고, 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 우측 영상의 상기 대응 픽셀에서 우측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값을 NCC1이라고 하고, 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 우측 영상의 상기 대응 픽셀에서 좌측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 구한 값을 NCC-1이라고 한다. 이하 수학식 4, 5는 상기 NCC를 구하는 수식을 나타낸다.For example, an NCC value of a window set with the center of the object of the left image as the center pixel and a window set with the corresponding pixel as the center pixel in the right image is referred to as NCC 0 , and the center of the object of the left image is the center pixel. The NCC value of the window set with the window set as the center pixel and the pixel shifted one pixel to the right from the corresponding pixel of the right image is referred to as NCC 1 , and the window set with the center of the object of the left image as the center pixel. The NCC obtained value of the window set by using the pixel shifted one pixel to the left from the corresponding pixel of the right image as the center pixel is referred to as NCC -1 . Equations 4 and 5 below represent equations for obtaining the NCC.
상기 수학식 4와 수학식 5에서 W(x,y)는 윈도우 안의 x,y 좌표에서의 휘도값, Wm(x,y)는 윈도우 안의 전체 픽셀에 대한 휘도의 평균값, W'(x,y)는 상기 x,y 좌표에서의 휘도값을 전체 픽셀에 대한 휘도의 평균값을 뺀 값을 놈(norm) 값으로 나눈 값을 나타낸다. 상기 수학식 5에서 연산자 ⓧ는 좌측 영상의 윈도우 안에 있 는 각 픽셀의 WL'(x,y) 값과 우측 영상의 윈도우 안에 있는 각 픽셀의 WR'(x,y) 값을 크로스 코릴레이션(cross correlation)하는 연산을 나타낸다. 상기 d0는 상기 좌측 영상의 윈도우에서 구한 윈도우 내 픽셀의 시차 평균값을 반올림한 값이다. k는 윈도우의 위치를 이동하여 NCC 값을 구하는 경우에 윈도우의 중심 픽셀이 이동한 양을 나타낸다.In Equation 4 and Equation 5, W (x, y) is a luminance value at x, y coordinates in a window, and Wm (x, y) is an average value of luminance of all pixels in the window, W '(x, y). ) Denotes a value obtained by dividing a luminance value in the x and y coordinates by subtracting an average value of luminance for all pixels by a norm value. In Equation 5, the operator 크로스 cross-correlates the W L '(x, y) value of each pixel in the window of the left image and the W R ' (x, y) value of each pixel in the window of the right image. (cross correlation). The d 0 is a value obtained by rounding a parallax average value of pixels in a window obtained from the window of the left image. k indicates the amount of shift of the center pixel of the window when the NCC value is obtained by shifting the position of the window.
상기 예에서는 좌측 영상을 기준 영상으로 하여 우측 영상의 윈도우를 이동하는 경우를 예로 하였으나, 상기에서 언급한 바와 같이 구현 예에 따라 우측 영상을 기준 영상으로 한 경우에는, 좌측 영상의 윈도우를 이동하는 경우로 구현할 수도 있다.In the above example, the case in which the window of the right image is moved using the left image as a reference image is taken as an example. However, when the right image is the reference image according to the implementation example, the window of the left image is moved. You can also implement
본 실시예에서는 NCC 값을 구하는 방식을 사용하였으나, 구현 예에 따라 윈도우 내 픽셀의 휘도 값에 대한 SSD(Sum of Squared Difference) 값, SAD(Sum of Absolute Difference) 값을 상기 NCC 값을 대신하여 사용할 수도 있다.In this embodiment, a method of obtaining an NCC value is used. However, according to an embodiment, a sum of squared difference (SSD) value and a sum of absolute difference (SAD) value for a luminance value of a pixel in a window may be used in place of the NCC value. It may be.
상기 구하여진 3개의 NCC 값(NCC-1, NCC0, NCC1)을 이용하여 정규 유사도가 최대가 되는 정밀 시차를 추정할 수 있다. 예를 들어, 상기 3개의 NCC 값이 2차 포물선을 형성한다고 가정한다.Using the three NCC values (NCC- 1 , NCC 0 , NCC 1 ) obtained above, a precise parallax at which the normal similarity is maximum can be estimated. For example, assume that the three NCC values form a secondary parabola.
도 3은 본 발명에 따른 일 실시예로서, 정규 유사도 값이 2차 포물선을 형성하는 경우의 예를 나타낸 도면이고, 도 4는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 좌우 비대칭형의 포물선을 형성하는 경우의 예를 나타낸 도면이다.3 is a diagram illustrating an example in which a normal similarity value forms a secondary parabola as an embodiment according to the present invention, and FIG. 4 is an example according to the present invention, in which a normal similarity value is asymmetrical. It is a figure which shows the example in the case of forming a parabola.
상기 도 3은 상기 3개의 NCC 값이 좌우 대칭형의 2차 포물선을 형성하는 경 우를 가정한 경우이다. 좌측 영상 윈도우의 중심 픽셀과 우측 영상 윈도우의 중심 픽셀 차이가 d0인 경우 NCC0 값이, 중심 픽셀 차이가 d0+1인 경우 NCC1 값이, 중심 픽셀 차이가 d0-1인 경우 NCC-1 값이 2차 포물선 좌표에 나타난 것을 볼 수 있다. 상기 도 3에서 정규 유사도가 최대가 되는 지점의 시차(dd)와 좌우 윈도우 중심 픽셀의 시차(d0)와 τ1만큼 차이가 남을 알 수 있다. 이는 상기에서 설명한 바와 같이 픽셀을 기초로 한 스테레오 비전 시스템에 있어서 픽셀간 양자화 오차에 기인한다. 상기 도 3에서는 중심 픽셀 차이가 d0인 경우와 d0+1인 경우의 사이에서 정규 유사도가 최대로 나타난다.3 is a case where the three NCC values form a secondary parabola of left-right symmetry. NCC 0 value when the center pixel difference between the left and right image windows is d 0 , NCC 1 value when the center pixel difference is d 0 +1, and NCC when the center pixel difference is d 0 -1 You can see the value -1 appear in the quadratic parabolic coordinates. In FIG. 3, it can be seen that the difference between the parallax d d at the point where the normal similarity is maximum and the parallax d 0 of the left and right window center pixels by τ 1 remains. This is due to the inter-pixel quantization error in pixel-based stereo vision systems as described above. In FIG. 3, the normal similarity is maximized between the case where the center pixel difference is d 0 and the case where d 0 +1.
다만, 상기 NCC 값이 완전한 좌우 대칭형의 2차 포물선을 형성하는 경우는 드물다. 따라서, 상기 도 4의 좌우 비대칭 포물선과 같이 d0-τ2 를 기준으로 좌측은 내부의 2차 포물선(y1=a1x2+b1x+c1) 형태를 가지며, 우측은 외부의 2차 포물선(y2=a2x2+b2x+c2) 형태를 가지는 경우를 가정한다. 상기 도 4에서는 좌측 영상 윈도우의 중심 픽셀과 우측 영상 윈도우의 중심 픽셀 차이가 d0인 경우의 NCC0 값, 중심 픽셀 차이가 d0+1인 경우의 NCC1 값은 외부의 2차 포물선(y2=a2x2+b2x+c2) 위에 위치하며, 중심 픽셀 차이가 d0-1인 경우의 NCC-1 값은 내부의 2차 포물 선(y1=a1x2+b1x+c1) 위에 나타난 것을 볼 수 있다. 따라서, 상기 두 개의 정규 유사도 2차 포물선의 합이 최대가 되는 지점의 시차를 정밀 시차로 추정하여 객체의 정확한 거리를 추정한다. 상기 도 4에서는 정밀 시차로 추정되는 위치와 좌우 윈도우 중심 픽셀의 시차(d0)가 τ2만큼 차이가 남을 알 수 있다.However, the NCC value rarely forms a fully parabolic secondary parabola. Accordingly, as shown in FIG. 4, the left side has an inner secondary parabola (y 1 = a 1 x 2 + b 1 x + c 1 ) based on d 0 −τ 2 , and the right side has an outer side as shown in FIG. 4. Assume a case has a secondary parabola (y 2 = a 2 x 2 + b 2 x + c 2 ). FIG 4 NCC NCC 0 1 value when the value of the center pixel when the left and right of the center pixel of the difference image window of the image window d 0, the center of the pixel difference d 0 +1 is the secondary parabolic external (y 2 = a 2 x 2 + b 2 x + c 2 ) and the NCC -1 value when the center pixel difference is d 0 -1 is the internal secondary parabola (y 1 = a 1 x 2 + b 1 x + c 1 ) can be seen above. Therefore, the precise distance of the object is estimated by estimating the parallax of the point where the sum of the two normal similarity secondary parabolas is maximum, as a precise parallax. In FIG. 4, it can be seen that the position of the estimated parallax and the parallax d 0 of the left and right window center pixels are different by τ 2 .
상기 정밀 시차로 추정되는 지점의 시차(d0-τ2)를 추정하기 위해서는 상기 두 개의 포물선의 계수(a1, a2, b1, b2, c1, c2)를 알아야 한다. 도 5는 본 발명에 따른 일 실시예로서, 정규 유사도 포물선의 계수를 구하는 순서를 개략적으로 나타낸 도면이다.In order to estimate the parallax (d 0 -τ 2 ) of the point estimated as the precise parallax, two parabola coefficients (a 1 , a 2 , b 1 , b 2 , c 1 , c 2 ) must be known. FIG. 5 is a diagram schematically showing a procedure for obtaining coefficients of a normal similarity parabola as an embodiment according to the present invention.
우선 상기 도 3에서와 같이 상기 NCC 값이 좌우 대칭형의 1개의 포물선을 형성한다고 가정하여 상기 포물선에서 정규 유사도 값이 최대(coarse extremum)가 되는 지점(d0-τ1)을 찾을 수 있다(S500). 상기 값은 포물선 피팅(parabola fitting) 방법 등을 사용해서 찾을 수 있다. 상기 포물선 상의 3개의 위치에 대한 값(NCC-1, NCC0, NCC1)을 알고 있으므로, 상기 포물선의 수학식을 이용하여 상기 최대가 되는 지점을 찾을 수 있다.First, as shown in FIG. 3, assuming that the NCC value forms one parabola having left and right symmetry, a point d 0 -τ 1 at which a normal similarity value becomes a maximum (coarse extremum) can be found in the parabola (S500). ). The value can be found using a parabola fitting method or the like. Since the values for the three positions on the parabola (NCC -1 , NCC 0 , NCC 1 ) are known, the maximum point can be found using the equation of the parabola.
상기 S500 단계에서 정규 유사도 값이 최대가 되는 지점을 찾은 경우, 상기 최대 값을 중심으로 좌우 2개의 정규 유사도 포물선을 가정한다. 상기 가정된 포물선은 각각 y1=a1x2+b1x+c1의 수학식과 y2=a2x2+b2x+c2의 수학식으로 나타낼 수 있다.When a point at which the normal similarity value becomes the maximum in step S500 is found, two normal similarity parabolas are assumed based on the maximum value. The hypothesized parabolas are y 1 = a 1 x 2 + b 1 x + c 1 , respectively. And y 2 = a 2 x 2 + b 2 x + c 2 .
상기 2개의 포물선을 구하기 위해, 기준 영상으로 설정된 좌측 영상을 이용하여 상기 포물선의 a1과 a2 계수를 구한다(S510). 기준 영상인 상기 좌측 영상에서 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와, 상기 좌측 영상의 객체의 중심에서 한 픽셀 좌측에 있는 픽셀을 중심 픽셀로 하여 설정된 윈도우에 대해 NCC() 값을 구한다. 그리고 상기 좌측 영상에서 객체의 중심을 중심 픽셀로 하여 설전된 윈도우와, 상기 좌측 영상의 객체의 중심에서 한 픽셀 우측에 있는 픽셀을 중심 픽셀로 하여 설정된 윈도우에 대해 NCC() 값을 구한다. 상기 IL(x) 값은 x 위치 픽셀에서의 휘도 값을 사용할 수 있다. 상기 2개의 포물선의 a1과 a2 계수는 와 를 이용하여 얻을 수 있다.In order to find the said two parabolic, with the left image is set to the reference image is obtained for a 1 and a second coefficient of the parabola (S510). NCC (for a window set with a center pixel as a center pixel in the left image as a reference image and a window set with a pixel left of a pixel at the center of the object in the left image as a center pixel) ) To get the value. In addition, NCC (for a window set up with the center pixel of the object as the center pixel in the left image and a window set with the pixel located one pixel right from the center of the object of the left image as the center pixel) ) Value. The I L (x) value may use a luminance value in an x position pixel. The a 1 and a 2 coefficients of the two parabolas are Wow Can be obtained using
상기 S510 단계에서 a1과 a2 계수가 얻고, 나머지 b1, b2, c1 및 c2를 구하여 최대 값(coarse extremum)을 중심으로 좌우 2개의 포물선의 모든 계수를 구한다(S520). 그리고 상기 가정한 2개의 정규 유사도 포물선의 합이 최대가 되는 위치를 구한다(S530). 상기 포물선의 나머지 계수는 상기 3개의 NCC값(NCC-1, NCC0, NCC1)과 상기 좌측 영상에 설정된 윈도우 자신의 NCC값을 이용하여 구할 수 있다. 예를 들어, 상기 좌측 영상에 설정된 윈도우 자신의 NCC값과 상기 NCC-1을 이용하여 b1과 c1값을 구할 수 있고, 상기 좌측 영상에 설정된 윈도우 자신의 NCC값과 상기 NCC1값을 이용하여 b2와 c2값을 구할 수 있다.In step S510, the coefficients a 1 and a 2 are obtained, and the remaining b 1 , b 2 , c 1, and c 2 are obtained to obtain all coefficients of the left and right two parabolas around the maximum value (coarse extremum) (S520). In operation S530, the position at which the sum of the two normal similarity parabolas is assumed to be the maximum. The remaining coefficients of the parabola may be obtained by using the three NCC values (NCC- 1 , NCC 0 , NCC 1 ) and the NCC values of the window itself set in the left image. For example, b 1 and c 1 values can be obtained using the NCC value of the window itself set in the left image and the NCC -1 , and the NCC value and NCC 1 value of the window itself set in the left image are used. We can get b 2 and c 2 values.
상기와 같은 방식에 따라 얻어진 2개의 포물선의 합이 최대가 되는 위치를 양자화 오차를 보간한 정밀 시차로 추정할 수 있으며, 상기 정밀 시차는 , 로 나타낼 수 있다. 상기 얻어진 정밀 시차 값(dd)을 상기 수학식 2에 대입하여 목표 객체의 정확한 거리를 추정할 수 있다.The position at which the sum of the two parabolas obtained according to the above method is maximized can be estimated by the precise parallax obtained by interpolating the quantization error. , It can be represented as. The exact distance of the target object may be estimated by substituting the obtained precise parallax value d d into
도 6은 본 발명에 따른 일 실시예로서, 거리 추정 장치의 구성을 개략적으로 나타낸 블록도이다. 상기 거리 추정 장치는 좌측 영상 촬영 장치(600), 우측 영상 촬영 장치(602), 스테레오 매칭부(610), 객체 검출부(620), 객체 중심 및 윈도우 설정부(630), 제1 정밀 시차 추정부(640), 제2 정밀 시차 추정부(650) 및 필터부(660)를 포함한다.6 is a block diagram schematically illustrating a configuration of a distance estimating apparatus according to an embodiment of the present invention. The distance estimating apparatus may include a left
좌측 영상 촬영 장치(600)와 우측 영상 촬영 장치(602)는 스테레오 비전 시스템에서 거리, 속도 등의 추정에 필요한 좌측 영상과 우측 영상을 촬영한다. 상기 영상 촬영 장치는 예를 들어, 카메라 등이 사용될 수 있다. 상기 좌측 영상 촬영 장치(600)와 우측 영상 촬영 장치(602)에서 각각 얻어진 좌측 영상과 우측 영상은 스테레오 매칭부(610)로 입력된다. 상기 스테레오 매칭부(610)에서는 입력된 좌측 영상과 우측 영상을 매칭(matching)하여 촬영된 영상의 깊이 맵(depth map)을 얻을 수 있다.The left
객체 검출부(620)는 상기 깊이 맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출할 수 있다. 예를 들어, 상기에서 설명한 바와 같이 시차 값이 동일한 영역 등을 군집화(clustering)하여 상기 객체를 추출할 수 있다. 객체 중심 및 윈도우 설정부(630)는 상기 객체 검출부(620)에서 추출된 객체 정보, 상기 좌측 영상 촬영 장치(600)에서 얻은 좌측 영상, 우측 영상 촬영 장치(602)로부터 얻은 우측 영상 정보를 이용하여 상기 객체의 중심과 윈도우를 설정한다. 객체의 중심과 윈도우를 설정하는 방법은 상기에서 설명한 바와 같다. 상기 객체 중심 및 윈도우 설정부(630)는 상기 객체 중심과 설정된 윈도우, 시차의 평균값 등을 이용하여 좌측 영상과 우측 영상의 윈도우 내 픽셀의 정규 유사도 값(NCC)을 얻는다. 상기 정규 유사도 값은 상기에서 설명한 바와 같이 윈도우의 중심 픽셀을 하나씩 이동하면서 3개의 값(NCC-1, NCC0, NCC+1)을 얻을 수 있다.The
제1 정밀 시차 추정부(640)는 상기 객체 중심 및 윈도우 설정부(630)에서 출력된 정규 유사도 값을 이용하여 제1 정밀 시차를 추정한다. 상기 제1 정밀 시차 추정부(640)는 상기 객체 중심 및 윈도우 설정부(630)에서 출력된 3개의 정규 유사도 값이 대칭형 2차 포물선을 형성한다고 가정하고 상기 포물선이 최대값을 갖는 위치의 값을 제1 정밀 시차 값으로 추정할 수 있다.The first
제2 정밀 시차 추정부(650)는 상기 제1 정밀 시차 추정부(640)에서 추정된 제1 정밀 시차 값 정보와 상기 3개의 정규 유사도 값, 기준 영상의 정규 유사도 값 등을 이용하여 제2 정밀 시차를 추정한다. 상기 제2 정밀 시차 추정부(650)에서의 시차 추정 방법은 상기에서 설명한 바와 같다.The second
필터부(660)은 상기 제2 정밀 시차 추정부(650)를 거쳐 추정된 시차 정보에 따라 얻어진 목표 객체까지의 거리 정보를 필터링 및 추적하여 이동하는 객체의 정확한 거리를 추정할 수 있다. 상기 필터부(660)의 필터로 예를 들어, 칼만 필터(Kalman Filter), 파티클 필터(Particle Filter) 등을 사용할 수 있다.The
도 7은 본 발명에 따른 일 실시예로서, 거리 추정 방법을 개략적으로 나타낸 순서도이다.7 is a flowchart schematically illustrating a distance estimation method according to an embodiment of the present invention.
스테레오 비전 시스템의 좌측 영상 촬영 장치와 우측 영상 촬영 장치를 이용하여 좌우 영상을 촬영하고, 상기 촬영된 좌측 영상과 우측 영상을 이용하여 촬영된 영상의 깊이 맵(depth map)를 추출한다(S700). 상기 깊이 맵을 이용하여 이동 객체 예를 들어, 자동차나 보행자 등과 같은 객체를 추출한다(S702). 상기 검출된 객체에 대한 정보와 깊이 맵 등을 이용하여 상기 이동 객체의 중심을 구할 수 있다(S704). 상기에 대한 설명은 상기에서 기술한 바와 같다. 상기 객체의 중심이 정하여 지면, 상기 중심을 이용하여 기준 영상에 최초 윈도우를 설정하고 원래 영상을 이용하여 밝기의 분산을 구한다(S706). 이하에서는 설명의 편의를 위해, 좌측 영상을 기준 영상으로 설정한 경우를 설명하기로 한다.The left and right images are photographed using the left image capture device and the right image capture device of the stereo vision system, and a depth map of the captured image is extracted using the captured left image and the right image (S700). A moving object, for example, an object such as a car or a pedestrian, is extracted using the depth map (S702). The center of the moving object may be obtained using the information on the detected object, the depth map, and the like (S704). The above description is as described above. When the center of the object is determined, the initial window is set in the reference image using the center and the dispersion of brightness is obtained using the original image (S706). Hereinafter, for convenience of description, a case where the left image is set as the reference image will be described.
상기 단계에서 구한 밝기의 분산 값을 설정된 임계 값과 비교하여(S708), 상 기 분산 값이 크면 설정된 최초 윈도우를 거리 추정을 위한 윈도우로 결정하고 다음 단계로 진행한다. 그러나 상기 분산 값이 임계 값보다 작으면 추출된 객체의 외각선과 설정된 윈도우의 경계를 비교한다(S710). 상기 윈도우가 상기 객체의 외곽선을 벗어나지 않으면, 윈도우 크기를 증가시켜(S712), 다시 상기 크기가 커진 윈도우 내의 밝기 분산 값과 임계 값을 비교하는 단계를 수행한다(S708). 상기 S712단계에서 윈도우가 상기 객체의 외곽선을 벗어나는 것으로 판단되면, 윈도우 크기를 더 이상 증가시키지 않고 윈도우를 결정하여 다음 단계로 진행한다.The dispersion value of brightness obtained in the above step is compared with the set threshold value (S708). If the dispersion value is large, the set initial window is determined as a window for distance estimation, and the process proceeds to the next step. However, when the variance value is smaller than the threshold value, the boundary of the extracted object and the boundary of the set window are compared (S710). If the window does not deviate from the outline of the object, the window size is increased (S712), and the brightness variance value and the threshold value in the enlarged window are compared (S708). If it is determined in step S712 that the window deviates from the outline of the object, the window is determined without further increasing the size of the window and proceeds to the next step.
상기 S710 단계에서 결정된 윈도우를 이용하여 상기 윈도우 내부의 픽셀 들에 대한 시차(disparity) 값의 평균을 구한다(S714). 상기 시차의 평균값이 얻어지면 상기 평균 값을 반올림한다. 상기 반올림된 시차 값에 대응되는 픽셀을 중심 픽셀로 하는 윈도우를 갖는 우측 영상과 상기 좌측 영상에 설정된 윈도우를 이용하여 정규 유사도(NCC) 값을 얻는다(S716). 상기 정규 유사도 값은 상기에서 설명한 바와 같이 우측 영상 윈도우의 중심 픽셀을 이동하면서 3개의 값(NCC-1, NCC0, NCC+1)을 얻을 수 있다.An average of disparity values of pixels in the window is obtained using the window determined in step S710 (S714). When the average value of the parallax is obtained, the average value is rounded up. A normal similarity (NCC) value is obtained using a right image having a window whose center pixel is the pixel corresponding to the rounded parallax value and a window set in the left image (S716). As described above, the normal similarity value may obtain three values (NCC -1 , NCC 0 , NCC +1 ) while moving the center pixel of the right image window.
상기 S716 단계에서 얻어진 3개의 정규 유사도 값 등을 이용하여 정밀 시차를 추정한다(S718). 상기 정밀 시차 추정 방법은 상기에서 설명한 바와 같이 좌우 대칭형의 2차 포물선을 가정하는 1차 추정과 2개의 2차 포물선을 가정하는 2차 추정의 2 단계를 거쳐 추정할 수 있다. 상기 S718 단계에서 얻어진 정밀 시차 정보를 필터링하여 이동하는 목표 객체의 정확한 거리를 추정한다(S720). 상기 필터링을 위한 필터로 칼만 필터나 파티클 필터 등을 사용할 수 있다.The precise parallax is estimated using the three normal similarity values obtained in step S716 (S718). As described above, the method for estimating the precise parallax may be estimated through two steps, a first estimation that assumes a left-right symmetric secondary parabola and a second estimation that assumes two secondary parabolas. The exact distance of the moving target object is estimated by filtering the precise parallax information obtained in step S718 (S720). As the filter for the filtering, a Kalman filter or a particle filter may be used.
본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.The present invention is not limited to the above-described embodiments, and as can be seen in the appended claims, modifications can be made by those skilled in the art to which the invention pertains, and such modifications are within the scope of the present invention.
도 1은 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 거리를 추정방식을 개략적으로 나타낸 도면1 is a diagram schematically illustrating a distance estimating method according to an exemplary embodiment of the present invention.
도 2는 본 발명에 따른 일 실시예로서, 윈도우가 설정된 영상을 개략적으로 나타낸 도면2 is a diagram schematically illustrating an image in which a window is set according to an embodiment of the present invention.
도 3은 본 발명에 따른 일 실시예로서, 정규 유사도 값이 2차 포물선을 형성하는 경우의 예를 나타낸 도면3 is a diagram illustrating an example in which a normal similarity value forms a secondary parabola as an embodiment according to the present invention.
도 4는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 좌우 비대칭형의 2차 포물선을 형성하는 경우의 예를 나타낸 도면4 is a diagram illustrating an example in which a normal similarity value forms a left-right asymmetric secondary parabola as an embodiment according to the present invention.
도 5는 본 발명에 따른 일 실시예로서, 정규 유사도 포물선의 계수를 구하는 순서를 개략적으로 나타낸 도면5 is a diagram schematically illustrating a procedure for obtaining coefficients of a normal similarity parabola as an embodiment according to the present invention.
도 6은 본 발명에 따른 일 실시예로서, 거리 추정 장치의 구성을 개략적으로 나타낸 블록도6 is a block diagram schematically illustrating a configuration of a distance estimating apparatus according to an embodiment of the present invention.
도 7은 본 발명에 따른 일 실시예로서, 거리 추정 방법을 개략적으로 나타낸 순서도7 is a flowchart schematically illustrating a distance estimation method according to an embodiment of the present invention.
*도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings
600 : 좌측 영상 촬영장치 602 : 우측 영상 촬영장치600: left video recording device 602: right video recording device
610 : 스테레오 매칭부 620 : 객체 검출부610: stereo matching unit 620: object detection unit
630 : 객체중심 및 윈도우 설정부 640 : 제1 정밀 시차 추정부630: object center and window setting unit 640: first precision parallax estimation unit
650 : 제2 정밀 시차 추정부 660 : 필터부650: second precision parallax estimation unit 660: filter unit
Claims (17)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070140634A KR100928906B1 (en) | 2007-12-28 | 2007-12-28 | Estimation device and estimation method using parallax |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070140634A KR100928906B1 (en) | 2007-12-28 | 2007-12-28 | Estimation device and estimation method using parallax |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090072499A KR20090072499A (en) | 2009-07-02 |
KR100928906B1 true KR100928906B1 (en) | 2009-11-30 |
Family
ID=41329716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070140634A KR100928906B1 (en) | 2007-12-28 | 2007-12-28 | Estimation device and estimation method using parallax |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100928906B1 (en) |
-
2007
- 2007-12-28 KR KR1020070140634A patent/KR100928906B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR20090072499A (en) | 2009-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9374571B2 (en) | Image processing device, imaging device, and image processing method | |
US8111910B2 (en) | Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus | |
US9344701B2 (en) | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation | |
KR100938195B1 (en) | Method for distance estimation and apparatus for the same using a stereo matching | |
US9800856B2 (en) | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies | |
US9361680B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
US9485495B2 (en) | Autofocus for stereo images | |
US8120644B2 (en) | Method and system for the dynamic calibration of stereovision cameras | |
CN106960454B (en) | Depth of field obstacle avoidance method and equipment and unmanned aerial vehicle | |
CN107316326B (en) | Edge-based disparity map calculation method and device applied to binocular stereo vision | |
US20110032341A1 (en) | Method and system to transform stereo content | |
CN105069804B (en) | Threedimensional model scan rebuilding method based on smart mobile phone | |
US8831359B2 (en) | Apparatus and method for refining a value of a similarity measure | |
CN103458261B (en) | Video scene variation detection method based on stereoscopic vision | |
CN111784885A (en) | Passage control method and device, gate equipment and multi-gate system | |
US9483825B2 (en) | Apparatus and method for estimating distance using dual off-axis color filter aperture | |
US10764500B2 (en) | Image blur correction device and control method | |
KR100934904B1 (en) | Method for distance estimation and apparatus for the same | |
JP4394487B2 (en) | Stereo image processing device | |
KR100926287B1 (en) | Method for distance estimation and apparatus for the same using a disparity and a perspective | |
KR100928906B1 (en) | Estimation device and estimation method using parallax | |
KR100911493B1 (en) | Method for image processing and apparatus for the same | |
Robert et al. | Disparity-compensated view synthesis for s3D content correction | |
KR101042171B1 (en) | Method and apparatus for controlling vergence of intersting objects in the steroscopic camera | |
KR101823657B1 (en) | Stereo image rectification method for mono cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |