KR100928906B1 - Estimation device and estimation method using parallax - Google Patents

Abstract

본 발명은 거리 추정 장치 및 거리 추정 방법에 관한 것이다. 본 발명은 스테레오 비전 영상의 픽셀의 양자화로 인한 오차를 보정할 수 있는 보정 수단을 제공함으로써, 시차의 오차를 줄여 정밀한 시차를 구하고 상기 시차를 이용하여 객체의 정확한 거리를 추정할 수 있는 효과가 있다. 또한, 제안된 추정 방법을 이용하면 원거리에 있는 목표 객체에 대한 추정 오차를 현저히 줄일 수 있는 효과가 있다. 상기와 같은 추정 방법은 다양한 분야에 응용하여 정확한 거리, 속도를 추정할 수 있는 효과가 있다. 예를 들어, 로봇이나 자동차 등에 적용하는 경우 자동차의 추돌 방지, 주행 등의 운전 시스템이나 안전 운행 시스템 등에 적용하여 사용할 수 있다.The present invention relates to a distance estimating apparatus and a distance estimating method. According to the present invention, by providing a correction means for correcting an error due to quantization of pixels of a stereo vision image, it is possible to obtain an accurate parallax by reducing an error of parallax and to estimate an accurate distance of an object using the parallax. . In addition, the proposed estimation method has an effect of significantly reducing the estimation error of the target object in the distance. The above estimation method has an effect of estimating accurate distance and speed by applying to various fields. For example, when applied to a robot or a car, it can be applied to a driving system such as collision prevention of a car, driving, or a safe driving system.

Description

시차를 이용한 거리 추정 장치 및 추정 방법{Method for distance estimation and apparatus for the same using a disparity}Distance estimation apparatus and estimation method using parallax {Method for distance estimation and apparatus for the same using a disparity}

본 발명은 거리 추정 장치 및 거리 추정 방법에 관한 것으로서, 더욱 자세하게는 촬영된 영상을 이용하여 영상에 포함된 객체의 거리를 추정하는 장치 및 거리를 추정하는 방법에 관한 것이다.The present invention relates to a distance estimating apparatus and a distance estimating method, and more particularly, to a device for estimating a distance of an object included in an image using a photographed image and a method for estimating distance.

관찰 측으로부터 떨어져 있는 객체의 거리를 측정하는 방법에는 여러 가지가 있다. 그 가운데 상기 객체에 대해 영상을 촬영하고, 상기 촬영된 영상을 이용하여 영상에 포함된 객체까지의 거리를 측정할 수 있는 방법이 있다.There are several ways to measure the distance of an object away from the observer. Among them, there is a method of capturing an image of the object and measuring a distance to an object included in the image by using the photographed image.

촬영된 영상을 이용하여 영상에 포함된 목표 객체까지의 거리를 측정하는 기술의 하나의 예로 스테레오 비전(stereo vision) 기술을 들 수 있다. 상기 스테레오 비전 기술은 두 대의 영상 촬영 장치, 예를 들어, 카메라 등으로부터 각각 획득한 좌측 영상과 우측 영상을 이용하여 영상에 포함된 객체의 위치, 거리, 속도 등을 측정할 수 있다.One example of a technique of measuring a distance to a target object included in an image by using a captured image is stereo vision technology. The stereo vision technology may measure the position, distance, and speed of an object included in an image using a left image and a right image obtained from two imaging apparatuses, for example, cameras.

종래의 스테레오 비전 기술을 이용한 거리 측정 방법에서는 두 대의 카메라로부터 획득한 좌우 영상으로부터 객체에 대한 대응점(corresponding point)을 찾 아서, 그 대응점에 대한 시차(disparity)를 이용하여 객체의 거리를 측정하였다. 그러나 이러한 방법의 경우에 픽셀(pixel)간의 거리 차를 이용하기 때문에 픽셀의 양자화로 인한 양자화 오차가 발생하고, 상기 양자화 오차는 시차가 작아질수록 즉, 객체가 멀어질수록 오차율이 더 커지게 되는 문제가 있었다.In a conventional distance measuring method using stereo vision technology, a corresponding point of an object is found from left and right images obtained from two cameras, and the distance of the object is measured using disparity of the corresponding point. However, in this case, because the distance difference between pixels is used, quantization error due to quantization of pixels occurs, and the quantization error becomes larger as the parallax becomes smaller, that is, the farther the object is, the greater the error rate. There was a problem.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 객체의 정확한 거리를 추정할 수 있는 거리 추정 장치 및 거리 추정 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to provide a distance estimating apparatus and a distance estimating method capable of estimating an accurate distance of an object.

본 발명에 따른 거리 추정 방법은, 촬영된 영상을 이용하여 목표 객체를 추출하고 추출된 객체의 중심을 구하는 단계, 상기 객체의 중심과 영상의 밝기 분산 정보를 이용하여, 기준 영상에 시차 추정을 위한 윈도우를 설정하는 단계, 상기 설정된 윈도우 내 픽셀의 시차 평균값을 이용하여 기준 영상이 아닌 나머지 영상의 윈도우를 설정하고, 상기 각 영상에 설정된 윈도우 내 픽셀의 유사도를 구하는 단계, 및 상기 유사도를 이용하여 정밀 시차를 추정하는 단계를 포함한다.In the distance estimation method according to the present invention, extracting a target object using the captured image and obtaining the center of the extracted object, by using the center of the object and the brightness distribution information of the image, for estimating the parallax to the reference image Setting a window, setting a window of a remaining image other than a reference image by using a parallax average value of pixels in the set window, obtaining a similarity of pixels in a window set in each image, and using the similarity Estimating the parallax.

다른 관점에서 본 발명에 따른 거리 추정 장치는, 촬영된 영상으로부터 목표 객체를 추출하는 객체 검출부, 상기 추출된 객체의 중심과 영상의 밝기 분산 정보를 이용하여, 상기 좌우 영상에 시차 추정을 위한 윈도우를 설정하고, 상기 윈도우 내 픽셀의 유사도를 구하는 객체 중심 및 윈도우 설정부, 상기 유사도의 값이 포물선을 형성하는 경우를 가정하여, 제1 정밀 시차를 추정하는 제1 정밀 시차 추정부, 및 상기 유사도의 값이 2개의 포물선을 형성하는 경우를 가정하고, 상기 유사도와 제1 정밀 시차를 이용하여 제2 정밀 시차를 추정하는 제2 정밀 시차 추정부를 포함한다.In another aspect, an apparatus for estimating distance according to an embodiment of the present invention may include: an object detector extracting a target object from a photographed image, and a window for disparity estimation on the left and right images by using the center of the extracted object and brightness distribution information of the image. An object center and window setting unit for setting and obtaining a similarity between pixels in the window, a first precision disparity estimator estimating a first precise parallax on the assumption that the value of the similarity forms a parabola, and the similarity of the similarity. Assuming that the values form two parabolas, a second precision parallax estimator estimates a second precision parallax using the similarity and the first precision parallax.

본 발명의 거리 추정 장치 및 거리 추정 방법에 따르면, 거리 추정 오차를 줄이고 목표 객체와의 정확한 거리, 속도를 추정할 수 있는 효과가 있다. 또한, 제안된 추정 방법을 이용하여 원거리에 있는 목표 객체에 대한 추정 오차를 현저히 줄일 수 있는 효과가 있다.According to the distance estimating apparatus and the distance estimating method of the present invention, there is an effect of reducing the distance estimation error and estimating the correct distance and speed with the target object. In addition, the proposed estimation method has an effect of significantly reducing the estimation error of the target object in the distance.

상기와 같은 추정 방법은 다양한 분야에 응용하여 정확한 거리, 속도를 추정할 수 있는 효과가 있다. 예를 들어, 자동차 등에 적용하는 경우 자동차의 추돌 방지, 주행 등의 운전 시스템이나 안전 운행 시스템 등에 적용하여 사용할 수 있다.The above estimation method has an effect of estimating accurate distance and speed by applying to various fields. For example, the present invention can be applied to a driving system such as collision prevention of a vehicle, driving, or a safe driving system.

이하 본 발명의 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다. 아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀 두고자 한다.The objects, features and advantages of the present invention will become apparent from the following detailed description of embodiments taken in conjunction with the accompanying drawings. In addition, the terms used in the present invention was selected as a general term widely used as possible now, but in certain cases, the term is arbitrarily selected by the applicant, in which case the meaning is described in detail in the corresponding description of the invention, It is to be clear that the present invention is to be understood as the meaning of terms rather than names.

이와 같이 구성된 본 발명에 따른 거리 추정 장치 및 거리 추정 방법의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.The operation of the distance estimating apparatus and the distance estimating method according to the present invention configured as described above will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 거리를 추정방식을 개략적으로 나타낸 도면이다.1 is a diagram schematically illustrating a distance estimating method according to an exemplary embodiment of the present invention.

스테레오 비전 시스템을 이용하여 거리를 추정하는 방식의 경우, 좌우 영상 촬영 장치로부터 촬영된 영상을 이용하여 대응점을 찾아 깊이 맵(depth map)을 생성한다. 그리고, 상기 깊이 맵과 좌우 영상을 이용하여 이동 객체를 검출하고, 상기 검출된 이동 객체 내의 시차 평균을 구한다. 스테레오 비전 시스템에서는 상기 구해진 시차를 이용하여 객체의 거리를 추정할 수 있다. 상기 시차와 목표 객체의 거리는 하기의 수학식 1 내지 수학식 2와 상기 도 1의 각종 파라미터를 이용하여 자세히 설명하도록 한다. 상기 도 1에서 d_z는 목표 객체(object)와의 거리, d_b는 좌, 우측 영상 촬영 장치의 중심 사이의 거리, d_f는 영상 촬영 장치의 초점거리(렌즈와 촬상 장치(예를 들어, CCD) 사이의 거리), d_l은 좌측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리, d_r은 우측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리, k는 상수, d_p는 픽셀(pixel)간 거리를 말한다.In the case of estimating distance using a stereo vision system, a depth map is generated by finding a corresponding point using images captured from the left and right image capturing apparatus. The moving object is detected using the depth map and the left and right images, and a parallax average in the detected moving object is obtained. In the stereo vision system, the distance of an object may be estimated using the obtained parallax. The distance between the parallax and the target object will be described in detail using Equation 1 to Equation 2 below and various parameters of FIG. 1. In FIG. 1, d _z is a distance from a target object, d _b is a distance between a center of a left and right image capturing apparatus, and d _f is a focal length of the image capturing apparatus (a lens and an image capturing apparatus (eg, a CCD). ), D _l is the distance from the center of the image on the left camera, d _r is the distance from the center of the image on the right camera, k is a constant, and d _p is the distance between pixels. Say.

상기 수학식 1에서 나타낸 바와 같이 목표 객체와의 거리(d_z)와 좌, 우측 영 상 촬영 장치의 중심 사이의 거리(d_b)의 비는, 영상 촬영 장치의 초점거리(d_f)와 좌측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리(d_l)에서 우측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리(d_r)를 뺀 값과의 비와 같으며, 상기 수학식 2는 상기 목표 객체와의 거리(d_z)를 상기 수학식 1로부터 도출한 것을 나타낸다.As shown in Equation 1, the ratio of the distance d _z between the target object and the distance d _b between the center of the left and right image capturing apparatuses is the focal length d _f of the image capturing apparatus and the left side. Equation 2 is equal to the ratio of the distance d _l deviating from the center of the image formed on the photographing apparatus minus the distance d _r deviating from the center of the image formed on the right photographing apparatus. The distance d _z is derived from the above equation (1).

그러나, 상기 스테레오 비전 방식의 경우, 좌우 영상 촬영 장치에서의 픽셀간의 거리차를 이용하기 때문에, 양자화 오차(d_r-d_l ≠ kd_p)가 발생하게 되고, 이러한 양자화 오차는 시점 차가 작아질수록, 즉 목표 객체와의 거리가 멀어질수록 오차율이 커지게 된다. 하기 수학식 3은 상기 양자화 오차가 커지는 것을 설명한다. d_o는 목표 객체와의 실제거리, d_max는 측정할 수 있는 객체의 최대 거리, d_m은 추정한 거리(d_m =

), △k는 시차의 양자화 오차, ε_max는 양자화에 의한 최대 측정 오차를 나타낸다.However, in the stereo vision system, since the distance difference between the pixels in the left and right image capturing apparatuses is used, a quantization error d _r -d _l ≠ kd _p occurs, and the quantization error becomes smaller as the viewpoint difference becomes smaller. That is, as the distance from the target object increases, the error rate increases. Equation 3 below describes that the quantization error increases. d _o is the actual distance to the target object, d _max is the maximum distance of the object that can be measured, and d _m is the estimated distance (d _m =

), Δk represents the parallax quantization error, and ε _max represents the maximum measurement error due to quantization.

상기 수학식 3에서 최대 측정 오차는 실제거리(d_o)에서 추정한 거리(d_m)를 뺀 값의 절대값을 실제거리(d_o)로 나누어 백분율한 값으로 표현된다. 상기 수학식 3에서 시차(k)가 적을수록 즉, 거리가 멀어질수록, 또한 시차의 양자화 오차(△k) 값이 커질수록, 시차에 의한 최대 측정 오차가 커지는 것을 확인할 수 있다. 따라서, 정확한 거리 추정을 위해 상기 양자화 오차를 최소화하여야 한다. 이하 상기 오차의 최소화 방안을 설명하기로 한다.The maximum measurement error by the equation (3) is expressed as a percentage by dividing the absolute value of the value obtained by subtracting the distance (d _m) estimated in the actual distance (d _o) in the actual distance (d _o) value. In Equation 3, it can be seen that the smaller the parallax k, i.e., the greater the distance, the larger the quantization error Δk of parallax, the larger the maximum measurement error due to parallax. Therefore, the quantization error should be minimized for accurate distance estimation. Hereinafter, a method of minimizing the error will be described.

상기 스테레오 비전 시스템에서는 생성된 깊이 맵(depth map)과 촬영된 좌우 영상을 이용하여 객체를 추출할 수 있다. 그리고 상기 깊이 맵을 이용하여 상기 객체의 중심을 구한다. 예를 들어, 상기 객체는 같은 시차(disparity)를 갖는 픽셀들의 영역을 객체로 추출할 수 있고, 상기 추출된 영역의 중심을 객체의 중심으로 사용할 수 있다.In the stereo vision system, an object may be extracted using the generated depth map and the captured left and right images. The center of the object is obtained using the depth map. For example, the object may extract a region of pixels having the same disparity as an object, and use the center of the extracted region as the center of the object.

상기 객체의 중심이 정해지면, 상기 기준 영상에서 객체의 중심을 중심 픽셀로 하는 윈도우를 설정한다. 상기 기준 영상은 좌측 영상 또는 우측 영상을 가운데 하나를 기준 영상으로 할 수 있으며, 구현 예에 따라 달라질 수 있다. 이하에서는 설명의 편의를 위해 좌측 영상을 기준 영상으로 한 경우에 대해 설명하도록 한다.When the center of the object is determined, a window is set in which the center of the object is the center pixel in the reference image. The reference image may be one of a left image or a right image as a reference image, and may vary according to implementation. Hereinafter, a case in which the left image is a reference image will be described for convenience of description.

상기 윈도우는 픽셀단위로 홀수 크기를 가질 수 있다. 예를 들어, 디폴트(default)로 설정되는 윈도우로 3×3 크기를 갖는 윈도우를 설정할 수 있다. 상기 윈도우의 크기는 원 영상의 휘도값의 분산에 따라 조정한다. 예를 들어, 상기 설정된 윈도우 안의 영상에 대해 휘도값 분산이 설정된 임계치(TH)보다 커질때까지 상기 윈도우의 크기를 확대한다(5×5, 7×7, …). 상기 휘도의 변화가 적으면 좌우 영상의 정확한 대응점을 찾기 어려우므로, 상기 임계치는 좌우 영상의 정확한 대응점을 찾기에 충분할 정도로 설정될 수 있으며, 이는 구현 예에 따라 달라질 수 있다. 다만, 상기 추정된 객체의 경계선 영역에서는 차폐(occlusion) 영역이 발생할 수 있으므로, 상기 윈도우의 크기는 추정된 객체의 경계선을 넘지 않도록 한다.The window may have an odd size in pixels. For example, a window having a 3 × 3 size may be set as a window set as a default. The size of the window is adjusted according to the dispersion of the luminance value of the original image. For example, the size of the window is enlarged until the luminance value variance for the image in the set window is larger than the set threshold TH (5x5, 7x7, ...). When the change in luminance is small, it is difficult to find an exact correspondence point of the left and right images, and thus the threshold may be set to be large enough to find the exact correspondence point of the left and right images, which may vary depending on implementation. However, since an occlusion area may occur in the boundary area of the estimated object, the size of the window does not exceed the boundary of the estimated object.

도 2는 본 발명에 따른 일 실시예로서, 윈도우가 설정된 영상을 개략적으로 나타낸 도면이다. 상기 도 2에서 자동차가 객체로 추정되었으며, 상기 추정된 객체의 중심을 중심픽셀로 하여 5×5의 윈도우가 영상에 설정된 것을 나타낸다. 상기 도 2에서는 기준 영상인 좌측 영상에 중심픽셀이 I_l(x_l0,y_l0)의 좌표 평면 값을 가지는 윈도우가 설정되고, 상기 좌측 영상의 중심픽셀에 대응되는 픽셀 I_r(x_r0,y_r0)을 중심 픽셀로 하는 우측 영상의 윈도우가 설정된 것을 나타낸다.2 is a diagram schematically illustrating an image in which a window is set as an embodiment according to the present invention. In FIG. 2, an automobile is estimated as an object, and a 5 × 5 window is set in an image using the center of the estimated object as a center pixel. In FIG. 2, a window having a coordinate plane value of I _l (x _l0 , y _l0 ) is set in a left image that is a reference image, and a pixel I _r (x _r0 , y corresponding to the center pixel of the left image is set. _r0 ) indicates that the window of the right image is set as the center pixel.

이하에서는 설명의 편의를 위해 상기 윈도우의 크기가 3×3로 설정된 경우를 가정하여 설명하기로 한다. 상기 좌측 영상에 대해 객체의 중심을 중심 픽셀로 하는 윈도우가 설정되면, 깊이 맵을 이용하여 좌측 영상 윈도우 내 픽셀의 시차의 평균값을 구한다. 그리고 상기 평균값을 반올림하여 정수값을 얻는다. 상기 반올림된 정수값에 해당하는 시차 값을 갖는 픽셀을 상기 우측 영상의 객체 영역에서 찾아 상기 픽셀을 중심 픽셀로 하는 같은 크기(3×3)의 윈도우를 우측 영상에 설정한다.In the following description, it is assumed that the size of the window is set to 3 × 3 for convenience of description. When a window having the center of the object as the center pixel is set for the left image, an average value of parallaxes of pixels in the left image window is obtained using a depth map. Then, the average value is rounded to obtain an integer value. A pixel having a parallax value corresponding to the rounded integer value is found in an object area of the right image, and a window of the same size (3 × 3) having the pixel as a center pixel is set in the right image.

우측 영상에 상기 윈도우가 설정되면, 상기 우측 영상의 윈도우를 한 픽셀씩 이동하면서 좌측 영상과 우측 영상의 윈도우 내 픽셀의 정규 유사도(Normalized Cross Correlation : 이하 NCC)를 구한다. 상기 정규 유사도는 윈도우 내 픽셀의 유사도 정도를 정규화한 값을 나타낸다.When the window is set in the right image, the normalized cross correlation (hereinafter referred to as NCC) of pixels in the window of the left image and the right image is obtained by moving the window of the right image by one pixel. The normal similarity represents a value obtained by normalizing the degree of similarity of pixels in a window.

예를 들어, 상기 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 우측 영상에서 상기 대응 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값을 NCC₀이라고 하고, 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 우측 영상의 상기 대응 픽셀에서 우측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값을 NCC₁이라고 하고, 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 우측 영상의 상기 대응 픽셀에서 좌측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 구한 값을 NCC_-1이라고 한다. 이하 수학식 4, 5는 상기 NCC를 구하는 수식을 나타낸다.For example, an NCC value of a window set with the center of the object of the left image as the center pixel and a window set with the corresponding pixel as the center pixel in the right image is referred to as NCC ₀ , and the center of the object of the left image is the center pixel. The NCC value of the window set with the window set as the center pixel and the pixel shifted one pixel to the right from the corresponding pixel of the right image is referred to as NCC ₁ , and the window set with the center of the object of the left image as the center pixel. The NCC obtained value of the window set by using the pixel shifted one pixel to the left from the corresponding pixel of the right image as the center pixel is referred to as NCC _-1 . Equations 4 and 5 below represent equations for obtaining the NCC.

상기 수학식 4와 수학식 5에서 W(x,y)는 윈도우 안의 x,y 좌표에서의 휘도값, Wm(x,y)는 윈도우 안의 전체 픽셀에 대한 휘도의 평균값, W'(x,y)는 상기 x,y 좌표에서의 휘도값을 전체 픽셀에 대한 휘도의 평균값을 뺀 값을 놈(norm) 값으로 나눈 값을 나타낸다. 상기 수학식 5에서 연산자 ⓧ는 좌측 영상의 윈도우 안에 있 는 각 픽셀의 W_L'(x,y) 값과 우측 영상의 윈도우 안에 있는 각 픽셀의 W_R'(x,y) 값을 크로스 코릴레이션(cross correlation)하는 연산을 나타낸다. 상기 d₀는 상기 좌측 영상의 윈도우에서 구한 윈도우 내 픽셀의 시차 평균값을 반올림한 값이다. k는 윈도우의 위치를 이동하여 NCC 값을 구하는 경우에 윈도우의 중심 픽셀이 이동한 양을 나타낸다.In Equation 4 and Equation 5, W (x, y) is a luminance value at x, y coordinates in a window, and Wm (x, y) is an average value of luminance of all pixels in the window, W '(x, y). ) Denotes a value obtained by dividing a luminance value in the x and y coordinates by subtracting an average value of luminance for all pixels by a norm value. In Equation 5, the operator 크로스 cross-correlates the W _L '(x, y) value of each pixel in the window of the left image and the W _R ' (x, y) value of each pixel in the window of the right image. (cross correlation). The d ₀ is a value obtained by rounding a parallax average value of pixels in a window obtained from the window of the left image. k indicates the amount of shift of the center pixel of the window when the NCC value is obtained by shifting the position of the window.

상기 예에서는 좌측 영상을 기준 영상으로 하여 우측 영상의 윈도우를 이동하는 경우를 예로 하였으나, 상기에서 언급한 바와 같이 구현 예에 따라 우측 영상을 기준 영상으로 한 경우에는, 좌측 영상의 윈도우를 이동하는 경우로 구현할 수도 있다.In the above example, the case in which the window of the right image is moved using the left image as a reference image is taken as an example. However, when the right image is the reference image according to the implementation example, the window of the left image is moved. You can also implement

본 실시예에서는 NCC 값을 구하는 방식을 사용하였으나, 구현 예에 따라 윈도우 내 픽셀의 휘도 값에 대한 SSD(Sum of Squared Difference) 값, SAD(Sum of Absolute Difference) 값을 상기 NCC 값을 대신하여 사용할 수도 있다.In this embodiment, a method of obtaining an NCC value is used. However, according to an embodiment, a sum of squared difference (SSD) value and a sum of absolute difference (SAD) value for a luminance value of a pixel in a window may be used in place of the NCC value. It may be.

상기 구하여진 3개의 NCC 값(NCC_-1, NCC₀, NCC₁)을 이용하여 정규 유사도가 최대가 되는 정밀 시차를 추정할 수 있다. 예를 들어, 상기 3개의 NCC 값이 2차 포물선을 형성한다고 가정한다.Using the three NCC values (NCC- ₁ , NCC ₀ , NCC ₁ ) obtained above, a precise parallax at which the normal similarity is maximum can be estimated. For example, assume that the three NCC values form a secondary parabola.

도 3은 본 발명에 따른 일 실시예로서, 정규 유사도 값이 2차 포물선을 형성하는 경우의 예를 나타낸 도면이고, 도 4는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 좌우 비대칭형의 포물선을 형성하는 경우의 예를 나타낸 도면이다.3 is a diagram illustrating an example in which a normal similarity value forms a secondary parabola as an embodiment according to the present invention, and FIG. 4 is an example according to the present invention, in which a normal similarity value is asymmetrical. It is a figure which shows the example in the case of forming a parabola.

상기 도 3은 상기 3개의 NCC 값이 좌우 대칭형의 2차 포물선을 형성하는 경 우를 가정한 경우이다. 좌측 영상 윈도우의 중심 픽셀과 우측 영상 윈도우의 중심 픽셀 차이가 d₀인 경우 NCC₀ 값이, 중심 픽셀 차이가 d₀+1인 경우 NCC₁ 값이, 중심 픽셀 차이가 d₀-1인 경우 NCC_-1 값이 2차 포물선 좌표에 나타난 것을 볼 수 있다. 상기 도 3에서 정규 유사도가 최대가 되는 지점의 시차(d_d)와 좌우 윈도우 중심 픽셀의 시차(d₀)와 τ₁만큼 차이가 남을 알 수 있다. 이는 상기에서 설명한 바와 같이 픽셀을 기초로 한 스테레오 비전 시스템에 있어서 픽셀간 양자화 오차에 기인한다. 상기 도 3에서는 중심 픽셀 차이가 d₀인 경우와 d₀+1인 경우의 사이에서 정규 유사도가 최대로 나타난다.3 is a case where the three NCC values form a secondary parabola of left-right symmetry. NCC ₀ value when the center pixel difference between the left and right image windows is d ₀ , NCC ₁ value when the center pixel difference is d ₀ +1, and NCC when the center pixel difference is d ₀ -1 You can see the value _-1 appear in the quadratic parabolic coordinates. In FIG. 3, it can be seen that the difference between the parallax d _d at the point where the normal similarity is maximum and the parallax d ₀ of the left and right window center pixels by τ ₁ remains. This is due to the inter-pixel quantization error in pixel-based stereo vision systems as described above. In FIG. 3, the normal similarity is maximized between the case where the center pixel difference is d ₀ and the case where d ₀ +1.

다만, 상기 NCC 값이 완전한 좌우 대칭형의 2차 포물선을 형성하는 경우는 드물다. 따라서, 상기 도 4의 좌우 비대칭 포물선과 같이 d₀-τ₂ 를 기준으로 좌측은 내부의 2차 포물선(y₁=a₁x²+b₁x+c₁) 형태를 가지며, 우측은 외부의 2차 포물선(y₂=a₂x²+b₂x+c₂) 형태를 가지는 경우를 가정한다. 상기 도 4에서는 좌측 영상 윈도우의 중심 픽셀과 우측 영상 윈도우의 중심 픽셀 차이가 d₀인 경우의 NCC₀ 값, 중심 픽셀 차이가 d₀+1인 경우의 NCC₁ 값은 외부의 2차 포물선(y₂=a₂x²+b₂x+c₂) 위에 위치하며, 중심 픽셀 차이가 d₀-1인 경우의 NCC_-1 값은 내부의 2차 포물 선(y₁=a₁x²+b₁x+c₁) 위에 나타난 것을 볼 수 있다. 따라서, 상기 두 개의 정규 유사도 2차 포물선의 합이 최대가 되는 지점의 시차를 정밀 시차로 추정하여 객체의 정확한 거리를 추정한다. 상기 도 4에서는 정밀 시차로 추정되는 위치와 좌우 윈도우 중심 픽셀의 시차(d₀)가 τ₂만큼 차이가 남을 알 수 있다.However, the NCC value rarely forms a fully parabolic secondary parabola. Accordingly, as shown in FIG. 4, the left side has an inner secondary parabola (y ₁ = a ₁ x ² + b ₁ x + c ₁ ) based on d ₀ −τ ₂ , and the right side has an outer side as shown in FIG. 4. Assume a case has a secondary parabola (y ₂ = a ₂ x ² + b ₂ x + c ₂ ). FIG 4 NCC NCC _{0 1} value when the value of the center pixel when the left and right of the center pixel of the difference image window of the image window d _0, the center of the pixel difference d ₀ +1 is the secondary parabolic external (y ₂ = a ₂ x ² + b ₂ x + c ₂ ) and the NCC _-1 value when the center pixel difference is d ₀ -1 is the internal secondary parabola (y ₁ = a ₁ x ² + b ₁ x + c ₁ ) can be seen above. Therefore, the precise distance of the object is estimated by estimating the parallax of the point where the sum of the two normal similarity secondary parabolas is maximum, as a precise parallax. In FIG. 4, it can be seen that the position of the estimated parallax and the parallax d ₀ of the left and right window center pixels are different by τ ₂ .

상기 정밀 시차로 추정되는 지점의 시차(d₀-τ₂)를 추정하기 위해서는 상기 두 개의 포물선의 계수(a₁, a₂, b₁, b₂, c₁, c₂)를 알아야 한다. 도 5는 본 발명에 따른 일 실시예로서, 정규 유사도 포물선의 계수를 구하는 순서를 개략적으로 나타낸 도면이다.In order to estimate the parallax (d ₀ -τ ₂ ) of the point estimated as the precise parallax, two parabola coefficients (a ₁ , a ₂ , b ₁ , b ₂ , c ₁ , c ₂ ) must be known. FIG. 5 is a diagram schematically showing a procedure for obtaining coefficients of a normal similarity parabola as an embodiment according to the present invention.

우선 상기 도 3에서와 같이 상기 NCC 값이 좌우 대칭형의 1개의 포물선을 형성한다고 가정하여 상기 포물선에서 정규 유사도 값이 최대(coarse extremum)가 되는 지점(d₀-τ₁)을 찾을 수 있다(S500). 상기 값은 포물선 피팅(parabola fitting) 방법 등을 사용해서 찾을 수 있다. 상기 포물선 상의 3개의 위치에 대한 값(NCC_-1, NCC₀, NCC₁)을 알고 있으므로, 상기 포물선의 수학식을 이용하여 상기 최대가 되는 지점을 찾을 수 있다.First, as shown in FIG. 3, assuming that the NCC value forms one parabola having left and right symmetry, a point d ₀ -τ ₁ at which a normal similarity value becomes a maximum (coarse extremum) can be found in the parabola (S500). ). The value can be found using a parabola fitting method or the like. Since the values for the three positions on the parabola (NCC _-1 , NCC ₀ , NCC ₁ ) are known, the maximum point can be found using the equation of the parabola.

상기 S500 단계에서 정규 유사도 값이 최대가 되는 지점을 찾은 경우, 상기 최대 값을 중심으로 좌우 2개의 정규 유사도 포물선을 가정한다. 상기 가정된 포물선은 각각 y₁=a₁x²+b₁x+c₁의 수학식과 y₂=a₂x²+b₂x+c₂의 수학식으로 나타낼 수 있다.When a point at which the normal similarity value becomes the maximum in step S500 is found, two normal similarity parabolas are assumed based on the maximum value. The hypothesized parabolas are y ₁ = a ₁ x ² + b ₁ x + c ₁ , respectively. And y ₂ = a ₂ x ² + b ₂ x + c ₂ .

상기 2개의 포물선을 구하기 위해, 기준 영상으로 설정된 좌측 영상을 이용하여 상기 포물선의 a₁과 a₂ 계수를 구한다(S510). 기준 영상인 상기 좌측 영상에서 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와, 상기 좌측 영상의 객체의 중심에서 한 픽셀 좌측에 있는 픽셀을 중심 픽셀로 하여 설정된 윈도우에 대해 NCC(

) 값을 구한다. 그리고 상기 좌측 영상에서 객체의 중심을 중심 픽셀로 하여 설전된 윈도우와, 상기 좌측 영상의 객체의 중심에서 한 픽셀 우측에 있는 픽셀을 중심 픽셀로 하여 설정된 윈도우에 대해 NCC(

) 값을 구한다. 상기 I_L(x) 값은 x 위치 픽셀에서의 휘도 값을 사용할 수 있다. 상기 2개의 포물선의 a₁과 a₂ 계수는

와

를 이용하여 얻을 수 있다.In order to find the said two parabolic, with the left image is set to the reference image is obtained for a ₁ and a _second coefficient of the parabola (S510). NCC (for a window set with a center pixel as a center pixel in the left image as a reference image and a window set with a pixel left of a pixel at the center of the object in the left image as a center pixel)

) To get the value. In addition, NCC (for a window set up with the center pixel of the object as the center pixel in the left image and a window set with the pixel located one pixel right from the center of the object of the left image as the center pixel)

) Value. The I _L (x) value may use a luminance value in an x position pixel. The a ₁ and a ₂ coefficients of the two parabolas are

Wow

Can be obtained using

상기 S510 단계에서 a₁과 a₂ 계수가 얻고, 나머지 b₁, b₂, c₁ 및 c₂를 구하여 최대 값(coarse extremum)을 중심으로 좌우 2개의 포물선의 모든 계수를 구한다(S520). 그리고 상기 가정한 2개의 정규 유사도 포물선의 합이 최대가 되는 위치를 구한다(S530). 상기 포물선의 나머지 계수는 상기 3개의 NCC값(NCC_-1, NCC₀, NCC₁)과 상기 좌측 영상에 설정된 윈도우 자신의 NCC값을 이용하여 구할 수 있다. 예를 들어, 상기 좌측 영상에 설정된 윈도우 자신의 NCC값과 상기 NCC_-1을 이용하여 b₁과 c₁값을 구할 수 있고, 상기 좌측 영상에 설정된 윈도우 자신의 NCC값과 상기 NCC₁값을 이용하여 b₂와 c₂값을 구할 수 있다.In step S510, the coefficients a ₁ and a ₂ are obtained, and the remaining b ₁ , b ₂ , c _1, and c ₂ are obtained to obtain all coefficients of the left and right two parabolas around the maximum value (coarse extremum) (S520). In operation S530, the position at which the sum of the two normal similarity parabolas is assumed to be the maximum. The remaining coefficients of the parabola may be obtained by using the three NCC values (NCC- ₁ , NCC ₀ , NCC ₁ ) and the NCC values of the window itself set in the left image. For example, b ₁ and c ₁ values can be obtained using the NCC value of the window itself set in the left image and the NCC _-1 , and the NCC value and NCC ₁ value of the window itself set in the left image are used. We can get b ₂ and c ₂ values.

상기와 같은 방식에 따라 얻어진 2개의 포물선의 합이 최대가 되는 위치를 양자화 오차를 보간한 정밀 시차로 추정할 수 있으며, 상기 정밀 시차는

,

로 나타낼 수 있다. 상기 얻어진 정밀 시차 값(d_d)을 상기 수학식 2에 대입하여 목표 객체의 정확한 거리를 추정할 수 있다.The position at which the sum of the two parabolas obtained according to the above method is maximized can be estimated by the precise parallax obtained by interpolating the quantization error.

,

It can be represented as. The exact distance of the target object may be estimated by substituting the obtained precise parallax value d _d into Equation 2.

도 6은 본 발명에 따른 일 실시예로서, 거리 추정 장치의 구성을 개략적으로 나타낸 블록도이다. 상기 거리 추정 장치는 좌측 영상 촬영 장치(600), 우측 영상 촬영 장치(602), 스테레오 매칭부(610), 객체 검출부(620), 객체 중심 및 윈도우 설정부(630), 제1 정밀 시차 추정부(640), 제2 정밀 시차 추정부(650) 및 필터부(660)를 포함한다.6 is a block diagram schematically illustrating a configuration of a distance estimating apparatus according to an embodiment of the present invention. The distance estimating apparatus may include a left image capturing apparatus 600, a right image capturing apparatus 602, a stereo matching unit 610, an object detector 620, an object center and window setting unit 630, and a first precise parallax estimating unit. 640, a second precise parallax estimator 650, and a filter 660.

좌측 영상 촬영 장치(600)와 우측 영상 촬영 장치(602)는 스테레오 비전 시스템에서 거리, 속도 등의 추정에 필요한 좌측 영상과 우측 영상을 촬영한다. 상기 영상 촬영 장치는 예를 들어, 카메라 등이 사용될 수 있다. 상기 좌측 영상 촬영 장치(600)와 우측 영상 촬영 장치(602)에서 각각 얻어진 좌측 영상과 우측 영상은 스테레오 매칭부(610)로 입력된다. 상기 스테레오 매칭부(610)에서는 입력된 좌측 영상과 우측 영상을 매칭(matching)하여 촬영된 영상의 깊이 맵(depth map)을 얻을 수 있다.The left image capturing apparatus 600 and the right image capturing apparatus 602 capture a left image and a right image necessary for estimating distance, speed, etc. in a stereo vision system. For example, a camera or the like may be used as the image capturing apparatus. The left and right images obtained by the left image capturing apparatus 600 and the right image capturing apparatus 602, respectively, are input to the stereo matching unit 610. The stereo matching unit 610 may obtain a depth map of the captured image by matching the input left image with the right image.

객체 검출부(620)는 상기 깊이 맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출할 수 있다. 예를 들어, 상기에서 설명한 바와 같이 시차 값이 동일한 영역 등을 군집화(clustering)하여 상기 객체를 추출할 수 있다. 객체 중심 및 윈도우 설정부(630)는 상기 객체 검출부(620)에서 추출된 객체 정보, 상기 좌측 영상 촬영 장치(600)에서 얻은 좌측 영상, 우측 영상 촬영 장치(602)로부터 얻은 우측 영상 정보를 이용하여 상기 객체의 중심과 윈도우를 설정한다. 객체의 중심과 윈도우를 설정하는 방법은 상기에서 설명한 바와 같다. 상기 객체 중심 및 윈도우 설정부(630)는 상기 객체 중심과 설정된 윈도우, 시차의 평균값 등을 이용하여 좌측 영상과 우측 영상의 윈도우 내 픽셀의 정규 유사도 값(NCC)을 얻는다. 상기 정규 유사도 값은 상기에서 설명한 바와 같이 윈도우의 중심 픽셀을 하나씩 이동하면서 3개의 값(NCC_-1, NCC₀, NCC₊₁)을 얻을 수 있다.The object detector 620 may extract an object for estimating a distance or a speed using the depth map information. For example, as described above, the object may be extracted by clustering an area having the same parallax value. The object center and window setting unit 630 uses the object information extracted by the object detector 620, the left image obtained by the left image capturing apparatus 600, and the right image information obtained by the right image capturing apparatus 602. Set the center and window of the object. The method of setting the center of the object and the window is as described above. The object center and window setting unit 630 obtains a normal similarity value (NCC) of pixels in the window of the left image and the right image using the object center, the set window, and an average value of parallax. As described above, the normal similarity value may obtain three values (NCC _-1 , NCC ₀ , NCC ₊₁ ) while moving the center pixel of the window one by one.

제1 정밀 시차 추정부(640)는 상기 객체 중심 및 윈도우 설정부(630)에서 출력된 정규 유사도 값을 이용하여 제1 정밀 시차를 추정한다. 상기 제1 정밀 시차 추정부(640)는 상기 객체 중심 및 윈도우 설정부(630)에서 출력된 3개의 정규 유사도 값이 대칭형 2차 포물선을 형성한다고 가정하고 상기 포물선이 최대값을 갖는 위치의 값을 제1 정밀 시차 값으로 추정할 수 있다.The first precision parallax estimator 640 estimates a first precision parallax using the normal similarity value output from the object center and the window setting unit 630. The first precise parallax estimator 640 assumes that three normal similarity values output from the object center and the window setting unit 630 form a symmetrical secondary parabola, and calculates a value of the position where the parabolic has the maximum value. It can be estimated by the first precision parallax value.

제2 정밀 시차 추정부(650)는 상기 제1 정밀 시차 추정부(640)에서 추정된 제1 정밀 시차 값 정보와 상기 3개의 정규 유사도 값, 기준 영상의 정규 유사도 값 등을 이용하여 제2 정밀 시차를 추정한다. 상기 제2 정밀 시차 추정부(650)에서의 시차 추정 방법은 상기에서 설명한 바와 같다.The second precision parallax estimator 650 uses the first precision parallax estimator 640 to estimate the second precision using the first precision parallax value information, the three normal similarity values, and the normal similarity value of the reference image. Estimate the time difference. The parallax estimation method in the second precise parallax estimator 650 is as described above.

필터부(660)은 상기 제2 정밀 시차 추정부(650)를 거쳐 추정된 시차 정보에 따라 얻어진 목표 객체까지의 거리 정보를 필터링 및 추적하여 이동하는 객체의 정확한 거리를 추정할 수 있다. 상기 필터부(660)의 필터로 예를 들어, 칼만 필터(Kalman Filter), 파티클 필터(Particle Filter) 등을 사용할 수 있다.The filter unit 660 may estimate the exact distance of the moving object by filtering and tracking the distance information to the target object obtained according to the disparity information estimated through the second precise parallax estimator 650. As the filter of the filter unit 660, for example, a Kalman filter, a particle filter, or the like may be used.

도 7은 본 발명에 따른 일 실시예로서, 거리 추정 방법을 개략적으로 나타낸 순서도이다.7 is a flowchart schematically illustrating a distance estimation method according to an embodiment of the present invention.

스테레오 비전 시스템의 좌측 영상 촬영 장치와 우측 영상 촬영 장치를 이용하여 좌우 영상을 촬영하고, 상기 촬영된 좌측 영상과 우측 영상을 이용하여 촬영된 영상의 깊이 맵(depth map)를 추출한다(S700). 상기 깊이 맵을 이용하여 이동 객체 예를 들어, 자동차나 보행자 등과 같은 객체를 추출한다(S702). 상기 검출된 객체에 대한 정보와 깊이 맵 등을 이용하여 상기 이동 객체의 중심을 구할 수 있다(S704). 상기에 대한 설명은 상기에서 기술한 바와 같다. 상기 객체의 중심이 정하여 지면, 상기 중심을 이용하여 기준 영상에 최초 윈도우를 설정하고 원래 영상을 이용하여 밝기의 분산을 구한다(S706). 이하에서는 설명의 편의를 위해, 좌측 영상을 기준 영상으로 설정한 경우를 설명하기로 한다.The left and right images are photographed using the left image capture device and the right image capture device of the stereo vision system, and a depth map of the captured image is extracted using the captured left image and the right image (S700). A moving object, for example, an object such as a car or a pedestrian, is extracted using the depth map (S702). The center of the moving object may be obtained using the information on the detected object, the depth map, and the like (S704). The above description is as described above. When the center of the object is determined, the initial window is set in the reference image using the center and the dispersion of brightness is obtained using the original image (S706). Hereinafter, for convenience of description, a case where the left image is set as the reference image will be described.

상기 단계에서 구한 밝기의 분산 값을 설정된 임계 값과 비교하여(S708), 상 기 분산 값이 크면 설정된 최초 윈도우를 거리 추정을 위한 윈도우로 결정하고 다음 단계로 진행한다. 그러나 상기 분산 값이 임계 값보다 작으면 추출된 객체의 외각선과 설정된 윈도우의 경계를 비교한다(S710). 상기 윈도우가 상기 객체의 외곽선을 벗어나지 않으면, 윈도우 크기를 증가시켜(S712), 다시 상기 크기가 커진 윈도우 내의 밝기 분산 값과 임계 값을 비교하는 단계를 수행한다(S708). 상기 S712단계에서 윈도우가 상기 객체의 외곽선을 벗어나는 것으로 판단되면, 윈도우 크기를 더 이상 증가시키지 않고 윈도우를 결정하여 다음 단계로 진행한다.The dispersion value of brightness obtained in the above step is compared with the set threshold value (S708). If the dispersion value is large, the set initial window is determined as a window for distance estimation, and the process proceeds to the next step. However, when the variance value is smaller than the threshold value, the boundary of the extracted object and the boundary of the set window are compared (S710). If the window does not deviate from the outline of the object, the window size is increased (S712), and the brightness variance value and the threshold value in the enlarged window are compared (S708). If it is determined in step S712 that the window deviates from the outline of the object, the window is determined without further increasing the size of the window and proceeds to the next step.

상기 S710 단계에서 결정된 윈도우를 이용하여 상기 윈도우 내부의 픽셀 들에 대한 시차(disparity) 값의 평균을 구한다(S714). 상기 시차의 평균값이 얻어지면 상기 평균 값을 반올림한다. 상기 반올림된 시차 값에 대응되는 픽셀을 중심 픽셀로 하는 윈도우를 갖는 우측 영상과 상기 좌측 영상에 설정된 윈도우를 이용하여 정규 유사도(NCC) 값을 얻는다(S716). 상기 정규 유사도 값은 상기에서 설명한 바와 같이 우측 영상 윈도우의 중심 픽셀을 이동하면서 3개의 값(NCC_-1, NCC₀, NCC₊₁)을 얻을 수 있다.An average of disparity values of pixels in the window is obtained using the window determined in step S710 (S714). When the average value of the parallax is obtained, the average value is rounded up. A normal similarity (NCC) value is obtained using a right image having a window whose center pixel is the pixel corresponding to the rounded parallax value and a window set in the left image (S716). As described above, the normal similarity value may obtain three values (NCC _-1 , NCC ₀ , NCC ₊₁ ) while moving the center pixel of the right image window.

상기 S716 단계에서 얻어진 3개의 정규 유사도 값 등을 이용하여 정밀 시차를 추정한다(S718). 상기 정밀 시차 추정 방법은 상기에서 설명한 바와 같이 좌우 대칭형의 2차 포물선을 가정하는 1차 추정과 2개의 2차 포물선을 가정하는 2차 추정의 2 단계를 거쳐 추정할 수 있다. 상기 S718 단계에서 얻어진 정밀 시차 정보를 필터링하여 이동하는 목표 객체의 정확한 거리를 추정한다(S720). 상기 필터링을 위한 필터로 칼만 필터나 파티클 필터 등을 사용할 수 있다.The precise parallax is estimated using the three normal similarity values obtained in step S716 (S718). As described above, the method for estimating the precise parallax may be estimated through two steps, a first estimation that assumes a left-right symmetric secondary parabola and a second estimation that assumes two secondary parabolas. The exact distance of the moving target object is estimated by filtering the precise parallax information obtained in step S718 (S720). As the filter for the filtering, a Kalman filter or a particle filter may be used.

본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.The present invention is not limited to the above-described embodiments, and as can be seen in the appended claims, modifications can be made by those skilled in the art to which the invention pertains, and such modifications are within the scope of the present invention.

도 1은 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 거리를 추정방식을 개략적으로 나타낸 도면1 is a diagram schematically illustrating a distance estimating method according to an exemplary embodiment of the present invention.

도 2는 본 발명에 따른 일 실시예로서, 윈도우가 설정된 영상을 개략적으로 나타낸 도면2 is a diagram schematically illustrating an image in which a window is set according to an embodiment of the present invention.

도 3은 본 발명에 따른 일 실시예로서, 정규 유사도 값이 2차 포물선을 형성하는 경우의 예를 나타낸 도면3 is a diagram illustrating an example in which a normal similarity value forms a secondary parabola as an embodiment according to the present invention.

도 4는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 좌우 비대칭형의 2차 포물선을 형성하는 경우의 예를 나타낸 도면4 is a diagram illustrating an example in which a normal similarity value forms a left-right asymmetric secondary parabola as an embodiment according to the present invention.

도 5는 본 발명에 따른 일 실시예로서, 정규 유사도 포물선의 계수를 구하는 순서를 개략적으로 나타낸 도면5 is a diagram schematically illustrating a procedure for obtaining coefficients of a normal similarity parabola as an embodiment according to the present invention.

도 6은 본 발명에 따른 일 실시예로서, 거리 추정 장치의 구성을 개략적으로 나타낸 블록도6 is a block diagram schematically illustrating a configuration of a distance estimating apparatus according to an embodiment of the present invention.

도 7은 본 발명에 따른 일 실시예로서, 거리 추정 방법을 개략적으로 나타낸 순서도7 is a flowchart schematically illustrating a distance estimation method according to an embodiment of the present invention.

*도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings

600 : 좌측 영상 촬영장치 602 : 우측 영상 촬영장치600: left video recording device 602: right video recording device

610 : 스테레오 매칭부 620 : 객체 검출부610: stereo matching unit 620: object detection unit

630 : 객체중심 및 윈도우 설정부 640 : 제1 정밀 시차 추정부630: object center and window setting unit 640: first precision parallax estimation unit

650 : 제2 정밀 시차 추정부 660 : 필터부650: second precision parallax estimation unit 660: filter unit

Claims (17)

거리 추정 방법에 있어서,In the distance estimation method, 촬영된 영상을 이용하여 목표 객체를 추출하고 추출된 객체의 중심을 구하는 단계;Extracting a target object by using the captured image and obtaining a center of the extracted object; 상기 객체의 중심과 영상의 밝기 분산 정보를 이용하여, 기준 영상에 시차 추정을 위한 윈도우를 설정하는 단계;Setting a window for disparity estimation on a reference image by using the center of the object and brightness distribution information of the image; 상기 설정된 윈도우 내 픽셀의 시차 평균값을 이용하여 기준 영상이 아닌 나머지 영상의 윈도우를 설정하고, 상기 각 영상에 설정된 윈도우 내 픽셀의 유사도를 구하는 단계; 및Setting a window of the remaining image other than the reference image by using the disparity average value of the pixels in the window, and obtaining a similarity degree of the pixel in the window set for each image; And 상기 유사도를 이용하여 정밀 시차를 추정하는 단계를 포함하는 스테레오 비전을 이용한 거리 추정 방법.Estimating a precise parallax using the similarity. 제 1 항에 있어서,The method of claim 1, 상기 기준 영상의 윈도우를 설정하는 단계는,Setting the window of the reference image, 상기 객체의 중심을 중심 픽셀로 하는 윈도우를 설정하는 스테레오 비전을 이용한 거리 추정 방법.A distance estimating method using stereo vision for setting a window having a center pixel as the center of the object. 제 1 항에 있어서,The method of claim 1, 상기 기준 영상의 윈도우를 설정하는 단계는,Setting the window of the reference image, 상기 윈도우 내 픽셀의 밝기 분산 값이 임계값보다 커질 때까지 윈도우의 크기를 증가시키는 스테레오 비전을 이용한 거리 추정 방법.And increasing the size of the window until the brightness variance of the pixels in the window is greater than a threshold. 제 3 항에 있어서,The method of claim 3, wherein 상기 기준 영상의 윈도우를 설정하는 단계는,Setting the window of the reference image, 상기 윈도우가 추출된 객체의 외곽선을 넘지않도록 상기 윈도우의 크기를 증가시키는 스테레오 비전을 이용한 거리 추정 방법.And estimating the distance so that the window does not exceed the outline of the extracted object. 제 1 항에 있어서,The method of claim 1, 유사도를 구하는 단계는,To find the similarity, 상기 기준 영상에 설정된 윈도우와, 상기 기준 영상이 아닌 나머지 영상의 상기 시차 평균값의 반올림 값을 시차 값으로 갖는 픽셀을 중심 픽셀로 하는 윈도우, 상기 반올림 값을 시차 값으로 갖는 픽셀의 좌측 픽셀을 중심 픽셀로 하는 윈도우, 상기 반올림 값을 시차 값으로 갖는 픽셀의 우측 픽셀을 중심 픽셀로 하는 윈도우를 이용하여 각각 유사도를 구하는 스테레오 비전을 이용한 거리 추정 방법.A center pixel includes a window set in the reference image, a window having a pixel having a rounded value of the parallax mean value of the remaining images other than the reference image as a parallax value, and a left pixel of a pixel having the rounded value as a parallax value. A distance estimating method using stereo vision, each of which obtains a similarity using a window of which is a center pixel and a window whose right pixel is a parallax value. 제 1 항에 있어서,The method of claim 1, 상기 정밀 시차를 추정하는 단계는,Estimating the precise parallax, 상기 유사도의 값이 2차 포물선을 형성하는 경우를 가정하여 제1 정밀 시차 추정 값을 구하는 단계; 및Obtaining a first precision parallax estimation value on the assumption that the value of the similarity forms a secondary parabola; And 상기 유사도의 값과 상기 제1 정밀 시차 추정 값을 이용하여, 상기 유사도의 값이 2개의 포물선을 형성하는 경우를 가정하고 제2 정밀 시차 값을 추정하는 단계를 포함하는 스테레오 비전을 이용한 거리 추정 방법.Estimating a second precision parallax value on the assumption that the value of the similarity forms two parabolas by using the similarity value and the first precision parallax estimation value. . 제 6 항에 있어서,The method of claim 6, 상기 제1 정밀 시차 추정 값은,The first precision parallax estimation value is 상기 포물선의 최고점 위치에 대응되는 시차 값인 스테레오 비전을 이용한 거리 추정 방법.A distance estimation method using stereo vision that is a parallax value corresponding to the highest point position of the parabola. 제 6 항에 있어서,The method of claim 6, 상기 제2 정밀 시차 추정 값은,The second precision parallax estimation value is 상기 2개의 포물선의 합이 최대가 되는 위치에 대응되는 시차 값인 스테레오 비전을 이용한 거리 추정 방법.And a parallax value corresponding to a position where the sum of the two parabolas is maximized. 제 1 항에 있어서,The method of claim 1, 상기 추정된 정밀 시차 값을 시간에 따라 필터링하여, 상기 추출된 객체의 거리를 추정하는 단계를 더 포함하는 스테레오 비전을 이용한 거리 추정 방법.Estimating the distance of the extracted object by filtering the estimated precision parallax value according to time. 제 9 항에 있어서,The method of claim 9, 상기 필터링하는 단계는,The filtering step, 칼만 필터링 또는 파티클 필터링 가운데 어느 하나를 이용하여 필터링하는 스테레오 비전을 이용한 거리 추정 방법.Distance estimation method using stereo vision filtering using either Kalman filtering or particle filtering. 거리 추정 장치에 있어서,In the distance estimation device, 촬영된 영상으로부터 목표 객체를 추출하는 객체 검출부;An object detector extracting a target object from the captured image; 상기 추출된 객체의 중심과 영상의 밝기 분산 정보를 이용하여, 상기 촬영된 영상에 시차 추정을 위한 윈도우를 설정하고, 상기 윈도우 내 픽셀의 유사도를 구하는 객체 중심 및 윈도우 설정부;An object center and window setting unit configured to set a window for disparity estimation on the photographed image by using the center of the extracted object and brightness distribution information of the image and to obtain a similarity of pixels in the window; 상기 유사도의 값이 포물선을 형성하는 경우를 가정하여, 제1 정밀 시차를 추정하는 제1 정밀 시차 추정부; 및A first precision parallax estimator estimating a first precision parallax on the assumption that the value of the similarity forms a parabola; And 상기 유사도의 값이 2개의 포물선을 형성하는 경우를 가정하고, 상기 유사도와 제1 정밀 시차를 이용하여 제2 정밀 시차를 추정하는 제2 정밀 시차 추정부를 포함하는 스테레오 비전을 이용한 거리 추정 장치.And a second precision parallax estimator for estimating a second precision parallax using the similarity and the first precision parallax, assuming that the similarity values form two parabolas. 제 11 항에 있어서,The method of claim 11, 상기 제2 정밀 시차 추정부에서 추정된 정밀 시차 값을 필터링하여, 상기 추출된 객체의 거리를 추정하는 필터부를 더 포함하는 스테레오 비전을 이용한 거리 추정 장치.And a filter unit which filters the precision parallax value estimated by the second precision parallax estimator, and estimates the distance of the extracted object. 제 12 항에 있어서,The method of claim 12, 상기 필터부는,The filter unit, 칼만 필터 또는 파티클 필터 가운데 어느 하나를 사용하는 스테레오 비전을 이용한 거리 추정 장치.Distance estimator with stereo vision using either Kalman filter or particle filter. 제 11 항에 있어서,The method of claim 11, 상기 객체 중심 및 윈도우 설정부는,The object center and window setting unit, 기준 영상에 상기 객체의 중심을 중심 픽셀로 하는 윈도우를 설정하는 스테레오 비전을 이용한 거리 추정 장치.An apparatus for estimating distance using stereo vision for setting a window having a center pixel as the center pixel of a reference image. 제 14 항에 있어서,The method of claim 14, 상기 객체 중심 및 윈도우 설정부는,The object center and window setting unit, 상기 윈도우 내 픽셀의 밝기 분산 값이 임계값보다 커질 때까지 윈도우의 크기를 증가시키는 스테레오 비전을 이용한 거리 추정 장치.And estimating the size of the window until the brightness variance of the pixels in the window is greater than a threshold. 제 15 항에 있어서,The method of claim 15, 상기 객체 중심 및 윈도우 설정부는,The object center and window setting unit, 상기 윈도우가 추출된 객체의 외곽선을 넘지않도록 상기 윈도우의 크기를 증가시키는 스테레오 비전을 이용한 거리 추정 장치.An apparatus for estimating distance using stereo vision to increase the size of the window so that the window does not exceed the outline of the extracted object. 제 11 항에 있어서,The method of claim 11, 상기 객체 중심 및 윈도우 설정부는,The object center and window setting unit, 기준 영상에 설정된 윈도우 내 시차 평균의 반올림 값을 시차 값으로 갖는 픽셀을 중심 픽셀로 하는 윈도우, 상기 반올림 값을 시차 값으로 갖는 픽셀의 좌측 픽셀을 중심 픽셀로 하는 윈도우, 상기 반올림 값을 시차 값으로 갖는 픽셀의 우측 픽셀을 중심 픽셀로 하는 윈도우를 기준 영상이 아닌 나머지 영상에 설정하고, 상기 기준 영상에 설정된 윈도우와 각각 유사도를 구하는 스테레오 비전을 이용한 거리 추정 장치.A window having a center pixel as a center pixel having a rounded value of a parallax mean in a window set as a reference image as a center pixel, a window having a center pixel as a left pixel of a pixel having the rounded value as a parallax value, and the rounded value as a parallax value A distance estimating apparatus using stereo vision for setting a window having the right pixel of a pixel as a center pixel in the remaining images other than the reference image, and obtaining similarity with each of the windows set in the reference image.

Images