KR20100065037A - Apparatus and method for extracting depth information - Google Patents
Apparatus and method for extracting depth information Download PDFInfo
- Publication number
- KR20100065037A KR20100065037A KR1020090030315A KR20090030315A KR20100065037A KR 20100065037 A KR20100065037 A KR 20100065037A KR 1020090030315 A KR1020090030315 A KR 1020090030315A KR 20090030315 A KR20090030315 A KR 20090030315A KR 20100065037 A KR20100065037 A KR 20100065037A
- Authority
- KR
- South Korea
- Prior art keywords
- depth information
- viewpoint image
- image
- color similarity
- depth
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 기준시점 영상에 대한 보다 개선된 깊이정보를 생성하는 깊이정보 추출 장치 및 추출 방법에 관한 것이다.The present invention relates to a depth information extraction apparatus and an extraction method for generating more improved depth information for a reference view image.
본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다.[과제관리번호 : 2008-F-011-01, 과제명 : 차세대 DTV핵심기술개발]The present invention is derived from a study conducted as part of the IT source technology development project of the Ministry of Knowledge Economy. [Task management number: 2008-F-011-01, Task name: Next-generation DTV core technology development]
시점이 각각 다른 복수의 카메라로부터 얻은 영상에 대한 정확한 변이/깊이 정보를 얻기 위한 방법은 오랫동안 컴퓨터 비전 분야에서 연구되어 왔으며, 아직까지도 많은 연구가 이루어지고 있다. 일반적으로 스테레오 정합(stereo matching)을 통하여 영상에 대한 변이/깊이 정보를 추출한다. 스테레오 정합이란 시점이 각각 다른 복수의 카메라로부터 획득한 기준시점 영상과 대상시점 영상의 대응점(correspondence point)을 찾는 과정을 말한다. The method for obtaining accurate disparity / depth information about images obtained from a plurality of cameras having different viewpoints has been studied for a long time in the field of computer vision, and many studies have been made. In general, disparity / depth information about an image is extracted through stereo matching. Stereo matching refers to a process of finding a correspondence point between a reference view image and a target view image acquired from a plurality of cameras having different viewpoints.
이하 스테레오 정합을 보다 자세히 설명하기로 한다. 두 대의 카메라로부터 획득된 영상 중 하나를 기준시점 영상으로 설정하고, 다른 영상을 기준시점 영상의 비교 대상인 대상시점 영상으로 설정할 경우, 촬영 객체는 기준시점 영상 및 대상시점 영상에 화소로 표현되는데 촬영 객체에 대한 화소는 시점의 차이로 기준시점 영상 및 대상시점 영상에서 각각 다른 위치에 존재한다. 스테레오 정합을 통해 기준시점 영상 및 대상시점 영상에서 촬영 객체에 대한 위치가 획득되며, 기준시점 영상 및 대상시점 영상에서의 촬영 객체에 대한 위치에 대한 차이 정도를 변이(disparity)라고 한다. 세 대 이상의 카메라가 이용되어 스테레오 정합이 수행될 수 있으며, 설정에 따라 기준시점 영상과 대상시점 연상은 변경될 수 있다. The stereo matching will be described in more detail below. When one of the images obtained from two cameras is set as the reference viewpoint image, and the other image is set as the target viewpoint image to which the reference viewpoint image is compared, the photographing object is represented as pixels in the reference viewpoint image and the target viewpoint image. The pixels with respect to are present at different positions in the reference view image and the target view image due to differences in viewpoints. The position of the photographing object in the reference viewpoint image and the target viewpoint image is acquired through stereo matching, and the degree of difference in the position of the photographing object in the reference viewpoint image and the target viewpoint image is called disparity. Three or more cameras may be used to perform stereo matching, and the reference viewpoint image and the target viewpoint association may be changed according to the setting.
한편, 깊이(depth)는 촬영 객체와 카메라 사이의 거리 정도를 나타내며 변이와 밀접한 관계에 있다. 촬영 객체가 카메라로부터 멀리 떨어져 있을수록 변이 값은 작아지며 깊이 값은 커지고, 촬영 객체가 카메라로부터 가까이 있을수록 변이값은 커지며 깊이 값은 작아지기 때문이다. 결국, 깊이와 변이는 반비례 관계에 있다고 할 수 있으며, 변이 정보로부터 깊이 정보를 얻을 수 있거나 깊이 정보로부터 변이 정보를 얻을 수 있다. 한편, 영상의 형태로 저장된 변이/깊이 정보를 변이/깊이 지도(disparity/ depth map)라고 한다.Depth represents the distance between the photographing object and the camera and is closely related to the variation. The farther away the object is from the camera, the smaller the variance value and the greater the depth value. The closer the object is to the camera, the larger the variance value and the smaller the depth value. As a result, it can be said that the depth and the variation are inversely related, and the depth information can be obtained from the variation information, or the variation information can be obtained from the depth information. Meanwhile, the disparity / depth information stored in the form of an image is called a disparity / depth map.
스테레오 정합을 통해 얻은 깊이정보는 영상의 특성, 즉 조명 조건의 변화, 텍스처, 차폐 영역의 존재로 인하여 깊이정보의 신뢰성이 낮은 문제점이 있다. 이러한 문제점을 해결하기 위하여 영상을 컬러가 유사한 여러 개의 영역(segment)으로 나누고, 기준시점 영상과 대상시점 영상 사이에 대응되는 영역을 기반으로 스테레오 정합을 수행하는 연구들이 많이 이뤄지고 있다. 이러한 기법들은 임의의 영역 내에 깊이가 동일 또는 연속적으로 변화한다는 가정하에 수행되는데, 텍스처가 있는 영역이나 깊이 값의 불연속이 나타나는 경계 지점, 예를 들어 객체와 배경의 경계 지점처럼 깊이 값이 급격히 변하는 지점에서는 오히려 깊이 정보의 오차가 증가할 수 있다. Depth information obtained through stereo matching has a problem that reliability of depth information is low due to the characteristics of an image, that is, a change in lighting conditions, a texture, and a presence of a shielding area. In order to solve this problem, a lot of researches have been conducted to divide an image into several segments having similar colors and perform stereo matching based on a region corresponding to a reference viewpoint image and a target viewpoint image. These techniques are carried out on the assumption that the depth changes in any area equally or continuously, where the depth value changes drastically, such as a textured area or a boundary point where discontinuities in the depth value appear, for example, the boundary point between the object and the background. In contrast, the error of depth information may increase.
또한 종래의 변이/깊이 정보 추출 방법은 영상의 프레임 별로 독립적으로 변이/깊이 정보를 추출함으로써, 이전 프레임과 현재 프레임 사이의 실제 깊이정보가 유사하여야 함에도 불구하고 심하게 왜곡되는 결과가 나타날 수 있는 문제가 있다. In addition, the conventional method of extracting the variation / depth information extracts the variation / depth information independently for each frame of the image, so that the result may be severely distorted even though the actual depth information between the previous frame and the current frame should be similar. have.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로서, 기준시점 영상에서 컬러 유사도에 따른 영역 내에 깊이 값의 불연속으로 인한 깊이정보의 오류를 개선하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, and an object thereof is to improve an error of depth information due to discontinuity of a depth value in an area according to color similarity in a reference view image.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention, which are not mentioned above, can be understood by the following description, and more clearly by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
상기 목적을 달성하기 위한 본 발명은 기준시점 영상 및 대상시점 영상을 입력받아 저장하는 영상 입력부; 상기 기준시점 영상에 대한 초기 깊이정보를 입력받아 저장하는 깊이정보 입력부; 상기 기준시점 영상의 컬러 유사도 및 상기 초기 깊이정보를 이용하여, 상기 기준시점 영상을 복수의 영역으로 분할하는 영상 분할부; 및 상기 분할된 복수의 영역 각각을 상기 대상시점 영상에 대응시키고, 대응되는 영역 사이의 컬러 유사도를 이용하여, 상기 초기 깊이정보가 보정된 최종 깊이정보를 생성하는 제1깊이정보 생성부를 포함하는 깊이정보 추출 장치를 제공한다. The present invention for achieving the above object is an image input unit for receiving and storing the reference viewpoint image and the target viewpoint image; A depth information input unit configured to receive and store initial depth information of the reference viewpoint image; An image dividing unit dividing the reference viewpoint image into a plurality of areas by using the color similarity of the reference viewpoint image and the initial depth information; And a first depth information generator that corresponds to each of the divided regions to correspond to the target viewpoint image, and generates final depth information of which the initial depth information is corrected using color similarity between corresponding regions. Provided is an information extraction apparatus.
또한 상기 목적을 달성하기 위한 본 발명은 기준시점 영상 및 대상시점 영상을 입력받아 저장하는 단계; 상기 기준시점 영상에 대한 초기 깊이정보를 입력받아 저장하는 단계; 상기 기준시점 영상의 컬러 유사도 및 상기 초기 깊이정보를 이용하여, 상기 기준시점 영상을 복수의 영역으로 분할하는 단계; 및 상기 분할된 복수의 영역 각각을 상기 대상시점 영상에 대응시키고, 대응되는 영역 사이의 컬러 유사도를 이용하여, 상기 초기 깊이정보가 보정된 최종 깊이정보를 생성하는 단계를 포함하는 깊이정보 추출 방법을 제공한다.In addition, the present invention for achieving the above object is a step of receiving and storing the reference viewpoint image and the target viewpoint image; Receiving and storing initial depth information of the reference view image; Dividing the reference view image into a plurality of areas by using color similarity of the reference view image and the initial depth information; And generating final depth information of which the initial depth information is corrected by using each of the divided regions to correspond to the target viewpoint image, and using color similarity between corresponding regions. to provide.
본 발명에 따르면, 기준시점 영상에 대한 컬러 유사도 및 깊이 카메라로부터 획득할 수 있는 기준시점 영상에 대한 깊이정보를 이용하여 기준시점 영상을 복수의 영역으로 분할한다. 따라서 컬러 유사도에 따른 영역내에 깊이 값이 불연속하 는 경계 지점을 재분할할 수 있으며 영역내 깊이 값의 불연속에 따른 깊이정보의 오류를 개선할 수 있는 효과가 있다.According to the present invention, the reference view image is divided into a plurality of regions using color similarity with respect to the reference view image and depth information of the reference view image that can be obtained from the depth camera. Therefore, the boundary point where the depth value is discontinuous in the region according to the color similarity can be subdivided, and the error of depth information due to the discontinuity of the depth value in the region can be improved.
먼저 본 발명에 따른 깊이정보 추출 장치에 대한 개념을 간단히 설명하면 다음과 같다.First, the concept of the depth information extraction apparatus according to the present invention will be briefly described.
본 발명에 따른 깊이정보 추출 장치는 기준시점 영상을 복수의 영역으로 분할하고 분할된 영역별로 기준시점 영상의 깊이정보를 생성한다. 이 때, 본 발명에 따른 깊이정보 추출 장치는 컬러 유사도를 이용하여 기준시점 영상을 복수의 영역으로 분할하되, 초기 깊이정보를 추가로 이용하여 분할한다. 여기서, 초기 깊이정보는 깊이 카메라 등으로부터 얻어질 수 있다. 따라서 본 발명에 따른 깊이정보 추출 장치는 예를 들어 컬러 유사도에 따라 분할된 영역에 깊이 값의 불연속이 존재할 경우, 초기 깊이정보를 이용하여 깊이 값의 불연속에 따라 영역을 재분할할 수 있다. 결국, 본 발명에 따르면 영역 내 깊이 값의 불연속이 나타나는 경계 지점이 초기 깊이정보에 의해 재분할되므로 컬러 유사도에 따라 분할된 영역의 깊이 값의 불연속에 따른 깊이정보의 오차가 개선될 수 있다. An apparatus for extracting depth information according to the present invention divides a reference view image into a plurality of regions and generates depth information of the reference view image for each divided region. At this time, the depth information extracting apparatus according to the present invention divides the reference view image into a plurality of regions using color similarity, but further divides the image using the initial depth information. Here, the initial depth information may be obtained from a depth camera or the like. Therefore, when the depth information extraction apparatus according to the present invention has a discontinuity of the depth value in the divided region according to the color similarity, for example, the depth information extracting apparatus may repartition the region according to the discontinuity of the depth value. As a result, according to the present invention, since the boundary point at which the discontinuity of the depth value in the region appears is subdivided by the initial depth information, the error of the depth information according to the discontinuity of the depth value of the divided region may be improved according to the color similarity.
그리고 본 발명에 따른 깊이정보 추출 장치는 기준시점 영상의 최종 깊이정보를 생성할 때, 기준시점 영상의 이전 프레임의 깊이정보를 이용하여 현재 프레임의 최종 깊이정보를 생성한다. 여기서, 최종 깊이정보란 초기 깊이정보가 보정된 깊이정보로 본 발명에 따른 깊이정보 추출 장치에 의해 최종적으로 생성되는 깊이 정보이다. 따라서 본 발명에 따르면 배경영역과 같이 이전 프레임과 현재 프레임이 거의 동일할 경우 이전 프레임과 현재 프레임의 깊이정보의 연속성이 유지될 수 있다. 여기서, 깊이정보의 연속성이란 실질적으로 동일한 이전 및 현재 프레임의 깊이정보가 동일성을 유지함을 의미한다.The depth information extracting apparatus according to the present invention generates final depth information of the current frame by using depth information of a previous frame of the reference view image when generating final depth information of the reference view image. Here, the final depth information is depth information of which the initial depth information is corrected and is finally generated by the depth information extraction apparatus according to the present invention. Therefore, according to the present invention, when the previous frame and the current frame are almost the same as the background area, continuity of depth information of the previous frame and the current frame can be maintained. Here, the continuity of the depth information means that the depth information of the previous and current frames that are substantially the same maintains the same.
이하 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다.DETAILED DESCRIPTION Hereinafter, the most preferred embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention.
도 1은 본 발명의 일실시예에 따른 깊이정보 추출 장치를 나타내는 도면이다. 1 is a view showing a depth information extraction apparatus according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 깊이정보 추출 장치는 영상 입력부(101), 깊이정보 입력부(103), 영상 분할부(105) 및 제1깊이정보 생성부(107)를 포함한다.As shown in FIG. 1, the apparatus for extracting depth information according to the present invention includes an
영상 입력부(101)는 기준시점 영상 및 대상시점 영상을 입력받아 저장한다. 기준시점 영상 및 대상시점 영상은 카메라로부터 획득되어 입력될 수 있으며, 영상 입력부(101)는 입력된 기준시점 영상 및 대상시점 영상의 동기를 맞추어 프레임 별로 저장할 수 있다. 본 발명에 따르면, 영상 입력부(101)는 복수의 대상시점 영상을 입력받을 수 있으며, 영상 입력부(101)는 기준시점 영상 및 복수의 대상시점 영상의 동기를 맞추어 프레임 별로 저장할 수 있다.The
깊이정보 입력부(103)는 기준시점 영상에 대한 초기 깊이정보를 입력받아 저장한다. 상기된 바와 같이, 초기 깊이정보는 깊이 카메라로부터 영상의 형태로 획득되어 입력될 수 있다. 초기 깊이정보는 기준시점 영상과 동일 시간에 획득되고, 깊이정보 입력부(103)는 기준시점 영상과 초기 깊이정보의 동기를 맞추어 프레임 별로 저장함이 바람직하다. 여기서, 초기 깊이정보가 기준시점 영상과 동일 시간에 획득된다는 것은 예를 들어, 기준시점 영상의 제1프레임에 대한 깊이 값이 초기 깊이정보 영상의 제1프레임에 포함됨을 의미한다. The depth
영상 분할부(105)는 기준시점 영상의 컬러 유사도 및 초기 깊이정보를 이용하여, 상기 기준시점 영상을 복수의 영역으로 분할한다. 영상 분할부(105)는 평균 이동 알고리즘 및 split-and-merge 알고리즘 등을 이용하여 기준시점 영상을 분할할 수 있다.The
보다 자세히, 영상 분할부(105)는 먼저 컬러 유사도에 따라 기준시점 영상을 복수의 영역으로 분할한다. 그리고 영상 분할부(105)는 컬러 유사도에 따라 분할되 영역에 깊이 값이 불연속하는 경계 지점이 존재할 경우 초기 깊이정보를 이용하여 분할된 영역을 재분할할 수 있다. 이 때 영상 분할부(105)는 분할된 영역 내에 대한 초기 깊이정보의 평균값에 따라 분할된 영역을 재분할 수 있는데, 분할된 영역의 화소에 대한 초기 깊이정보와 초기 깊이정보의 평균값의 차이가 기 설정된 임계값(TH1)보다 클 경우 분할된 영역을 재분할할 수 있다.In more detail, the
제1깊이정보 생성부(107)는 영상 분할부(105)에서 분할된 복수의 영역 각각을 대상시점 영상에 대응시킨다. 그리고 제1깊이정보 생성부(107)는 대응되는 영역 사이의 컬러 유사도를 이용하여 초기 깊이정보가 보정된 최종 깊이정보를 생성한다. The first
깊이 카메라가 제공하는 초기 깊이정보는 해상도에 제약이 있다. 즉, 깊이 카메라는 고해상도의 깊이정보를 제공하기 어려우며 기준시점 영상에 대한 대략적인 깊이정보를 제공한다. 본 발명에 따른 깊이정보 추출 장치는 최종적으로 초기 깊이정보가 보정된 최종 깊이정보를 생성한다. 제1깊이정보 생성부(107)는 스테레오 정합 등을 통하여 초기 깊이정보보다 신뢰도가 높은 최종 깊이정보를 생성하기 때문에 초기 깊이정보를 보정하여 기준시점 영상에 대한 최종 깊이정보를 생성한다고 할 수 있다. 제1깊이정보 생성부(107)는 도 2에서 보다 자세히 후술된다.Initial depth information provided by the depth camera is limited in resolution. That is, it is difficult for a depth camera to provide high resolution depth information and to provide approximate depth information for a reference view image. The depth information extracting apparatus according to the present invention finally generates final depth information in which the initial depth information is corrected. Since the first
정리하면, 본 발명에 따른 깊이정보 추출 장치는 기준시점 영상에 대한 컬러 유사도 및 초기 깊이정보를 이용하여 기준시점 영상을 분할한다. 따라서 컬러 유사도에 따라 분할된 영역에 깊이 값이 불연속하는 경계 지점이 존재할 경우, 컬러 유사도에 따라 분할된 영역은 초기 깊이정보에 의해 재분할될 수 있으며, 영역 내에 존재하는 깊이 값의 불연속에 따른 깊이정보의 오차가 개선될 수 있다.In summary, the depth information extracting apparatus according to the present invention divides the reference view image by using color similarity and initial depth information of the reference view image. Therefore, when there is a boundary point where the depth value is discontinuous in the divided region according to the color similarity, the divided region according to the color similarity may be subdivided by the initial depth information, and the depth information according to the discontinuity of the depth value existing in the region. The error of can be improved.
한편, 상기된 바와 같이 본 발명에 따른 깊이정보 추출 장치가 생성한 깊이정보는 변이정보와의 관계에 따라 변이정보로 변환될 수 있다.Meanwhile, as described above, the depth information generated by the depth information extracting apparatus according to the present invention may be converted into variation information according to the relationship with the variation information.
본 발명에 따른 깊이정보 추출 장치는 제2깊이정보 생성부(109)를 더 포함할 수 있는데, 제2깊이정보 생성부(109)는 도 2에서 자세히 설명하기로 한다.The apparatus for extracting depth information according to the present invention may further include a second
도 2는 도 1에 도시된 제1깊이정보 생성부(107)를 보다 상세하게 나타낸 도 면이다.FIG. 2 is a diagram illustrating in detail the first
도 2에 도시된 바와 같이, 본 발명에 따른 제1깊이정보 생성부(107)는 기준 깊이정보 선택부(201), 유사도 판단부(203) 및 스테레오 정합부(205)를 포함한다.As shown in FIG. 2, the first depth
기준 깊이정보 선택부(201)는 기준시점 영상의 이전 프레임과 현재 프레임 사이의 움직임 정도에 따라, 상기 기준시점 영상의 이전 프레임의 영역의 깊이 값을 기준 깊이정보로 선택한다. 여기서, 이전 프레임과 현재 프레임 사이의 움직임 정도란 이전 및 현재 프레임 각각에 존재하는 객체나 배경 장면등의 위치 차이를 의미한다.The reference depth
이 때, 기준 깊이정보 선택부(201)는 기준시점 영상의 이전 프레임과 현재 프레임의 대응되는 영역 별로 움직임 정도를 판단할 수 있는데, 일실시예로서 하기의 [수학식 1]에 따라 움직임 정도를 판단할 수 있다.At this time, the reference
한편, 기준 깊이정보란 후술되는 유사도 판단부(203)에서 이전 프레임과 현재 프레임의 대응되는 영역 별로 컬러 유사도를 판단함에 있어서, 기준이 되는 깊이 값이다. 자세히 후술되겠지만 유사도 판단부(203)는 기준 깊이정보에서 기 설정된 값만큼 가감한 범위내에서 가상시점 영상과 대상시점 영상의 소정 영역간 컬러 유사도를 판단한다.On the other hand, the reference depth information is a depth value as a reference in determining the color similarity for each corresponding area of the previous frame and the current frame in the
2) 이전 프레임의 영역(S)과 현재 프레임의 영역(S’)내 화소 간 컬러 차이 < 기 설정된 임계값(TH3)2) Color difference between the area S of the previous frame and the area S ′ of the current frame < the preset threshold TH3
3) 이전 프레임의 영역(S)과 현재 프레임의 영역(S’)내 화소 간 초기 깊이정보(값) 차이 < 기 설정된 임계값(TH4) 3) Difference in Initial Depth Information (Value) between Pixels in the Area S of the Previous Frame and the Area S ′ of the Current Frame <Preset Threshold TH4
상기 [수학식 1]에서 현재 프레임의 영역(S’)은 이전 프레임의 영역(S)에 대응되는 영역이다. 즉, 기준 깊이정보 선택부(201)는 이전 프레임과 현재 프레임의 화소 비율, 컬러 차이 및 깊이 값 차이를 기 설정된 임계값과 비교하여 움직임 정도를 판단할 수 있다. 상기 [수학식 1]의 조건이 만족될 경우 현재 프레임의 영역(S’)과 이전 프레임의 영역(S)은 정적인 예를 들어, 배경 영역일 확률이 높으므로 기준 깊이정보 선택부(201)는 이전 프레임의 초기 깊이정보를 기준 깊이정보로 선택할 수 있다. 또한 기준 깊이정보 선택부(201)는 이전 프레임의 초기 깊이정보와 현재 프레임의 초기 깊이정보를 평균한 값을 기준 깊이정보로 선택하거나 이전 프레임에 대한 최종 깊이정보를 기준 깊이정보로 선택할 수 있다. 이 때 이전 프레임에 대한 최종 깊이정보는 후술되는 스테레오 정합부(205)로부터 제공받을 수 있다.In Equation 1, the area S ′ of the current frame is an area corresponding to the area S of the previous frame. That is, the reference
그리고 기준 깊이정보 선택부(201)는 상기 [수학식 1]의 세 가지 조건을 모두 고려하여 움직임 정도를 판단하거나 또는 일부만을 고려하여 움직임 정도를 판단할 수 있다. The reference depth
한편, 움직임 정도 판단 결과, [수학식 1]의 조건이 만족되지 않거나 이전 프레임에 대한 초기 깊이정보가 존재하지 않는 경우 기준 깊이정보 선택부(201)는 현재 프레임에 대한 초기 깊이정보를 기준 깊이정보로 선택한다.On the other hand, as a result of determining the movement degree, if the condition of [Equation 1] is not satisfied or the initial depth information for the previous frame does not exist, the reference depth
유사도 판단부(203)는 상기된 바와 같이, 기준 깊이정보에서 기 설정된 값만큼 가감한 범위내에서 영역 별로 기준시점 영상과 대상시점 영상의 컬러 유사도를 판단한다. 컬러 유사도는 SSD(Sum of Squared Distance) 또는 NCC(Normalized Cross Correlation) 등의 유사함수에 의해 판단될 수 있다. 기준 깊이정보에서 기 설정된 값만큼 가감한 범위(search_depth(x, y))는 하기의 [수학식 2]로 표현될 수 있다.As described above, the
상기 [수학식 2]에서 Base_depth(x, y)는 기준 깊이정보 선택부(201)에서 선택된 기준 깊이정보를 나타내며, error_rate는 기준 깊이정보의 오차를 고려해 설정되는 1보다 작은 값이다.In Equation 2, Base_depth (x, y) represents reference depth information selected by the reference depth
이하 유사도 판단부(203)가 기준 깊이정보를 이용하여 컬러 유사도를 판단하는 과정을 자세히 설명한다.Hereinafter, the
예를 들어, 기준시점 영상과 대상시점 영상을 제공하는 카메라가 X축으로 평행하고 기준 깊이정보로부터 변환된 기준시점 영상과 대상시점 영상 간 변이정보 (값)가 '4'일 경우 유사도 판단부(203)는 4 - 0.5*4 < search_depth(x, y) < 4 + 0.5*4 의 범위 내에서 기준시점 영상과 대상시점 영상의 컬러 유사도를 판단한다. 즉, 기준시점 영상의 소정 영역의 좌표 값이 (3, 3)일 경우 유사도 판단부(203)는 대상시점 영상의 좌표 값이 (1, 3) ~ (5, 3)인 범위 내에서 기준시점 영상과 컬러 유사도를 비교 판단할 수 있다. 깊이정보와 변이정보는 밀접한 관련이 있으므로 상기 예시에서는 변이정보가 이용되어 설명되어 있다. 기준시점 영상과 대상시점 영상은 다른 시점으로 촬영된 영상이다. 따라서 기준시점 영상으로부터 얻어진 기준 깊이정보가 대상시점 영상에 그대로 적용될 수 없으며, 유사도 판단부(203)는 소정 범위내에서 컬러 유사도를 판단한다.For example, when the camera providing the base view image and the target view image is parallel to the X axis and the variation information (value) between the base view image and the target view image converted from the reference depth information is '4', the similarity determination unit ( 203 determines color similarity between the reference view image and the target view image within a range of 4-0.5 * 4 <search_depth (x, y) <4 + 0.5 * 4. That is, when the coordinate value of the predetermined region of the reference viewpoint image is (3, 3), the
한편, 차폐에 의해 깊이 값이 부정확한 화소가 영역내에 포함되어 있는 경우, 유사도 판단부(203)의 컬러 유사도 판단결과에 오류가 존재할 수 있다. 따라서 유사도 판단부(203)는 컬러 유사도 판단의 오류를 감소시키기 위해 각 영역 내 화소의 컬러 값의 차이에 대한 평균에서 가장 큰 편차를 가지는 화소를 컬러 유사도 판단 과정에서 제외시키고 컬러 유사도를 판단할 수 있다. 이 때 유사도 판단부(203)는 화소의 컬러 값의 차이에 대한 표준 편차가 기 설정된 임계값(TH5)보다 작아지거나, 또는 표준 편차가 변화가 없거나, 또는 최대 반복 횟수에 도달할 때까지 반복해 컬러 유사도를 판단할 수 있다. 또한 유사도 판단부(203)는 평면 근사화 과정 및 비용함수 최적화 등을 통하여 컬러 유사도 판단의 오류를 감소시킬 수 있다.On the other hand, when a pixel having an incorrect depth value is included in the region due to shielding, an error may exist in the color similarity determination result of the
스테레오 정합부(205)는 유사도 판단부(203)에 의한 컬러 유사도 판단 결 과, 가장 컬러 유사도가 높은 영역 간 스테레오 정합하여 최종 깊이정보를 생성한다. The
스테레오 정합을 통해 기준시점 영상과 대상시점 영상의 대응영역(화소)이 추출되고 최종 깊이정보가 생성된다. 이 때 스테레오 정합부(205)는 기준시점 영상의 현재 프레임의 초기 깊이정보, 또는 이전 프레임에서 얻어진 깊이정보를 통해 얻어진 컬러 유사도를 비교하여 가장 유사도가 높은 영역에 대응되는 영역 간 스테레오 정합을 통해 기준시점 영상의 최종 깊이정보를 생성할 수 있다. Through stereo matching, a corresponding region (pixel) of the reference viewpoint image and the target viewpoint image is extracted and final depth information is generated. At this time, the
스테레오 정합부(205)는 스테레오 정합 방법 이외에도 실루엣 기반 방법(shape from Silhoutte), 부피 기반 모델링 방법인 복셀 컬러링(Vixel Coloring), 카메라 이동에 의해 촬영된 다시점 객체에 대한 3차원 정보를 계산하는 움직임 기반 모양 추적 방법(Shape from Motion)을 기반으로 최종 깊이정보를 생성할 수 있다. 최종 깊이정보는 3차원 공간 상의 점 구름(point cloud) 또는 3차원 모델로 변환될 수 있다.In addition to the stereo matching method, the
정리하면, 본 발명에 따른 깊이정보 추출 장치는 이전 프레임의 깊이정보를 기초로 현재 프레임의 깊이정보를 생성한다. 따라서 본 발명에 따르면, 배경 영역과 같이 이전 프레임과 현재 프레임이 거의 동일할 경우 이전 프레임과 현재 프레임의 깊이정보의 연속성이 유지될 수 있다. In summary, the depth information extracting apparatus according to the present invention generates the depth information of the current frame based on the depth information of the previous frame. Therefore, according to the present invention, when the previous frame and the current frame are almost the same as the background area, the continuity of the depth information of the previous frame and the current frame can be maintained.
한편, 도 1에 도시된 제2깊이정보 생성부(109)는 기준시점 영상 및 대상시점 영상을 제공하는 카메라의 정보를 이용하여 기준시점 영상에 대한 최종 깊이정보를 대상시점 영상으로 투영시켜, 대상시점 영상에 대한 깊이정보를 생성한다. Meanwhile, the second
본 발명에 따른 깊이정보 추출 장치는 카메라 보정부(미도시)를 더 포함할 수 있는데, 카메라 보정부는 영상 입력부(101)로 입력된 기준시점 영상 및 대상시점 영상을 이용하여 카메라 보정(calibration)을 통해 초점 거리 등의 카메라 정보와 각 시점에 따른 상호 위치 관계를 나타내는 기반 행렬을 계산한다. 제2깊이정보 생성부(109)는 기반 행렬을 기초로 제1깊이정보 생성부(107)에서 생성되는 기준시점 영상에 대한 최종깊이 정보를 대상시점 영상으로 투영시킬 수 있다.The apparatus for extracting depth information according to the present invention may further include a camera correction unit (not shown). The camera correction unit performs camera calibration using a reference viewpoint image and a target viewpoint image inputted to the
투영 결과, 기준시점 영상과 대상시점 영상의 시점 차이에 의해 홀(hole)이 발생할 경우 제2깊이정보 생성부(109)는 주변 화소의 깊이 값을 이용해 홀을 보간하여 대상시점 영상에 대한 깊이정보를 생성할 수 있다.As a result of the projection, when a hole is generated due to a difference in viewpoint between the reference viewpoint image and the target viewpoint image, the second
이상은 본 발명이 장치적 관점에 의해 설명되었으나, 본 발명에 따른 깊이정보 추출 장치를 구성하는 각 구성 요소의 동작은 프로세스 관점에 의해 용이하게 파악될 수 있다. 따라서 본 발명에 따른 깊이정보 추출 장치에 포함된 구성 요소의 동작은 본 발명의 원리에 따라 각각 깊이정보 추출 방법에 포함된 단계로 이해될 수 있다. 이하 도 3 및 도 4를 참조하여 본 발명에 따른 깊이정보 추출 방법을 설명한다.Although the present invention has been described in terms of the apparatus, the operation of each component constituting the depth information extracting apparatus according to the present invention can be easily understood from the process point of view. Therefore, the operation of the components included in the depth information extraction apparatus according to the present invention can be understood as the steps included in each depth information extraction method according to the principles of the present invention. Hereinafter, a method of extracting depth information according to the present invention will be described with reference to FIGS. 3 and 4.
도 3은 본 발명의 일실시예에 따른 깊이정보 추출 방법을 나타내는 흐름도이다.3 is a flowchart illustrating a method of extracting depth information according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 본 발명에 따른 깊이정보 추출 방법은 단계 S301로부터 시작된다. 단계 S301에서 기준시점 영상 및 대상시점 영상이 입력되어 저장 된다. 기준시점 영상 및 대상시점 영상은 카메라로부터 획득되고 입력되어 동기가 맞춰져 저장될 수 있다.As shown in Fig. 3, the depth information extraction method according to the present invention starts from step S301. In operation S301, the reference view image and the target view image are input and stored. The reference view image and the target view image may be obtained from a camera, input, and synchronized and stored.
단계 S303에서 기준시점 영상에 대한 초기 깊이정보가 입력되어 저장된다. 초기 깊이정보는 깊이 카메라로부터 획득되어 입력될 수 있으며, 기준시점 영상과 동일 시간에 획득됨이 바람직하다. In operation S303, initial depth information of a reference view image is input and stored. The initial depth information may be obtained from the depth camera and input, and may be obtained at the same time as the reference view image.
단계 S305에서 기준시점 영상의 컬러 유사도 및 초기 깊이정보가 이용되어, 기준시점 영상이 복수의 영역으로 분할된다. 보다 자세히, 단계 S305에서 컬러 유사도에 따라 분할된 영역에 깊이 값의 불연속 경계 지점이 존재하는 경우 초기 깊이정보에 의해 재분할될 수 있다. 이 때, 분할된 영역의 화소에 대한 초기 깊이정보와 초기 깊이정보의 평균값의 차이가 기 설정된 임계값(TH1)보다 클 경우 분할된 영역이 재분할될 수 있다.In operation S305, the color similarity and the initial depth information of the reference viewpoint image are used to divide the reference viewpoint image into a plurality of regions. In more detail, when there is a discontinuous boundary point of the depth value in the divided region according to the color similarity in step S305, it may be re-divided by the initial depth information. In this case, when the difference between the average value of the initial depth information and the initial depth information of the pixels of the divided region is greater than the preset threshold TH1, the divided region may be re-divided.
단계 S307에서 분할된 복수의 영역 각각을 대상시점 영상에 대응시키고, 대응되는 영역 사이의 컬러 유사도를 이용하여 초기 깊이정보가 보정된 최종 깊이정보가 생성된다. 단계 S307에서 스테레오 정합 등의 방법이 이용되어 최종 깊이정보가 생성될 수 있는데, 단계 S307은 도 4에서 보다 자세히 후술된다.Each of the plurality of divided regions in step S307 corresponds to the object viewpoint image, and final depth information is generated by correcting initial depth information by using color similarity between the corresponding regions. In step S307, a method such as stereo matching may be used to generate final depth information. Step S307 will be described later in more detail with reference to FIG.
한편, 본 발명에 따른 깊이정보 추출 방법은 단계 S309를 더 포함할 수 있다. 단계 S309는 도 4에서 단계 S307과 함께 설명하기로 한다.Meanwhile, the method for extracting depth information according to the present invention may further include step S309. Step S309 will be described along with step S307 in FIG. 4.
도 4는 도 3에 도시된 단계 S307을 보다 자세히 나타낸 흐름도이다.FIG. 4 is a flowchart showing step S307 shown in FIG. 3 in more detail.
도 4에 도시된 바와 같이, 단계 S307는 보다 자세히 단계 S401로부터 시작 된다.As shown in Fig. 4, step S307 starts from step S401 in more detail.
단계 S401에서, 기준시점 영상의 이전 프레임과 현재 프레임 사이의 움직임 정도에 따라, 기준시점 영상의 이전 프레임의 영역의 깊이 값이 기준 깊이정보로 선택된다. 움직임 정도는 상기 [수학식 1]에 따라 이전 프레임과 현재 프레임의 영역 별 화소 비율, 컬러 차이, 깊이 정보(값) 차이가 기 설정된 임계값과 비교되어 판단될 수 있다. 이 때 이전 프레임의 초기 깊이정보 또는 이전 프레임의 초기 깊이정보와 현재 프레임의 초기 깊이정보가 평균된 값 등이 기준 깊이정보로 선택될 수 있다.In operation S401, the depth value of the region of the previous frame of the reference viewpoint image is selected as reference depth information according to the degree of movement between the previous frame and the current frame of the reference viewpoint image. The degree of motion may be determined by comparing the pixel ratio, color difference, and depth information (value) difference between regions of the previous frame and the current frame according to Equation 1 above with a preset threshold. At this time, the initial depth information of the previous frame or the value obtained by averaging the initial depth information of the previous frame and the initial depth information of the current frame may be selected as the reference depth information.
단계 S403에서, 기준 깊이정보에서 기 설정된 값만큼 가감한 범위 내에서 영역 별로 상기 기준시점 영상과 상기 대상시점 영상의 컬러 유사도가 판단된다. 기준 깊이정보에서 기 설정된 값만큼 가감한 범위(search_depth(x, y))는 상기의 [수학식 2]로 표현될 수 있다. 기준시점 영상과 대상시점 영상은 다른 시점으로 촬영된 영상이므로 기준시점 영상으로부터 얻어진 기준 깊이정보가 대상시점 영상에 그대로 적용될 수 없으며, 단계 S403에서 소정 범위내에서 컬러 유사도가 판단된다.In step S403, the color similarity between the reference viewpoint image and the target viewpoint image is determined for each region within a range added or subtracted by a predetermined value from the reference depth information. The range search_depth (x, y) subtracted by a predetermined value from the reference depth information may be expressed by Equation 2 above. Since the reference viewpoint image and the target viewpoint image are images captured at different viewpoints, reference depth information obtained from the reference viewpoint image cannot be directly applied to the target viewpoint image, and color similarity is determined within a predetermined range in step S403.
이 때, 단계 S403에서, 차폐 영역 등에 의한 컬러 유사도 판단의 오류를 감소시키기 위해 각 영역 내 화소의 컬러 값의 차이에 대한 평균에서 가장 큰 편차를 가지는 화소가 컬러 유사도 판단 과정에서 제외되어 컬러 유사도가 판단될 수 있다. 단계 S403에서 화소의 컬러 값의 차이에 대한 표준 편차가 기 설정된 임계값(TH5)보다 작아지거나, 또는 표준 편차가 변화가 없거나, 또는 최대 반복 횟수에 도달할 때까지 컬러 유사도가 판단될 수 있다.At this time, in step S403, in order to reduce the error of the color similarity determination by the shielding area or the like, the pixel having the largest deviation from the average with respect to the difference in the color values of the pixels in each area is excluded from the color similarity determination process and the color similarity is determined. Can be judged. In step S403, the color similarity may be determined until the standard deviation of the difference in color values of the pixels becomes smaller than the preset threshold value TH5, or the standard deviation is unchanged or the maximum number of repetitions is reached.
단계 S405에서, 단계 S403에서의 컬러 유사도 판단 결과, 가장 컬러 유사도가 높은 영역 간 스테레오 정합하여 최종 깊이정보가 생성된다. 스테레오 정합을 통해 기준시점 영상과 대상시점 영상의 대응영역(화소)이 추출되고 최종 깊이정보가 생성된다.In step S405, as a result of the color similarity determination in step S403, final depth information is generated by stereo matching between areas having the highest color similarity. Through stereo matching, a corresponding region (pixel) of the reference viewpoint image and the target viewpoint image is extracted and final depth information is generated.
한편, 도 3에 도시된 단계 S309에서, 기준시점 영상 및 대상시점 영상을 제공하는 카메라의 정보가 이용되어 상기 기준시점 영상에 대한 최종 깊이정보가 상기 대상시점 영상에 투영되고, 상기 대상시점 영상에 대한 깊이정보가 생성된다. Meanwhile, in step S309 illustrated in FIG. 3, information of a camera providing a reference viewpoint image and a target viewpoint image is used to project final depth information of the reference viewpoint image to the target viewpoint image, and to the target viewpoint image. Depth information is generated.
단계 S309에서는, 단계 S301에서 입력된 기준시점 영상 및 대상시점 영상이 이용되어 카메라 보정(calibration)을 통해 초점 거리 등의 카메라 정보와 각 시점에 따른 상호 위치 관계를 나타내는 기반 행렬이 계산된다. 단계 S309에서 기반 행렬을 기초로 단계 S307에서 생성되는 기준시점 영상에 대한 최종깊이 정보가 대상시점 영상에 투영될 수 있다..In step S309, the reference matrix image and the target viewpoint image input in step S301 are used to calculate a matrix based on camera information such as a focal length and a mutual positional relationship for each viewpoint through camera calibration. In operation S309, final depth information on the reference view image generated in operation S307 may be projected onto the target view image based on the base matrix.
투영 결과, 기준시점 영상과 대상시점 영상의 시점 차이에 의해 홀이 발생할 경우 단계 S309에서 주변 화소의 깊이 값을 이용해 홀을 보간하여 대상시점 영상에 대한 최종 깊이정보를 생성할 수 있다. 기준시점 영상 및 대상시점 영상에 대한 깊이정보는 디지털 영상으로 기록될 수 있으며, 디지털 영상은 3차원 공간 상의 점 구름 또는 3차원 모델로 변환될 수 있다.As a result of the projection, when holes are generated due to a difference in viewpoints between the reference viewpoint image and the target viewpoint image, final depth information on the target viewpoint image may be generated by interpolating the holes using depth values of surrounding pixels in step S309. Depth information about the reference view image and the target view image may be recorded as a digital image, and the digital image may be converted into a point cloud or a 3D model in a 3D space.
한편, 전술한 바와 같은 본 발명에 따른 깊이정보 추출 방법은 컴퓨터 프로 그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD)와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.On the other hand, the depth information extraction method according to the present invention as described above can be created by a computer program. And the code and code segments constituting the program can be easily inferred by a computer programmer in the art. In addition, the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention. The recording medium includes all types of computer-readable recording media (CD, DVD), as well as intangible media such as carrier waves.
또한 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.In addition, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto and is equivalent to the technical spirit and claims of the present invention by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope.
도 1은 본 발명의 일실시예에 따른 깊이정보 추출 장치를 나타내는 도면,1 is a diagram showing an apparatus for extracting depth information according to an embodiment of the present invention;
도 2는 도 1에 도시된 제1깊이정보 생성부(107)를 보다 상세하게 나타낸 도면,FIG. 2 is a diagram illustrating the first
도 3은 본 발명의 일실시예에 따른 깊이정보 추출 방법을 나타내는 흐름도,3 is a flowchart illustrating a method of extracting depth information according to an embodiment of the present invention;
도 4는 도 4는 도 3에 도시된 단계 S307을 보다 자세히 나타낸 흐름도이다.4 is a flowchart showing in more detail the step S307 shown in FIG.
Claims (10)
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20080123268 | 2008-12-05 | ||
| KR1020080123268 | 2008-12-05 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100065037A true KR20100065037A (en) | 2010-06-15 |
| KR101086274B1 KR101086274B1 (en) | 2011-11-24 |
Family
ID=42364545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090030315A KR101086274B1 (en) | 2008-12-05 | 2009-04-08 | Apparatus and method for extracting depth information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101086274B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101109695B1 (en) * | 2010-10-20 | 2012-01-31 | 주식회사 아이닉스 | Apparatus and method for control speed auto focus |
| KR20120016439A (en) * | 2010-08-16 | 2012-02-24 | 삼성전자주식회사 | Image processing apparatus and method |
| WO2012135220A3 (en) * | 2011-03-30 | 2013-01-03 | Intel Corporation | Real-time depth extraction using stereo correspondence |
| US9819879B2 (en) | 2011-07-12 | 2017-11-14 | Samsung Electronics Co., Ltd. | Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity |
| KR102090666B1 (en) * | 2019-02-11 | 2020-03-18 | 주식회사 넥스트칩 | Method and apparatus for generating a disparity map for stereo images |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101600183B1 (en) * | 2014-07-08 | 2016-03-04 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | Method and apparatus for extracting depth information from image |
| KR101783585B1 (en) | 2017-06-02 | 2017-10-10 | 김창수 | Method for managing plant facilities |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100776649B1 (en) * | 2004-12-06 | 2007-11-19 | 한국전자통신연구원 | A depth information-based Stereo/Multi-view Stereo Image Matching Apparatus and Method |
-
2009
- 2009-04-08 KR KR1020090030315A patent/KR101086274B1/en not_active IP Right Cessation
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120016439A (en) * | 2010-08-16 | 2012-02-24 | 삼성전자주식회사 | Image processing apparatus and method |
| KR101109695B1 (en) * | 2010-10-20 | 2012-01-31 | 주식회사 아이닉스 | Apparatus and method for control speed auto focus |
| WO2012135220A3 (en) * | 2011-03-30 | 2013-01-03 | Intel Corporation | Real-time depth extraction using stereo correspondence |
| US8823777B2 (en) | 2011-03-30 | 2014-09-02 | Intel Corporation | Real-time depth extraction using stereo correspondence |
| US9819879B2 (en) | 2011-07-12 | 2017-11-14 | Samsung Electronics Co., Ltd. | Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity |
| KR102090666B1 (en) * | 2019-02-11 | 2020-03-18 | 주식회사 넥스트칩 | Method and apparatus for generating a disparity map for stereo images |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101086274B1 (en) | 2011-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11954813B2 (en) | Three-dimensional scene constructing method, apparatus and system, and storage medium | |
| KR100931311B1 (en) | Depth estimation device and its method for maintaining depth continuity between frames | |
| KR101086274B1 (en) | Apparatus and method for extracting depth information | |
| CN111050210B (en) | Method of performing operations, video processing system, and non-transitory computer readable medium | |
| US8611641B2 (en) | Method and apparatus for detecting disparity | |
| US8350850B2 (en) | Using photo collections for three dimensional modeling | |
| KR100953076B1 (en) | Multi-view matching method and device using foreground/background separation | |
| KR100793076B1 (en) | Edge-adaptive stereo/multi-view image matching apparatus and its method | |
| US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
| US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
| KR101181199B1 (en) | Stereoscopic image generation method of background terrain scenes, system using the same and recording medium for the same | |
| US20090079730A1 (en) | Method and apparatus for generating 3D image using 2D photograph images | |
| KR100745691B1 (en) | Binocular or multi-view stereo matching apparatus and its method using occlusion area detection | |
| KR20090055803A (en) | Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image | |
| US10708505B2 (en) | Image processing apparatus, method, and storage medium | |
| WO2019082797A1 (en) | Reconfiguration method and reconfiguration device | |
| KR20130003135A (en) | Apparatus and method for capturing light field geometry using multi-view camera | |
| KR20090008808A (en) | Apparatus and method for converting 2d image signals into 3d image signals | |
| KR100926520B1 (en) | Apparatus and method of matching binocular/multi-view stereo using foreground/background separation and image segmentation | |
| US20120050485A1 (en) | Method and apparatus for generating a stereoscopic image | |
| US20140125778A1 (en) | System for producing stereoscopic images with a hole filling algorithm and method thereof | |
| Orozco et al. | HDR multiview image sequence generation: Toward 3D HDR video | |
| KR101717381B1 (en) | Apparatus and method for stereo camera-based free space estimation, recording medium thereof | |
| KR101233398B1 (en) | Method and apparatus for generating depth map | |
| KR100897834B1 (en) | Calibration method for omnidirectional camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |