KR101784620B1 - Method and device for measuring confidence of depth by stereo matching - Google Patents

Method and device for measuring confidence of depth by stereo matching Download PDF

Info

Publication number
KR101784620B1
KR101784620B1 KR1020160094478A KR20160094478A KR101784620B1 KR 101784620 B1 KR101784620 B1 KR 101784620B1 KR 1020160094478 A KR1020160094478 A KR 1020160094478A KR 20160094478 A KR20160094478 A KR 20160094478A KR 101784620 B1 KR101784620 B1 KR 101784620B1
Authority
KR
South Korea
Prior art keywords
reliability
map
pixel
feature
depth
Prior art date
Application number
KR1020160094478A
Other languages
Korean (ko)
Inventor
손광훈
김선옥
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160094478A priority Critical patent/KR101784620B1/en
Priority to PCT/KR2017/003888 priority patent/WO2018021657A1/en
Application granted granted Critical
Publication of KR101784620B1 publication Critical patent/KR101784620B1/en

Links

Images

Classifications

    • H04N13/0022—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/0007—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Disclosed are a method and a device to learn a reliability map through a reliability feature about a stereo image and to measure the reliability of a depth map generated through stereo-matching. The method includes: a step of generating a cost volume from a reference stereo image; a step of calculating a first reliability feature per pixel of the reference stereo image by using the cost volume; a step of calculating a second reliability feature per pixel by using a plurality of super pixels for the pixel; a step of learning a first reliability map for the first and second reliability features; and a step of generating a second reliability map for a depth map of a target stereo image by using a result of the learning. The first reliability map indicates the reliability of a reference depth map generated through stereo-matching on the reference stereo image.

Description

스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치{METHOD AND DEVICE FOR MEASURING CONFIDENCE OF DEPTH BY STEREO MATCHING}TECHNICAL FIELD [0001] The present invention relates to a method and an apparatus for measuring reliability of a depth value through stereo matching,

본 발명은 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치에 관한 것으로서, 더욱 상세하게는 스테레오 영상에 대한 신뢰도 특징자를 이용하여 신뢰도맵을 학습하고, 스테레오 매칭을 통해 생성된 깊이맵의 신뢰도를 측정하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for measuring the reliability of a depth value through stereo matching, and more particularly, to a method and apparatus for measuring reliability of a depth map generated through stereo matching, And more particularly,

디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.As the performance of the display device has become higher, the kinds of contents displayed on the display device have also been variously increased. Particularly, a stereoscopic display system capable of viewing 3D contents has been developed and spreading.

3D 컨텐츠는 스테레오 카메라와 같이 영상의 깊이 정보를 알아낼 수 있는 별도의 카메라로 촬영을 하여야 하며, 일반적인 카메라로 촬영된 컨텐츠는 영상의 깊이 정보를 반영하지 않기 때문에 3D의 형태로 디스플레이될 수 없다.The 3D content should be photographed with a separate camera, such as a stereo camera, which can find the depth information of the image. Since the content photographed by a general camera does not reflect the depth information of the image, it can not be displayed in 3D form.

스테레오 영상으로부터 스테레오 매칭 방법을 이용하여 깊이맵 획득이 가능하다. 더욱 정확한 깊이맵을 획득하기 위하여 다양한 스테레오 매칭 방법이 연구되어 왔지만 가림 영역이나 텍스쳐가 충분하지 않은 영역에서는 정확한 깊이를 획득하기 어려운 문제가 있다. Depth map acquisition is possible using stereo matching method from stereo image. Various stereo matching methods have been studied to acquire a more accurate depth map, but there is a problem in that it is difficult to acquire an accurate depth in an area in which the masking area or texture is not sufficient.

스테레오 매칭을 통해 획득한 깊이맵이 정확하지 않기 때문에, 스테레오 매칭으로 획득한 깊이맵의 신뢰도를 측정하기 위한 방법이 함께 연구되어 왔다. 스테레오 영상으로부터 코스트 볼륨(cost volume)을 구하고 이에 따른 신뢰도 특징자(confidence measure)를 이용하여, 깊이맵이 얼마나 정확한지, 즉 깊이맵에 대한 신뢰도를 측정할 수 있다.Since the depth map obtained through stereo matching is not accurate, a method for measuring the reliability of the depth map obtained by stereo matching has been studied together. The cost volume can be obtained from the stereo image and the reliability of the depth map can be measured by using the confidence measure according to the cost volume.

종래 깊이맵의 신뢰도 측정 방법은 깊이맵의 픽셀별로 독립적으로 신뢰도를 측정하며, 측정 대상 픽셀의 주변에 위치한 픽셀에 대한 정보를 이용하지 않기 때문에, 측정된 신뢰도의 정확도가 비교적 낮은 단점이 있었다.Conventionally, the reliability measurement method of the depth map independently measures the reliability of each pixel of the depth map and does not use the information of the pixels located in the vicinity of the pixel to be measured, so that the accuracy of the measured reliability is relatively low.

관련된 선행문헌으로, 비특허 문헌인 "Leveraging Stereo Matching with Learning-based Confidence Measures, Min-Gyu Park and Kuk-Jin Yoon, June 2015, CVPR", 특허 문헌인 대한민국 공개특허 제2016-0010120호, 제2016-0049371호가 있다.As a related prior art, a non-patent document entitled " Leveraging Stereo Matching with Learning-based Confidence Measures, Min-Gyu Park and Kuk-Jin Yoon, June 2015, CVPR ", Korean Patent Publication Nos. 2016-0010120, 2016 There is -0049371.

본 발명은 스테레오 영상에 대한 신뢰도 특징자를 이용하여 신뢰도맵을 학습하고, 스테레오 매칭을 통해 생성된 깊이맵의 신뢰도를 측정하는 방법 및 장치를 제공하기 위한 것이다.The present invention provides a method and apparatus for learning a reliability map using a reliability feature for a stereo image and measuring reliability of a depth map generated through stereo matching.

특히, 본 발명은 스테레오 영상의 픽셀 뿐만 아니라, 픽셀의 수퍼 픽셀에 대한 신뢰도 특징자를 이용하여 보다 정확한 신뢰도맵을 생성할 수 있는 신뢰도 측정 방법 및 장치를 제공하기 위한 것이다.In particular, the present invention is intended to provide a reliability measurement method and apparatus capable of generating a more accurate reliability map using not only pixels of a stereo image but also reliability features of super pixels of pixels.

상기한 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, 레퍼런스 스테레오 영상으로부터, 코스트 볼륨을 생성하는 단계; 상기 코스트 볼륨을 이용하여, 상기 레퍼런스 스테레오 영상의 픽셀 단위로 제1신뢰도 특징자를 계산하는 단계; 상기 픽셀에 대한 복수의 수퍼 픽셀(super pixel)을 이용하여, 상기 픽셀 단위로 제2신뢰도 특징자를 계산하는 단계; 상기 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습하는 단계; 및 상기 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성하는 단계를 포함하며, 상기 제1신뢰도맵은 상기 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵에 대한 신뢰도맵인, 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법을 제공한다.According to an embodiment of the present invention, there is provided a method for generating a cost volume, the method comprising: generating a cost volume from a reference stereo image; Calculating a first reliability feature on a pixel-by-pixel basis of the reference stereo image using the cost volume; Calculating a second reliability feature on a pixel by pixel basis using a plurality of super pixels for the pixel; Learning a first reliability map for the first and second reliability features; And generating a second reliability map for a depth map of a target stereo image using the learning result, wherein the first reliability map is generated for a reference depth map generated through stereo matching of the reference stereo image A reliability map is provided to measure the reliability of depth values through stereo matching.

또한 상기한 목적을 달성하기 위해 본 발명의 다른 실시예에 따르면, 레퍼런스 스테레오 영상으로부터 획득한 픽셀 단위의 제1 및 제2신뢰도 특징자와, 상기 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵을 입력받는 정보 수신부; 및 상기 레퍼런스 깊이맵과, 상기 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성하는 신뢰도맵 생성부를 포함하며, 상기 제1신뢰도 특징자는 상기 레퍼런스 스트레오 영상의 코스트 볼륨으로부터 픽셀 단위로 생성된 특징자이며, 상기 제2신뢰도 특징자는 상기 픽셀의 복수의 수퍼 픽셀에 대한 특징자인, 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치를 제공한다. According to another aspect of the present invention, there is provided a stereoscopic image display device including first and second reliability features in units of pixels acquired from a reference stereo image, reference depth maps generated through stereo matching of the reference stereo images, An information receiving unit for receiving the information; And a reliability map generator for learning the reference depth map and a first reliability map for the first and second reliability features to generate a second reliability map for a depth map of a target stereo image, 1 reliability feature is a feature generated on a pixel-by-pixel basis from the cost volume of the reference stereo image, and the second reliability feature is a feature for a plurality of super pixels of the pixel. to provide.

본 발명에 따르면, 레퍼런스 스테레오 영상의 픽셀뿐만 아니라, 수퍼 픽셀에 대한 신뢰도 특징자를 이용하여 신뢰도 특징자에 대한 신뢰도맵을 학습함으로써, 타겟 스테레오 영상에 대한 보다 정확한 신뢰도맵을 생성할 수 있다.According to the present invention, it is possible to generate a more accurate reliability map for the target stereo image by learning the reliability map for the reliability feature using the reliability feature for the super pixel as well as the pixel of the reference stereo image.

또한 본 발명에 따르면, 타겟 스테레오 영상에 대한 신뢰도맵 추정 이후, 유사한 신뢰도 특징자를 갖는 픽셀의 신뢰도값을 이용하여 신뢰도맵을 보정함으로써, 신뢰도맵에 대한 정확성이 보다 향상될 수 있다.Further, according to the present invention, after the reliability map estimation for the target stereo image, the accuracy of the reliability map can be further improved by correcting the reliability map using the reliability values of the pixels having similar reliability characteristics.

도 1은 본 발명에 따른 코스트 볼륨을 설명하기 위한 도면이다.
도 2는 코스트 볼륨으로부터 계산되는 신뢰도 특징자를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 신뢰도맵 생성부를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법을 설명하기 위한 도면이다.1 is a view for explaining a cost volume according to the present invention.
2 is a diagram for explaining a reliability feature calculated from a cost volume;
3 is a view for explaining an apparatus for measuring the reliability of depth values through stereo matching according to an embodiment of the present invention.
4 is a view for explaining an apparatus for measuring the reliability of depth values through stereo matching according to another embodiment of the present invention.
5 is a diagram for explaining a reliability map generating unit according to the present invention.
6 is a view for explaining a method of measuring the reliability of depth values through stereo matching according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

본 발명은 스테레오 영상에 대한 신뢰도 특징자를 이용하여 신뢰도맵을 학습하고, 스테레오 매칭을 통해 생성된 깊이맵의 신뢰도를 측정하는 방법 및 장치를 제공한다. 학습을 위해 본 발명은 스테레오 영상의 픽셀별로 신뢰도 특징자를 추출하는데, 픽셀에 대한 수퍼 픽셀(super pixel)의 신뢰도 특징자도 추출하여 학습에 이용한다. 여기서, 수퍼 픽셀이란, 해당 픽셀에 인접하면서 색상이 유사한 픽셀을 말한다.The present invention provides a method and apparatus for learning a reliability map using a reliability feature for a stereo image and measuring reliability of a depth map generated through stereo matching. For learning, the present invention extracts a reliability feature for each pixel of a stereo image, and also uses a super-pixel reliability feature for a pixel to extract it. Here, the superpixel refers to a pixel adjacent to the pixel and having a similar color.

스테레오 매칭을 통해 깊이맵을 생성하는 경우, 일반적으로 거리가 가깝고 색깔이 유사한 픽셀의 경우 깊이값이 유사하다는 전제하에 깊이맵을 생성하는데, 본 발명은 스테레오 매칭을 통해 생성되는 깊이맵의 신뢰도를 측정하는 발명이므로, 스테레오 매칭과 같이, 거리가 가깝고 색깔이 유사한 픽셀들의 신뢰도 특징자를 이용함으로써 신뢰도 측정의 정확도를 향상시킬 수 있다.When a depth map is generated through stereo matching, a depth map is generally generated on the assumption that the distance values are close to each other and the depth values are similar for pixels having similar colors. The present invention measures the reliability of a depth map generated through stereo matching It is possible to improve the accuracy of the reliability measurement by using the reliability feature of pixels having similar distance and similar colors, such as stereo matching.

본 발명은 레퍼런스 스테레오 영상에 대한 신뢰도 특징자, 레퍼런스 스테레오 영상에 대한 깊이맵을 이용하여, 신뢰도 특징자에 대한 신뢰도맵을 학습하고, 타겟 스테레오 영상의 깊이맵에 대한 신뢰도맵을 생성한다. 본 발명은 타겟 스테레오 영상에 대한 신뢰도 특징자를 입력받음으로써, 타겟 스테레오 영상의 스테레오 매칭을 통해 획득되는 깊이맵에 대한 신뢰도맵을 추정할 수 있다.The reliability map for the reliability feature is learned using the reliability feature for the reference stereo image and the depth map for the reference stereo image and a reliability map for the depth map of the target stereo image is generated. The present invention can estimate a reliability map of a depth map obtained through stereo matching of a target stereo image by receiving a reliability feature for a target stereo image.

이하에서는 본 발명에 따른 신뢰도 측정 방법에 앞서, 신뢰도 측정에 이용되는 코스트 볼륨 및 신뢰도 특징자에 대해 먼저 설명하고, 신뢰도 측정 방법을 설명하기로 한다.Hereinafter, prior to the reliability measurement method according to the present invention, the cost volume and reliability feature used for reliability measurement will be described first, and a reliability measurement method will be described.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 코스트 볼륨을 설명하기 위한 도면이다.1 is a view for explaining a cost volume according to the present invention.

코스트 볼륨은 스테레오 영상의 좌우 영상에서 픽셀별 화소값의 차이(코스트)를 나타내는 정보를 포함한다.The cost volume includes information indicating the difference (cost) of the pixel value for each pixel in the left and right images of the stereo image.

도 1에 도시된 바와 같이, 스테레오 영상 즉, 좌영상(110)과 우영상(120)이 주어진 경우, 좌영상(110) 및 우영상(120) 각각에 기 설정된 사이즈의 윈도우를 오버랩하고, 좌영상(110) 또는 우영상(120)의 윈도우를 기 설정된 탐색 범위만큼 이동시킨다. 1, when a stereoscopic image, i.e., a left image 110 and a right image 120 are given, a window of a predetermined size is overlapped on each of the left image 110 and the right image 120, The window of the image 110 or the right image 120 is moved by a predetermined search range.

좌영상(110) 및 우영상(120)에 오버랩된 윈도우의 사이즈는 동일하며, 좌영상 및 우영상 중 한영상의 윈도우만 이동시킨다. 예를 들어, 좌영상(110)의 제1윈도우(130)를 고정시키고 우영상(120)의 제2윈도우(140)를 탐색 범위만큼 수평 방향으로 이동시키며, 윈도우에 포함된 픽셀 각각의 픽셀값의 차이를 계산하여, 코스트 볼륨(150)을 생성할 수 있다. 실시예에 따라서 우영상의 원도우를 고정시키고 좌영상의 윈도우를 이동시킬 수 있다.The overlapped window sizes of the left and right images 110 and 120 are the same, and only the window of the left and right images is moved. For example, the first window 130 of the left image 110 is fixed, the second window 140 of the right image 120 is moved in the horizontal direction by the search range, and the pixel value of each pixel included in the window To generate a cost volume 150. The cost savings 150 can be used to calculate cost savings. The window of the right image can be fixed and the window of the left image can be moved according to the embodiment.

즉, 좌영상 및 우영상 중 한 영상을 기준 영상으로 잡고, 기준 영상과 다른 영상의 윈도우 내에서의 화소값의 차이를 계산한다. 기준 영상이 어느 영상인지에 따라서 서로 다른 코스트 볼륨이 생성될 수 있다.That is, one of the left image and the right image is regarded as a reference image, and a difference between pixel values in the window of the reference image and the other image is calculated. Different cost volumes can be generated depending on which image the reference image is.

코스트 볼륨(150)의 가로(151) 및 세로(152)는 윈도우 크기에 대응되며, 코스트 볼륨(150)의 높이(153)는 탐색 범위(search range)에 대응된다. 즉, 코스트 볼륨(150)은, 윈도우가 고정된 좌영상의 윈도우에 포함된 픽셀들이 우영상의 윈도우에 포함된 픽셀들과, 화소값이 얼마나 차이나는지에 대한 정보를 포함한다.The width 151 and length 152 of the cost volume 150 correspond to the window size and the height 153 of the cost volume 150 corresponds to the search range. That is, the cost volume 150 includes information on how pixels included in the window of the fixed left image are included in the window of the right image, and how the pixel values are different.

탐색 범위는 실시예에 따라서, 달라질 수 있으며, 스테레오 영상의 전체 영역에 대해 탐색을 수행하며 스테레오 영상 전체에 대한 코스트 볼륨을 생성할 수 있다.The search range may vary depending on the embodiment, and may search for the entire area of the stereo image and generate a cost volume for the entire stereo image.

도 2는 코스트 볼륨으로부터 계산되는 신뢰도 특징자를 설명하기 위한 도면이다.2 is a diagram for explaining a reliability feature calculated from a cost volume;

도 2(a)는 좌영상을 기준으로 우영상의 윈도우를 이동시켜 얻은 코스트 볼륨을 나타내며, 도 2(b)는 도 2(a)에 도시된 코스트 볼륨의 특정 픽셀(210)에 대한 코스트를 나타내는 그래프이다. 그래프에서 x축은 윈도우의 이동 거리(d), 즉 최초 위치에서 탐색 범위까지의 거리를 나타내며, y축은 코스트를 나타낸다.2 (a) shows the cost volume obtained by moving the window of the right image based on the left image, and FIG. 2 (b) shows the cost for the specific pixel 210 of the cost volume shown in FIG. FIG. In the graph, the x-axis represents the travel distance (d) of the window, that is, the distance from the initial position to the search range, and the y-axis represents the cost.

신뢰도 특징자는 스테레오 영상의 픽셀별로 계산되며, 코스트 볼륨이 계산에 이용된다. 스테레오 영상은 2개의 영상으로 구성되는데, 2개의 영상 중 하나의 영상을 기준으로 신뢰도 특징자가 계산된다. 기준이 되는 영상은 전술된 윈도우가 고정된 영상이다.The reliability feature is calculated for each pixel of the stereo image, and the cost volume is used for the calculation. The stereo image is composed of two images. The reliability feature is calculated based on one of the two images. The reference image is an image in which the above-described window is fixed.

도 2에서 설명되는 신뢰도 특징자는 총 8개로, [표 1]과 같으며, 스테레오 영상에서의 픽셀간 유사도 등에 대한 신뢰 측도로서 잘 알려진 특징자이다. 일예로서 도 2에서는 특정 픽셀(210)에 대한 신뢰도 특징자가 설명된다. 후술되는 신뢰도 측정 방법에 이용되는 신뢰도 특징자의 종류나 개수는 실시예에 따라서 달라질 수 있다.The reliability features described in FIG. 2 are eight in total, as shown in [Table 1], and are well-known as reliable measures for the similarity between pixels in a stereo image. For example, in FIG. 2, a reliability feature for a particular pixel 210 is described. The types and the number of the reliability features used in the reliability measurement method described later may vary depending on the embodiment.

- Left-right difference
- Maximum likelihood measure
- Naive peak ratio measure
- Negative entropy measure
- Median disparity deviation values (5x5)
- Median disparity deviation values (7x7)
- Median disparity deviation values (9x9)
- Median disparity deviation values (11x11)- Left-right difference
- Maximum likelihood measure
- Naive peak ratio measure
- Negative entropy measure
- Median disparity deviation values (5x5)
- Median disparity deviation values (7x7)
- Median disparity deviation values (9x9)
- Median disparity deviation values (11x11)

Left-right difference는 [수학식 1]과 같이, 계산된다.The left-right difference is calculated as shown in Equation (1).

Figure 112016072336271-pat00001
Figure 112016072336271-pat00001

Maximum likelihood measure는 [수학식 2]와 같이 계산된다.The maximum likelihood measure is calculated as: " (2) "

Figure 112016072336271-pat00002
Figure 112016072336271-pat00002

Naive peak ratio measure는 [수학식 3]과 같이 계산된다.The Naive peak ratio measure is calculated as: " (3) "

Figure 112016072336271-pat00003
Figure 112016072336271-pat00003

Negative entropy measure(NEM)는[수학식 4]와 같이 계산된다.The negative entropy measure (NEM) is calculated as shown in Equation (4).

Figure 112016072336271-pat00004
Figure 112016072336271-pat00004

[수학식 1] 내지 [수학식 4]에서, C1은 코스트 볼륨에서, 특정 픽셀(210)의 최소 비용(코스트), C2는 코스트 볼륨에서 특정 픽셀(210)의 두번째로 작은 비용이다.

Figure 112016072336271-pat00005
는 우영상을 기준으로 계산된 코스트 볼륨(CR)에서 특정 픽셀(210)과 변이 d1 만큼 떨어진 픽셀의 최소 비용을 나타낸다. σ는 실시예에 따라서 정해지는 상수이다. c(d)는 도 2(b)와 같은 그래프의 함수이며, c(d')는 x축에서 임의의 d를 제외한 함수이다.In the equations (1) to (4), C 1 is the minimum cost (cost) of a particular pixel 210 at a cost volume, and C 2 is the second lowest cost of a particular pixel 210 at a cost volume.
Figure 112016072336271-pat00005
Represents the minimum cost of a pixel at a distance d 1 from the specific pixel 210 in the cost volume (C R ) calculated on the basis of the right image. ? is a constant determined according to the embodiment. c (d) is a function of the graph as shown in FIG. 2 (b), and c (d ') is a function excluding any d in the x axis.

한편, 도 2(b)에서 C2m는 코스트 볼륨에서 두번째로 작은 극소 비용을 나타내는데, C2m은 이용되는 신뢰도 특징자에 따라서 계산에 이용될 수 있는 값이다.On the other hand, in FIG. 2 (b), C 2m represents the second smallest cost in the cost volume, and C 2m is a value that can be used for calculation according to the reliability characteristic used.

Median disparity deviation values는 코스트 볼륨 생성시 이용되는 윈도우 크기에 따라서 총 4개(5x5, 7x7, 9x9, 11x11)로 구분되는데, 윈도우 내 영상에 대한 평균 깊이를 구하고 윈도우 내 픽셀 각각의 깊이값에서 평균 깊이를 뺀 절대값을 모두 더하여 구해진다.Median disparity deviation values are divided into 4 (5x5, 7x7, 9x9, 11x11) according to the size of the window used when creating the cost volume. The average depth of the images in the window is obtained. Is subtracted from the absolute value.

도 3은 본 발명의 일실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치를 설명하기 위한 도면으로서, 도 3에서는 학습 과정 중심으로 설명된다.3 is a view for explaining an apparatus for measuring the reliability of depth values through stereo matching according to an embodiment of the present invention.

도 3을 참조하면, 본 발명에 따른 신뢰도 측정 장치는 코스트 볼륨 생성부(310), 신뢰도 특징자 추출부(320), 신뢰도맵 생성부(330)를 포함한다.Referring to FIG. 3, the reliability measuring apparatus according to the present invention includes a cost volume generating unit 310, a reliability feature extracting unit 320, and a reliability map generating unit 330.

코스트 볼륨 생성부(310)는 학습을 위한 레퍼런스 스테레오 영상을 입력받아, 레퍼런스 스테레오 영상으로부터 코스트 볼륨을 생성한다. 코스트 볼륨은 스테레오 영상의 좌우 영상에서 픽셀별 화소값의 차이(코스트)를 나타내는 정보를 포함하며, 신뢰도 특징자를 계산하는데 이용된다. The cost volume generating unit 310 receives a reference stereo image for learning, and generates a cost volume from the reference stereo image. The cost volume includes information indicating the difference (cost) of the pixel value for each pixel in the left and right images of the stereo image, and is used to calculate the reliability feature.

코스트 볼륨 생성부(310)는 레퍼런스 스테레오 영상의 좌영상 및 우영상 각각에 대해 윈도우를 오버랩하고, 좌영상 또는 우영상의 윈도우를 기 설정된 탐색 범위만큼 이동시킨다. 그리고 좌영상 및 우영상의 윈도우에 포함된 픽셀 각각의 픽셀값 차이를 계산하여, 코스트 볼륨을 생성한다.The cost volume generating unit 310 overlaps the window with respect to the left and right images of the reference stereo image and moves the window of the left or right image by a predetermined search range. Then, the difference between the pixel values of the pixels included in the window of the left and right images is calculated to generate the cost volume.

신뢰도 특징자 추출부(320)는 코스트 볼륨을 이용하여, 레퍼런스 스테레오 영상의 픽셀 단위로 제1신뢰도 특징자를 계산한다. 보다 구체적으로 코스트 볼륨이 좌영상을 기준으로 생성된 경우, 신뢰도 특징자 추출부(320)는 좌영상의 픽셀 단위로 제1신뢰도 특징자를 계산할 수 있다.The reliability feature extractor 320 calculates the first reliability feature in pixels of the reference stereo image using the cost volume. More specifically, when the cost volume is generated on the basis of the left image, the reliability feature extractor 320 may calculate the first reliability feature on a pixel-by-pixel basis of the left image.

그리고 신뢰도 특징자 추출부(320)는 픽셀에 대한 복수의 수퍼 픽셀을 이용하여, 픽셀 단위로 제2신뢰도 특징자를 계산한다. 수퍼 픽셀 역시 스테레오 영상에 포함된 픽셀이므로 신뢰도 특징자 추출부(320)는 코스트 볼륨을 이용하여, 제2신뢰도 특징자를 계산할 수 있다.The reliability feature extractor 320 calculates a second reliability feature on a pixel-by-pixel basis using a plurality of super pixels for the pixel. Since the super pixel is also a pixel included in the stereo image, the reliability feature extractor 320 can calculate the second reliability feature using the cost volume.

신뢰도 특징자 추출부(320)는 코스트 볼륨에서, 픽셀 각각의 최소 비용 및 두번째로 작은 비용을 이용하여, 도2 에서 설명된 8개의 신뢰도 특징자를 계산할 수 있다. The reliability feature extraction unit 320 can calculate the eight reliability features described in FIG. 2, using the minimum cost and the second lowest cost of each pixel, at the cost volume.

이 때, 신뢰도 특징자 추출부(320)는 픽셀에 대응되는 복수의 수퍼 픽셀에 대한 제1신뢰도 특징자를 평균하여, 제2신뢰도 특징자를 생성한다. 예를 들어, 스테레오 영상중 좌영상의 제1픽셀에 근접하고 색깔이 유사한 좌영상의 수퍼 픽셀이 3개일 경우, 3개 수퍼 픽셀에 대한 제1신뢰도 특징자가 이미 계산되었으므로, 신뢰도 특징자 추출부(320)는 3개 수퍼 픽셀의 제1신뢰도를 평균하여 제2신뢰도 특징자를 생성할 수 있다. 제1신뢰도 특징자가 8개일 경우, 수퍼 픽셀 3개의 8개 신뢰도 특징자 별로 평균하여 제2신뢰도 특징자를 생성할 수 있으며, 총 16차원의 신뢰도 특징자가 학습에 이용될 수 있다.At this time, the reliability feature extractor 320 averages the first reliability feature for the plurality of super pixels corresponding to the pixel, thereby generating the second reliability feature. For example, if three superpixels of the left image are close to the first pixel of the left image and the color of the left image is three, the first reliability feature for the three superpixels has already been calculated. Therefore, the reliability feature extractor 320 may generate a second reliability feature by averaging the first reliability of the three superpixels. When there are eight first reliability features, the second reliability feature can be averaged for each of the three super pixels of eight reliability features, and a total of sixteen dimensional reliability features can be used for self learning.

신뢰도맵 생성부(330)는 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습하고, 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성한다. 여기서, 제1신뢰도맵은 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵에 대한 신뢰도맵이다.The reliability map generator 330 learns the first reliability map for the first and second reliability features and uses the learning results to generate a second reliability map for the depth map of the target stereo image. Here, the first reliability map is a reliability map for the reference depth map generated through stereo matching of the reference stereo image.

신뢰도맵 생성부(330)는 스테레오 영상에 대한 실제 깊이맵과, 레퍼런스 깊이맵의 차이를 이용하여, 제1신뢰도맵을 학습한다. 신뢰도맵 생성부(330)는 실제 깊이맵과 레퍼런스 깊이맵의 픽셀별 차이가 임계값보다 작으면 신뢰도가 높고 임계값보다 크면 신뢰도가 큰 것으로 학습할 수 있다. 특정 픽셀의 신뢰도가 높다는 것은 스테레오 영상을 통해 생성된 깊이맵의 특정 픽셀의 신뢰도가 높다는 것을 의미한다.The reliability map generator 330 learns the first reliability map using the difference between the actual depth map and the reference depth map for the stereo image. The reliability map generator 330 can learn that the reliability is high if the difference between the actual depth map and the reference depth map is smaller than the threshold value and the reliability is high if the difference is larger than the threshold value. The high reliability of a particular pixel means that the reliability of a particular pixel in the depth map generated by the stereo image is high.

제1신뢰도맵은 픽셀별 신뢰도에 대한 정보를 포함하며, 신뢰도맵의 픽셀의 픽셀값은 신뢰도에 대응된다. 일예로서 신뢰도가 높은 픽셀의 픽셀값은 1, 신뢰도가 낮은 픽셀의 픽셀값은 0으로 설정될 수 있으며, 신뢰도 정도에 따라 픽셀값을 더욱 세분화하여 설정할 수도 있다. 이 때, 스테레오 영상에 대한 실제 깊이맵은 깊이 카메라를 이용하여 획득할 수 있다.The first reliability map includes information on the per-pixel reliability, and the pixel value of the pixel of the reliability map corresponds to the reliability. For example, a pixel value of a pixel with high reliability may be set to 1, and a pixel value of a pixel with low reliability may be set to 0, and the pixel value may be further subdivided according to the degree of reliability. At this time, the actual depth map for the stereo image can be acquired using a depth camera.

결국, 신뢰도맵 생성부(330)는 레퍼런스 스테레오 영상의 제1 및 제2신뢰도 특징자가 특정 값을 가질 때에 레퍼런스 깊이맵의 신뢰도가 높은지 낮은지를 학습할 수 있다. 이를 통해 신뢰도맵 생성부(330)는 타겟 스테레오 영상의 제1 및 제2신뢰도 특징자가 입력되면, 타겟 스테레오 영상으로부터 생성될 깊이맵에 대한 신뢰도맵을 생성할 수 있다. 이 때, 입력되는 신뢰도 특징자의 차원수는 학습에 이용된 신뢰도 특징자의 차원수와 동일한 것이 바람직하다.As a result, the reliability map generator 330 can learn whether the reliability of the reference depth map is high or low when the first and second reliability features of the reference stereo image have specific values. The reliability map generator 330 can generate a reliability map for the depth map to be generated from the target stereo image when the first and second reliability features of the target stereo image are input. At this time, it is preferable that the number of dimensions of the input reliability feature is equal to the number of dimensions of the reliability feature used for learning.

신뢰도맵 생성부(330)는 학습을 위해 다양한 기계 학습 알고리즘을 이용할 수 있으며, 일실시예로서 랜덤 포레스트(random forest) 알고리즘을 이용할 수 있다.The reliability map generator 330 may use various machine learning algorithms for learning, and may use a random forest algorithm as an example.

본 발명에 따르면, 레퍼런스 스테레오 영상의 픽셀뿐만 아니라, 수퍼 픽셀에 대한 신뢰도 특징자를 이용하여 신뢰도 특징자에 대한 신뢰도맵을 학습함으로써, 타겟 스테레오 영상에 대한 보다 정확한 신뢰도맵을 생성할 수 있다.According to the present invention, it is possible to generate a more accurate reliability map for the target stereo image by learning the reliability map for the reliability feature using the reliability feature for the super pixel as well as the pixel of the reference stereo image.

도 4는 본 발명의 다른 실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치를 설명하기 위한 도면으로서, 도 4에서는 신뢰도맵을 추정하는 과정 중심으로 설명된다. 도 5는 본 발명에 따른 신뢰도맵 생성부를 설명하기 위한 도면이다.FIG. 4 is a view for explaining an apparatus for measuring the reliability of a depth value through stereo matching according to another embodiment of the present invention. In FIG. 4, a process of estimating a reliability map will be described. 5 is a diagram for explaining a reliability map generating unit according to the present invention.

도 4를 참조하면, 본 발명에 따른 신뢰도 측정 장치는 정보 수신부(410) 및 신뢰도맵 생성부(420)를 포함한다. 도 4의 신뢰도맵 생성부(420)는 도 3의 신뢰도맵 생성부(330)에 대응된다. 다만 도 4의 신뢰도 측정 장치는 도 3의 신뢰도 측정 장치와 달리 외부에서 계산된 신뢰도 특징자를 입력받아 학습하고 신뢰도맵을 추정한다.Referring to FIG. 4, the reliability measuring apparatus according to the present invention includes an information receiving unit 410 and a reliability map generating unit 420. The reliability map generator 420 of FIG. 4 corresponds to the reliability map generator 330 of FIG. However, unlike the reliability measuring apparatus of FIG. 3, the reliability measuring apparatus of FIG. 4 learns and receives a reliability characteristic calculated from the outside, and estimates a reliability map.

정보 수신부(410)는 레퍼런스 스테레오 영상으로부터 획득한 픽셀 단위의 제1 및 제2신뢰도 특징자와, 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵을 수신 즉, 입력받아, 신뢰도맵 생성부(420)로 전송한다. 전술된 바와 같이, 제1신뢰도 특징자는 레퍼런스 스트레오 영상의 코스트 볼륨으로부터 픽셀 단위로 생성된 특징자이며, 제2신뢰도 특징자는 픽셀의 복수의 수퍼 픽셀에 대한 특징자이다.The information receiving unit 410 receives and inputs the first and second reliability features of each pixel obtained from the reference stereo image and the reference depth map generated through stereo matching of the reference stereo image, 420). As described above, the first reliability feature is a feature generated on a pixel-by-pixel basis from the cost volume of the reference stereo image, and the second reliability feature is a feature for a plurality of super pixels of the pixel.

신뢰도맵 생성부(420)가 레퍼런스 스테레오 영상의 실제 깊이맵과, 레퍼런스 깊이맵을 이용하여 학습을 수행하므로, 정보 수신부(410)는 실제 깊이맵을 더 입력받아, 신뢰도맵 생성부(420)로 전달할 수 있다.Since the reliability map generator 420 performs learning using the actual depth map of the reference stereo image and the reference depth map, the information receiver 410 further receives the actual depth map and outputs it to the reliability map generator 420 .

신뢰도맵 생성부(420)는 전술된 바와 같이, 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성한다. 레퍼런스 스테레오 영상의 신뢰도 특징자와 같이, 타겟 스테레오 영상의 신뢰도 특징자가 계산되어 신뢰도맵 생성부(420)로 입력되면, 신뢰도맵 생성부(420)는 타겟 스테레오 영상의 신뢰도 특징자에 대한 픽셀별 신뢰도값을 추정하여 제2신뢰도맵을 생성한다.The reliability map generator 420 generates a second reliability map for the depth map of the target stereo image using the learning results, as described above. When the reliability feature of the target stereo image is calculated and input to the reliability map generating unit 420, the reliability map generating unit 420 generates a reliability map for the reliability feature of the target stereo image, To generate a second reliability map.

이 때, 신뢰도맵 생성부(420)는 제2신뢰도맵의 정확도를 향상시키기 위해, 제2신뢰도맵의 특정 픽셀의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수의 픽셀의 신뢰도 특징자 또는, 특정 픽셀의 수퍼 픽셀의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수의 수퍼 픽셀의 신뢰도 특징자를 이용할 수 있다. 신뢰도맵 생성부(420)는 신뢰도 특징자가 유사하면 신뢰도값이 유사하다는 전제하에, 유사한 신뢰도 특징자를 갖는 픽셀이나 수퍼 픽셀을 이용한다.At this time, the reliability map generator 420 may generate a reliability map of a plurality of pixels having a reliability feature similar to the reliability feature of a specific pixel of the second reliability map, or a reliability feature of a specific pixel of the second reliability map, Lt; RTI ID = 0.0 > superpixel < / RTI > reliability feature with a similarity feature to the superpixel reliability feature of the superpixel. The reliability map generator 420 uses pixels or superpixels having a similar reliability feature, provided that the reliability values are similar if the reliability features are similar.

보다 구체적으로 신뢰도맵 생성부(420)는 신뢰도맵 추정부(421), 유사 픽셀 결정부(422) 및 제1신뢰도맵 보정부(423)를 포함한다. 그리고 실시예에 따라서 유사 수퍼 픽셀 결정부(424) 및 제2신뢰도맵 보정부(425)를 더 포함할 수 있다.More specifically, the reliability map generating unit 420 includes a reliability map estimating unit 421, a similar pixel determining unit 422, and a first reliability map correcting unit 423. And may further include a similar-super-pixel determination unit 424 and a second reliability map correction unit 425 according to an embodiment.

신뢰도맵 추정부(421)는 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 추정한다.The reliability map estimating unit 421 estimates a second reliability map for the depth map of the target stereo image, using the learning results.

도 5를 참조하면, 유사 픽셀 결정부(422)는 제2신뢰도맵(510)의 제1픽셀(520)에 대한 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제2픽셀(521, 522)를 제2신뢰도맵에서 결정한다. 여기서 유사한 신뢰도 특징자는 신뢰도 특징자의 차이가 임계값 이하인 것을 의미할 수 있다.5, the pseudo-pixel determination unit 422 may include a plurality of second pixels 521 and 522 having a reliability feature similar to the reliability feature for the first pixel 520 of the second reliability map 510 Is determined in the second reliability map. Where a similar reliability feature may mean that the difference in the reliability feature is below the threshold.

제1신뢰도맵 보정부(423)는 제2픽셀(521, 522)의 신뢰도값을 평균하여, 제2신뢰도맵(510)을 보정한다. 즉, 제1신뢰도맵 보정부(423)는 제1픽셀(520)의 신뢰도값을 제2픽셀(521, 522)에 대한 평균값으로 대체한다.The first reliability map correcting unit 423 averages the reliability values of the second pixels 521 and 522 to correct the second reliability map 510. [ That is, the first reliability map correcting unit 423 replaces the reliability value of the first pixel 520 with the average value of the second pixel 521, 522.

유사 수퍼 픽셀 결정부(424)는 제1픽셀(520)에 대한 수퍼 픽셀(530)의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제3픽셀(531, 532)을 제2신뢰도맵(510)에서 결정한다. 유사 수퍼 픽셀 결정부(424)는 수퍼 픽셀(530)의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 제3픽셀(531, 532)의 수퍼 픽셀을 결정할 수도 있다.The similar superpixel determination unit 424 may include a plurality of third pixels 531 and 532 having a reliability feature similar to the reliability feature of the superpixel 530 for the first pixel 520, . The similar super-pixel determination unit 424 may determine the super-pixel of the third pixel 531, 532 having a reliability feature similar to the reliability feature of the super-pixel 530. [

제2신뢰도맵 보정부(425)는 제3픽셀(531, 532)의 신뢰도값을 평균하여 제2신뢰도맵(510)을 보정한다. 즉, 제2신뢰도맵 보정부(425)는 제1픽셀(520)의 신뢰도값을 제3픽셀(531, 532)에 대한 평균값으로 대체한다. 실시예에 따라서, 제2신뢰도맵 보정부(425)는 제2픽셀(521, 522) 및 제3픽셀(531, 532)에 대한 신뢰도 평균값을 재평균하고, 재평균값을 제1픽셀(520)의 신뢰도값으로 보정할 수 있다.The second reliability map correcting unit 425 corrects the second reliability map 510 by averaging the reliability values of the third pixels 531 and 532. That is, the second reliability map correcting unit 425 replaces the reliability value of the first pixel 520 with the average value of the third pixels 531 and 532. The second reliability map corrector 425 re-averages the reliability average values for the second pixels 521 and 522 and the third pixels 531 and 532 and outputs the re-average value to the first pixel 520, Can be corrected to the reliability value of the reliability.

본 발명에 따르면, 타겟 스테레오 영상에 대한 신뢰도맵 추정 이후, 유사한 신뢰도 특징자를 갖는 픽셀의 신뢰도값을 이용하여 신뢰도맵을 보정함으로써, 신뢰도맵에 대한 정확성이 보다 향상될 수 있다.According to the present invention, after the reliability map estimation for the target stereo image, the accuracy of the reliability map can be further improved by correcting the reliability map using the reliability values of pixels having similar reliability features.

도 6은 본 발명의 일실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법을 설명하기 위한 도면이다.6 is a view for explaining a method of measuring the reliability of depth values through stereo matching according to an embodiment of the present invention.

본 발명에 따른 신뢰도 측정 방법은 전술된 신뢰도 측정 장치 또는 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있다.The reliability measurement method according to the present invention can be performed in the above-described reliability measurement apparatus or a computing device including the processor.

본 발명에 따른 신뢰도 측정 장치는 레퍼런스 스테레오 영상으로부터, 코스트 볼륨을 생성(S610)하고, 코스트 볼륨을 이용하여, 레퍼런스 스테레오 영상의 픽셀 단위로 제1신뢰도 특징자를 계산(S620)한다. 이 때, 신뢰도 측정 장치는 레퍼런스 스테레오 영상의 좌영상 및 우영상 각각에 대해 윈도우를 오버랩하고, 좌영상 또는 우영상의 윈도우를 기 설정된 탐색 범위만큼 이동시키면서, 좌영상 및 우영상의 윈도우에 포함된 픽셀 각각의 픽셀값 차이를 계산하여, 코스트 볼륨을 생성할 수 있다.The reliability measuring apparatus according to the present invention generates a cost volume from a reference stereo image (S610), and calculates a first reliability feature on a pixel-by-pixel basis of the reference stereo image using the cost volume (S620). At this time, the reliability measuring apparatus overlaps the window with respect to the left and right images of the reference stereo image, moves the window of the left or right image by a predetermined search range, By calculating the pixel value difference of each pixel, a cost volume can be generated.

신뢰도 측정 장치는 제1신뢰도 특징자가 계산된 픽셀에 대한 복수의 수퍼 픽셀을 이용하여, 픽셀 단위로 제2신뢰도 특징자를 계산(S630)한다. 제1 및 제2신뢰도 특징자는, 코스트 볼륨에서, 픽셀 각각의 최소 비용 및 두번째로 작은 비용으로부터 생성될 수 있다.The reliability measurement apparatus calculates (S630) the second reliability feature on a pixel-by-pixel basis using the plurality of super pixels for the pixel for which the first reliability feature is calculated. The first and second reliability features may be generated from the least cost and the second lowest cost of each pixel at the cost volume.

단계 S630에서 제2신뢰도 특징자는 복수의 수퍼 픽셀에 대한 제1신뢰도 특징자를 평균하여 생성될 수 있는데, 수퍼 픽셀은 일예로서 다음과 같은 방법으로 결정될 수 있다.In step S630, the second reliability feature may be generated by averaging the first reliability feature for a plurality of superpixels, which superpixel may be determined, e.g., in the following manner.

RGB 컬러로 표현되는 스테레오 영상의 색공간을 Lab 색공간으로 변환하고, 5차원의 정보인 L(밝기), a(빨강과 초록의 정도), b(노랑과 파랑의 정도), x, y(픽셀의 위치)를 이용하여 특정 픽셀에 대한 수퍼 픽셀을 결정한다. Lab 색공간으로 변환된 상태에서, K-means clustering을 수행하여 색깔이 비슷하고 거리가 가까운 픽셀을 그룹핑하고, 특정 픽셀과 색깔이 유사하고 거리가 가까운 픽셀들을 수퍼 픽셀로 결정한다. 색깔의 유사 정도와 거리의 가까움 정도는 색깔이나 거리의 차이가 임계값 이하인지 여부로 판단될 수 있다.The color space of the stereo image expressed by the RGB color is converted into the Lab color space, and L (brightness), a (degree of red and green), b (degree of yellow and blue), x and y Pixel position) to determine a super-pixel for a particular pixel. K-means clustering is performed in the state converted to the Lab color space to group the pixels having similar colors and close to each other, and determine pixels having similar colors and close to the specific pixels as super pixels. The degree of similarity of color and the degree of proximity of distance can be judged by whether the difference in color or distance is below a threshold value.

신뢰도 측정 장치는 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습(S640)하는데, 이 때, 깊이 카메라를 이용하여 획득한 깊이맵과, 레퍼런스 깊이맵의 차이를 이용하여, 제1신뢰도맵을 학습할 수 있다.The reliability measuring apparatus learns a first reliability map for the first and second reliability features (S640). At this time, using the difference between the depth map obtained by using the depth camera and the reference depth map, The reliability map can be learned.

이후 신뢰도 측정 장치는 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성(S650)하는데, 제2신뢰도맵의 특정 픽셀의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수의 픽셀의 신뢰도 특징자 또는, 특정 픽셀의 수퍼 픽셀의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수의 수퍼 픽셀의 신뢰도 특징자를 이용할 수 있다.Thereafter, the reliability measuring apparatus generates a second reliability map for the depth map of the target stereo image (S650) using the learning result, wherein the plurality of pixels having the reliability characteristic similar to the reliability characteristic of the specific pixel of the second reliability map Or a reliability feature of a plurality of super pixels having a reliability feature similar to the reliability feature of a super pixel of a specific pixel.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The above-described technical features may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

Claims (12)

레퍼런스 스테레오 영상으로부터, 코스트 볼륨을 생성하는 단계;
상기 코스트 볼륨을 이용하여, 상기 레퍼런스 스테레오 영상의 픽셀 단위로 제1신뢰도 특징자를 계산하는 단계;
상기 픽셀에 대한 복수의 수퍼 픽셀(super pixel)을 이용하여, 상기 픽셀 단위로 제2신뢰도 특징자를 계산하는 단계;
상기 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습하는 단계; 및
상기 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성하는 단계를 포함하며,
상기 제2신뢰도 특징자를 생성하는 단계는
상기 픽셀에 대응되는 복수의 수퍼 픽셀에 대한 상기 제1신뢰도 특징자를 평균하여, 상기 제2신뢰도 특징자를 생성하며,
상기 제1신뢰도맵은 상기 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵에 대한 신뢰도맵인,
스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.
Generating a cost volume from the reference stereo image;
Calculating a first reliability feature on a pixel-by-pixel basis of the reference stereo image using the cost volume;
Calculating a second reliability feature on a pixel by pixel basis using a plurality of super pixels for the pixel;
Learning a first reliability map for the first and second reliability features; And
And generating a second reliability map for a depth map of a target stereo image using the learning result,
Wherein the step of generating the second reliability feature
Averaging the first reliability feature for a plurality of super pixels corresponding to the pixel to generate the second reliability feature,
Wherein the first reliability map is a reliability map for a reference depth map generated through stereo matching of the reference stereo image,
A method for measuring the reliability of depth values through stereo matching.
제 1항에 있어서,
상기 코스트 볼륨을 생성하는 단계는
상기 레퍼런스 스테레오 영상의 좌영상 및 우영상 각각에 대해 윈도우를 오버랩하고, 상기 좌영상 또는 우영상의 윈도우를 기 설정된 탐색 범위만큼 이동시키는 단계; 및
상기 좌영상 및 우영상의 윈도우에 포함된 픽셀 각각의 픽셀값 차이를 계산하여, 상기 코스트 볼륨을 생성하는 단계
를 포함하는 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.
The method according to claim 1,
The step of generating the cost volume
Overlapping a window with respect to each of a left image and a right image of the reference stereo image and moving the window of the left image or the right image by a predetermined search range; And
Calculating a difference between pixel values of pixels included in the window of the left and right images to generate the cost volume,
Wherein the reliability of the depth value is determined by stereo matching.
제 2항에 있어서,
상기 제1,2 신뢰도 특징자는
상기 코스트 볼륨에서, 픽셀 각각의 최소 비용 및 두번째로 작은 비용으로부터 생성되는 특징자인
스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.
3. The method of claim 2,
The first and second reliability features
In the cost volume, a feature generated from the least cost and the second lowest cost of each pixel
A method for measuring the reliability of depth values through stereo matching.
삭제delete 제 1항에 있어서,
상기 수퍼 픽셀은
상기 픽셀과 인접한 픽셀로서 색상이 유사한 픽셀인
스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.
The method according to claim 1,
The super-
As a pixel adjacent to the pixel,
A method for measuring the reliability of depth values through stereo matching.
제 1항에 있어서,
상기 제1신뢰도맵을 학습하는 단계는
깊이 카메라를 이용하여 획득한 깊이맵과, 상기 레퍼런스 깊이맵의 차이를 이용하여, 상기 제1신뢰도맵을 학습하는
스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.
The method according to claim 1,
The step of learning the first reliability map
The first reliability map is learned using the difference between the depth map obtained by using the depth camera and the reference depth map
A method for measuring the reliability of depth values through stereo matching.
제 1항에 있어서,
상기 제2신뢰도맵을 생성하는 단계는
상기 타겟 스테레오 영상에 대한 상기 제1,2 신뢰도 특징자를 입력받는 단계;
상기 학습 결과를 이용하여, 상기 상기 타겟 스테레오 영상의 깊이맵에 대한 상기 제2신뢰도맵을 생성하는 단계;
상기 제2신뢰도맵의 제1픽셀에 대한 상기 제1,2 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제2픽셀를 상기 제2신뢰도맵에서 결정하는 단계; 및
상기 제2픽셀의 신뢰도값을 평균하여, 상기 제2신뢰도맵을 보정하는 단계
를 포함하는 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.
The method according to claim 1,
The step of generating the second reliability map
Receiving the first and second reliability features for the target stereo image;
Generating the second reliability map for a depth map of the target stereo image using the learning result;
Determining in the second reliability map a plurality of second pixels having a reliability feature similar to the first and second reliability features for a first pixel of the second reliability map; And
Averaging a reliability value of the second pixel to correct the second reliability map
Wherein the reliability of the depth value is determined by stereo matching.
제 7항에 있어서,
상기 신뢰도맵을 생성하는 단계는
상기 제1픽셀에 대한 제1수퍼 픽셀의 상기 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제2수퍼 픽셀을 상기 제2신뢰도맵에서 결정하는 단계; 및
제2수퍼 픽셀의 신뢰도값을 평균하여 상기 제2신뢰도맵을 보정하는 단계
를 더 포함하는 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.
8. The method of claim 7,
The step of generating the confidence map
Determining in the second reliability map a plurality of second super-pixels having a reliability feature similar to the reliability feature of the first super-pixel for the first pixel; And
Correcting the second reliability map by averaging reliability values of the second superpixel
Wherein the reliability of depth values is determined by stereo matching.
레퍼런스 스테레오 영상으로부터 획득한 픽셀 단위의 제1 및 제2신뢰도 특징자와, 상기 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵을 입력받는 정보 수신부; 및
상기 레퍼런스 깊이맵과, 상기 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성하는 신뢰도맵 생성부를 포함하며,
상기 제1신뢰도 특징자는 상기 레퍼런스 스트레오 영상의 코스트 볼륨으로부터 픽셀 단위로 생성된 특징자이며,
상기 제2신뢰도 특징자는 상기 픽셀의 복수의 수퍼 픽셀에 대한 특징자이며, 상기 픽셀에 대응되는 복수의 수퍼 픽셀에 대한 상기 제1신뢰도 특징자를 평균하여 생성되는 특징자인,
스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치.
An information receiver for receiving first and second reliability features in units of pixels obtained from a reference stereo image and a reference depth map generated through stereo matching of the reference stereo image; And
And a reliability map generator for learning the reference depth map and a first reliability map for the first and second reliability features to generate a second reliability map for a depth map of the target stereo image,
Wherein the first reliability feature is a feature generated in units of pixels from a cost volume of the reference stereo image,
Wherein the second reliability feature is a feature for a plurality of super pixels of the pixel, the feature being generated by averaging the first reliability feature for a plurality of super pixels corresponding to the pixel,
An apparatus for measuring the reliability of depth values through stereo matching.
제 9항에 있어서,
상기 신뢰도맵 생성부는
깊이 카메라를 이용하여 획득한 깊이맵과, 상기 레퍼런스 깊이맵의 차이를 이용하여, 상기 제1신뢰도맵을 학습하는
스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치.
10. The method of claim 9,
The reliability map generator
The first reliability map is learned using the difference between the depth map obtained by using the depth camera and the reference depth map
An apparatus for measuring the reliability of depth values through stereo matching.
제 9항에 있어서,
상기 신뢰도맵 생성부는
상기 학습 결과를 이용하여, 상기 타겟 스테레오 영상의 깊이맵에 대한 상기 제2신뢰도맵을 추정하는 신뢰도맵 추정부;
상기 제2신뢰도맵의 제1픽셀에 대한 상기 제1,2 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제2픽셀를 상기 제2신뢰도맵에서 결정하는 유사 픽셀 결정부; 및
상기 제2픽셀의 신뢰도값을 평균하여, 상기 제2신뢰도맵을 보정하는 제1신뢰도맵 보정부
를 포함하는 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치.
10. The method of claim 9,
The reliability map generator
A reliability map estimator for estimating the second reliability map with respect to the depth map of the target stereo image using the learning result;
A similarity pixel determination unit for determining, in the second reliability map, a plurality of second pixels having a reliability feature similar to the first and second reliability features for a first pixel of the second reliability map; And
A first reliability map correcting unit for correcting the second reliability map by averaging the reliability values of the second pixels,
Wherein the depth value reliability metric is determined by stereo matching.
제 11항에 있어서,
상기 신뢰도맵 생성부는
상기 제1픽셀에 대한 수퍼 픽셀의 상기 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제3픽셀을 상기 제2신뢰도맵에서 결정하는 유사 수퍼 픽셀 결정부; 및
제3픽셀의 신뢰도값을 평균하여 상기 제2신뢰도맵을 보정하는 제2신뢰도맵 보정부
를 더 포함하는 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치.
12. The method of claim 11,
The reliability map generator
A similar super-pixel determination unit for determining, in the second reliability map, a plurality of third pixels having a reliability feature similar to the reliability feature of the super-pixel for the first pixel; And
A second reliability map corrector for correcting the second reliability map by averaging the reliability values of the third pixels,
Wherein the depth value reliability measurement unit further comprises a stereo matching unit.
KR1020160094478A 2016-07-26 2016-07-26 Method and device for measuring confidence of depth by stereo matching KR101784620B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160094478A KR101784620B1 (en) 2016-07-26 2016-07-26 Method and device for measuring confidence of depth by stereo matching
PCT/KR2017/003888 WO2018021657A1 (en) 2016-07-26 2017-04-11 Method and apparatus for measuring confidence of deep value through stereo matching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160094478A KR101784620B1 (en) 2016-07-26 2016-07-26 Method and device for measuring confidence of depth by stereo matching

Publications (1)

Publication Number Publication Date
KR101784620B1 true KR101784620B1 (en) 2017-11-06

Family

ID=60384383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160094478A KR101784620B1 (en) 2016-07-26 2016-07-26 Method and device for measuring confidence of depth by stereo matching

Country Status (2)

Country Link
KR (1) KR101784620B1 (en)
WO (1) WO2018021657A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106570A (en) * 2018-03-09 2019-09-18 한국과학기술원 Method and apparatus for estimating depth from light field image
KR20230123855A (en) 2022-02-17 2023-08-24 광운대학교 산학협력단 Method and apparatus for creating efficient depth map with lightweight deep neural network

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI719440B (en) * 2018-04-02 2021-02-21 聯發科技股份有限公司 Stereo match method and apparatus thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101929042B1 (en) * 2012-10-30 2018-12-14 엘지디스플레이 주식회사 Disparity calculation unit and stereoscopic image display device including the same and disparity calculation method
US9275078B2 (en) * 2013-09-05 2016-03-01 Ebay Inc. Estimating depth from a single image
KR102214934B1 (en) * 2014-07-18 2021-02-10 삼성전자주식회사 Stereo matching apparatus and method using unary confidences learning and pairwise confidences learning
KR102178978B1 (en) * 2014-07-31 2020-11-13 한국전자통신연구원 Method of stereo matching and apparatus for performing the method
KR102232524B1 (en) * 2014-10-27 2021-03-26 삼성전자주식회사 Image generating apparatus and method for generating image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106570A (en) * 2018-03-09 2019-09-18 한국과학기술원 Method and apparatus for estimating depth from light field image
KR102052564B1 (en) 2018-03-09 2019-12-05 한국과학기술원 Method and apparatus for estimating depth from light field image
KR20230123855A (en) 2022-02-17 2023-08-24 광운대학교 산학협력단 Method and apparatus for creating efficient depth map with lightweight deep neural network

Also Published As

Publication number Publication date
WO2018021657A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
JP6244407B2 (en) Improved depth measurement quality
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
KR102214934B1 (en) Stereo matching apparatus and method using unary confidences learning and pairwise confidences learning
KR100953076B1 (en) Multi-view matching method and device using foreground/background separation
US9374571B2 (en) Image processing device, imaging device, and image processing method
KR102459853B1 (en) Method and device to estimate disparity
US8498472B2 (en) Image-based localization feature point registration apparatus, method and computer-readable medium
US9153066B2 (en) Image processing device, imaging device, and image processing method
US9165211B2 (en) Image processing apparatus and method
EP2811423A1 (en) Method and apparatus for detecting target
KR101364860B1 (en) Method for transforming stereoscopic images for improvement of stereoscopic images and medium recording the same
WO2007052191A2 (en) Filling in depth results
CN104574366A (en) Extraction method of visual saliency area based on monocular depth map
US9449389B2 (en) Image processing device, image processing method, and program
US20120263386A1 (en) Apparatus and method for refining a value of a similarity measure
CN110598795A (en) Image difference detection method and device, storage medium and terminal
KR101784620B1 (en) Method and device for measuring confidence of depth by stereo matching
US20110080463A1 (en) Image processing apparatus, method, and recording medium
US20200334832A1 (en) Method of detecting moving objects from a temporal sequence of images
CN105023263B (en) A kind of method of occlusion detection and parallax correction based on region growing
KR20110021500A (en) Method for real-time moving object tracking and distance measurement and apparatus thereof
CN110443228B (en) Pedestrian matching method and device, electronic equipment and storage medium
JP2011232965A (en) Plane area detection device and stereo camera system
CN105335959A (en) Quick focusing method and device for imaging apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant