WO2018021657A1 - Method and apparatus for measuring confidence of deep value through stereo matching - Google Patents

Method and apparatus for measuring confidence of deep value through stereo matching Download PDF

Info

Publication number
WO2018021657A1
WO2018021657A1 PCT/KR2017/003888 KR2017003888W WO2018021657A1 WO 2018021657 A1 WO2018021657 A1 WO 2018021657A1 KR 2017003888 W KR2017003888 W KR 2017003888W WO 2018021657 A1 WO2018021657 A1 WO 2018021657A1
Authority
WO
WIPO (PCT)
Prior art keywords
reliability
map
pixel
depth
pixels
Prior art date
Application number
PCT/KR2017/003888
Other languages
French (fr)
Korean (ko)
Inventor
손광훈
김선옥
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2018021657A1 publication Critical patent/WO2018021657A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a method and apparatus for measuring a reliability of depth value through stereo matching, and more particularly, to study a reliability map using reliability features of a stereo image, and to measure the reliability of a depth map generated through stereo matching.
  • a method and apparatus are provided.
  • 3D content should be photographed with a separate camera that can detect depth information of an image, such as a stereo camera.
  • Content captured with a general camera cannot be displayed in the form of 3D because it does not reflect depth information of an image.
  • a depth map can be obtained from a stereo image using a stereo matching method.
  • Various stereo matching methods have been studied to obtain more accurate depth maps, but there is a problem that it is difficult to obtain accurate depths in an obscured area or an area where textures are insufficient.
  • a cost volume may be obtained from the stereo image, and the confidence factor may be used to measure how accurate the depth map is, ie, the reliability of the depth map, using a confidence measure.
  • the reliability is independently measured for each pixel of the depth map, and since the information on the pixels located around the measurement target pixel is not used, the accuracy of the measured reliability is relatively low.
  • An object of the present invention is to provide a method and apparatus for learning a reliability map using reliability features of a stereo image and measuring the reliability of a depth map generated through stereo matching.
  • generating a cost volume from a reference stereo image Calculating a first reliability feature on a pixel basis of the reference stereo image using the cost volume; Calculating a second reliability feature on a pixel-by-pixel basis using a plurality of super pixels for the pixel; Learning a first confidence map for the first and second reliability features; And generating a second reliability map of a depth map of a target stereo image by using the learning result, wherein the first reliability map is a reference depth map generated through stereo matching of the reference stereo image.
  • a reliability map a method of measuring reliability of depth values through stereo matching.
  • the first and second reliability features of the pixel unit obtained from the reference stereo image and the reference depth map generated through stereo matching of the reference stereo image Information receiving unit for receiving the; And a reliability map generator for learning the reference depth map and first reliability maps of the first and second reliability features to generate a second reliability map with respect to the depth map of the target stereo image.
  • the first reliability feature is a feature generated in units of pixels from the cost volume of the reference stereo image
  • the second reliability feature is a feature for a plurality of super pixels of the pixel. to provide.
  • the present invention by learning the reliability map for the reliability feature using not only the pixel of the reference stereo image but also the reliability feature for the super pixel, a more accurate reliability map for the target stereo image can be generated.
  • the accuracy of the reliability map may be further improved by correcting the reliability map using the reliability values of pixels having similar reliability features.
  • FIG. 1 is a view for explaining a cost volume according to the present invention.
  • FIG. 2 is a diagram for explaining a reliability feature calculated from a cost volume.
  • 3 is a view for explaining an apparatus for measuring reliability of depth value through stereo matching according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining an apparatus for measuring reliability of depth value through stereo matching according to another embodiment of the present invention.
  • FIG. 5 is a view for explaining a reliability map generation unit according to the present invention.
  • FIG. 6 is a view for explaining a method of measuring the reliability of the depth value through stereo matching according to an embodiment of the present invention.
  • the present invention provides a method and apparatus for learning a reliability map using reliability features for a stereo image and measuring the reliability of a depth map generated through stereo matching.
  • the present invention extracts reliability features for each pixel of a stereo image, and also extracts reliability features of a super pixel for a pixel and uses them for learning.
  • the superpixel refers to a pixel adjacent to the pixel and similar in color.
  • a depth map is generated on the premise that depth values are similar in the case of pixels having similar distances and similar colors, and the present invention measures the reliability of a depth map generated through stereo matching. Therefore, the accuracy of the reliability measurement can be improved by using reliability features of pixels having close distances and similar colors, such as stereo matching.
  • the present invention learns a reliability map for a reliability feature using a reliability feature for a reference stereo image and a depth map for a reference stereo image, and generates a reliability map for a depth map of a target stereo image.
  • a reliability map of a depth map obtained through stereo matching of a target stereo image may be estimated by receiving a reliability feature of the target stereo image.
  • FIG. 1 is a view for explaining a cost volume according to the present invention.
  • the cost volume includes information indicating a difference (cost) of pixel values of pixels in left and right images of the stereo image.
  • a window having a predetermined size overlaps each of the left image 110 and the right image 120,
  • the window of the image 110 or the right image 120 is moved by a preset search range.
  • the size of the window overlapping the left image 110 and the right image 120 is the same, and only the window of one image of the left image and the right image is moved.
  • the first window 130 of the left image 110 is fixed, and the second window 140 of the right image 120 is moved horizontally by the search range, and the pixel value of each pixel included in the window is fixed.
  • the cost volume 150 may be generated by calculating the difference of.
  • the window of the left image may be fixed and the window of the left image may be fixed.
  • one of the left image and the right image is taken as the reference image, and the difference between the pixel values in the window of the reference image and the other image is calculated.
  • Different cost volumes may be generated depending on which image is the reference image.
  • the width 151 and the length 152 of the cost volume 150 correspond to a window size, and the height 153 of the cost volume 150 corresponds to a search range. That is, the cost volume 150 includes information about how the pixels included in the window of the left image in which the window is fixed are different from the pixels included in the window of the right image and how the pixel value is different.
  • the search range may vary according to embodiments, and may search for the entire area of the stereo image and generate cost volumes for the entire stereo image.
  • FIG. 2 is a diagram for explaining a reliability feature calculated from a cost volume.
  • FIG. 2 (a) shows the cost volume obtained by moving the window of the right image based on the left image
  • FIG. 2 (b) shows the cost for the specific pixel 210 of the cost volume shown in FIG. 2 (a).
  • the x axis represents the moving distance d of the window, that is, the distance from the initial position to the search range
  • the y axis represents the cost.
  • the reliability feature is calculated for each pixel of the stereo image, and the cost volume is used for the calculation.
  • the stereo image is composed of two images, and reliability features are calculated based on one of the two images.
  • the reference image is an image in which the aforementioned window is fixed.
  • a total of eight reliability features described in FIG. 2 are shown in [Table 1], and are well known as a confidence measure for the similarity between pixels in a stereo image. As an example, in FIG. 2, reliability features for a particular pixel 210 are described. The type or number of reliability features used in the reliability measurement method described below may vary according to embodiments.
  • Negative entropy measure (NEM) is calculated as shown in [Equation 4].
  • C 1 is the minimum cost (cost) of a particular pixel 210 in the cost volume
  • C 2 is the second smallest cost of the particular pixel 210 in the cost volume.
  • ⁇ is a constant determined in accordance with an embodiment.
  • c (d) is a function of the graph as shown in FIG. 2 (b), and c (d ') is a function excluding any d on the x-axis.
  • C 2m represents the second smallest cost in the cost volume, where C 2m is a value that can be used for calculation depending on the reliability feature used.
  • the median disparity deviation values are divided into four (5x5, 7x7, 9x9, and 11x11) according to the window size used to generate the cost volume.
  • the average depth of the image in the window is obtained and the average depth from the depth value of each pixel in the window. Is obtained by adding up all the absolute values minus.
  • FIG. 3 is a view illustrating an apparatus for measuring reliability of depth value through stereo matching according to an embodiment of the present invention.
  • the apparatus for measuring reliability includes a cost volume generator 310, a reliability feature extractor 320, and a reliability map generator 330.
  • the cost volume generator 310 receives a reference stereo image for learning and generates a cost volume from the reference stereo image.
  • the cost volume includes information representing a difference (coast) of pixel values for each pixel in the left and right images of the stereo image and is used to calculate reliability features.
  • the cost volume generator 310 overlaps a window for each of the left and right images of the reference stereo image and moves the window of the left or right image by a predetermined search range.
  • a cost volume is generated by calculating a pixel value difference of each pixel included in the left and right video windows.
  • the reliability feature extractor 320 calculates the first reliability feature in units of pixels of the reference stereo image by using the cost volume. More specifically, when the cost volume is generated based on the left image, the reliability feature extractor 320 may calculate the first reliability feature in units of pixels of the left image.
  • the reliability feature extractor 320 calculates the second reliability feature on a pixel-by-pixel basis using the plurality of superpixels for the pixel. Since the superpixel is also a pixel included in the stereo image, the reliability feature extractor 320 may calculate the second reliability feature using the cost volume.
  • the reliability feature extractor 320 may calculate the eight reliability features described in FIG. 2 using the minimum cost and the second lowest cost of each pixel in the cost volume.
  • the reliability feature extractor 320 averages the first reliability features for the plurality of superpixels corresponding to the pixels, and generates a second reliability feature. For example, when three superpixels of a left image having a color similar to a first pixel of a left image of a stereo image are similar to each other, since the first reliability features of the three superpixels have already been calculated, the reliability feature extractor ( 320 may generate a second reliability feature by averaging the first reliability of the three super pixels. When the first reliability features are eight, the second reliability features may be generated by averaging for each of the eight reliability features of three superpixels, and a total of 16-dimensional reliability features may be used for learning.
  • the reliability map generator 330 learns the first reliability maps for the first and second reliability features, and generates a second reliability map for the depth map of the target stereo image by using the learning result.
  • the first reliability map is a reliability map with respect to a reference depth map generated through stereo matching of the reference stereo image.
  • the reliability map generator 330 learns a first reliability map by using a difference between an actual depth map of the stereo image and a reference depth map.
  • the reliability map generator 330 may learn that the reliability is high when the difference between the actual depth map and the reference depth map is smaller than the threshold, and that the reliability is high when the difference is greater than the threshold.
  • High reliability of a specific pixel means that a specific pixel of a depth map generated through a stereo image has high reliability.
  • the first reliability map includes information on the reliability of each pixel, and the pixel value of the pixel of the reliability map corresponds to the reliability.
  • the pixel value of the pixel with high reliability may be set to 1 and the pixel value of the pixel with low reliability may be set to 0, and the pixel value may be further divided according to the degree of reliability.
  • the actual depth map for the stereo image may be obtained by using a depth camera.
  • the reliability map generator 330 may learn whether the reliability of the reference depth map is high or low when the first and second reliability features of the reference stereo image have a specific value.
  • the reliability map generator 330 may generate a reliability map for the depth map to be generated from the target stereo image. In this case, it is preferable that the number of dimensions of the reliability features input is the same as the number of dimensions of the reliability features used for learning.
  • the reliability map generator 330 may use various machine learning algorithms for learning, and may use a random forest algorithm as an example.
  • the present invention by learning the reliability map for the reliability feature using not only the pixel of the reference stereo image but also the reliability feature for the super pixel, a more accurate reliability map for the target stereo image can be generated.
  • FIG. 4 is a view for explaining an apparatus for measuring reliability of depth value through stereo matching according to another embodiment of the present invention.
  • FIG. 4 a process of estimating a reliability map will be described.
  • 5 is a view for explaining a reliability map generation unit according to the present invention.
  • the apparatus for measuring reliability includes an information receiver 410 and a reliability map generator 420.
  • the reliability map generator 420 of FIG. 4 corresponds to the reliability map generator 330 of FIG. 3.
  • the reliability measuring apparatus of FIG. 4 receives an externally calculated reliability feature and estimates the reliability map.
  • the information receiver 410 receives the first and second reliability features in units of pixels acquired from the reference stereo image and the reference depth map generated through stereo matching of the reference stereo image, that is, receives the reliability map generator ( 420).
  • the first reliability feature is a feature generated in pixels from a cost volume of the reference stereo image
  • the second reliability feature is a feature for a plurality of super pixels of the pixel.
  • the information receiver 410 Since the reliability map generator 420 learns using the actual depth map of the reference stereo image and the reference depth map, the information receiver 410 further receives the actual depth map, and sends it to the reliability map generator 420. I can deliver it.
  • the reliability map generator 420 generates a second reliability map for the depth map of the target stereo image by using the learning result.
  • the reliability map generator 420 may perform pixel-by-pixel reliability of the reliability features of the target stereo image.
  • the second reliability map is generated by estimating the value.
  • the reliability map generator 420 may include a reliability feature of a plurality of pixels having a reliability feature similar to that of a specific pixel of the second reliability map, or a specific pixel in order to improve the accuracy of the second reliability map. It is possible to use reliability features of a plurality of super pixels with reliability features similar to the reliability features of the super pixels of.
  • the reliability map generator 420 uses a pixel or a super pixel having similar reliability features, provided that the reliability values are similar, and the reliability values are similar.
  • the reliability map generator 420 includes a reliability map estimator 421, a similar pixel determiner 422, and a first reliability map corrector 423.
  • the method may further include a similar super pixel determiner 424 and a second reliability map corrector 425.
  • the reliability map estimator 421 estimates a second reliability map for the depth map of the target stereo image by using the learning result.
  • the similar pixel determiner 422 may include a plurality of second pixels 521 and 522 having reliability characteristics similar to those of the first pixel 520 of the second reliability map 510. Determined from the second reliability map.
  • the similar reliability feature may mean that the difference between the reliability features is less than or equal to the threshold.
  • the first reliability map correction unit 423 corrects the second reliability map 510 by averaging the reliability values of the second pixels 521 and 522. That is, the first reliability map correction unit 423 replaces the reliability value of the first pixel 520 with an average value of the second pixels 521 and 522.
  • the pseudo super pixel determiner 424 may include a plurality of third pixels 531 and 532 having a reliability characteristic similar to that of the super pixel 530 with respect to the first pixel 520. Decide on The pseudo super pixel determiner 424 may determine a super pixel of the third pixels 531 and 532 having a reliability characteristic similar to that of the super pixel 530.
  • the second reliability map corrector 425 corrects the second reliability map 510 by averaging the reliability values of the third pixels 531 and 532. That is, the second reliability map correction unit 425 replaces the reliability value of the first pixel 520 with an average value of the third pixels 531 and 532. According to an exemplary embodiment, the second reliability map corrector 425 re-averages the reliability mean values of the second pixels 521 and 522 and the third pixels 531 and 532 and re-averages the re-average values of the first pixels 520. It can be corrected by the reliability value of.
  • the accuracy of the reliability map can be further improved by correcting the reliability map using the reliability values of pixels having similar reliability features.
  • FIG. 6 is a view for explaining a method of measuring the reliability of the depth value through stereo matching according to an embodiment of the present invention.
  • the reliability measuring method according to the present invention may be performed in a computing device including the above-described reliability measuring apparatus or processor.
  • the reliability measuring apparatus generates a cost volume from the reference stereo image (S610), and calculates a first reliability feature in units of pixels of the reference stereo image using the cost volume (S620). At this time, the reliability measuring apparatus overlaps the window for the left image and the right image of the reference stereo image, and moves the window of the left image or the right image by a predetermined search range, and is included in the window of the left image and the right image.
  • the cost volume may be generated by calculating the pixel value difference of each pixel.
  • the reliability measuring apparatus calculates a second reliability feature on a pixel-by-pixel basis by using a plurality of superpixels for the pixel on which the first reliability feature is calculated.
  • the first and second reliability features may be generated from the minimum cost and the second lowest cost of each pixel, in cost volume.
  • the second reliability feature may be generated by averaging the first reliability features for the plurality of superpixels.
  • the superpixel may be determined by, for example, the following method.
  • the reliability measuring apparatus learns first reliability maps for the first and second reliability features (S640), wherein the first depth map is obtained by using a difference between a depth map obtained using a depth camera and a reference depth map. Can learn the reliability map.
  • the reliability measuring apparatus generates a second reliability map for the depth map of the target stereo image by using the learning result (S650), and includes a plurality of pixels having reliability characteristics similar to those of a specific pixel of the second reliability map. It is possible to use a reliability feature of a plurality of super pixels having a reliability feature similar to that of the super pixel of a specific pixel.
  • the technical contents described above may be embodied in the form of program instructions that may be executed by various computer means and may be recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Disclosed are a method and an apparatus for learning a confidence map using a confidence measure for a stereo image and for measuring confidence of a depth map generated through stereo matching. The disclosed method for measuring confidence comprises the steps of: generating a cost volume from a reference stereo image; calculating a first confidence measure for each pixel of the reference stereo image using the cost volume; calculating a second confidence measure for each pixel using a plurality of super pixels for the pixel; learning a first confidence map for the first and the second confidence measures; and generating a second confidence map for the depth map of a target stereo image using a result of the learning, wherein the first confidence map is a confidence for a reference depth map generated through a stereo matching of the reference stereo image.

Description

스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치Method and apparatus for measuring reliability of depth value through stereo matching
본 발명은 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치에 관한 것으로서, 더욱 상세하게는 스테레오 영상에 대한 신뢰도 특징자를 이용하여 신뢰도맵을 학습하고, 스테레오 매칭을 통해 생성된 깊이맵의 신뢰도를 측정하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for measuring a reliability of depth value through stereo matching, and more particularly, to study a reliability map using reliability features of a stereo image, and to measure the reliability of a depth map generated through stereo matching. A method and apparatus are provided.
디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.As the performance of display apparatuses has been advanced, the types of contents displayed on display apparatuses have also increased in various ways. In particular, recently, a stereoscopic display system capable of viewing 3D content has been developed and spread.
3D 컨텐츠는 스테레오 카메라와 같이 영상의 깊이 정보를 알아낼 수 있는 별도의 카메라로 촬영을 하여야 하며, 일반적인 카메라로 촬영된 컨텐츠는 영상의 깊이 정보를 반영하지 않기 때문에 3D의 형태로 디스플레이될 수 없다.3D content should be photographed with a separate camera that can detect depth information of an image, such as a stereo camera. Content captured with a general camera cannot be displayed in the form of 3D because it does not reflect depth information of an image.
스테레오 영상으로부터 스테레오 매칭 방법을 이용하여 깊이맵 획득이 가능하다. 더욱 정확한 깊이맵을 획득하기 위하여 다양한 스테레오 매칭 방법이 연구되어 왔지만 가림 영역이나 텍스쳐가 충분하지 않은 영역에서는 정확한 깊이를 획득하기 어려운 문제가 있다. A depth map can be obtained from a stereo image using a stereo matching method. Various stereo matching methods have been studied to obtain more accurate depth maps, but there is a problem that it is difficult to obtain accurate depths in an obscured area or an area where textures are insufficient.
스테레오 매칭을 통해 획득한 깊이맵이 정확하지 않기 때문에, 스테레오 매칭으로 획득한 깊이맵의 신뢰도를 측정하기 위한 방법이 함께 연구되어 왔다. 스테레오 영상으로부터 코스트 볼륨(cost volume)을 구하고, 이에 따른 신뢰도 특징자(confidence measure)를 이용하여, 깊이맵이 얼마나 정확한지, 즉 깊이맵에 대한 신뢰도를 측정할 수 있다.Since the depth map obtained through the stereo matching is not accurate, a method for measuring the reliability of the depth map obtained through the stereo matching has been studied together. A cost volume may be obtained from the stereo image, and the confidence factor may be used to measure how accurate the depth map is, ie, the reliability of the depth map, using a confidence measure.
종래 깊이맵의 신뢰도 측정 방법은 깊이맵의 픽셀별로 독립적으로 신뢰도를 측정하며, 측정 대상 픽셀의 주변에 위치한 픽셀에 대한 정보를 이용하지 않기 때문에, 측정된 신뢰도의 정확도가 비교적 낮은 단점이 있었다.In the conventional depth map reliability measurement method, the reliability is independently measured for each pixel of the depth map, and since the information on the pixels located around the measurement target pixel is not used, the accuracy of the measured reliability is relatively low.
본 발명은 스테레오 영상에 대한 신뢰도 특징자를 이용하여 신뢰도맵을 학습하고, 스테레오 매칭을 통해 생성된 깊이맵의 신뢰도를 측정하는 방법 및 장치를 제공하기 위한 것이다.An object of the present invention is to provide a method and apparatus for learning a reliability map using reliability features of a stereo image and measuring the reliability of a depth map generated through stereo matching.
특히, 본 발명은 스테레오 영상의 픽셀 뿐만 아니라, 픽셀의 수퍼 픽셀에 대한 신뢰도 특징자를 이용하여 보다 정확한 신뢰도맵을 생성할 수 있는 신뢰도 측정 방법 및 장치를 제공하기 위한 것이다.In particular, it is an object of the present invention to provide a method and apparatus for measuring reliability that can generate a more accurate reliability map using reliability features of not only a pixel of a stereo image, but also a superpixel of a pixel.
상기한 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, 레퍼런스 스테레오 영상으로부터, 코스트 볼륨을 생성하는 단계; 상기 코스트 볼륨을 이용하여, 상기 레퍼런스 스테레오 영상의 픽셀 단위로 제1신뢰도 특징자를 계산하는 단계; 상기 픽셀에 대한 복수의 수퍼 픽셀(super pixel)을 이용하여, 상기 픽셀 단위로 제2신뢰도 특징자를 계산하는 단계; 상기 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습하는 단계; 및 상기 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성하는 단계를 포함하며, 상기 제1신뢰도맵은 상기 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵에 대한 신뢰도맵인, 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법을 제공한다.According to an embodiment of the present invention to achieve the above object, generating a cost volume from a reference stereo image; Calculating a first reliability feature on a pixel basis of the reference stereo image using the cost volume; Calculating a second reliability feature on a pixel-by-pixel basis using a plurality of super pixels for the pixel; Learning a first confidence map for the first and second reliability features; And generating a second reliability map of a depth map of a target stereo image by using the learning result, wherein the first reliability map is a reference depth map generated through stereo matching of the reference stereo image. Provided is a reliability map, a method of measuring reliability of depth values through stereo matching.
또한 상기한 목적을 달성하기 위해 본 발명의 다른 실시예에 따르면, 레퍼런스 스테레오 영상으로부터 획득한 픽셀 단위의 제1 및 제2신뢰도 특징자와, 상기 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵을 입력받는 정보 수신부; 및 상기 레퍼런스 깊이맵과, 상기 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성하는 신뢰도맵 생성부를 포함하며, 상기 제1신뢰도 특징자는 상기 레퍼런스 스트레오 영상의 코스트 볼륨으로부터 픽셀 단위로 생성된 특징자이며, 상기 제2신뢰도 특징자는 상기 픽셀의 복수의 수퍼 픽셀에 대한 특징자인, 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치를 제공한다.In addition, according to another embodiment of the present invention to achieve the above object, the first and second reliability features of the pixel unit obtained from the reference stereo image and the reference depth map generated through stereo matching of the reference stereo image Information receiving unit for receiving the; And a reliability map generator for learning the reference depth map and first reliability maps of the first and second reliability features to generate a second reliability map with respect to the depth map of the target stereo image. The first reliability feature is a feature generated in units of pixels from the cost volume of the reference stereo image, and the second reliability feature is a feature for a plurality of super pixels of the pixel. to provide.
본 발명에 따르면, 레퍼런스 스테레오 영상의 픽셀뿐만 아니라, 수퍼 픽셀에 대한 신뢰도 특징자를 이용하여 신뢰도 특징자에 대한 신뢰도맵을 학습함으로써, 타겟 스테레오 영상에 대한 보다 정확한 신뢰도맵을 생성할 수 있다.According to the present invention, by learning the reliability map for the reliability feature using not only the pixel of the reference stereo image but also the reliability feature for the super pixel, a more accurate reliability map for the target stereo image can be generated.
또한 본 발명에 따르면, 타겟 스테레오 영상에 대한 신뢰도맵 추정 이후, 유사한 신뢰도 특징자를 갖는 픽셀의 신뢰도값을 이용하여 신뢰도맵을 보정함으로써, 신뢰도맵에 대한 정확성이 보다 향상될 수 있다.In addition, according to the present invention, after estimating the reliability map for the target stereo image, the accuracy of the reliability map may be further improved by correcting the reliability map using the reliability values of pixels having similar reliability features.
도 1은 본 발명에 따른 코스트 볼륨을 설명하기 위한 도면이다.1 is a view for explaining a cost volume according to the present invention.
도 2는 코스트 볼륨으로부터 계산되는 신뢰도 특징자를 설명하기 위한 도면이다.2 is a diagram for explaining a reliability feature calculated from a cost volume.
도 3은 본 발명의 일실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치를 설명하기 위한 도면이다.3 is a view for explaining an apparatus for measuring reliability of depth value through stereo matching according to an embodiment of the present invention.
도 4는 본 발명의 다른 실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치를 설명하기 위한 도면이다.4 is a view for explaining an apparatus for measuring reliability of depth value through stereo matching according to another embodiment of the present invention.
도 5는 본 발명에 따른 신뢰도맵 생성부를 설명하기 위한 도면이다.5 is a view for explaining a reliability map generation unit according to the present invention.
도 6은 본 발명의 일실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법을 설명하기 위한 도면이다.6 is a view for explaining a method of measuring the reliability of the depth value through stereo matching according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the drawings, similar reference numerals are used for similar elements.
본 발명은 스테레오 영상에 대한 신뢰도 특징자를 이용하여 신뢰도맵을 학습하고, 스테레오 매칭을 통해 생성된 깊이맵의 신뢰도를 측정하는 방법 및 장치를 제공한다. 학습을 위해 본 발명은 스테레오 영상의 픽셀별로 신뢰도 특징자를 추출하는데, 픽셀에 대한 수퍼 픽셀(super pixel)의 신뢰도 특징자도 추출하여 학습에 이용한다. 여기서, 수퍼 픽셀이란, 해당 픽셀에 인접하면서 색상이 유사한 픽셀을 말한다.The present invention provides a method and apparatus for learning a reliability map using reliability features for a stereo image and measuring the reliability of a depth map generated through stereo matching. In order to learn, the present invention extracts reliability features for each pixel of a stereo image, and also extracts reliability features of a super pixel for a pixel and uses them for learning. Herein, the superpixel refers to a pixel adjacent to the pixel and similar in color.
스테레오 매칭을 통해 깊이맵을 생성하는 경우, 일반적으로 거리가 가깝고 색깔이 유사한 픽셀의 경우 깊이값이 유사하다는 전제하에 깊이맵을 생성하는데, 본 발명은 스테레오 매칭을 통해 생성되는 깊이맵의 신뢰도를 측정하는 발명이므로, 스테레오 매칭과 같이, 거리가 가깝고 색깔이 유사한 픽셀들의 신뢰도 특징자를 이용함으로써 신뢰도 측정의 정확도를 향상시킬 수 있다.In the case of generating a depth map through stereo matching, a depth map is generated on the premise that depth values are similar in the case of pixels having similar distances and similar colors, and the present invention measures the reliability of a depth map generated through stereo matching. Therefore, the accuracy of the reliability measurement can be improved by using reliability features of pixels having close distances and similar colors, such as stereo matching.
본 발명은 레퍼런스 스테레오 영상에 대한 신뢰도 특징자, 레퍼런스 스테레오 영상에 대한 깊이맵을 이용하여, 신뢰도 특징자에 대한 신뢰도맵을 학습하고, 타겟 스테레오 영상의 깊이맵에 대한 신뢰도맵을 생성한다. 본 발명은 타겟 스테레오 영상에 대한 신뢰도 특징자를 입력받음으로써, 타겟 스테레오 영상의 스테레오 매칭을 통해 획득되는 깊이맵에 대한 신뢰도맵을 추정할 수 있다.The present invention learns a reliability map for a reliability feature using a reliability feature for a reference stereo image and a depth map for a reference stereo image, and generates a reliability map for a depth map of a target stereo image. According to the present invention, a reliability map of a depth map obtained through stereo matching of a target stereo image may be estimated by receiving a reliability feature of the target stereo image.
이하에서는 본 발명에 따른 신뢰도 측정 방법에 앞서, 신뢰도 측정에 이용되는 코스트 볼륨 및 신뢰도 특징자에 대해 먼저 설명하고, 신뢰도 측정 방법을 설명하기로 한다.Hereinafter, prior to the reliability measurement method according to the present invention, the cost volume and reliability features used for the reliability measurement will be described first, and the reliability measurement method will be described.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 코스트 볼륨을 설명하기 위한 도면이다.1 is a view for explaining a cost volume according to the present invention.
코스트 볼륨은 스테레오 영상의 좌우 영상에서 픽셀별 화소값의 차이(코스트)를 나타내는 정보를 포함한다.The cost volume includes information indicating a difference (cost) of pixel values of pixels in left and right images of the stereo image.
도 1에 도시된 바와 같이, 스테레오 영상 즉, 좌영상(110)과 우영상(120)이 주어진 경우, 좌영상(110) 및 우영상(120) 각각에 기 설정된 사이즈의 윈도우를 오버랩하고, 좌영상(110) 또는 우영상(120)의 윈도우를 기 설정된 탐색 범위만큼 이동시킨다. As shown in FIG. 1, when a stereo image, that is, a left image 110 and a right image 120, a window having a predetermined size overlaps each of the left image 110 and the right image 120, The window of the image 110 or the right image 120 is moved by a preset search range.
좌영상(110) 및 우영상(120)에 오버랩된 윈도우의 사이즈는 동일하며, 좌영상 및 우영상 중 한영상의 윈도우만 이동시킨다. 예를 들어, 좌영상(110)의 제1윈도우(130)를 고정시키고 우영상(120)의 제2윈도우(140)를 탐색 범위만큼 수평 방향으로 이동시키며, 윈도우에 포함된 픽셀 각각의 픽셀값의 차이를 계산하여, 코스트 볼륨(150)을 생성할 수 있다. 실시예에 따라서 우영상의 원도우를 고정시키고 좌영상의 윈도우를 이동시킬 수 있다.The size of the window overlapping the left image 110 and the right image 120 is the same, and only the window of one image of the left image and the right image is moved. For example, the first window 130 of the left image 110 is fixed, and the second window 140 of the right image 120 is moved horizontally by the search range, and the pixel value of each pixel included in the window is fixed. The cost volume 150 may be generated by calculating the difference of. According to an embodiment, the window of the left image may be fixed and the window of the left image may be fixed.
즉, 좌영상 및 우영상 중 한 영상을 기준 영상으로 잡고, 기준 영상과 다른 영상의 윈도우 내에서의 화소값의 차이를 계산한다. 기준 영상이 어느 영상인지에 따라서 서로 다른 코스트 볼륨이 생성될 수 있다.That is, one of the left image and the right image is taken as the reference image, and the difference between the pixel values in the window of the reference image and the other image is calculated. Different cost volumes may be generated depending on which image is the reference image.
코스트 볼륨(150)의 가로(151) 및 세로(152)는 윈도우 크기에 대응되며, 코스트 볼륨(150)의 높이(153)는 탐색 범위(search range)에 대응된다. 즉, 코스트 볼륨(150)은, 윈도우가 고정된 좌영상의 윈도우에 포함된 픽셀들이 우영상의 윈도우에 포함된 픽셀들과, 화소값이 얼마나 차이나는지에 대한 정보를 포함한다.The width 151 and the length 152 of the cost volume 150 correspond to a window size, and the height 153 of the cost volume 150 corresponds to a search range. That is, the cost volume 150 includes information about how the pixels included in the window of the left image in which the window is fixed are different from the pixels included in the window of the right image and how the pixel value is different.
탐색 범위는 실시예에 따라서, 달라질 수 있으며, 스테레오 영상의 전체 영역에 대해 탐색을 수행하며 스테레오 영상 전체에 대한 코스트 볼륨을 생성할 수 있다.The search range may vary according to embodiments, and may search for the entire area of the stereo image and generate cost volumes for the entire stereo image.
도 2는 코스트 볼륨으로부터 계산되는 신뢰도 특징자를 설명하기 위한 도면이다.2 is a diagram for explaining a reliability feature calculated from a cost volume.
도 2(a)는 좌영상을 기준으로 우영상의 윈도우를 이동시켜 얻은 코스트 볼륨을 나타내며, 도 2(b)는 도 2(a)에 도시된 코스트 볼륨의 특정 픽셀(210)에 대한 코스트를 나타내는 그래프이다. 그래프에서 x축은 윈도우의 이동 거리(d), 즉 최초 위치에서 탐색 범위까지의 거리를 나타내며, y축은 코스트를 나타낸다.FIG. 2 (a) shows the cost volume obtained by moving the window of the right image based on the left image, and FIG. 2 (b) shows the cost for the specific pixel 210 of the cost volume shown in FIG. 2 (a). It is a graph. In the graph, the x axis represents the moving distance d of the window, that is, the distance from the initial position to the search range, and the y axis represents the cost.
신뢰도 특징자는 스테레오 영상의 픽셀별로 계산되며, 코스트 볼륨이 계산에 이용된다. 스테레오 영상은 2개의 영상으로 구성되는데, 2개의 영상 중 하나의 영상을 기준으로 신뢰도 특징자가 계산된다. 기준이 되는 영상은 전술된 윈도우가 고정된 영상이다.The reliability feature is calculated for each pixel of the stereo image, and the cost volume is used for the calculation. The stereo image is composed of two images, and reliability features are calculated based on one of the two images. The reference image is an image in which the aforementioned window is fixed.
도 2에서 설명되는 신뢰도 특징자는 총 8개로, [표 1]과 같으며, 스테레오 영상에서의 픽셀간 유사도 등에 대한 신뢰 측도로서 잘 알려진 특징자이다. 일예로서 도 2에서는 특정 픽셀(210)에 대한 신뢰도 특징자가 설명된다. 후술되는 신뢰도 측정 방법에 이용되는 신뢰도 특징자의 종류나 개수는 실시예에 따라서 달라질 수 있다.A total of eight reliability features described in FIG. 2 are shown in [Table 1], and are well known as a confidence measure for the similarity between pixels in a stereo image. As an example, in FIG. 2, reliability features for a particular pixel 210 are described. The type or number of reliability features used in the reliability measurement method described below may vary according to embodiments.
- Left-right difference- Maximum likelihood measure- Naive peak ratio measure- Negative entropy measure- Median disparity deviation values (5x5)- Median disparity deviation values (7x7)- Median disparity deviation values (9x9)- Median disparity deviation values (11x11)-Left-right difference- Maximum likelihood measure- Naive peak ratio measure- Negative entropy measure- Median disparity deviation values (5x5)-Median disparity deviation values (7x7)-Median disparity deviation values (9x9)-Median disparity deviation values (11x11)
Left-right difference는 [수학식 1]과 같이, 계산된다.The left-right difference is calculated as shown in [Equation 1].
Figure PCTKR2017003888-appb-M000001
Figure PCTKR2017003888-appb-M000001
Maximum likelihood measure는 [수학식 2]와 같이 계산된다.The maximum likelihood measure is calculated as shown in [Equation 2].
Figure PCTKR2017003888-appb-M000002
Figure PCTKR2017003888-appb-M000002
Naive peak ratio measure는 [수학식 3]과 같이 계산된다.Naive peak ratio measure is calculated as shown in [Equation 3].
Figure PCTKR2017003888-appb-M000003
Figure PCTKR2017003888-appb-M000003
Negative entropy measure(NEM)는[수학식 4]와 같이 계산된다.Negative entropy measure (NEM) is calculated as shown in [Equation 4].
Figure PCTKR2017003888-appb-M000004
Figure PCTKR2017003888-appb-M000004
[수학식 1] 내지 [수학식 4]에서, C1은 코스트 볼륨에서, 특정 픽셀(210)의 최소 비용(코스트), C2는 코스트 볼륨에서 특정 픽셀(210)의 두번째로 작은 비용이다.
Figure PCTKR2017003888-appb-I000001
는 우영상을 기준으로 계산된 코스트 볼륨(CR)에서 특정 픽셀(210)과 변이 d1 만큼 떨어진 픽셀의 최소 비용을 나타낸다. σ는 실시예에 따라서 정해지는 상수이다. c(d)는 도 2(b)와 같은 그래프의 함수이며, c(d')는 x축에서 임의의 d를 제외한 함수이다.In Equations 1 to 4, C 1 is the minimum cost (cost) of a particular pixel 210 in the cost volume, and C 2 is the second smallest cost of the particular pixel 210 in the cost volume.
Figure PCTKR2017003888-appb-I000001
Denotes a minimum cost of a pixel spaced by a distance d 1 from a specific pixel 210 in the cost volume C R calculated based on the right image. σ is a constant determined in accordance with an embodiment. c (d) is a function of the graph as shown in FIG. 2 (b), and c (d ') is a function excluding any d on the x-axis.
한편, 도 2(b)에서 C2m는 코스트 볼륨에서 두번째로 작은 극소 비용을 나타내는데, C2m은 이용되는 신뢰도 특징자에 따라서 계산에 이용될 수 있는 값이다.On the other hand, in FIG. 2 (b), C 2m represents the second smallest cost in the cost volume, where C 2m is a value that can be used for calculation depending on the reliability feature used.
Median disparity deviation values는 코스트 볼륨 생성시 이용되는 윈도우 크기에 따라서 총 4개(5x5, 7x7, 9x9, 11x11)로 구분되는데, 윈도우 내 영상에 대한 평균 깊이를 구하고 윈도우 내 픽셀 각각의 깊이값에서 평균 깊이를 뺀 절대값을 모두 더하여 구해진다.The median disparity deviation values are divided into four (5x5, 7x7, 9x9, and 11x11) according to the window size used to generate the cost volume. The average depth of the image in the window is obtained and the average depth from the depth value of each pixel in the window. Is obtained by adding up all the absolute values minus.
도 3은 본 발명의 일실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치를 설명하기 위한 도면으로서, 도 3에서는 학습 과정 중심으로 설명된다.3 is a view illustrating an apparatus for measuring reliability of depth value through stereo matching according to an embodiment of the present invention. In FIG.
도 3을 참조하면, 본 발명에 따른 신뢰도 측정 장치는 코스트 볼륨 생성부(310), 신뢰도 특징자 추출부(320), 신뢰도맵 생성부(330)를 포함한다.Referring to FIG. 3, the apparatus for measuring reliability according to the present invention includes a cost volume generator 310, a reliability feature extractor 320, and a reliability map generator 330.
코스트 볼륨 생성부(310)는 학습을 위한 레퍼런스 스테레오 영상을 입력받아, 레퍼런스 스테레오 영상으로부터 코스트 볼륨을 생성한다. 코스트 볼륨은 스테레오 영상의 좌우 영상에서 픽셀별 화소값의 차이(코스트)를 나타내는 정보를 포함하며, 신뢰도 특징자를 계산하는데 이용된다. The cost volume generator 310 receives a reference stereo image for learning and generates a cost volume from the reference stereo image. The cost volume includes information representing a difference (coast) of pixel values for each pixel in the left and right images of the stereo image and is used to calculate reliability features.
코스트 볼륨 생성부(310)는 레퍼런스 스테레오 영상의 좌영상 및 우영상 각각에 대해 윈도우를 오버랩하고, 좌영상 또는 우영상의 윈도우를 기 설정된 탐색 범위만큼 이동시킨다. 그리고 좌영상 및 우영상의 윈도우에 포함된 픽셀 각각의 픽셀값 차이를 계산하여, 코스트 볼륨을 생성한다.The cost volume generator 310 overlaps a window for each of the left and right images of the reference stereo image and moves the window of the left or right image by a predetermined search range. In addition, a cost volume is generated by calculating a pixel value difference of each pixel included in the left and right video windows.
신뢰도 특징자 추출부(320)는 코스트 볼륨을 이용하여, 레퍼런스 스테레오 영상의 픽셀 단위로 제1신뢰도 특징자를 계산한다. 보다 구체적으로 코스트 볼륨이 좌영상을 기준으로 생성된 경우, 신뢰도 특징자 추출부(320)는 좌영상의 픽셀 단위로 제1신뢰도 특징자를 계산할 수 있다.The reliability feature extractor 320 calculates the first reliability feature in units of pixels of the reference stereo image by using the cost volume. More specifically, when the cost volume is generated based on the left image, the reliability feature extractor 320 may calculate the first reliability feature in units of pixels of the left image.
그리고 신뢰도 특징자 추출부(320)는 픽셀에 대한 복수의 수퍼 픽셀을 이용하여, 픽셀 단위로 제2신뢰도 특징자를 계산한다. 수퍼 픽셀 역시 스테레오 영상에 포함된 픽셀이므로 신뢰도 특징자 추출부(320)는 코스트 볼륨을 이용하여, 제2신뢰도 특징자를 계산할 수 있다.The reliability feature extractor 320 calculates the second reliability feature on a pixel-by-pixel basis using the plurality of superpixels for the pixel. Since the superpixel is also a pixel included in the stereo image, the reliability feature extractor 320 may calculate the second reliability feature using the cost volume.
신뢰도 특징자 추출부(320)는 코스트 볼륨에서, 픽셀 각각의 최소 비용 및 두번째로 작은 비용을 이용하여, 도 2에서 설명된 8개의 신뢰도 특징자를 계산할 수 있다. The reliability feature extractor 320 may calculate the eight reliability features described in FIG. 2 using the minimum cost and the second lowest cost of each pixel in the cost volume.
이 때, 신뢰도 특징자 추출부(320)는 픽셀에 대응되는 복수의 수퍼 픽셀에 대한 제1신뢰도 특징자를 평균하여, 제2신뢰도 특징자를 생성한다. 예를 들어, 스테레오 영상중 좌영상의 제1픽셀에 근접하고 색깔이 유사한 좌영상의 수퍼 픽셀이 3개일 경우, 3개 수퍼 픽셀에 대한 제1신뢰도 특징자가 이미 계산되었으므로, 신뢰도 특징자 추출부(320)는 3개 수퍼 픽셀의 제1신뢰도를 평균하여 제2신뢰도 특징자를 생성할 수 있다. 제1신뢰도 특징자가 8개일 경우, 수퍼 픽셀 3개의 8개 신뢰도 특징자 별로 평균하여 제2신뢰도 특징자를 생성할 수 있으며, 총 16차원의 신뢰도 특징자가 학습에 이용될 수 있다.At this time, the reliability feature extractor 320 averages the first reliability features for the plurality of superpixels corresponding to the pixels, and generates a second reliability feature. For example, when three superpixels of a left image having a color similar to a first pixel of a left image of a stereo image are similar to each other, since the first reliability features of the three superpixels have already been calculated, the reliability feature extractor ( 320 may generate a second reliability feature by averaging the first reliability of the three super pixels. When the first reliability features are eight, the second reliability features may be generated by averaging for each of the eight reliability features of three superpixels, and a total of 16-dimensional reliability features may be used for learning.
신뢰도맵 생성부(330)는 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습하고, 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성한다. 여기서, 제1신뢰도맵은 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵에 대한 신뢰도맵이다.The reliability map generator 330 learns the first reliability maps for the first and second reliability features, and generates a second reliability map for the depth map of the target stereo image by using the learning result. Here, the first reliability map is a reliability map with respect to a reference depth map generated through stereo matching of the reference stereo image.
신뢰도맵 생성부(330)는 스테레오 영상에 대한 실제 깊이맵과, 레퍼런스 깊이맵의 차이를 이용하여, 제1신뢰도맵을 학습한다. 신뢰도맵 생성부(330)는 실제 깊이맵과 레퍼런스 깊이맵의 픽셀별 차이가 임계값보다 작으면 신뢰도가 높고 임계값보다 크면 신뢰도가 큰 것으로 학습할 수 있다. 특정 픽셀의 신뢰도가 높다는 것은 스테레오 영상을 통해 생성된 깊이맵의 특정 픽셀의 신뢰도가 높다는 것을 의미한다.The reliability map generator 330 learns a first reliability map by using a difference between an actual depth map of the stereo image and a reference depth map. The reliability map generator 330 may learn that the reliability is high when the difference between the actual depth map and the reference depth map is smaller than the threshold, and that the reliability is high when the difference is greater than the threshold. High reliability of a specific pixel means that a specific pixel of a depth map generated through a stereo image has high reliability.
제1신뢰도맵은 픽셀별 신뢰도에 대한 정보를 포함하며, 신뢰도맵의 픽셀의 픽셀값은 신뢰도에 대응된다. 일예로서 신뢰도가 높은 픽셀의 픽셀값은 1, 신뢰도가 낮은 픽셀의 픽셀값은 0으로 설정될 수 있으며, 신뢰도 정도에 따라 픽셀값을 더욱 세분화하여 설정할 수도 있다. 이 때, 스테레오 영상에 대한 실제 깊이맵은 깊이 카메라를 이용하여 획득할 수 있다.The first reliability map includes information on the reliability of each pixel, and the pixel value of the pixel of the reliability map corresponds to the reliability. As an example, the pixel value of the pixel with high reliability may be set to 1 and the pixel value of the pixel with low reliability may be set to 0, and the pixel value may be further divided according to the degree of reliability. In this case, the actual depth map for the stereo image may be obtained by using a depth camera.
결국, 신뢰도맵 생성부(330)는 레퍼런스 스테레오 영상의 제1 및 제2신뢰도 특징자가 특정 값을 가질 때에 레퍼런스 깊이맵의 신뢰도가 높은지 낮은지를 학습할 수 있다. 이를 통해 신뢰도맵 생성부(330)는 타겟 스테레오 영상의 제1 및 제2신뢰도 특징자가 입력되면, 타겟 스테레오 영상으로부터 생성될 깊이맵에 대한 신뢰도맵을 생성할 수 있다. 이 때, 입력되는 신뢰도 특징자의 차원수는 학습에 이용된 신뢰도 특징자의 차원수와 동일한 것이 바람직하다.As a result, the reliability map generator 330 may learn whether the reliability of the reference depth map is high or low when the first and second reliability features of the reference stereo image have a specific value. When the first and second reliability features of the target stereo image are input, the reliability map generator 330 may generate a reliability map for the depth map to be generated from the target stereo image. In this case, it is preferable that the number of dimensions of the reliability features input is the same as the number of dimensions of the reliability features used for learning.
신뢰도맵 생성부(330)는 학습을 위해 다양한 기계 학습 알고리즘을 이용할 수 있으며, 일실시예로서 랜덤 포레스트(random forest) 알고리즘을 이용할 수 있다.The reliability map generator 330 may use various machine learning algorithms for learning, and may use a random forest algorithm as an example.
본 발명에 따르면, 레퍼런스 스테레오 영상의 픽셀뿐만 아니라, 수퍼 픽셀에 대한 신뢰도 특징자를 이용하여 신뢰도 특징자에 대한 신뢰도맵을 학습함으로써, 타겟 스테레오 영상에 대한 보다 정확한 신뢰도맵을 생성할 수 있다.According to the present invention, by learning the reliability map for the reliability feature using not only the pixel of the reference stereo image but also the reliability feature for the super pixel, a more accurate reliability map for the target stereo image can be generated.
도 4는 본 발명의 다른 실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치를 설명하기 위한 도면으로서, 도 4에서는 신뢰도맵을 추정하는 과정 중심으로 설명된다. 도 5는 본 발명에 따른 신뢰도맵 생성부를 설명하기 위한 도면이다.FIG. 4 is a view for explaining an apparatus for measuring reliability of depth value through stereo matching according to another embodiment of the present invention. In FIG. 4, a process of estimating a reliability map will be described. 5 is a view for explaining a reliability map generation unit according to the present invention.
도 4를 참조하면, 본 발명에 따른 신뢰도 측정 장치는 정보 수신부(410) 및 신뢰도맵 생성부(420)를 포함한다. 도 4의 신뢰도맵 생성부(420)는 도 3의 신뢰도맵 생성부(330)에 대응된다. 다만 도 4의 신뢰도 측정 장치는 도 3의 신뢰도 측정 장치와 달리 외부에서 계산된 신뢰도 특징자를 입력받아 학습하고 신뢰도맵을 추정한다.Referring to FIG. 4, the apparatus for measuring reliability according to the present invention includes an information receiver 410 and a reliability map generator 420. The reliability map generator 420 of FIG. 4 corresponds to the reliability map generator 330 of FIG. 3. However, unlike the reliability measuring apparatus of FIG. 3, the reliability measuring apparatus of FIG. 4 receives an externally calculated reliability feature and estimates the reliability map.
정보 수신부(410)는 레퍼런스 스테레오 영상으로부터 획득한 픽셀 단위의 제1 및 제2신뢰도 특징자와, 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵을 수신 즉, 입력받아, 신뢰도맵 생성부(420)로 전송한다. 전술된 바와 같이, 제1신뢰도 특징자는 레퍼런스 스트레오 영상의 코스트 볼륨으로부터 픽셀 단위로 생성된 특징자이며, 제2신뢰도 특징자는 픽셀의 복수의 수퍼 픽셀에 대한 특징자이다.The information receiver 410 receives the first and second reliability features in units of pixels acquired from the reference stereo image and the reference depth map generated through stereo matching of the reference stereo image, that is, receives the reliability map generator ( 420). As described above, the first reliability feature is a feature generated in pixels from a cost volume of the reference stereo image, and the second reliability feature is a feature for a plurality of super pixels of the pixel.
신뢰도맵 생성부(420)가 레퍼런스 스테레오 영상의 실제 깊이맵과, 레퍼런스 깊이맵을 이용하여 학습을 수행하므로, 정보 수신부(410)는 실제 깊이맵을 더 입력받아, 신뢰도맵 생성부(420)로 전달할 수 있다.Since the reliability map generator 420 learns using the actual depth map of the reference stereo image and the reference depth map, the information receiver 410 further receives the actual depth map, and sends it to the reliability map generator 420. I can deliver it.
신뢰도맵 생성부(420)는 전술된 바와 같이, 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성한다. 레퍼런스 스테레오 영상의 신뢰도 특징자와 같이, 타겟 스테레오 영상의 신뢰도 특징자가 계산되어 신뢰도맵 생성부(420)로 입력되면, 신뢰도맵 생성부(420)는 타겟 스테레오 영상의 신뢰도 특징자에 대한 픽셀별 신뢰도값을 추정하여 제2신뢰도맵을 생성한다.As described above, the reliability map generator 420 generates a second reliability map for the depth map of the target stereo image by using the learning result. Like the reliability features of the reference stereo image, when the reliability features of the target stereo image are calculated and input to the reliability map generator 420, the reliability map generator 420 may perform pixel-by-pixel reliability of the reliability features of the target stereo image. The second reliability map is generated by estimating the value.
이 때, 신뢰도맵 생성부(420)는 제2신뢰도맵의 정확도를 향상시키기 위해, 제2신뢰도맵의 특정 픽셀의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수의 픽셀의 신뢰도 특징자 또는, 특정 픽셀의 수퍼 픽셀의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수의 수퍼 픽셀의 신뢰도 특징자를 이용할 수 있다. 신뢰도맵 생성부(420)는 신뢰도 특징자가 유사하면 신뢰도값이 유사하다는 전제하에, 유사한 신뢰도 특징자를 갖는 픽셀이나 수퍼 픽셀을 이용한다.In this case, the reliability map generator 420 may include a reliability feature of a plurality of pixels having a reliability feature similar to that of a specific pixel of the second reliability map, or a specific pixel in order to improve the accuracy of the second reliability map. It is possible to use reliability features of a plurality of super pixels with reliability features similar to the reliability features of the super pixels of. The reliability map generator 420 uses a pixel or a super pixel having similar reliability features, provided that the reliability values are similar, and the reliability values are similar.
보다 구체적으로 신뢰도맵 생성부(420)는 신뢰도맵 추정부(421), 유사 픽셀 결정부(422) 및 제1신뢰도맵 보정부(423)를 포함한다. 그리고 실시예에 따라서 유사 수퍼 픽셀 결정부(424) 및 제2신뢰도맵 보정부(425)를 더 포함할 수 있다.In more detail, the reliability map generator 420 includes a reliability map estimator 421, a similar pixel determiner 422, and a first reliability map corrector 423. According to an exemplary embodiment, the method may further include a similar super pixel determiner 424 and a second reliability map corrector 425.
신뢰도맵 추정부(421)는 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 추정한다.The reliability map estimator 421 estimates a second reliability map for the depth map of the target stereo image by using the learning result.
도 5를 참조하면, 유사 픽셀 결정부(422)는 제2신뢰도맵(510)의 제1픽셀(520)에 대한 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제2픽셀(521, 522)를 제2신뢰도맵에서 결정한다. 여기서 유사한 신뢰도 특징자는 신뢰도 특징자의 차이가 임계값 이하인 것을 의미할 수 있다.Referring to FIG. 5, the similar pixel determiner 422 may include a plurality of second pixels 521 and 522 having reliability characteristics similar to those of the first pixel 520 of the second reliability map 510. Determined from the second reliability map. Here, the similar reliability feature may mean that the difference between the reliability features is less than or equal to the threshold.
제1신뢰도맵 보정부(423)는 제2픽셀(521, 522)의 신뢰도값을 평균하여, 제2신뢰도맵(510)을 보정한다. 즉, 제1신뢰도맵 보정부(423)는 제1픽셀(520)의 신뢰도값을 제2픽셀(521, 522)에 대한 평균값으로 대체한다.The first reliability map correction unit 423 corrects the second reliability map 510 by averaging the reliability values of the second pixels 521 and 522. That is, the first reliability map correction unit 423 replaces the reliability value of the first pixel 520 with an average value of the second pixels 521 and 522.
유사 수퍼 픽셀 결정부(424)는 제1픽셀(520)에 대한 수퍼 픽셀(530)의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제3픽셀(531, 532)을 제2신뢰도맵(510)에서 결정한다. 유사 수퍼 픽셀 결정부(424)는 수퍼 픽셀(530)의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 제3픽셀(531, 532)의 수퍼 픽셀을 결정할 수도 있다.The pseudo super pixel determiner 424 may include a plurality of third pixels 531 and 532 having a reliability characteristic similar to that of the super pixel 530 with respect to the first pixel 520. Decide on The pseudo super pixel determiner 424 may determine a super pixel of the third pixels 531 and 532 having a reliability characteristic similar to that of the super pixel 530.
제2신뢰도맵 보정부(425)는 제3픽셀(531, 532)의 신뢰도값을 평균하여 제2신뢰도맵(510)을 보정한다. 즉, 제2신뢰도맵 보정부(425)는 제1픽셀(520)의 신뢰도값을 제3픽셀(531, 532)에 대한 평균값으로 대체한다. 실시예에 따라서, 제2신뢰도맵 보정부(425)는 제2픽셀(521, 522) 및 제3픽셀(531, 532)에 대한 신뢰도 평균값을 재평균하고, 재평균값을 제1픽셀(520)의 신뢰도값으로 보정할 수 있다.The second reliability map corrector 425 corrects the second reliability map 510 by averaging the reliability values of the third pixels 531 and 532. That is, the second reliability map correction unit 425 replaces the reliability value of the first pixel 520 with an average value of the third pixels 531 and 532. According to an exemplary embodiment, the second reliability map corrector 425 re-averages the reliability mean values of the second pixels 521 and 522 and the third pixels 531 and 532 and re-averages the re-average values of the first pixels 520. It can be corrected by the reliability value of.
본 발명에 따르면, 타겟 스테레오 영상에 대한 신뢰도맵 추정 이후, 유사한 신뢰도 특징자를 갖는 픽셀의 신뢰도값을 이용하여 신뢰도맵을 보정함으로써, 신뢰도맵에 대한 정확성이 보다 향상될 수 있다.According to the present invention, after estimating the reliability map for the target stereo image, the accuracy of the reliability map can be further improved by correcting the reliability map using the reliability values of pixels having similar reliability features.
도 6은 본 발명의 일실시예에 따른 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법을 설명하기 위한 도면이다.6 is a view for explaining a method of measuring the reliability of the depth value through stereo matching according to an embodiment of the present invention.
본 발명에 따른 신뢰도 측정 방법은 전술된 신뢰도 측정 장치 또는 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있다.The reliability measuring method according to the present invention may be performed in a computing device including the above-described reliability measuring apparatus or processor.
본 발명에 따른 신뢰도 측정 장치는 레퍼런스 스테레오 영상으로부터, 코스트 볼륨을 생성(S610)하고, 코스트 볼륨을 이용하여, 레퍼런스 스테레오 영상의 픽셀 단위로 제1신뢰도 특징자를 계산(S620)한다. 이 때, 신뢰도 측정 장치는 레퍼런스 스테레오 영상의 좌영상 및 우영상 각각에 대해 윈도우를 오버랩하고, 좌영상 또는 우영상의 윈도우를 기 설정된 탐색 범위만큼 이동시키면서, 좌영상 및 우영상의 윈도우에 포함된 픽셀 각각의 픽셀값 차이를 계산하여, 코스트 볼륨을 생성할 수 있다.The reliability measuring apparatus according to the present invention generates a cost volume from the reference stereo image (S610), and calculates a first reliability feature in units of pixels of the reference stereo image using the cost volume (S620). At this time, the reliability measuring apparatus overlaps the window for the left image and the right image of the reference stereo image, and moves the window of the left image or the right image by a predetermined search range, and is included in the window of the left image and the right image. The cost volume may be generated by calculating the pixel value difference of each pixel.
신뢰도 측정 장치는 제1신뢰도 특징자가 계산된 픽셀에 대한 복수의 수퍼 픽셀을 이용하여, 픽셀 단위로 제2신뢰도 특징자를 계산(S630)한다. 제1 및 제2신뢰도 특징자는, 코스트 볼륨에서, 픽셀 각각의 최소 비용 및 두번째로 작은 비용으로부터 생성될 수 있다.The reliability measuring apparatus calculates a second reliability feature on a pixel-by-pixel basis by using a plurality of superpixels for the pixel on which the first reliability feature is calculated. The first and second reliability features may be generated from the minimum cost and the second lowest cost of each pixel, in cost volume.
단계 S630에서 제2신뢰도 특징자는 복수의 수퍼 픽셀에 대한 제1신뢰도 특징자를 평균하여 생성될 수 있는데, 수퍼 픽셀은 일예로서 다음과 같은 방법으로 결정될 수 있다.In operation S630, the second reliability feature may be generated by averaging the first reliability features for the plurality of superpixels. The superpixel may be determined by, for example, the following method.
RGB 컬러로 표현되는 스테레오 영상의 색공간을 Lab 색공간으로 변환하고, 5차원의 정보인 L(밝기), a(빨강과 초록의 정도), b(노랑과 파랑의 정도), x, y(픽셀의 위치)를 이용하여 특정 픽셀에 대한 수퍼 픽셀을 결정한다. Lab 색공간으로 변환된 상태에서, K-means clustering을 수행하여 색깔이 비슷하고 거리가 가까운 픽셀을 그룹핑하고, 특정 픽셀과 색깔이 유사하고 거리가 가까운 픽셀들을 수퍼 픽셀로 결정한다. 색깔의 유사 정도와 거리의 가까움 정도는 색깔이나 거리의 차이가 임계값 이하인지 여부로 판단될 수 있다.Converts the color space of a stereo image expressed in RGB color to Lab color space, and uses 5-dimensional information of L (brightness), a (degree of red and green), b (degree of yellow and blue), x, y ( Pixel position) to determine the super pixel for a particular pixel. In the state transformed to Lab color space, K-means clustering is performed to group pixels of similar color and near distance, and to determine pixels that are similar to and close to the specific pixel as super pixels. The similarity of color and the closeness of the distance may be determined by whether the difference between the color and the distance is less than or equal to the threshold.
신뢰도 측정 장치는 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습(S640)하는데, 이 때, 깊이 카메라를 이용하여 획득한 깊이맵과, 레퍼런스 깊이맵의 차이를 이용하여, 제1신뢰도맵을 학습할 수 있다.The reliability measuring apparatus learns first reliability maps for the first and second reliability features (S640), wherein the first depth map is obtained by using a difference between a depth map obtained using a depth camera and a reference depth map. Can learn the reliability map.
이후 신뢰도 측정 장치는 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성(S650)하는데, 제2신뢰도맵의 특정 픽셀의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수의 픽셀의 신뢰도 특징자 또는, 특정 픽셀의 수퍼 픽셀의 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수의 수퍼 픽셀의 신뢰도 특징자를 이용할 수 있다.Thereafter, the reliability measuring apparatus generates a second reliability map for the depth map of the target stereo image by using the learning result (S650), and includes a plurality of pixels having reliability characteristics similar to those of a specific pixel of the second reliability map. It is possible to use a reliability feature of a plurality of super pixels having a reliability feature similar to that of the super pixel of a specific pixel.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The technical contents described above may be embodied in the form of program instructions that may be executed by various computer means and may be recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations are possible from these descriptions. Therefore, the spirit of the present invention should not be limited to the described embodiments, and all the things that are equivalent to or equivalent to the claims as well as the following claims will belong to the scope of the present invention. .

Claims (12)

  1. 레퍼런스 스테레오 영상으로부터, 코스트 볼륨을 생성하는 단계;Generating a cost volume from a reference stereo image;
    상기 코스트 볼륨을 이용하여, 상기 레퍼런스 스테레오 영상의 픽셀 단위로 제1신뢰도 특징자를 계산하는 단계;Calculating a first reliability feature on a pixel basis of the reference stereo image using the cost volume;
    상기 픽셀에 대한 복수의 수퍼 픽셀(super pixel)을 이용하여, 상기 픽셀 단위로 제2신뢰도 특징자를 계산하는 단계;Calculating a second reliability feature on a pixel-by-pixel basis using a plurality of super pixels for the pixel;
    상기 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습하는 단계; 및Learning a first confidence map for the first and second reliability features; And
    상기 학습 결과를 이용하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성하는 단계를 포함하며,Generating a second reliability map of a depth map of a target stereo image by using the learning result;
    상기 제1신뢰도맵은 상기 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵에 대한 신뢰도맵인,The first reliability map is a reliability map of a reference depth map generated through stereo matching of the reference stereo image.
    스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.Method of measuring reliability of depth value through stereo matching.
  2. 제 1항에 있어서,The method of claim 1,
    상기 코스트 볼륨을 생성하는 단계는Generating the cost volume
    상기 레퍼런스 스테레오 영상의 좌영상 및 우영상 각각에 대해 윈도우를 오버랩하고, 상기 좌영상 또는 우영상의 윈도우를 기 설정된 탐색 범위만큼 이동시키는 단계; 및Overlapping windows for the left and right images of the reference stereo image and moving the window of the left or right image by a predetermined search range; And
    상기 좌영상 및 우영상의 윈도우에 포함된 픽셀 각각의 픽셀값 차이를 계산하여, 상기 코스트 볼륨을 생성하는 단계Generating the cost volume by calculating a pixel value difference of each pixel included in the window of the left image and the right image
    를 포함하는 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.Reliability measurement method of the depth value through stereo matching comprising a.
  3. 제 2항에 있어서,The method of claim 2,
    상기 신뢰도 특징자는The reliability feature is
    상기 코스트 볼륨에서, 픽셀 각각의 최소 비용 및 두번째로 작은 비용으로부터 생성되는 특징자인In the cost volume, a feature generated from the minimum and second smallest cost of each pixel
    스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.Method of measuring reliability of depth value through stereo matching.
  4. 제 1항에 있어서,The method of claim 1,
    상기 제2신뢰도 특징자를 생성하는 단계는Generating the second reliability feature
    상기 픽셀에 대응되는 복수의 수퍼 픽셀에 대한 상기 제1신뢰도 특징자를 평균하여, 상기 제2신뢰도 특징자를 생성하는Generating the second reliability feature by averaging the first reliability features for a plurality of super pixels corresponding to the pixel.
    스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.Method of measuring reliability of depth value through stereo matching.
  5. 제 1항에 있어서,The method of claim 1,
    상기 수퍼 픽셀은The super pixel
    상기 픽셀과 인접한 픽셀로서 색상이 유사한 픽셀인Pixels that are similar in color to the pixel
    스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.Method of measuring reliability of depth value through stereo matching.
  6. 제 1항에 있어서,The method of claim 1,
    상기 제1신뢰도맵을 학습하는 단계는Learning the first reliability map
    깊이 카메라를 이용하여 획득한 깊이맵과, 상기 레퍼런스 깊이맵의 차이를 이용하여, 상기 제1신뢰도맵을 학습하는Learning the first reliability map by using the difference between the depth map obtained using a depth camera and the reference depth map.
    스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.Method of measuring reliability of depth value through stereo matching.
  7. 제 1항에 있어서,The method of claim 1,
    상기 제2신뢰도맵을 생성하는 단계는Generating the second reliability map
    상기 타겟 스테레오 영상에 대한 상기 신뢰도 특징자를 입력받는 단계;Receiving the reliability feature of the target stereo image;
    상기 학습 결과를 이용하여, 상기 상기 타겟 스테레오 영상의 깊이맵에 대한 상기 제2신뢰도맵을 생성하는 단계; Generating the second reliability map of the depth map of the target stereo image by using the learning result;
    상기 제2신뢰도맵의 제1픽셀에 대한 상기 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제2픽셀를 상기 제2신뢰도맵에서 결정하는 단계; 및Determining, in the second reliability map, a plurality of second pixels having reliability features similar to the reliability features for the first pixel of the second reliability map; And
    상기 제2픽셀의 신뢰도값을 평균하여, 상기 제2신뢰도맵을 보정하는 단계Correcting the second reliability map by averaging the reliability values of the second pixels;
    를 포함하는 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.Reliability measurement method of the depth value through stereo matching comprising a.
  8. 제 7항에 있어서,The method of claim 7, wherein
    상기 신뢰도맵을 생성하는 단계는Generating the reliability map
    상기 제1픽셀에 대한 제1수퍼 픽셀의 상기 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제2수퍼 픽셀을 상기 제2신뢰도맵에서 결정하는 단계; 및Determining, in the second reliability map, a plurality of second super pixels having reliability features similar to the reliability features of the first super pixel for the first pixel; And
    제2수퍼 픽셀의 신뢰도값을 평균하여 상기 제2신뢰도맵을 보정하는 단계Correcting the second reliability map by averaging confidence values of a second super pixel;
    를 더 포함하는 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법.Reliability measurement method of the depth value through stereo matching further comprising.
  9. 레퍼런스 스테레오 영상으로부터 획득한 픽셀 단위의 제1 및 제2신뢰도 특징자와, 상기 레퍼런스 스테레오 영상의 스테레오 매칭을 통해 생성된 레퍼런스 깊이맵을 입력받는 정보 수신부; 및An information receiver configured to receive first and second reliability features in units of pixels acquired from a reference stereo image, and a reference depth map generated through stereo matching of the reference stereo image; And
    상기 레퍼런스 깊이맵과, 상기 제1 및 제2신뢰도 특징자에 대한 제1신뢰도맵을 학습하여, 타겟 스테레오 영상의 깊이맵에 대한 제2신뢰도맵을 생성하는 신뢰도맵 생성부를 포함하며,And a reliability map generator for learning the reference depth map and first reliability maps for the first and second reliability features to generate a second reliability map for the depth map of the target stereo image.
    상기 제1신뢰도 특징자는 상기 레퍼런스 스트레오 영상의 코스트 볼륨으로부터 픽셀 단위로 생성된 특징자이며,The first reliability feature is a feature generated in pixel units from the cost volume of the reference stereo image,
    상기 제2신뢰도 특징자는 상기 픽셀의 복수의 수퍼 픽셀에 대한 특징자인,The second reliability feature is a feature for a plurality of super pixels of the pixel;
    스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치.Apparatus for measuring reliability of depth value through stereo matching.
  10. 제 9항에 있어서,The method of claim 9,
    상기 신뢰도맵 생성부는The reliability map generator
    깊이 카메라를 이용하여 획득한 깊이맵과, 상기 레퍼런스 깊이맵의 차이를 이용하여, 상기 제1신뢰도맵을 학습하는Learning the first reliability map by using the difference between the depth map obtained using a depth camera and the reference depth map.
    스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치.Apparatus for measuring reliability of depth value through stereo matching.
  11. 제 9항에 있어서,The method of claim 9,
    상기 신뢰도맵 생성부는The reliability map generator
    상기 학습 결과를 이용하여, 상기 타겟 스테레오 영상의 깊이맵에 대한 상기 제2신뢰도맵을 추정하는 신뢰도맵 추정부; A reliability map estimator for estimating the second reliability map with respect to a depth map of the target stereo image by using the learning result;
    상기 제2신뢰도맵의 제1픽셀에 대한 상기 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제2픽셀를 상기 제2신뢰도맵에서 결정하는 유사 픽셀 결정부; 및A similar pixel determination unit that determines, in the second reliability map, a plurality of second pixels having reliability features similar to the reliability features for the first pixel of the second reliability map; And
    상기 제2픽셀의 신뢰도값을 평균하여, 상기 제2신뢰도맵을 보정하는 제1신뢰도맵 보정부A first reliability map corrector for averaging the reliability values of the second pixels to correct the second reliability map
    를 포함하는 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치.Apparatus for measuring reliability of depth value through stereo matching.
  12. 제 11항에 있어서,The method of claim 11,
    상기 신뢰도맵 생성부는The reliability map generator
    상기 제1픽셀에 대한 수퍼 픽셀의 상기 신뢰도 특징자와 유사한 신뢰도 특징자를 갖는 복수개의 제3픽셀을 상기 제2신뢰도맵에서 결정하는 유사 수퍼 픽셀 결정부; 및A similar super pixel determination unit that determines, in the second reliability map, a plurality of third pixels having reliability characteristics similar to the reliability characteristics of the super pixel with respect to the first pixel; And
    제3픽셀의 신뢰도값을 평균하여 상기 제2신뢰도맵을 보정하는 제2신뢰도맵 보정부A second reliability map corrector for correcting the second reliability map by averaging a reliability value of a third pixel;
    를 더 포함하는 스테레오 매칭을 통한 깊이값의 신뢰도 측정 장치.Apparatus for measuring the reliability of the depth value through stereo matching further comprising.
PCT/KR2017/003888 2016-07-26 2017-04-11 Method and apparatus for measuring confidence of deep value through stereo matching WO2018021657A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160094478A KR101784620B1 (en) 2016-07-26 2016-07-26 Method and device for measuring confidence of depth by stereo matching
KR10-2016-0094478 2016-07-26

Publications (1)

Publication Number Publication Date
WO2018021657A1 true WO2018021657A1 (en) 2018-02-01

Family

ID=60384383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/003888 WO2018021657A1 (en) 2016-07-26 2017-04-11 Method and apparatus for measuring confidence of deep value through stereo matching

Country Status (2)

Country Link
KR (1) KR101784620B1 (en)
WO (1) WO2018021657A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349198A (en) * 2018-04-02 2019-10-18 联发科技股份有限公司 Solid matching method and corresponding Stereo matching device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102052564B1 (en) * 2018-03-09 2019-12-05 한국과학기술원 Method and apparatus for estimating depth from light field image
KR20230123855A (en) 2022-02-17 2023-08-24 광운대학교 산학협력단 Method and apparatus for creating efficient depth map with lightweight deep neural network

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140056617A (en) * 2012-10-30 2014-05-12 엘지디스플레이 주식회사 Disparity calculation unit and stereoscopic image display device including the same and disparity calculation method
KR20150140392A (en) * 2013-09-05 2015-12-15 이베이 인크. Estimating depth from a single image
KR20160010120A (en) * 2014-07-18 2016-01-27 삼성전자주식회사 Stereo matching apparatus and method using unary confidences learning and pairwise confidences learning
KR20160015662A (en) * 2014-07-31 2016-02-15 한국전자통신연구원 Method of stereo matching and apparatus for performing the method
KR20160049371A (en) * 2014-10-27 2016-05-09 삼성전자주식회사 Image generating apparatus and method for generating image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140056617A (en) * 2012-10-30 2014-05-12 엘지디스플레이 주식회사 Disparity calculation unit and stereoscopic image display device including the same and disparity calculation method
KR20150140392A (en) * 2013-09-05 2015-12-15 이베이 인크. Estimating depth from a single image
KR20160010120A (en) * 2014-07-18 2016-01-27 삼성전자주식회사 Stereo matching apparatus and method using unary confidences learning and pairwise confidences learning
KR20160015662A (en) * 2014-07-31 2016-02-15 한국전자통신연구원 Method of stereo matching and apparatus for performing the method
KR20160049371A (en) * 2014-10-27 2016-05-09 삼성전자주식회사 Image generating apparatus and method for generating image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349198A (en) * 2018-04-02 2019-10-18 联发科技股份有限公司 Solid matching method and corresponding Stereo matching device

Also Published As

Publication number Publication date
KR101784620B1 (en) 2017-11-06

Similar Documents

Publication Publication Date Title
WO2015005577A1 (en) Camera pose estimation apparatus and method
US8385595B2 (en) Motion detection method, apparatus and system
WO2016122069A1 (en) Method for measuring tire wear and device therefor
US10529076B2 (en) Image processing apparatus and image processing method
WO2018021657A1 (en) Method and apparatus for measuring confidence of deep value through stereo matching
WO2014073841A1 (en) Method for detecting image-based indoor position, and mobile terminal using same
CN110909750B (en) Image difference detection method and device, storage medium and terminal
CN105279372A (en) Building height computing method and apparatus
CN111340749B (en) Image quality detection method, device, equipment and storage medium
WO2020235734A1 (en) Method for estimating distance to and location of autonomous vehicle by using mono camera
WO2017099510A1 (en) Method for segmenting static scene on basis of image statistical information and method therefor
WO2011136407A1 (en) Apparatus and method for image recognition using a stereo camera
WO2019147024A1 (en) Object detection method using two cameras having different focal distances, and apparatus therefor
CN113012224B (en) Positioning initialization method and related device, equipment and storage medium
CN110598795A (en) Image difference detection method and device, storage medium and terminal
WO2021221334A1 (en) Device for generating color map formed on basis of gps information and lidar signal, and control method for same
WO2012134237A2 (en) System and method for estimating the attitude of a camera having captured an image
WO2023027268A1 (en) Camera-lidar calibration device and method
CN105335959A (en) Quick focusing method and device for imaging apparatus
WO2011136405A1 (en) Image recognition device and method using 3d camera
WO2016035924A1 (en) Running sensing method and system
WO2019194561A1 (en) Location recognition method and system for providing augmented reality in mobile terminal
WO2014051309A1 (en) Stereo matching apparatus using image property
WO2017086522A1 (en) Method for synthesizing chroma key image without requiring background screen
WO2019009579A1 (en) Stereo matching method and apparatus using support point interpolation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17834602

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17834602

Country of ref document: EP

Kind code of ref document: A1