KR20110014067A - Method and system for transformation of stereo content - Google Patents
Method and system for transformation of stereo content Download PDFInfo
- Publication number
- KR20110014067A KR20110014067A KR1020090113357A KR20090113357A KR20110014067A KR 20110014067 A KR20110014067 A KR 20110014067A KR 1020090113357 A KR1020090113357 A KR 1020090113357A KR 20090113357 A KR20090113357 A KR 20090113357A KR 20110014067 A KR20110014067 A KR 20110014067A
- Authority
- KR
- South Korea
- Prior art keywords
- depth map
- image
- depth
- pixel
- stereo
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000009466 transformation Effects 0.000 title abstract 2
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000009499 grossing Methods 0.000 claims description 56
- 238000001914 filtration Methods 0.000 claims description 39
- 208000003464 asthenopia Diseases 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 16
- 230000008447 perception Effects 0.000 claims description 15
- 239000000872 buffer Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 238000011426 transformation method Methods 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000013507 mapping Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 101150047356 dec-1 gene Proteins 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 스테레오 이미지 및 비디오 정보를 처리하는 방법 및 시스템에 관한 것으로, 더욱 상세하게는 3D 비디오를 시청함에 있어서 눈의 피로를 감소시키기 위한 스테레오 컨텐트의 변환에 관한 방법 및 장치들에 관한 것이다.The present invention relates to a method and system for processing stereo image and video information, and more particularly, to a method and apparatus for the conversion of stereo content to reduce eye fatigue in watching 3D video.
3D (three-dimensional) TV는 일련의 이차원 이미지뿐만 아니라 삼차원 씬의 이미지들을 시청자에게 제공하는 3D TV가 현대 TV를 대신하게 될 것으로 예상된다. 3D TV 장치의 기능의 요구사항 중 하나는 시청에 있어서 향상된 안락함을 추구하고자 하는 시청자의 희망에 따라 깊이의 변화의 가능성을 제공하는 것이다. 이미지의 깊이의 제어의 가능성을 제공하기 위해서는, 새로운 뷰(이미지)를 합성하는 문제를 해결하는 것이 필요하다. 이미지의 입력 스테레오 쌍(stereo pairs)에 기초하여 계산되는 시차/깊이맵(disparity/depth map)으로부터 수신한 정보를 이용하여 새로운 가상 뷰(virtual view)는 합성된다. 변화된 깊이를 가지는 합성된 스테레오 쌍의 품질은 실제로 깊이맵의 품질에 달려있기 때문에, 정확한 시차 계산은 매우 어려운 문제이다. 따라서 3D 컨텐트를 시연하는 동안, 가상 뷰를 합성하기 위한 방법을 적 용할 기회를 가지기 위한 계속된 처리로 원시(최초) 시차/깊이맵을 생성하기 위해서 소정의 스테레오 쌍의 매칭(matching) 방법을 적용하는 것이 필요하다.Three-dimensional (3D) TVs are expected to replace modern TVs, which provide not only a series of two-dimensional images but also images of three-dimensional scenes to viewers. One of the requirements of the functionality of the 3D TV device is to provide the possibility of varying depths in accordance with the viewer's desire to seek enhanced comfort in viewing. In order to provide the possibility of controlling the depth of the image, it is necessary to solve the problem of composing a new view (image). A new virtual view is synthesized using the information received from the disparity / depth map calculated based on the input stereo pairs of the image. Accurate parallax computation is very difficult because the quality of the synthesized stereo pair with varying depth actually depends on the quality of the depth map. Therefore, while demonstrating 3D content, we apply a matching method of a given stereo pair to generate a raw (first) parallax / depth map with continued processing to have the opportunity to apply the method for synthesizing a virtual view. It is necessary to do
시차(disparity) 계산 또는 스테레오 쌍의 매칭 과정은 스테레오 뷰에 서 바이-픽셀 매핑 또는 포인트-위드-포인트 매핑(by-pixel mapping or point-with-point mapping)의 검출 문제를 맞이하게 된다. 둘 또는 그 이상의 이미지들은 카메라 세트들로부터 입력되고, 연결 맵(시차맵)은 출력으로 수신되고, 다른 이미지에서 유사한 포인트에 대하여 한 이미지의 각각의 포인트의 매핑을 디스플레이한다. 수신된 시차는 근처의 객체들에 대해서는 큰 값으로 표현될 것이고, 먼 객체들에 대해서는 작은 값으로 표현될 것이다. 따라서 변이 맵은 스테이지의 깊이의 반전으로 고려되는 것이 가능하다.Disparity calculation or matching of stereo pairs faces the problem of detection of bi-pixel mapping or point-with-point mapping in stereo views. Two or more images are input from the camera sets, a connection map (parallax map) is received as an output, and displays a mapping of each point of one image to similar points in another image. The received parallax will be represented by a large value for nearby objects and a small value for distant objects. Thus, the disparity map can be considered as an inversion of the depth of the stage.
스테레오 쌍의 매칭 알고리즘은 현재 픽셀의 근처에서 동작하는 로컬 알고리즘(local algorithm)과 전체 이미지에서 동작하는 전역 알고리즘(global algorithm)으로 나뉠 수 있다. 로컬 알고리즘은 지원 윈도우(support window)에서 시차의 계산된 함수는 평활하다는 가정에서 출발한다. 로컬 알고리즘의 수행의 결과는 일반적으로 매우 정확하지 않으나, 실시간 어플리케이션에서는 적용할 만하다. 반면에, 전역 알고리즘은 평활화의 양 함수(explicit function)를 사용하며, 그 후에 최적화 문제를 해결한다. 일반적으로, 그래프 섹션의 동적 프로그래밍 또는 알고리즘과 같은 복잡한 계산 방법의 사용을 요구한다.The matching algorithm of the stereo pair can be divided into a local algorithm operating near the current pixel and a global algorithm operating on the entire image. The local algorithm starts with the assumption that the calculated function of parallax in the support window is smooth. The result of running a local algorithm is generally not very accurate, but is applicable in real time applications. Global algorithms, on the other hand, use an explicit function of smoothing, which then solves the optimization problem. In general, this requires the use of complex computational methods, such as dynamic programming or algorithms in graph sections.
프로토타입의 결점은 다음과 같다. 프로토타입 방법에서, “배경” 모드 또는 “전경+배경”모드에서 입력 비디오를 어떻게 분류하는지 설명이 없다. 게다가, 시차방법에 의한 측정이 명확하지 않다. 시차맵의 계산은 매우 복잡한 태스크(task)이므로, 시차맵 계산의 방법은 정확하게 검출되어야 하며, 동시에 기존의 방법보다는 낮지 않은 품질을 제공하도록 하드웨어에 그것을 적용할 능력이 있어야 한다. 게다가, 하드웨어에 구현을 위해서는, 디바이스의 비용을 가능한 한 낮게 메모리의 자원을 사용하는 것이 중요하다. 따라서 계산의 횟수와 메모리의 볼륨에 대하여 낮은 요구사항을 가지는 고품질의 깊이 생성에 기초한 깊이 계산의 방법의 개발이 필요하다.The drawbacks of the prototype are: In the prototype method, there is no explanation how to classify the input video in "background" mode or "foreground + background" mode. In addition, the measurement by the parallax method is not clear. Since the calculation of the parallax map is a very complex task, the method of parallax map calculation must be accurately detected and at the same time have the ability to apply it to the hardware to provide a lower quality than conventional methods. In addition, for implementation in hardware, it is important to use the resources of the memory as low as possible the cost of the device. Therefore, it is necessary to develop a depth calculation method based on high quality depth generation with low requirements for the number of calculations and the volume of memory.
본 발명이 해결하고자 하는 기술적 과제는 3D 비디오를 시청할 때, 눈의 피로를 감소시키기 위한 스테레오 컨텐트의 변환 장치 및 방법을 제공하며, 다른 경우에는 3D TV 수신기에서 시연동안 깊이의 인식에 확실한 제어를 제공한다.SUMMARY OF THE INVENTION The technical problem to be solved by the present invention provides an apparatus and method for converting stereo content to reduce eye fatigue when watching 3D video, and in other cases, provides a definite control on the recognition of depth during the demonstration in a 3D TV receiver. do.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 3D 비디오를 시청할 때, 눈의 피로를 감소시키기 위한 스테레오 컨텐트를 변환하는 방법에 있어서, 상기 3D 비디오로부터 스테레오 이미지에 대한 최초 깊이 맵(initial depth map)을 계산하는 단계; 상기 깊이맵을 평활화하는 단계; 눈의 피로 측정에 따라 깊이 지각 파라미터(depth perception parameter)를 변화하는 단계; 및 상기 깊이 지각 파라미터에 따라 새로운 스테레오 이미지를 생성하는 단계를 포함한다.According to an embodiment of the present invention for solving the above technical problem, a method of converting stereo content for reducing eye fatigue when watching 3D video, the initial depth map for the stereo image from the 3D video ( calculating an initial depth map; Smoothing the depth map; Changing the depth perception parameter in accordance with eye fatigue measurements; And generating a new stereo image according to the depth perception parameter.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따라, 3D 비디오를 시청할 때 눈의 피로를 감소시키기 위한 스테레오 컨텐트 변환 시스템에 있어서, 입력된 스테레오 이미지에 기초하여 깊이맵을 계산하고, 상기 깊이맵을 평활화하는 깊이맵 계산 및 평활화부; 깊이 지각을 조정하는 깊이 제어부; 및 상기 조정된 깊이 지각에 따라 새로운 스테레오 이미지를 생성하는 시각화부를 포함한다.According to another embodiment of the present invention for solving the technical problem, in the stereo content conversion system for reducing eye fatigue when watching 3D video, calculating a depth map based on the input stereo image, the depth Depth map calculation and smoothing unit for smoothing the map; A depth controller for adjusting the depth perception; And a visualization unit generating a new stereo image according to the adjusted depth perception.
스테레오 컨텐트에 기초한 깊이의 계산은 특히, 균일 사이트(비-텍스쳐 영역)(uniform site(non-texture area)), 깊이 불연속 사이트, 폐색 사이트(occlusion site) 및 모호한 결정을 유도하는 반복되는 그림(템플릿)에 대한 표면에 대하여 복잡한 태스크이다. 이것은, 신뢰성이 있거나 명백한 깊이 세트 값은 매우 적다는 것을 의미한다. 예를 들어, 이들 영역들은 오직 한 이미지에서는 관찰이 가능하므로, 예를 들어, 폐색(예를 들어, 블로킹된) 영역들에 대한 어떤 깊이 값들은 매칭을 통하여 계산이 되지 않는다. 고 품질의 가상 뷰 합성 과정은 1) 조밀 깊이맵(dense depth map), 2) 객체의 가장자리와 정확하게 일치하는 깊이의 정확한 가장자리, 3) 객체의 한계 안에서 깊이의 레벨화된 값을 요구한다.Depth calculations based on stereo content are particularly useful for uniform sites (non-texture areas), depth discontinuities, occlusion sites, and repeated pictures (templates) that lead to ambiguous decisions. This is a complex task for surfaces. This means that there is very little reliable or apparent depth set value. For example, these areas are observable in only one image, so that some depth values for, for example, occluded (eg, blocked) areas are not calculated through matching. The high quality virtual view synthesis process requires 1) a dense depth map, 2) an exact edge of depth that exactly matches the edge of the object, and 3) a leveled value of depth within the limits of the object.
이와 관련하여, 가상 뷰(virtual view)의 합성 과정은 눈에 보이는 아티팩트(artifact)를 생성하지 못했고, 실제 깊이에 대한 최대 근사화를 제공하기 위해서는 모호한 깊이 값을 검출하고 교정하는 것이 필요하다. 종래 기술의 해법은 기본적으로 동적 프로그래밍, 그래프 섹션, 세그먼테이션에 의한 스테레오 쌍의 매칭 등과 같은 다양한 최적화 전략을 사용한다. 그러나 그러한 해법들은 높은 계산 리소스를 요구하고, 아티팩트가 없고, 뷰의 합성에 적합한 부드러운 깊이맵을 생성하지 못한다.In this regard, the synthesis process of the virtual view did not produce visible artifacts, and it is necessary to detect and correct ambiguous depth values in order to provide maximum approximation to the actual depth. The prior art solutions basically use various optimization strategies such as dynamic programming, graph sections, matching of stereo pairs by segmentation, and the like. However, such solutions require high computational resources, no artifacts, and do not produce a smooth depth map suitable for compositing the view.
제공된 방법에서는 시차 계산에 대한 전역(global) 방법을 사용한 최적화보다는 로컬 윈도우에서 빠른 최초 깊이맵 정련(initial depth map refinement)에 집중할 것이다. 최초 깊이맵은 스테레오 뷰의 로컬 매칭 방법으로 획득될 수 있다. 일반적으로, 그러한 종류의 깊이는 특히 로우 텍스쳐링된 영역(areas with low texture) 및 폐색 영역에서 매우 잡음이 많다. 이 방법의 중요 아이디어는 평활화에 대하여 가중치 평균 필터(weighted average filter) 및 레퍼런스 컬러 이미지(reference color image) 및 신뢰성 높은 깊이 픽셀에 기초한 최초 깊이맵 정련을 사용하는 것으로 이루어져 있다. 일정한 근처에서 유사한 컬러를 가진 픽셀에 대한 깊이 값은 유사하다는 가정이 이루어진다. 따라서 신뢰성 높은 깊이 값은 컬러의 유사성 및 레퍼런스 컬러 이미지에서의 근접성에 기초하여 불확실한 픽셀에 부여될 수 있다. 게다가, 그러한 필터링은 신뢰성있는 깊이로 픽셀을 특정하고, 조밀하고 평활한 깊이 맵을 형성하여, 깊이맵에 대한 상기 요구 사항을 만족시킨다.The method provided will focus on initial initial depth map refinement in the local window rather than optimization using the global method for parallax calculation. The initial depth map may be obtained by a local matching method of the stereo view. In general, such kind of depth is very noisy, especially in areas with low texture and occlusion. An important idea of this method consists in using a weighted average filter and reference color image and initial depth map refinement based on reliable depth pixels for smoothing. The assumption is made that the depth values for pixels with similar color in a given vicinity are similar. Thus, a reliable depth value can be assigned to an uncertain pixel based on the similarity of color and proximity in the reference color image. In addition, such filtering specifies pixels with reliable depth and forms a dense and smooth depth map, meeting the above requirements for depth maps.
제공된 방법은 현재 픽셀이 비이상적인지(신뢰성 없는지) 아닌지에 대해 다수의 기술적 정의를 사용한다. 신뢰성 없는 픽셀은 필터링 과정으로부터 그들의 예외에 대하여 마스크(mask)의 어떤 값에 의하여 마킹된다. 다양한 기술들이 픽셀의 신뢰성 평가를 위하여 사용될 수 있다. 제안된 방법에서 깊이 값의 크로스-체크가 좌측 또는 우측에 적용될 수 있다. 다른 말로, 대응되는 포인트에 좌측 및 우측에서 깊이 값의 차이가 임계값보다 적은 경우, 깊이 값은 신뢰성 있는 것으로 간주된다. 그렇지 않으면, 그들은 비이상적인 것으로 마킹되고, 평활화 과정에서 삭제된다. 그러나 객체의 폐색 또는 깊이맵의 잡음이 있는 경우 비이상적 픽셀의 성공적인 처리를 위하여 큰 커널(kernel)을 가진 필터가 요구된다. 제공된 방법은 필터의 커널의 크기의 감소를 위해서 재귀적 구현에 기초하고 있다. 재귀적 구현은 필터링의 결과가 최초 버퍼에 저장된다. 이는 좀 더 적은 반복으로 좀 더 빠른 알고리즘의 컨버전스(convergence)를 이끌 수 있다.The provided method uses a number of technical definitions as to whether the current pixel is non-ideal (unreliable) or not. Unreliable pixels are marked by some value of a mask for their exception from the filtering process. Various techniques can be used to evaluate the reliability of the pixel. In the proposed method a cross-check of the depth value can be applied to the left or the right. In other words, if the difference in depth values at the left and right at the corresponding point is less than the threshold, the depth value is considered to be reliable. Otherwise, they are marked non-ideal and deleted during the smoothing process. However, in the case of object occlusion or noise in the depth map, a filter with a large kernel is required for successful processing of non-ideal pixels. The method provided is based on a recursive implementation for reducing the kernel's size of the filter. In a recursive implementation, the result of the filtering is stored in the initial buffer. This can lead to faster convergence of algorithms with fewer iterations.
제공된 방법에서, 깊이맵에서 비이상적 픽셀을 검출하는 아이디어가 분석되었다. 원시 깊이 맵의 잡음을 제거하기 위하여, 히스토그램의 분석이 적용되었다. 깊이맵의 잡음 값은 히스토그램의 낮고 높은 가장자리에서 웨이브에 의하여 표현된다. 도 7(c)를 참조하라. 히스토그램의 컷이 비이상적 픽셀을 제거하기 위하여 그 가장자리에 적용되었다. 메모리의 라인에 저장된 정보에 기초하여 구성된 로컬 히스토그램을 사용하고, 그 결과 전체 이미지를 작업할 필요가 없기 때문에, 히스토그램의 컷 방법은 하드웨어에서 구현하기에 적합하다.In the provided method, the idea of detecting non-ideal pixels in the depth map was analyzed. To remove the noise of the raw depth map, the histogram analysis was applied. The noise value of the depth map is represented by the wave at the low and high edges of the histogram. See Figure 7 (c). Cuts in the histogram were applied to the edges to remove non-ideal pixels. The method of cutting the histogram is suitable for implementation in hardware because it uses a local histogram constructed based on the information stored in the line of memory, and as a result does not need to work on the entire image.
로우 텍스쳐링된 사이트에서 최초 깊이맵의 노이즈를 효과적으로 제거하기 위하여, 그러한 사이트에서 깊이 평활화 알고리즘은 평활화 필터를 더 강하게 설정하여 처리한다. 대응하는 컬러 이미지의 하이 텍스쳐링된 사이트 및 로우 텍스쳐링된 사이트의 이진 마스킹을 위하여 특별한 그래디언트 필터를 사용한다. 그래디언트 필터는 로컬 윈도우에서 네 가지 형태의 그래디언트를 계산하기 때문에, 하드웨어에서 구현하기에 적합하다.In order to effectively remove the noise of the original depth map at the low texturized site, the depth smoothing algorithm at such a site sets and processes the smoothing filter more strongly. A special gradient filter is used for the binary masking of the high textured and low textured sites of the corresponding color image. The gradient filter is suitable for hardware implementation because it computes four different gradients in the local window.
본 발명의 일 실시예에서, 방법은 높은 품질의 깊이맵을 생성하고, 뷰의 합성에 깊이 인식의 조정된 파라미터를 제공한다. 도 13은 본 발명의 일 실시예에 따른 적용의 결과를 나타낸다. 결과들은 알고리즘의 3회 반복으로 메모리의 라인 일곱 개의 사용으로 수신된다. 이들 예로부터, 로컬 윈도우에서 동작하는 매우 적은 반복 동안 깊이맵의 노이즈를 정련하는 능력을 부여하는 것을 볼 수 있다. 그래픽 요소를 가진 본 발명의 본질이 더 기술될 것이다.In one embodiment of the invention, the method produces a high quality depth map and provides adjusted parameters of depth perception to the composition of the view. Figure 13 shows the results of the application according to one embodiment of the present invention. The results are received with the use of seven lines of memory in three iterations of the algorithm. From these examples, one can see that it gives the ability to refine the noise of the depth map during very few iterations operating in the local window. The nature of the invention with graphical elements will be further described.
첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 3D 비디오를 시청할 때, 눈의 피로를 감소시키기 위한 스테레오 컨텐트 변환 시스템을 나타내는 도면이다. 도 1을 참조하면, 시스템은 각각 서로 연결되어 있으며, 깊이맵의 계산 및 평활화부(block of computation and smoothing of depth map; 101), 깊이 제어부(block of depth control; 102) 및 시각화부(block of visualization; 103)를 포함한다. 계산 및 평활화부(101)는 스테레오 이미지(스테레오-뷰 이미지)에 기초하여 깊이맵을 계산한다. 본질적으로, 깊이맵은 깊이 제어부(102)에 의하여 조정된 깊이의 인식 파라미터들에 따라 시각화부(103)에 의한 새로운 스테레오- 이미지(변환된 스테레오-뷰)의 생성을 필요로 한다. 계산 및 평활화부(101)는 아래에 상세하게 기술된다.1 is a diagram illustrating a stereo content conversion system for reducing eye fatigue when watching 3D video according to an embodiment of the present invention. Referring to FIG. 1, the systems are connected to each other, and a block of computation and smoothing of depth map 101, a block of depth control 102, and a block of visualization; The calculation and smoothing unit 101 calculates a depth map based on the stereo image (stereo-view image). In essence, the depth map requires the creation of a new stereo-image (transformed stereo-view) by the visualization unit 103 in accordance with the recognition parameters of the depth adjusted by the depth control unit 102. The calculation and smoothing unit 101 is described in detail below.
도 2는 본 발명의 일 실시예에 따른 3D 비디오를 시청할 때 눈의 피로를 감소시키기 위한 스테레오 컨텐트의 변환에 관한 방법을 나타내는 흐름도이다. 3D 비디오를 시청할 때 눈의 피로를 감소시키기 위한 스테레오 컨텐트의 변환에 관한 방법의 구현을 단계별로 고려할 것이다.2 is a flowchart illustrating a method for converting stereo content to reduce eye strain when watching 3D video according to an embodiment of the present invention. We will consider step by step the implementation of a method for the conversion of stereo content to reduce eye strain when watching 3D video.
단계 201에서, 최초 깊이맵의 계산이 이루어진다. 최초 깊이맵(initial depth map)의 계산은 일반적인 스테레오 뷰의 로컬 매칭 방법을 이용하여 수행된다. 원시 깊이맵(raw depth map)이 최초 깊이맵의 계산 단계에서 계산된 후에, 깊이 제어 방법은 깊이맵의 평활화 단계인 202 단계로 이동한다. 202 단계는 원시 깊이맵으로부터 비이상적인 픽셀들(abnormal pixels)을 제거하고, 깊이 인식 파라미터들에 따라 뷰의 표현에 적합하게 하기 위한 것이다. 깊이맵의 평활화 방법은 아래에 자세히 기술될 것이다.In
깊이 제어 방법의 다음 단계인 단계 203은 관찰 가능한 3D TV 컨텐트의 깊이 인식의 조정(adjustment of recognition of depth)으로 이루어진다. 그것은 좌안 및 우안에 대한 이미지들의 위치 변환으로 수행된다. 본 발명의 일 실시예에서, 0 에서 1까지 변화하는 파라미터 D는 깊이 파라미터의 지각(perception)을 제어한다. 파라미터 D는 우측 뷰의 위치에 대응한다. 공간에서 좌안과 우안에 대한 이미지들이 일치할 경우, 값 1은 입력 스테레오 뷰의 컨피그레이션(configuration)에 대응하고, 0 값은 단안 (單眼) 표현의 경우를 의미한다. 이 파라미터의 설정에 있어서 신뢰할 수 있는 값은 0.1에서 1까지의 범위에 있다.
단계 204에서, 깊이 제어 방법은 파라미터 D의 값에 기초하여 우안에 대한 새로운 뷰를 형성한다. 단계 203에서 계산된 깊이맵으로서 시차맵에 기초하여, 우안에 대한 새로운 뷰는 보간에 의하여 합성될 수 있고, 좌안과 우안에 대한 최초 이미지들 사이에 픽셀들의 매핑을 나타낸다. 우안에 대한 새로운 이미지와 같이 좌안에 대한 최초 이미지는 수정된 스테레오 이미지를 형성하고, 최초 스테레오 이미지와 비교하여 감소된 시차(parallax)를 가진다. 감소된 시차(parallax)를 가진 생성된 스테레오 이미지는 3D TV를 오랫동안 시청 동안, 눈의 피로를 감소시킨다.At
도 3은 본 발명의 일 실시예에 따른 재귀적 필터링(recursive filtration)에 기초한 깊이맵 평활화 시스템을 나타내는 블록 다이어그램이다.3 is a block diagram illustrating a depth map smoothing system based on recursive filtration according to an embodiment of the present invention.
도 3을 참조하면, 깊이맵 평활화 시스템은 전처리부(block of pre-processing; 320), 최초 깊이맵 계산부(block of computation of initial depth map; 330), 깊이맵 평활화부(block 340 of smoothing of a depth map; 340) 및 시간 필터링부(temporal filtering; 350)를 포함한다. 스테레오 이미지는 평활화 시스템에서 입력 데이터로서 사용된다. 스테레오 이미지는 분리된 이미지의 형태로 제공될 수도 있고, 비디오 프레임들에 기초하여 이루어진 형태로 제공될 수도 있 고, 스테레오-카메라로부터 수신할 수도 있다. 다수의 카메라에 의하여 찍는 경우, 선택된 카메라들로부터의 이미지 쌍은 스테레오 이미지를 형성할 수 있다. 필요한 계산을 수행한 후에 깊이맵 평활화 시스템은 선택된 뷰에 대하여 밀집 깊이맵(dense depth map)을 생성한다.Referring to FIG. 3, the depth map smoothing system includes a block of pre-processing 320, a block of computation of initial depth map 330, and a depth map smoothing block 340 of smoothing of a depth map 340 and temporal filtering 350. Stereo images are used as input data in the smoothing system. The stereo image may be provided in the form of a separate image, may be provided based on video frames, or may be received from a stereo-camera. When taken by multiple cameras, image pairs from selected cameras may form a stereo image. After performing the necessary calculations, the depth map smoothing system generates a dense depth map for the selected view.
전처리부(320)는 최초 깊이맵 계산부(330) 및 깊이맵 평활화부(340)에서의 효과적인 처리를 위하여 스테레오 이미지를 준비한다. 전처리부(320)는 스테레오 이미지 전처리부(block of pre-processing of the stereo image; 321) 및 레퍼런스 이미지 세그먼테이션부(block of segmentation of the reference image; 322)를 포함한다. 스테레오 이미지 전처리부(321)는 두 개의 주 기능을 가진다. 첫째, 최초 스테레오 이미지로부터 각각의 뷰에 대응하는 분리된 이미지들을 선택한다. 이미지들은 레퍼런스 및 매칭에 따라 다시 나뉜다. 레퍼런스 이미지는, 스테레오 쌍으로부터 생성된, 깊이맵이 평활화되기 위한 이미지이다. 매칭 이미지는 스테레오 쌍과는 다른 이미지이다. 따라서 레퍼런스 깊이맵은 레퍼런스 이미지에 관한 깊이맵이고, 매칭 깊이맵은 매칭 이미지의 맵이다.The preprocessor 320 prepares a stereo image for effective processing in the initial depth map calculator 330 and the depth map smoother 340. The preprocessor 320 includes a block of pre-processing of the
입력 비디오 스트림은 다양한 포맷으로 코딩될 수 있다. 가장 널리 퍼진 포맷들은 좌우 오리엔테이션(orientation), 상하 오리엔테이션, 체스보드 포맷 및 시간 사이트에서 프레임들이 분리된 좌우 오리엔테이션의 사용에 기초하고 있다. 좌우 오리엔테이션(501) 및 상하 오리엔테이션(502)의 예가 도 5(a) 및 도 5(b)에 도시되어 있다. 도 5(a) 및 도(b)는 다양한 스테레오 프레임의 오리엔테이션의 예를 나타내는 도면이다. 도 5(a)는 좌우 오리엔테이션을 가지는 스테레오 프레임을 나 타내고 있으며, 도 5(b)는 상하 오리엔테이션을 가지는 스테레오 프레임을 나타내고 있다. 깊이맵의 계산을 위해서는, 최초 컬러 이미지들은 노이즈를 제거하는 공간 필터(spatial filter)에 의하여 처리되어야 한다. 이를 위해서 가우스 필터(Gauss's filter)를 사용하는 것이 가능하다. 그러나 어떠한 필터도 적용될 수 있다. 이런 기능들은 스테레오 이미지 전처리부(321)에 의하여 구현된다. 레퍼런스 이미지 세그먼테이션부(322)는 레퍼런스 이진 마스크(reference binary mask)를 생성한다. 이진 마스크는 하이 텍스쳐링 및 로우 텍스쳐링된 사이트(sites with the high and low texture)에서 이미지의 세그먼테이션에 대응한다. 사이트가 로우 텍스쳐링된 것으로 간주되는 경우, 이진 마스크의 픽셀들은 유닛(unit)으로 인덱싱된다. 다른 경우, 사이트가 하이 텍스쳐링된 것으로 간주되는 경우 마스크의 픽셀들은 0으로 인덱싱된다. 그래디언트 필터(Gradient filter)는 텍스쳐의 근거 수준(degree of evidence)을 검출하는 로컬 윈도우(local window)에서 사용된다.The input video stream can be coded in various formats. The most prevalent formats are based on the use of left and right orientation, top and bottom orientation, chessboard format, and left and right orientation with frames separated at the time site. Examples of left and right orientation 501 and up and down orientation 502 are shown in Figs. 5 (a) and 5 (b). 5 (a) and (b) are diagrams showing examples of orientation of various stereo frames. FIG. 5 (a) shows a stereo frame having left and right orientation, and FIG. 5 (b) shows a stereo frame having up and down orientation. For the calculation of the depth map, the original color images must be processed by a spatial filter to remove noise. It is possible to use a Gaussian filter for this purpose. However, any filter can be applied. These functions are implemented by the
최초 깊이맵 계산부(330)는 로컬 매칭의 표준적인 방법을 사용하여 깊이맵의 근사 계산(approximate computation)을 수행한다. 이것은 레퍼런스 깊이맵 계산부(block of computation of a reference depth map; 331) 및 매칭 깊이맵 계산부( block of computation of matching depth map; 332)에서 구현된다. 최초 깊이맵 계산부(330)의 다른 기능들은 근사 깊이맵(approximate depth map)에서 비정상적인 픽셀들(abnormal pixels)을 검출하는데 관계한다. 이 맵의 크로스-체크(cross-check)가 깊이맵의 연속성 체크부(block of checking of consistency of depth map; 334)에 의하여 수행되는 동안, 깊이맵의 히스토그램의 컷(cut)은 레퍼런스 깊 이맵의 히스토그램 분석부(block of the analysis of the histogram of a reference depth map; 333)에서 수행된다. 마킹된 비정상적인 픽셀들로 이루어진 레퍼런스 및 매칭 깊이맵들은 최초 깊이맵 계산부(330)의 출력이 된다.The first depth map calculator 330 performs approximate computation of the depth map using a standard method of local matching. This is implemented in a block of computation of a
깊이맵 평활화부(340)는 원시 깊이맵들(매칭 및 레퍼런스 깊이맵)의 재귀적 필터링에 의하여 깊이맵을 정련(refine)한다. 깊이맵은 깊이맵 필터링부(block of filtration of depth; 342)에서 필터링된다. 필요한 반복의 수는 반복 제어부(block of control of iterations; 341)에 의하여 정해진다. 각각의 반복 제어부(341)가 필터링 과정 동안 컨버전스 기준(criteria of convergence)을 계산한다. 본 발명의 바람직한 일 실시예에서는, 컨버전스 기준의 구현에 있어서 두 개의 변수들이 아래에 설명될 것이다. 컨버전스 기준의 첫 번째 변수는 시차맵의 인접 계산들 사이에 나머지 이미지(residual image)를 계산한다. 나머지 픽셀들의 합은 시차맵의 계산의 컨버전스 임계값 Tdec1을 초과해서는 안 된다. 컨버전스 기준은 깊이맵 필터링의 반복 횟수로써 다른 방법에 의하여 형식으로 나타내져야 한다. 반복의 수가 시차맵 계산의 컨버전스 임계값 Tdec2를 초과하는 경우, 필터링 과정은 종료한다.The depth map smoothing unit 340 refines the depth map by recursive filtering of raw depth maps (matching and reference depth maps). The depth map is filtered by a block of filtration of
후처리부(block of post-processing; 343)는 계산된 깊이맵들을 최종적으로 특정하는 것을 목적으로 한다. 즉, 후처리부(343)는 측정된 깊이 맵을 최종 정련을 목적으로 한다. 본 발명의 바람직한 일 실시예에서는, 후처리부(343)는 중간값 필터부(block of median filter; 미도시)로 구성된다. 중간값 필터링은 최신 기술로 알려져 있다. 따라서 중간값 필터부에 대해서는 설명하지 않기로 한다. 이미지의 품질을 향상시키기 위한 다른 관점의 필터들이 후처리부(343)의 목적을 변화시키지 않은 채 후처리부(343)에 적용될 수 있다. 결국, 평활화된 깊이맵(레퍼런스 및 매칭 깊이맵)을 수신하는 것이 요구된다.The block of
시간 필터부(350)는 시간으로 깊이맵을 필터링한다. 시간 필터부(350)는 대응하는 컬러 이미지들로 이루어진 다수의 깊이 프레임들을 저장하는 프레임의 버퍼(buffer of frame; 351)와 대응하는 컬러 이미지들로부터의 정보를 이용하여 깊이맵의 인터프레임 필터링을 수행하는 깊이맵 시간 필터부(block of temporal filter of depth; 352)로 구성된다.The time filter unit 350 filters the depth map by time. The temporal filter unit 350 performs interframe filtering of the depth map using information from the color images corresponding to the buffer of the
도 4는 본 발명의 일 실시예에 따른 재귀적 필터링에 기초한 깊이맵의 평활화 방법에 대한 구체적인 흐름도를 나타내는 도면이다. 재귀적 필터링에 기초한 깊이의 평활화 방법에 대하여 단계별 구현을 고려할 것이다. 단계 401은 컬러 이미지들을 전처리한다. 전처리는 작은 윈도우, 예를 들어 5×5 픽셀들에서 가우스 필터에 의하여 컬러 이미지들을 필터링한다. 필터링의 결과는 컬러 이미지들의 노이즈에 의하여 억제된다. 인접한 픽셀들의 가중 평균(weighed averaging)이 깊이맵의 평활화에 사용됨으로써, 본질적으로 깊이맵의 평활화의 품질에 영향을 준다. 가중치는 컬러 이미지들에 기초하여 계산된다. 4 is a flowchart illustrating a detailed method of smoothing a depth map based on recursive filtering according to an embodiment of the present invention. A step-by-step implementation will be considered for the depth smoothing method based on recursive filtering. Step 401 preprocesses the color images. The preprocessing filters the color images by a Gaussian filter in a small window, for example 5x5 pixels. The result of the filtering is suppressed by the noise of the color images. The weighted averaging of adjacent pixels is used to smooth the depth map, thereby essentially affecting the quality of the depth map smoothing. The weight is calculated based on the color images.
단계 402는 레퍼런스 깊이맵의 히스토그램을 분석 및 컷하는 깊이의 평활화 방법이다. 히스토그램의 컷은 깊이맵의 노이즈를 억제하기 위하여 사용된다. 원시 깊이맵은 비이상적 픽셀들의 중요한 개수를 포함할 수 있다. 폐색 사이트 및 로우 텍스쳐링된 사이트에서의 부정확한 매칭 때문에 노이즈는 나타날 수 있다. 본 발명의 일 실시예에서는 두 개의 임계값, 히스토그램의 하부에 임계값 B 및 히스토그램의 상부에 임계값 T를 제공한다. 이들 임계값들은 비이상적 픽셀들에 대하여 α및 β %로부터 자동적으로 계산된다. α는 모든 이미지 픽셀에 대한 히스토그램의 컷 하부 아래에 있는 이미지의 픽셀들의 비율에 대응되고, β는 모든 이미지 픽셀에 대한 히스토그램의 컷 상부 위에 있는 픽셀들의 비율에 대응하며, 임계값 B와 T는 아래의 수학식 1 및 수학식 2와 같이 계산된다.Step 402 is a depth smoothing method of analyzing and cutting the histogram of the reference depth map. Cuts in the histogram are used to suppress noise in the depth map. The raw depth map may contain a significant number of non-ideal pixels. Noise may appear due to incorrect matching at occlusion sites and low textured sites. One embodiment of the present invention provides two thresholds, a threshold B at the bottom of the histogram and a threshold T at the top of the histogram. These thresholds are automatically calculated from α and β% for non-ideal pixels. α corresponds to the ratio of pixels in the image below the cut bottom of the histogram for all image pixels, β corresponds to the ratio of pixels above the cut top of the histogram for all image pixels, and thresholds B and T are below Is calculated as in
수학식 1 및 수학식 2에서 H(c)는 히스토그램의 값, M은 1바이트가 255와 같은 최대 픽셀 레벨, Nx는 이미지의 폭이며, Ny는 이미지의 높이를 나타낸다. 예를 들어, 이미지의 픽셀의 α=β=5%에 대응하는 임계값의 예가 도 6에 도시되어 있다. 도6은 깊이의 히스토그램을 나타내는 도면으로, 도 6에서 히스토그램의 가장 어두운 사이트의 5%와 가장 밝은 사이트의 5%가 검정색으로 표시되어 있다. 이 경우 B 는 48 및 T는 224의 값을 가진다. 깊이맵의 히스토그램의 컷의 하나의 예가 도 7(a) 내지 도 7(c)에 더 도시되어 있다. 도 7(a) 내지 도 7(c)는 깊이의 히스토그램의 컷에 대한 예를 나타낸 도면으로, 도 7(a)는 컬러 이미지이고, 도 7(b)는 대응되는 깊이맵이고, 도 7(c)는 가장 어두운 픽셀의 6 %와 가장 밝은 픽셀의 3%에 대한 임계 컷의 깊이 히스토그램을 나타내고 있다. 도 7(c)에서의 히스토그램은 이미지의 모든 데이터를 사용하여 구성된다. 그러나 하드웨어의 구현에 있어서, 로컬 히스토그램은 메모리 라인에서 현재 이용 가능한 정보에 기초하여 계산될 수 있다.In
다음으로 단계 403에서, 깊이맵의 연속성(균일성) (consistency(uniformity))을 체크한다. 과정은 깊이맵이 정확하게 계산되기 위하여 연속적인 픽셀들을 검출한다. 제공된 깊이맵 평활화 방법은 비이상적 픽셀들을 검출하기 위하여 크로스-체크하는데 기초하고 있다.Next, in
도 8에 따라 절차는 다음과 같이 구현된다.According to FIG. 8, the procedure is implemented as follows.
1. 레퍼런스 시차맵의 벡터(레퍼런스 시차 벡터; reference disparity vector; ‘RDV’)는 레퍼런스 깊이맵의 값에 기초하여 계산된다.1. The vector of the reference parallax map (reference disparity vector; 'RDV') is calculated based on the value of the reference depth map.
2. RDV를 통하여 디스플레이된 매칭 깊이맵의 값을 추출 2. Extract the value of the matching depth map displayed through RDV
3. 매칭 시차맵의 벡터(매칭 시차 벡터; matching disparity vector; ‘MDV’)는 매칭 깊이맵의 값에 기초하여 계산된다.3. The vector of the matching disparity map (matching disparity vector; 'MDV') is calculated based on the value of the matching depth map.
4. RDV와 MDV 절대값의 시차맵의 차이(시차 차이; disparity difference; ‘DD’)가 계산된다.4. The difference (disparity difference; DD) of the disparity map between the absolute values of RDV and MDV is calculated.
5. DD가 임계치를 초과하는 경우, 레퍼런스 시차맵의 픽셀은 비이상적인 것 으로 마킹된다.5. If the DD exceeds the threshold, the pixels of the reference parallax map are marked as non-ideal.
깊이의 크로스-체크의 절차에 따라 마킹된 노이즈 픽셀들을 가지는 깊이맵의 예가 도 9(c)에 도시되어 있다. 도 9(a) 내지 도 9(c)는 깊이의 크로스-체크의 예를 나타내는 도면으로, 도 9(a)는 깊이의 좌측 이미지이고, 도 9(b)는 깊이의 우측 이미지이고, 도 9(c)는 검정색으로 마킹된 비이상적 픽셀로 이루어진 좌측 깊이를 나타내고 있다. 시차맵의 크로스-체크에 대한 임계값은 2로 설정되었고, 노이즈 픽셀들은 0으로 마킹된 결과가 도 9(c)에 나타나 있다.An example of a depth map with noise pixels marked according to the procedure of cross-checking of depth is shown in FIG. 9 (c). 9 (a) to 9 (c) show examples of cross-check of depth, in which FIG. 9 (a) is a left image of depth, FIG. 9 (b) is a right image of depth, and FIG. 9 (c) shows the left depth of the non-ideal pixel marked with black. The threshold value for the cross-check of the parallax map is set to 2, and the noise pixels are marked with 0, and the result is shown in FIG. 9C.
단계 404에서, 하이 및 로우 텍스쳐링된 사이트들에서 레퍼런스 컬러 이미지의 이진 세그먼테이션을 수행한다. 이를 위해서, 네 방향에서 그래디언트들이 계산된다. 이 들 방향은 수평, 수직 및 대각선 방향이다. 대응되는 방향의 인접 픽셀들의 절대 차이의 합으로서 그래디언트들이 계산된다. 모든 그래디언트의 값이 소정의 임계값보다 아래인 경우 픽셀들은 로우 텍스쳐링 처리된 것으로 간주되고, 그렇지 않은 경우에는 하이 텍스쳐링 처리된 것으로 간주된다. 이는 다음과 같이 공식화된다.In
BS는 좌표 (x, y)를 가진 픽셀에 대한 세그먼테이션의 이진 마스크이고, 값 255는 로우 텍스쳐링된 이미지의 픽셀에 대응되고, 값 0은 하이 텍스쳐링된 이미지의 픽셀에 대응한다.BS is a binary mask of segmentation for a pixel with coordinates (x, y), a value of 255 corresponds to a pixel of a low textured image, and a value of 0 corresponds to a pixel of a high textured image.
도 10(a) 내지 도 10(c)는 세그먼테이션의 이진 마스크로 된 컬러 이미지의 예를 나타내는 도면이다. 구체적으로, 도 10(a) 내지 도 10(c)는 하이 텍스쳐링된 사이트 및 로우 텍스쳐링된 사이트에서 이미지의 이진 세그먼테이션의 예를 나타낸 도면이다. 도 10(a)는 컬러 이미지이고, 도 10(b)는 대응되는 깊이맵이고, 도 10(c)는 이진 세그먼테이션의 마스크를 나타내고 있다. 도 10(c)에서, 하이 텍스쳐링된 사이트는 검정색으로 마킹되었고, 로우 텍스쳐링된 사이트는 하얀색으로 마킹되었다. 도 10(a) 내지 도 10(c)를 참조하면, 적용된 세그먼테이션 방법은 로우 텍스쳐링된 사이트와 하이 텍스쳐링된 사이트에서의 이미지를 성공적으로 세그먼트한 것을 나타내고 있다. 동시에, 방법은 객체의 가장자리, 예를 들어 홍어와 해저지반 사이(검정색의 타원형으로 표시된)를 검출한다. 아티팩트의 발생을 피하기 위해서 객체의 가장자리는 깊이맵에서 주의 깊게 처리되어야 한다는 것은 중요한 특징이다. 10 (a) to 10 (c) are diagrams showing an example of a color image with a binary mask of segmentation. Specifically, FIGS. 10A to 10C illustrate examples of binary segmentation of an image at high textured sites and low textured sites. FIG. 10A shows a color image, FIG. 10B shows a corresponding depth map, and FIG. 10C shows a mask of binary segmentation. In FIG. 10 (c), the high textured sites are marked black and the low textured sites are marked white. Referring to Figures 10 (a) to 10 (c), the applied segmentation method shows successful segmentation of the image at the low texturized site and the high texturized site. At the same time, the method detects the edge of the object, for example between the skate and the seabed (marked with a black oval). An important feature is that the edges of objects must be carefully handled in the depth map to avoid artifacts.
로우 텍스쳐링 및 하이 텍스쳐링 된 사이트에서 좌측 컬러 이미지의 이진 세그먼테이션 후에, 평활화 방법은 필터링의 주 사이클(main cycle)인 단계 405-408로 이동한다. 처리의 시작 시에 반복 인덱스(index of iterations)는 0으로 설정된다. 그 후에, 반복 인덱스는 평활화의 각각의 반복 후에 증가한다. 인덱스가 반복의 횟수와 같아지는 경우, 필터링의 사이클이 오픈된다. 그 전에, 평활화 방법의 다음 단계인 단계 406에서, 세그먼테이션의 이진 마스크에 따라 픽셀의 타입(type)을 검출한다. 단계 408에서, 픽셀이 하이 텍스쳐링된 것으로 간주되는 경우, 깊이맵의 평활화 필터는 디폴트 설정이 적용되고, 그렇지 않은 경우, 픽셀이 로우 텍스 쳐링된 것으로 간주되는 경우에는, 평활화 필터는 노이즈를 더 억압할 수 있도록 하기 위한 더 강한 평활화 설정이 적용된다.After binary segmentation of the left color image at the low texturing and high texturing sites, the smoothing method moves to steps 405-408, which is the main cycle of filtering. At the start of processing, the index of iterations is set to zero. Thereafter, the iteration index increases after each iteration of smoothing. If the index is equal to the number of iterations, the cycle of filtering is opened. Before that, in
깊이맵의 평활화 필터(smoothing filter)의 동작에 대한 알고리즘이 도 11에 나타나 있다. 어떻게 하드웨어에서 효과적으로 적용될 수 있는지 설명된다. 알고리즘은 이미지 전체 대신에, 로컬 이미지의 정정(correction)이 기록되어 있는 메모리의 버퍼들에서 동작한다. 표 1은 알고리즘의 설명에 사용되는 메모리 버퍼 결과이다.An algorithm for the operation of the smoothing filter of the depth map is shown in FIG. How it can be applied effectively in hardware is described. The algorithm operates on buffers in memory where the correction of the local image is recorded instead of the entire image. Table 1 shows the results of the memory buffer used to describe the algorithm.
깊이맵 평활화에 대한 필터링 방법의 구현을 단계별로 고려하자. 알고리즘의 입력에 있어서, 컬러 이미지의 스테레오 쌍(좌측 및 우측) 및 컬러 이미지들 중에서 하나에 대하여 계산된 원시 깊이맵이 필요하다. 위에 기술된 분류에 따라, 깊이맵의 평활화가 수행된 스테레오 쌍으로부터의 이미지는 레퍼런스 컬러 이미지(reference color image; 'RCI')로 명명되고, 반면에 다른 이미지는 매칭 컬러 이미지(matching color image; ‘MCI’)로 명명된다. 따라서 평활화된 깊이맵은 레퍼런스 깊이맵(reference depth; 'RD')로 명명된다. 좌측 원시 깊이맵을 레퍼런스 깊이맵으로 간주한다. 처리는 우측 원시 깊이맵과 유사하다. Consider step-by-step the implementation of a filtering method for depth map smoothing. At the input of the algorithm, a raw depth map calculated for one of the stereo pairs (left and right) and the color images of the color image is needed. According to the classification described above, the image from the stereo pair on which the depth map is smoothed is named a reference color image ('RCI'), while the other image is a matching color image (' MCI '). Therefore, the smoothed depth map is called a reference depth map (RD). Consider the left raw depth map as the reference depth map. The process is similar to the right primitive depth map.
도 11은 평활화의 반복 1회의 과정을 나타낸다. 반복의 횟수가 1 이상인 경우, RD 메모리에 결과를 기록하고, 입력으로 업데이트된 데이터를 가진 동일한 메모리 버퍼를 사용하기 위하여 깊이맵의 전체 이미지를 처리하는 것이 필요하다.11 shows one process of repetition of smoothing. If the number of iterations is one or more, it is necessary to write the result to RD memory and process the entire image of the depth map in order to use the same memory buffer with updated data as input.
도 11을 참조하면, 단계 1101에서, 레퍼런스 컬러 이미지(RCI)로부터 픽셀의 영역을 메모리 1에 복사한다. 윈도우의 높이는 이용 가능한 라인의 수와 동일하여야 한다. 단계 1102에서, 레퍼런스 깊이(RD)로부터 픽셀을 메모리 2에 복사한다. 단계 1103에서, 원시 깊이맵이 비이상적인지 아닌지를 확인한다. 히스토그램의 분석에 의하여 계산된 임계값 B 및 T가 사용된다.Referring to FIG. 11, in
수학식 3은 깊이맵의 범위를 확인하는 식이다.Equation 3 is to check the range of the depth map.
수학식 3에서 d(x, y)는 좌표 (x+x1, y+y1)을 가진 원 깊이맵의 픽셀이며, (x, y)는 필터링이 수행되는 동안 깊이맵의 현재 픽셀의 이미지의 좌표이고, x1, y1은 메모리 2에 기록된 레퍼런스 깊이맵의 픽셀들의 인덱스들이다.In Equation 3, d (x, y) is a pixel of a circle depth map with coordinates (x + x 1 , y + y 1 ), and (x, y) is an image of the current pixel of the depth map while filtering is performed. Where x 1 and y 1 are the indices of the pixels of the reference depth map recorded in
단계 1104에서, 만약, 수학식 3이 유지되지 않는다면, 대응되는 깊이맵의 픽셀 d(x+x1, y+y1)은 픽셀 d(x, y)의 필터링에 대해서는 고려되지 않는다. 메모리 2로부터의 다음 픽셀은 메모리 2로부터 모든 픽셀이 체크되기 전까지 처리를 위하여 평가된다. 모든 픽셀들이 비이상적인 것으로 식별되는 경우, 깊이맵의 현재 픽셀은 동작이 수행되지 않는다. 대체로 원시 깊이맵은 많은 양의 에러 픽셀들을 포함한다. 작은 윈도우를 가진 필터에 의하여 그러한 영역을 효과적으로 필터링하기 위해 서는, 재귀적 필터를 적용한다. 현재 픽셀의 필터링 결과는 최초 깊이맵에 기록된다. 깊이맵의 정확한 값을 에러 영역에 분배한다.In
단계 1105에서, 메모리 2에 기록된 깊이맵의 픽셀들에 기초하여 시차맵의 값들을 계산한다. 깊이맵의 값들로부터 시차맵의 벡터의 계산 후에, 대응되는 시차맵들은 매칭 컬러 이미지(MCI)에서 컬러 픽셀들에 대한 좌표들로 사용된다. 그 후에, 단계 1106에서, 시차맵에 의하여 부여된 MCI로부터의 픽셀들은 메모리 3에 복사된다.In
도 12를 참조하면, 본 발명의 일 실시예에서 깊이맵을 더 평활하게 하는 중요 아이디어는 필터 윈도우에 위치한 깊이맵의 픽셀의 가중치 평균의 적용으로 원시 레퍼런스 깊이맵을 특정한다. 도 12는 깊이의 필터링에 대한 원리를 나타내는 도면이다. 컬러 이미지들로부터 수신한 정보를 이용하여 필터의 가중치들이 계산된다. 모든 이미지들(RCI, MCI, RD)에서 픽셀의 공간 좌표들이 식별된다. 가중치 계산 동안 평활화 필터는 두 개의 컬러 거리를 계산하여야 한다. 아래에 거리의 계산 절차가 기술된다.Referring to FIG. 12, in an embodiment of the present invention, an important idea of smoothing the depth map is to specify the raw reference depth map by applying a weighted average of pixels of the depth map located in the filter window. 12 is a diagram illustrating the principle of depth filtering. The weights of the filter are calculated using the information received from the color images. In all images RCI, MCI, RD the spatial coordinates of the pixel are identified. During the weighting calculation, the smoothing filter must calculate two color distances. The procedure for calculating the distance is described below.
단계 1107에서, 레퍼런스 컬러 이미지(1210)에서 현재 컬러 픽셀 Ic(1211)와 레퍼런스 픽셀 Ir(1212) 간의 제 1 거리(1214)가 계산된다. 두 픽셀들은 메모리 1에 기록된다. 현재 메트릭스는 유클리디언 거리를 나타내고 아래의 수학식 4와 같이 계산된다.In
수학식 4에서 각각의 컬러 채널 차이의 제곱이 합산되며, 그 후에, 제곱근이 추출된다.In Equation 4, the squares of the respective color channel differences are summed, and then the square root is extracted.
단계 1108에서, 레퍼런스 픽셀 Ir(1212)과 최종(타겟) 픽셀 It(1221)와의 제 2 컬러 거리(1223)를 계산한다. 최종픽셀(1221)은 픽셀 Ir(1221)의 시차맵의 벡터에 의하여 디스플레이되는 매칭 컬러 이미지(1220)에서의 픽셀이다. 시차맵은 수평 시차맵인 일차원이기 때문에, Ir(1212)과 It(1221)은 동일한 인덱스를 가진 라인에 놓여있다. 수학식 4는 컬러 거리의 계산에 사용될 수 있다. In
두 컬러 거리의 계산을 종료한 후에, 레퍼런스 깊이맵 픽셀의 가중치 계산이 아래의 수학식 5와 같이 수행된다.After finishing the calculation of the two color distances, the weight calculation of the reference depth map pixel is performed as shown in Equation 5 below.
C()는 픽셀의 컬러 비교에 사용되는 함수이며, 
단계 409에서 레퍼런스 깊이맵의 각각의 픽셀에 대한 가중치 계산을 종료한 후에, 알고리즘은 단계 410인 가중치 평균 계산 단계로 이동한다. 가중치 평균의 값은 아래의 수학식 6과 같이 계산된다.After completing the weight calculation for each pixel of the reference depth map in
dout(xc,yc)는 좌표 (xc,yc)인 현재 픽셀에 대한 깊이맵 평활화의 결과를 의미하고, din(xr,yr)은 좌표 (xr=xc+p,yr=yc+s)인 레퍼런스 픽셀에 대한 원시 깊이맵을 의미하며, wr은 레퍼런스 깊이맵의 픽셀의 가중치를 나타내고, 인덱스 p는 X 방향으로 -L/2에서 L/2까지 변화시키며, 인덱스 s는 Y방향으로 -K/2에서 k/2까지 변화시키며, 규준화 팩터(normalizing factor)는 아래의 수학식 7과 같이 계산된다.d out (x c , y c ) means the result of the depth map smoothing for the current pixel at coordinates (x c , y c ), and d in (x r , y r ) is the coordinate (x r = x c + p , y r = y c + s ), the raw depth map for the reference pixel, w r represents the weight of the pixel in the reference depth map, and the index p is from -L / 2 to L / 2 in the X direction. The index s changes from -K / 2 to k / 2 in the Y direction, and a normalizing factor is calculated as shown in Equation 7 below.
결국, 단계 1111에서, 필터링의 결과 dout(xc,yc)는 메모리 RD에 저장된다.As a result, in
단계 909에서, 깊이맵의 평활화 필터링에서 소정의 횟수의 반복 수행 후에, 깊이맵 평활화 알고리즘은 레퍼런스 깊이맵을 후처리하는 단계로 이동한다. 본 발명의 일 실시예에서, 중간값 필터는 이 목적으로 사용되고, 시차맵의 펄스 노이즈를 효과적으로 검출한다. 단계 1110에서, 레퍼런스 깊이맵이 후처리동안 평활화된 후에, 레퍼런스 깊이맵은 메모리 RD에 저장된다. In step 909, after performing a predetermined number of iterations in the smoothing filtering of the depth map, the depth map smoothing algorithm moves to postprocessing the reference depth map. In one embodiment of the present invention, the median filter is used for this purpose and effectively detects the pulse noise of the parallax map. In
3D 비디오를 시청하는 동안 블링킹(blinking) 또는 바운스(bounce) 현상의 결과를 제거하기 위하여, 이동 평균(sliding average)의 형태에서 시간 필터는 깊이맵에 적용될 수 있다. 시간 필터는 다수의 평활화된 깊이맵들을 사용하고, 퍼스넬 버퍼(personnel buffer; 351)에 저장되고, 깊이맵의 필터링된 프레임을 시간의 현재 마크에 대하여 출력을 부여한다.In order to eliminate the consequences of blinking or bounce while watching 3D video, a temporal filter in the form of a sliding average may be applied to the depth map. The temporal filter uses a number of smoothed depth maps, is stored in a
도 13은 본 발명의 일 실시예에 따른 적용의 결과를 나타낸다. 도 13(a) 및 도 13(b)는 본 발명의 일 실시예에 따른 깊이의 평활화 결과를 나타내는 도면으로, 도 13(a) 및 도 13(b)에서 윗 그림은 최초 깊이맵, 중간 그림은 대응되는 컬러 이미지, 아래 그림은 평활화된 깊이맵을 나타낸다. 결과들은 알고리즘의 3회 반복으로 메모리의 라인 일곱 개의 사용으로 수신된다. 이들 예로부터, 로컬 윈도우에서 동작하는 매우 적은 반복 동안 깊이맵의 노이즈를 정련하는 능력을 부여하는 것을 볼 수 있다.Figure 13 shows the results of the application according to one embodiment of the present invention. 13 (a) and 13 (b) show a result of smoothing depth according to an embodiment of the present invention. In FIGS. 13 (a) and 13 (b), the upper figure shows an initial depth map and an intermediate figure. Is the corresponding color image, and the figure below shows a smoothed depth map. The results are received with the use of seven lines of memory in three iterations of the algorithm. From these examples, one can see that it gives the ability to refine the noise of the depth map during very few iterations operating in the local window.
이상 설명한 바와 같은 3D 비디오를 시청할 때, 눈의 피로를 감소시키기 위한 스테레오 컨텐트를 변환하는 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 매체를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 디스크 관리 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다. When watching 3D video as described above, the method for converting stereo content to reduce eye fatigue can also be embodied as computer readable code on a computer readable recording medium. Computer-readable recording media include all kinds of recording media on which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the disk management method may be easily inferred by programmers in the art to which the present invention belongs.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.
산업적인 활용의 주 영역은 3D TV 장치에서 컨텐트의 처리이다. 현재 3D TV에서 문제 중의 하나는 TV 시청에 있어서 눈의 피로와 연결된 시청자의 불만을 제거하는 것이다. 그러한 문제가 일어나는 중요한 원인은 스테레오스코픽 이미지를 시청하는데 있어서 개인적인 차이와 선호도 때문이다. 성별, 나이, 인종 등은 시각적 시스템의 고유의 특징에서 각각의 개인은 고유함으로써 스테레오스코피에 있어서 선호도에 영향을 준다. 스테레오 시퀀스의 전달에서 부적합한 컨텐트는 눈의 피로를 유발한다. 이런 복잡한 현상들은 깊이 신호 사이의 시차, 크로스 노이즈, 충돌, 기타 등등의 높은 값들과 같은 많은 파라미터에 의존한다.The main area of industrial use is the processing of content in 3D TV devices. One of the problems with current 3D TVs is eliminating viewer complaints associated with eye strain in watching TV. An important cause of such problems is the personal differences and preferences in viewing stereoscopic images. Gender, age, and race influence preferences in stereoscopy by being unique to each individual in the unique characteristics of the visual system. Inappropriate content in the delivery of stereo sequences causes eye strain. These complex phenomena rely on many parameters such as parallax between depth signals, high values of cross noise, collisions, and so on.
본 발명의 일 실시예는 높은 품질과 신뢰성 있는 시차/깊이맵의 생성을 위한 스테레오 카메라들에 직접적인 적용이 가능하다. 또한, 본 발명의 일 실시예는 두 개의 분리된 비디오 스트림이 3D 스트림을 형성하고 스테레오 매칭 요구되는 멀티-카메라 시스템 또는 특정 장치에 적용이 가능하다. One embodiment of the present invention is directly applicable to stereo cameras for generating high quality and reliable parallax / depth map. In addition, an embodiment of the present invention is applicable to a multi-camera system or a specific device in which two separate video streams form a 3D stream and require stereo matching.
도 1은 본 발명의 일 실시예에 따른 3D 비디오를 시청할 때, 눈의 피로를 감소시키기 위한 스테레오 컨텐트의 변환 시스템을 나타내는 블록 다이어그램이다.1 is a block diagram illustrating a system for converting stereo content to reduce eye fatigue when watching 3D video according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 3D 비디오를 시청할 때 눈의 피로를 감소시키기 위한 스테레오 컨텐트의 변환에 관한 방법을 나타내는 흐름도이다.2 is a flowchart illustrating a method for converting stereo content to reduce eye strain when watching 3D video according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 깊이맵의 계산 및 평활화에 관한 시스템을 나타내는 블록 다이어그램이다.3 is a block diagram illustrating a system for calculating and smoothing a depth map according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 재귀적 필터링에 기초하여 깊이맵을 평활화하는 방법에 관한 흐름도를 나타내는 도면이다.4 is a flowchart illustrating a method of smoothing a depth map based on recursive filtering according to an embodiment of the present invention.
도 5(a) 및 도(b)는 다양한 스테레오 프레임의 오리엔테이션의 예를 나타내는 도면이다.5 (a) and (b) are diagrams showing examples of orientation of various stereo frames.
도 6은 히스토그램의 가장 어두운 사이트의 5%와 가장 밝은 사이트의 5%가 검정색으로 표시된 깊이의 히스토그램을 나타내는 도면이다. FIG. 6 shows a histogram of depth where 5% of the darkest sites and 5% of the brightest sites of the histogram are shown in black.
도 7(a) 내지 도 7(c)는 깊이의 히스토그램의 컷에 대한 예를 나타낸 도면이다. 도 7(a)는 컬러 이미지이고, 도 7(b)는 대응되는 깊이맵이고, 도 7(c)는 가장 어두운 픽셀의 6 %와 가장 밝은 픽셀의 3%에 대한 임계 컷의 깊이 히스토그램을 나타낸 도면이다.7 (a) to 7 (c) are diagrams showing examples of cuts of histograms of depth. Fig. 7 (a) is a color image, Fig. 7 (b) is a corresponding depth map, and Fig. 7 (c) shows the depth histogram of the threshold cut for 6% of the darkest pixels and 3% of the lightest pixels. Drawing.
도 8은 깊이의 크로스-체크 방법에 관한 흐름도를 나타내는 도면이다.8 is a flowchart showing a cross-checking method of depth.
도 9(a) 내지 도 9(c)는 깊이의 크로스-체크의 예를 나타내는 도면이다. 도 9(a)는 깊이의 좌측 이미지이고, 도 9(b)는 깊이의 우측 이미지이고, 도 9(c)는 검 정색으로 마킹된 비이상적 픽셀로 이루어진 좌측 깊이를 나타내는 도면이다.9 (a) to 9 (c) are diagrams showing examples of cross-check of depth. FIG. 9 (a) is a left image of depth, FIG. 9 (b) is a right image of depth, and FIG. 9 (c) is a diagram showing the left depth of non-ideal pixels marked in black.
도 10(a) 내지 도 10(b)는 하이 텍스쳐링된 사이트 및 로우 텍스쳐링된 사이트에서 이미지의 이진 세그먼테이션의 예를 나타낸 도면이다. 도 10(a)는 컬러 이미지이고, 도 10(b)는 대응되는 깊이맵이고, 도 10(c)는 이진 세그먼테이션의 마스크(하이 텍스쳐링된 사이트는 검정색으로 마킹되었고, 로우 텍스쳐링된 사이트는 하얀색으로 마킹됨)를 나타내는 도면이다.10 (a) to 10 (b) illustrate examples of binary segmentation of an image at high textured sites and low textured sites. Fig. 10 (a) is a color image, Fig. 10 (b) is a corresponding depth map, and Fig. 10 (c) shows a mask of binary segmentation (high textured sites are marked in black, low textured sites in white). Marked).
도 11은 본 발명의 일 실시예에 따른 깊이의 필터링 방법에 관한 흐름도를 나타내는 도면이다.11 is a flowchart illustrating a depth filtering method according to an embodiment of the present invention.
도 12는 깊이의 필터링에 대한 원리를 나타내는 도면이다.12 is a diagram illustrating the principle of depth filtering.
도 13(a) 및 도 13(b)는 본 발명의 일 실시예에 따른 깊이의 평활화 결과를 나타내는 도면이다. 도 13(a) 및 도 13(b)에서 윗 그림은 최초 깊이맵, 중간 그림은 대응되는 컬러 이미지, 아래 그림은 평활화된 깊이맵을 나타낸다.13 (a) and 13 (b) are diagrams showing a result of smoothing depth according to an embodiment of the present invention. 13 (a) and 13 (b), the upper figure shows the initial depth map, the middle figure shows the corresponding color image, and the lower figure shows the smoothed depth map.
Claims (24)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20100171778 EP2293586A1 (en) | 2009-08-04 | 2010-08-03 | Method and system to transform stereo content |
| US12/849,119 US20110032341A1 (en) | 2009-08-04 | 2010-08-03 | Method and system to transform stereo content |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2009129700 | 2009-08-04 | ||
| RU2009129700/09A RU2423018C2 (en) | 2009-08-04 | 2009-08-04 | Method and system to convert stereo content |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20110014067A true KR20110014067A (en) | 2011-02-10 |
Family
ID=43773454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090113357A KR20110014067A (en) | 2009-08-04 | 2009-11-23 | Method and system for transformation of stereo content |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20110014067A (en) |
| RU (1) | RU2423018C2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013077510A1 (en) * | 2011-11-23 | 2013-05-30 | 에스케이플래닛 주식회사 | Method and device for measuring stereoscopic effect, stability or fallibility of three-dimensional stereoscopic image |
| KR101299697B1 (en) * | 2011-12-14 | 2013-08-26 | 전자부품연구원 | Apparatus and method for soft decision masking of blob detect |
| KR101332628B1 (en) * | 2011-11-23 | 2013-11-25 | 에스케이플래닛 주식회사 | Method and system for measuring a quality of three-dimensional image |
| KR20140030658A (en) * | 2012-09-03 | 2014-03-12 | 엘지이노텍 주식회사 | Apparatus for stereo matching |
| KR101470693B1 (en) * | 2012-07-31 | 2014-12-08 | 엘지디스플레이 주식회사 | Image data processing method and stereoscopic image display using the same |
| KR101681766B1 (en) * | 2015-08-27 | 2016-12-12 | 광주과학기술원 | Method for Generating Depth Image |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9521418B2 (en) * | 2011-07-22 | 2016-12-13 | Qualcomm Incorporated | Slice header three-dimensional video extension for slice header prediction |
| RU2489743C1 (en) * | 2012-02-08 | 2013-08-10 | Владимир Николаевич Антипов | Method of training cognitive perception |
| TWI586143B (en) * | 2012-04-05 | 2017-06-01 | 皇家飛利浦電子股份有限公司 | Three dimensional [3d] source device, method and record carrier for providing 3d video signal fortransferring to 3d destination device, and 3d destination device for receiving 3d video signal from 3d source device |
| WO2013153523A2 (en) * | 2012-04-13 | 2013-10-17 | Koninklijke Philips N.V. | Depth signaling data |
| US9349169B2 (en) | 2012-05-17 | 2016-05-24 | The Regents Of The University Of California | Sampling-based multi-lateral filter method for depth map enhancement and codec |
| RU2639686C2 (en) * | 2012-07-20 | 2017-12-21 | Конинклейке Филипс Н.В. | Metadata for depth filtration |
| RU2493602C1 (en) * | 2012-08-10 | 2013-09-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method and system for selecting key frames from video sequences |
| EP3416381A1 (en) * | 2017-06-12 | 2018-12-19 | Thomson Licensing | Method and apparatus for providing information to a user observing a multi view content |
-
2009
- 2009-08-04 RU RU2009129700/09A patent/RU2423018C2/en not_active IP Right Cessation
- 2009-11-23 KR KR1020090113357A patent/KR20110014067A/en not_active Application Discontinuation
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013077510A1 (en) * | 2011-11-23 | 2013-05-30 | 에스케이플래닛 주식회사 | Method and device for measuring stereoscopic effect, stability or fallibility of three-dimensional stereoscopic image |
| KR101332628B1 (en) * | 2011-11-23 | 2013-11-25 | 에스케이플래닛 주식회사 | Method and system for measuring a quality of three-dimensional image |
| KR101299697B1 (en) * | 2011-12-14 | 2013-08-26 | 전자부품연구원 | Apparatus and method for soft decision masking of blob detect |
| KR101470693B1 (en) * | 2012-07-31 | 2014-12-08 | 엘지디스플레이 주식회사 | Image data processing method and stereoscopic image display using the same |
| US9355455B2 (en) | 2012-07-31 | 2016-05-31 | Lg Display Co., Ltd. | Image data processing method and stereoscopic image display using the same |
| KR20140030658A (en) * | 2012-09-03 | 2014-03-12 | 엘지이노텍 주식회사 | Apparatus for stereo matching |
| KR101681766B1 (en) * | 2015-08-27 | 2016-12-12 | 광주과학기술원 | Method for Generating Depth Image |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2009129700A (en) | 2011-02-10 |
| RU2423018C2 (en) | 2011-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20110014067A (en) | Method and system for transformation of stereo content | |
| US20210042952A1 (en) | Systems and Methods for Hybrid Depth Regularization | |
| US10963993B2 (en) | Image noise intensity estimation method, image noise intensity estimation device, and image recognition device | |
| US20110032341A1 (en) | Method and system to transform stereo content | |
| US9171372B2 (en) | Depth estimation based on global motion | |
| EP3311361B1 (en) | Method and apparatus for determining a depth map for an image | |
| US20140009462A1 (en) | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects | |
| KR100846513B1 (en) | Method and apparatus for processing an image | |
| TW201432622A (en) | Generation of a depth map for an image | |
| WO2012071356A1 (en) | Depth estimation based on global motion | |
| US20140340486A1 (en) | Image processing system, image processing method, and image processing program | |
| TWI457853B (en) | Image processing method for providing depth information and image processing system using the same | |
| US20150248745A1 (en) | Processing stereo images | |
| KR20110133416A (en) | Video processing method for 3d display based on multi-thread scheme | |
| RU2419880C2 (en) | Method and apparatus for calculating and filtering disparity map based on stereo images | |
| Wang et al. | Stereoscopic image retargeting based on 3D saliency detection | |
| Tallón et al. | Upsampling and denoising of depth maps via joint-segmentation | |
| Hwang et al. | Stereo image quality assessment using visual attention and distortion predictors | |
| CN111274851A (en) | Living body detection method and device | |
| Srikakulapu et al. | Depth estimation from single image using defocus and texture cues | |
| CN116342519A (en) | Image processing method based on machine learning | |
| KR101760463B1 (en) | Method and Apparatus for correcting a depth map | |
| KR101581586B1 (en) | Compensation method for noise of depth image | |
| Ryu et al. | Synthesis quality prediction model based on distortion intolerance | |
| KR101629414B1 (en) | Method of image extraction based on human factors and apparatus thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Withdrawal due to no request for examination |