KR20130049906A - Depth map generation method for converting 2-dimensional image to stereoscopic image - Google Patents
Depth map generation method for converting 2-dimensional image to stereoscopic image Download PDFInfo
- Publication number
- KR20130049906A KR20130049906A KR1020110114948A KR20110114948A KR20130049906A KR 20130049906 A KR20130049906 A KR 20130049906A KR 1020110114948 A KR1020110114948 A KR 1020110114948A KR 20110114948 A KR20110114948 A KR 20110114948A KR 20130049906 A KR20130049906 A KR 20130049906A
- Authority
- KR
- South Korea
- Prior art keywords
- depth value
- depth
- image
- value
- point
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
개시된 기술은 2차원 영상을 스테레오스코픽 입체 영상으로 변환하기 위한 깊이 맵 생성 방법에 관한 것이다. The disclosed technique relates to a depth map generation method for converting a 2D image into a stereoscopic stereoscopic image.
스테레오스코픽(stereoscopic) 입체 영상 기술은, 인간의 눈이 가로 방향으로 약 65mm 떨어져 좌안과 우안에 맺히는 영상이 다름으로 인하여 발생하는 양안시차를 이용한 입체 영상 기술이다. 인간의 좌안과 우안은 각각 다른 2차원 영상을 보게 되고 이 두 개의 영상이 망막을 통해 뇌로 전달되면 뇌는 이를 융합하여 영상의 원근감과 실재감을 재생하게 된다. 스테레오스코픽 입체 영상은 양안시차를 이용한 기술로, 약 65mm 떨어진 두 개의 카메라 렌즈로 담은 두 개의 2차원 영상을 좌안 영상과 우안 영상으로 분리하여 각각 인간의 좌안과 우안에 제공함으로써 입체감을 재현한다. 그러나, 두 개의 카메라 렌즈가 부착된 스테레오 카메라(stereo camera)는 가격이 매우 고가여서 이를 이용한 입체 영상 촬영이 많이 이루어지고 있지 않다. 또한, 여러 스테레오 카메라를 배열하는 방식, 각 카메라 간의 거리, 각도, 초점을 맞추는 방식, 카메라 배열에 따른 기하학적(geometry) 문제와 색상, 밝기 등을 일치 시키는 작업 등 고품질의 입체 영상을 구현하기 위하여 고려되어야 할 사항이 매우 많다는 문제점이 있다.Stereoscopic stereoscopic imaging is a stereoscopic imaging technique using binocular disparity, which occurs due to the difference in the image formed by the human eye from the left and right eyes about 65 mm in the horizontal direction. Human left and right eyes see different two-dimensional images, and when these two images are delivered to the brain through the retina, the brain fuses them to reproduce the perspective and reality of the image. Stereoscopic stereoscopic image is a technique using binocular disparity, which reproduces three-dimensional effect by separating two two-dimensional images contained by two camera lenses about 65mm apart into left and right eye images, respectively, and providing the left and right eyes of a human. However, stereo cameras with two camera lenses are very expensive, so stereoscopic imaging is not performed using them. Also, consider to realize high quality stereoscopic images such as arranging multiple stereo cameras, distance between each camera, angle, focusing method, and matching geometric problems and color, brightness, etc. The problem is that there are so many things to do.
이와 같은 문제점을 보완하기 위한 방법으로 스테레오 카메라로 촬영하여 입체 영상을 구현하는 방법 대신에, 이미 존재하는 2차원 영상을 변환하여 입체 영상을 구현하는 방법이 시도되고 있다. 2차원 영상을 입체 영상으로 변환하는 방식은 이미 촬영되어 존재하는 무수히 많은 2차원 영상들에 모두 적용될 수 있다는 장점을 가진다. As a method for compensating for such a problem, a method of implementing a stereoscopic image by converting an existing 2D image instead of a method of implementing a stereoscopic image by capturing with a stereo camera has been attempted. The method of converting a 2D image into a stereoscopic image has an advantage that it can be applied to all of a myriad of 2D images already photographed.
도 1은 2차원 영상을 입체 영상으로 변환하는 과정을 설명하기 위한 도면이다. 도 1의 입체 영상 변환 방식에 따르면, 기 존재하는 2차원 원본 영상을 이용하여 좌안 영상 및 우안 영상으로 이루어진 입체 영상을 생성한다. 입체 영상은 2차원 원본 영상의 각 객체들을 해당하는 깊이(3차원적 거리 정보) 값에 상응하도록 양안 시차만큼 이동시킴으로써 생성될 수 있다. 따라서, 2차원 영상을 입체 영상으로 변환하기 위해서는 2차원 영상의 깊이 맵(depth map)을 생성하는 과정이 필요하다. 깊이 맵은 영상 내의 사물들에 대한 3차원적 거리를 나타내는 지도로써 각 픽셀마다 0 부터 255 사이의 그레이 스케일 값으로 표현될 수 있다. 이때, 깊이 값은 높은 값(밝은 색)을 가질수록 시청자와 가까운 곳임을 나타낸다.1 is a diagram illustrating a process of converting a 2D image into a stereoscopic image. According to the stereoscopic image conversion method of FIG. 1, a stereoscopic image including a left eye image and a right eye image is generated by using an existing two-dimensional original image. The stereoscopic image may be generated by moving each object of the 2D original image by binocular parallax to correspond to a corresponding depth (3D distance information) value. Therefore, in order to convert a 2D image into a stereoscopic image, a process of generating a depth map of the 2D image is required. The depth map is a map representing a three-dimensional distance to objects in the image and may be expressed as a gray scale value between 0 and 255 for each pixel. At this time, the depth value indicates that the higher the value (bright color), the closer to the viewer.
입체 영상은 2차원 원본 영상 및 그 깊이 정보를 이용하여 생성되기 때문에 2차원 영상을 고품질의 입체 영상으로 변환하기 위해서는 깊이 맵을 정확하고 효율적으로 생성하는 것이 중요하다. Since the 3D image is generated using the 2D original image and its depth information, it is important to accurately and efficiently generate the depth map to convert the 2D image into a high quality 3D image.
2차원 영상을 입체 영상으로 변환하기 위하여, 2차원 영상에서 깊이 값을 추정하는 방법으로 대한민국 공개특허 제10-2010-0064196호 및 제10-2011-0047791호에 개시된 기술이 있다. 2차원 영상에 정확한 깊이 값을 설정하려면 2차원 영상의 소실점의 위치뿐 아니라, 객체와 배경의 관계, 객체의 위치, 객체들 간의 중첩, 객체들 간의 거리 상 순서, 등이 종합적으로 고려되어야 한다. 그러나, 상기의 공개특허들은 이러한 고려 없이 전체 이미지에 대한 깊이 값을 생성하기 때문에, 객체 내의 깊이 값이 매우 부정확하다는 문제점이 있다. 따라서, 실제 고품질의 입체 영상 변환을 위한 깊이 맵 생성 작업은 자동화되지 못하고 각각의 프레임에 대하여 직접 사람이 수작업으로 설정하는 경우가 많다. 그러나 모든 프레임들의 깊이 맵을 수작업으로 생성하면, 시간 및 비용이 많이 들고 작업 결과가 균일하지 못하다는 문제점이 있다. In order to convert a 2D image into a stereoscopic image, there is a technique disclosed in Korean Patent Laid-Open Publication Nos. 10-2010-0064196 and 10-2011-0047791 as a method of estimating a depth value in a 2D image. In order to set the correct depth value in the 2D image, not only the position of the vanishing point of the 2D image but also the relationship between the object and the background, the position of the object, the overlap between the objects, the distance order between the objects, and the like must be comprehensively considered. However, the above-mentioned patents generate a depth value for the entire image without this consideration, and thus there is a problem that the depth value in the object is very inaccurate. As a result, the depth map generation operation for high quality stereoscopic image conversion is not automated and is often manually set by each person. However, when the depth map of all the frames is manually generated, there is a problem that the time and cost are high and the work results are not uniform.
개시된 기술이 이루고자 하는 기술적 과제는 2차원 영상을 스테레오스코픽 입체 영상으로 변환하기 위한 깊이 맵 생성 방법을 제공하는 데 있다. 종래의 깊이 맵 생성방법은 정확도가 현저히 떨어지거나 수작업으로 수행해야 한다는 문제점이 있다. 본 명세서에서는 2차원 원본 영상의 깊이 맵을 생성하는 과정을 일부 자동화하면서도 정확성을 향상시킬 수 있는 깊이 맵 생성 방법을 제안한다.An object of the present invention is to provide a depth map generation method for converting a 2D image into a stereoscopic stereoscopic image. Conventional depth map generation method has a problem that the accuracy is significantly reduced or must be performed manually. In this specification, we propose a depth map generation method that can improve accuracy while partially automating the process of generating a depth map of a 2D original image.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제1 측면은 2차원 영상을 스테레오스코픽(stereoscopic) 입체 영상으로 변환하기 위해 상기 2차원 영상의 깊이 맵을 생성하는 방법에 있어서, 상기 2차원 영상을 적어도 하나의 배경 영역 및 적어도 하나의 객체 영역으로 분할하는 단계; 상기 2차원 영상의 소실점을 원점으로, 상기 소실점과 만나는 소실선들이 기울어진 방향을 따라, 상기 배경 영역의 깊이 값을 설정하는 단계; 및 상기 배경 영역에 설정된 깊이 값을 기준으로 상기 객체 영역의 깊이 값을 설정하는 단계를 포함하는 깊이 맵을 생성하는 방법을 제공한다.In order to achieve the above technical problem, a first aspect of the disclosed technology is a method of generating a depth map of a 2D image for converting a 2D image into a stereoscopic stereoscopic image, wherein at least one of the 2D image is generated. Dividing the background region into at least one object region; Setting a depth value of the background area as a vanishing point of the 2D image along a direction in which vanishing lines meeting the vanishing point are inclined; And setting a depth value of the object region based on the depth value set in the background region.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다. Embodiments of the disclosed technique may have effects that include the following advantages. It should be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, since the embodiments of the disclosed technology are not meant to include all such embodiments.
개시된 기술의 일 실시예에 따르면, 2차원 원본영상의 깊이 맵을 보다 정확하고 균일하게 생성할 수 있다는 장점이 있다. 개시된 기술에 따르면 깊이 맵을 생성함에 있어 객체의 깊이 값을 정확하게 추정할 수 있으므로 전체적인 깊이 맵의 정확도가 향상된다. 또한, 고품질의 깊이 맵 생성을 위하여 수작업으로 수행되던 작업을 일부 자동화 함으로써 생성된 깊이 맵이 균일할 뿐 아니라 작업에 소요되는 시간이 현저히 단축될 수 있다는 장점이 있다.According to an embodiment of the disclosed technology, there is an advantage that a depth map of a 2D original image can be more accurately and uniformly generated. According to the disclosed technique, since the depth value of the object can be accurately estimated in generating the depth map, the accuracy of the overall depth map is improved. In addition, there is an advantage that the generated depth map is not only uniform but also the time required for the work can be shortened by automating a part of the work performed manually for generating a high quality depth map.
도 1은 2차원 영상을 입체 영상으로 변환하는 과정을 설명하기 위한 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 깊이맵 생성 방법을 설명하기 위한 도면이다.
도 3은 각 영역이 분할된 2차원 원본영상을 나타낸다.
도 4는 각 영역이 분할된 2차원 원본 영상의 소실점과 소실선을 설명하기 위한 도면이다.
도 5는 2차원 원본 영상의 배경 영역에 깊이 값이 설정된 결과를 나타낸다.
도 6은 개시된 기술의 일 실시예에 따라, 2차원 원본 영상의 객체 영역에 깊이 값을 설정하는 방법을 설명하기 위한 도면이다.
도 7은 개시된 기술의 다른 일 실시예에 따라, 2차원 원본 영상의 객체 영역에 깊이 값을 설정하는 방법을 설명하기 위한 도면이다.
도 8은 도 6 및 도 7을 참조하여 설명한 방법에 따라 생성된 깊이맵을 나타낸다.
도 9는 개시된 기술의 다른 일 실시예에 따라, 2차원 원본 영상의 객체 영역에 깊이 값을 설정하는 방법을 설명하기 위한 도면이다.
도 10은 도 9를 참조하여 설명한 방법에 따라 생성된 깊이맵을 나타낸다. 1 is a diagram illustrating a process of converting a 2D image into a stereoscopic image.
2 is a view for explaining a depth map generation method according to an embodiment of the disclosed technology.
3 shows a two-dimensional original image in which each region is divided.
4 is a view for explaining a vanishing point and a vanishing line of a 2D original image in which respective regions are divided.
5 illustrates a result of setting a depth value in a background region of a 2D original image.
FIG. 6 is a diagram for describing a method of setting a depth value in an object area of a 2D original image according to one embodiment of the disclosed technology.
FIG. 7 is a diagram for describing a method of setting a depth value in an object area of a 2D original image according to another embodiment of the disclosed technology.
8 illustrates a depth map generated according to the method described with reference to FIGS. 6 and 7.
9 is a diagram for describing a method of setting a depth value in an object area of a 2D original image according to another embodiment of the disclosed technology.
10 illustrates a depth map generated according to the method described with reference to FIG. 9.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.The description of the disclosed technique is merely an example for structural or functional explanation and the scope of the disclosed technology should not be construed as being limited by the embodiments described in the text. That is, the embodiments may be variously modified and may have various forms, and thus the scope of the disclosed technology should be understood to include equivalents capable of realizing the technical idea.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.
“제1”, “제2” 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms " first ", " second ", and the like are used to distinguish one element from another and should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions describing the relationship between the components, such as "between" and "immediately between" or "neighboring to" and "directly neighboring to", should be interpreted as well.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as "include" or "have" refer to features, numbers, steps, operations, components, parts, or parts thereof described. It is to be understood that the combination is intended to be present, but not to exclude in advance the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.
각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Each step may occur differently from the stated order unless the context clearly dictates the specific order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the disclosed technology belongs, unless otherwise defined. Terms such as those defined in the commonly used dictionaries should be construed as consistent with the meanings in the context of the related art, and should not be construed as having ideal or overly formal meanings unless expressly defined in this application. .
도 2는 개시된 기술의 일 실시예에 따른 깊이맵 생성 방법을 설명하기 위한 도면이다. 도 2를 참조하여 깊이맵 생성장치가 2차원 영상을 스테레오스코픽(stereoscopic) 입체 영상으로 변환하기 위해 2차원 원본영상에서 깊이맵을 생성하는 방법을 설명한다. 2 is a view for explaining a depth map generation method according to an embodiment of the disclosed technology. A method of generating a depth map from a 2D original image to convert the 2D image into a stereoscopic stereoscopic image by the depth map generating apparatus will be described with reference to FIG. 2.
S210 단계에서, 깊이맵 생성장치는 2차원 원본영상을 적어도 하나의 배경 영역 및 적어도 하나의 객체 영역으로 분할한다. 일 실시예에 따라, 깊이맵 생성장치는 워터쉐드 영상분할(Watershed Segmentation) 알고리즘에 따라 2차원 원본영상의 영역들을 분할할 수 있다. 깊이맵 생성장치는 2차원 원본영상이 복수의 영역들로 분할되면, 각 영역을 객체 영역 또는 배경 영역으로 구분한다. 객체 영역은 2차원 원본영상에 따라 하나 또는 복수 개 존재할 수 있다. 배경 영역은 2차원 원본영상에서 객체 영역을 제외한 부분으로 예컨대, 하늘, 땅, 바다, 벽 등이 될 수 있다. 2차원 원본영상 및 실시예에 따라, 배경 영역은 2차원 원본영상 내에 하나만 존재할 수도 있고, 복수 개 존재할 수도 있다. 예를 들어, 원본영상에 하늘과 땅이 동시에 있는 경우에는 하늘 배경 영역과 땅 배경 영역 두 개의 배경 영역이 존재할 수 있다. 다른 예를 들어, 원본영상에 하늘만 존재하는 경우에는 하늘 배경 영역 하나만 존재할 수 있다. 또 다른 예를 들어, 원본영상에 하늘과 땅이 동시에 있는 경우에도 앞서 예를 든 경우와 달리, 하늘과 땅이 결합된 배경 영역 하나만 존재할 수도 있다. In operation S210, the depth map generator divides the 2D original image into at least one background area and at least one object area. According to an embodiment, the depth map generator may segment regions of a 2D original image according to a watershed segmentation algorithm. When the 2D original image is divided into a plurality of regions, the depth map generating apparatus divides each region into an object region or a background region. One or more object regions may exist according to the 2D original image. The background area is a part of the 2D original image excluding the object area and may be, for example, sky, land, sea, or wall. According to the 2D original image and the embodiment, only one background region may exist in the 2D original image, or a plurality of background regions may exist. For example, when the sky and the ground are both present in the original image, two background regions may exist. As another example, when only the sky exists in the original image, only one sky background area may exist. In another example, when both the sky and the earth are simultaneously present in the original image, there may be only one background area in which the sky and the land are combined, unlike in the above example.
S220 단계에서, 깊이맵 생성장치는 2차원 원본영상의 소실점(vanishing point) 및 소실선(vanishing line)들을 이용하여 배경 영역의 깊이 값을 설정한다. 소실점과 소실선은 투시원근법에서 입체감을 구현하기 위해 사용된다. 소실선은 영상의 깊이, 거리감, 입체감 등을 형성하는 선으로 예컨대, 건물의 외벽, 거리의 경계선 등 S210 단계에서 분할된 각 영역들의 외곽선들을 따라 형성될 수 있다. 소실점은 소실선들이 만나는 점으로 소실선과 소실점을 이용하면 영상의 입체감이 파악될 수 있다. 일 실시예에 따라, 깊이맵 생성장치는 2차원 원본영상의 소실점을 원점으로 하고, 소실점과 만나는 소실선들이 기울어진 방향을 따라서 깊이 값이 증가하도록 배경 영역의 깊이 값을 설정할 수 있다. In operation S220, the depth map generator sets a depth value of the background area using vanishing points and vanishing lines of the 2D original image. Vanishing point and vanishing line are used to realize three-dimensional effect in perspective perspective. The vanishing line is a line that forms the depth of the image, the sense of distance, the three-dimensional effect, and the like, and may be formed along the outlines of the respective areas divided in step S210 such as the outer wall of the building and the boundary of the street. The vanishing point is a point where vanishing lines meet, and when the vanishing line and the vanishing point are used, a stereoscopic sense of the image can be grasped. According to an exemplary embodiment, the depth map generator may set the depth value of the background area so that a depth value increases along a direction in which vanishing lines meeting the vanishing point are inclined at the vanishing point of the 2D original image.
S230 단계에서, 깊이맵 생성장치는 배경 영역에 설정된 깊이 값을 기준으로 객체 영역의 깊이 값을 설정한다. 종래에는 깊이 맵을 생성함에 있어, 객체 영역의 깊이 값을 설정하는 뚜렷한 기준이 제시되지 못하였다. 따라서, 종래에는 객체들 간의 위치에 따른 입체감이 적절히 구현되기 어려웠으며, 하나의 객체 내에서 각 부위별로 존재하는 입체감 또한 구현되기 어려웠다. 본 실시예에서는 S210 단계에서 분할된 각 객체 영역의 깊이 값을 각 객체 영역이 위치하는 지점에 상응하는 배경 영역의 깊이 값으로 설정하여 객체 영역에 보다 정확한 깊이 값을 부여할 수 있도록 하였다. 이때, 깊이맵 생성장치는 분할된 객체 영역들을 객체 영역의 전부가 동일한 깊이 값으로 설정되는 경우와, 객체 영역의 적어도 일부가 서로 다른 깊이 값을 가지도록 설정되는 경우로 구분하여 깊이 맵을 생성할 수 있다. In operation S230, the depth map generator sets the depth value of the object region based on the depth value set in the background region. In the past, in generating the depth map, no clear criteria for setting the depth value of the object region have been presented. Therefore, in the related art, it is difficult to properly implement a three-dimensional effect according to positions between objects, and it is difficult to realize a three-dimensional effect existing for each part in one object. In the present embodiment, the depth value of each object region divided in step S210 is set to the depth value of the background region corresponding to the point where each object region is located so that a more accurate depth value can be given to the object region. In this case, the depth map generator may generate a depth map by dividing the divided object regions into a case in which all of the object regions are set to have the same depth value and a case in which at least some of the object regions are set to have different depth values. Can be.
일 실시예에 따라, 깊이맵 생성장치는 객체 영역의 넓이가 미리 설정된 기준 넓이보다 작은 경우에는 해당 영역 전부를 동일한 깊이 값으로 설정할 수 있다. 예를 들어, 도 3의 원형 객체 영역(310) 및 역삼각형 객체 영역(320)이 미리 설정된 기준 넓이보다 작다고 가정하면, 원형 객체 영역(310) 및 역삼각형 객체 영역(320)은 해당 영역 전부가 동일한 깊이 값으로 설정된다. 이때, 깊이맵 생성장치는 일 실시예에 따라, 해당 객체 영역에 속한 화소들을, 해당 객체 영역의 최하위 지점에 상응하는 배경 영역의 깊이 값으로 설정할 수 있다. According to an embodiment, when the width of the object area is smaller than the preset reference area, the depth map generator may set all of the corresponding areas to the same depth value. For example, assuming that the
다른 일 실시예에 따라, 깊이맵 생성장치는 객체 영역의 넓이가 기준 넓이보다 큰 경우에는 해당 영역의 적어도 일부가 서로 다른 깊이 값을 가지도록 설정할 수 있다. 예를 들어, 도 3의 다각형 객체 영역들(330, 340)이 미리 설정된 기준 넓이보다 크다고 가정하면, 다각형 객체 영역들(330, 340)은 해당 영역의 적어도 일부가 서로 다른 깊이 값으로 설정된다. 이때, 깊이맵 생성장치는 일 실시예에 따라, 해당 객체 영역의 각 열(column)에 속한 화소들을 각 열과 기준선이 교차하는 지점에 상응하는 배경 영역의 깊이 값으로 설정할 수 있다. 이때 기준선은 일례로 해당하는 객체 영역과 배경 영역이 접하는 경계선일 수 있다. 다른 일례로 기준선은, 해당하는 객체 영역 중 깊이 값이 가장 클 것으로 추정되는 지점의 깊이 값을 가지는 제1 지점과 해당하는 객체 영역 중 깊이 값이 가장 작을 것으로 추정되는 지점의 깊이 값을 가지는 제2 지점을 연결한 선일 수 있다. 이때, 제1 지점은 객체 영역의 꼭지점 좌표(x,y)의 값들 중, 최대 x 값을 x 좌표로 최소 y 값을 y 좌표로 하는 지점으로 결정될 수 있다. 제2 지점은 객체 영역의 꼭지점 좌표(x,y)의 값들 중 최소 x 값을 x 좌표로 3사분면 좌표의 y값들 중 중간 값을 y 좌표로 하는 제2 지점을 연결한 직선일 수 있다. 이하, 도 3 내지 도 10을 참조하여 도 2의 깊이맵 생성방법에 따라 2차원 원본영상의 깊이맵을 생성하는 방법을 예를 들어 구체적으로 설명한다.
According to another exemplary embodiment, the depth map generator may set at least some of the corresponding areas to have different depth values when the area of the object area is larger than the reference area. For example, assuming that the
도 3은 각 영역이 분할된 2차원 원본영상을 나타낸다. 도 3의 원본 영상은 모두 6개의 영역으로 분할된다. 분할된 영역들 중 원형 영역(310), 역삼각형 영역(320) 및 두 개의 다각형 영역들(330, 340)은 객체 영역이다. 분할된 영역들 중 객체 영역들을 제외한 상단 영역(350) 및 하단 영역(360)은 배경 영역이다. 3 shows a two-dimensional original image in which each region is divided. The original image of FIG. 3 is divided into six regions. Among the divided areas, the
도 4는 각 영역이 분할된 2차원 원본 영상의 소실점과 소실선을 설명하기 위한 도면이다. 일반적으로, 소실점은 소실선들이 검출되면, 검출된 소실선들이 연장되어 만나는 점으로 결정된다. 이때, 소실선들은 깊이 값이 변하는 방향(gradient 방향)들을 나타내며, 도 4에서 확인할 수 있듯이 주로 객체 영역들의 외곽선을 따라 형성된다.4 is a view for explaining a vanishing point and a vanishing line of a 2D original image in which respective regions are divided. In general, the vanishing point is determined by the point where the detected vanishing lines extend and meet when the vanishing lines are detected. In this case, the vanishing lines represent directions in which the depth value changes (gradient direction), and as shown in FIG. 4, the vanishing lines are mainly formed along the outline of the object regions.
도 5는 2차원 원본 영상의 배경 영역에 깊이 값이 설정된 결과를 나타낸다. 2차원 원본 영상은 도 3에서 도시한 바와 같이 2개의 배경 영역들(350, 360)을 가지므로 배경 영역의 깊이 값은 상단 배경 영역(350)과 하단 배경 영역(360)에 각각 설정된다. 상단 배경 영역(350)은 하늘과 같이 무한히 떨어진 거리에 있는 영역인 경우가 일반적이므로, 일 실시예에 따라 배경 영역(350) 전체를 모두 동일하게 원점 값(0, 검은 색)으로 설정할 수 있다. 하단 배경 영역(360)은 땅(지면)과 같이 영상의 아래 쪽으로 갈수록 가깝고 영상의 위쪽으로 갈수록 먼 경우가 일반적이므로 특정 방향을 따라 연속적으로 값이 증가하는 깊이 값을 가지게 된다. 일 실시예에 따라, 하단 배경 영역(360)은 소실점을 원점으로 하고, 소실선들이 기울어진 방향을 따라서 깊이 값이 증가하도록 깊이 값이 설정될 수 있다. 도 5를 보면, 상단의 배경 영역(350)은 0으로, 하단의 배경 영역(360)은 소실선 방향을 따라 점점 증가하는 값으로 깊이 값이 설정된 것을 확인할 수 있다.
5 illustrates a result of setting a depth value in a background region of a 2D original image. Since the 2D original image has two
도 6은 개시된 기술의 일 실시예에 따라, 2차원 원본 영상의 객체 영역에 깊이 값을 설정하는 방법을 설명하기 위한 도면이다. 도 6의 역삼각형 객체 영역(320)과 같이 기준 넓이보다 작은 객체 영역은, 객체 영역(320) 내의 모든 화소가 동일한 깊이 값으로 설정된다. 이때, 객체 영역(320) 내의 화소들이 갖는 깊이 값은 해당 객체 영역의 최하위 지점에 상응하는 배경 영역의 깊이 값으로 설정될 수 있다. 도 6을 보면, 역삼각형 객체 영역(320)은 아래 꼭지점(610) 부분이 최하위 지점이고, 아래 꼭지점(610) 부분에 상응하는 배경 영역의 깊이 값이 객체 영역(320) 내의 화소들이 갖는 깊이 값임을 확인할 수 있다. FIG. 6 is a diagram for describing a method of setting a depth value in an object area of a 2D original image according to one embodiment of the disclosed technology. In an object region smaller than the reference width, such as the inverted
도 7은 개시된 기술의 다른 일 실시예에 따라, 2차원 원본 영상의 객체 영역에 깊이 값을 설정하는 방법을 설명하기 위한 도면이다. 도 7의 다각형 객체 영역(340)과 같이 기준 넓이보다 큰 객체 영역은, 객체 영역(340) 내의 적어도 일부가 서로 다른 깊이 값으로 설정된다. 이때, 객체 영역(330, 340) 내의 화소들이 갖는 깊이 값은 각각의 열(column)별로 설정될 수 있다. 예를 들어, 깊이맵 생성장치는 객체 영역(340)의 각 열(column)에 속한 화소들을 각 열과 기준선이 교차하는 지점에 상응하는 배경 영역의 깊이 값으로 설정할 수 있다. 이때 기준선은 일례로 해당하는 객체 영역과 배경 영역이 접하는 경계선일 수 있다. 도 7을 보면, 다각형 객체 영역(340)의 경우, 각 열(column) 별로 각 열(column)에 속한 화소들에게 동일한 깊이 값이 설정되고, 이때 각 열(column)에 속한 화소들에게 설정되는 깊이 값은 객체 영역(340)과 배경 영역(360)이 접하는 경계선(710)의 깊이 값임을 확인할 수 있다.FIG. 7 is a diagram for describing a method of setting a depth value in an object area of a 2D original image according to another embodiment of the disclosed technology. In an object region larger than the reference width, such as the
도 8은 도 6 및 도 7을 참조하여 설명한 방법에 따라 생성된 깊이맵을 나타낸다. 도 8을 보면, 원형 객체 영역(310)과 역삼각형 객체 영역(320)은 각각 해당 객체 영역(310, 320)의 최하위 지점에 상응하는 배경 영역(360)의 깊이 값으로 설정된 것을 확인할 수 있다. 또한 다각형 객체 영역들(330, 340)은 하단 배경 영역(360)과 접하는 경계선의 깊이 값으로 각 열(column)에 속한 화소들의 깊이 값이 설정된 것을 확인할 수 있다.8 illustrates a depth map generated according to the method described with reference to FIGS. 6 and 7. 8, it can be seen that the
도 9는 개시된 기술의 다른 일 실시예에 따라, 2차원 원본 영상의 객체 영역에 깊이 값을 설정하는 방법을 설명하기 위한 도면이다. 도 7에서 설명한 경우와 비슷하게, 도 9의 객체 영역(910)은 기준 넓이 보다 커서, 해당 객체 영역(910)의 적어도 일부가 서로 다른 깊이 값을 가지도록 설정될 수 있다. 예를 들어, 깊이맵 생성장치는 해당 객체 영역의 각 열(column)에 속한 화소들을 각 열과 기준선이 교차하는 지점에 상응하는 배경 영역의 깊이 값으로 설정할 수 있다. 도 7에서 예를 들어 설명한 경우와 다른 일 실시예로, 기준선은, 제1 지점과 제2 지점을 연결한 선 일 수 있다. 예컨대, 제1 지점은 해당하는 객체 영역 중 깊이 값이 가장 클 것으로 추정되는 지점의 깊이 값을 가지는 배경 지점이 될 수 있다. 또한, 제2 지점은 해당하는 객체 영역 중 깊이 값이 가장 작을 것으로 추정되는 지점의 깊이 값을 가지는 배경 지점이 될 수 있다. 9 is a diagram for describing a method of setting a depth value in an object area of a 2D original image according to another embodiment of the disclosed technology. Similar to the case described with reference to FIG. 7, the
예컨대, 제1 지점은 객체 영역의 꼭지점 좌표(x,y)의 값들 중, 최대 x 값을 x 좌표로 최소 y 값을 y 좌표로 하는 지점으로 결정될 수 있다. 도 9를 참조하면, 제1 지점은 객체 영역의 최 우측 꼭지점(920)을 지나는 직선과 객체 영역의 최 하측 꼭지점(930)을 지나는 직선이 만나는 지점(940)으로 결정될 수 있다. 제1 지점(940)은 최 우측 꼭지점(920)과 동일한 x 값을 x 좌표로 가지며, 최 하측 꼭지점(930)과 동일한 y 값을 y 좌표로 가지는데, 이때, 최 우측 꼭지점(920)은 객체 영역의 꼭지점 중 x 값이 가장 큰 지점이고, 최 하측 꼭지점(930)은 객체 영역의 꼭지점 중 y 값이 가장 작은 지점이다. For example, the first point may be determined as a point having a maximum x value as an x coordinate and a minimum y value as a y coordinate among values of vertex coordinates (x, y) of the object region. Referring to FIG. 9, the first point may be determined as a
제2 지점은 객체 영역의 꼭지점 좌표(x,y)의 값들 중 최소 x 값을 x 좌표로 3사분면 좌표의 y값들 중 중간 값을 y 좌표로 하는 제2 지점을 연결한 직선일 수 있다. 도 9를 참조하면, 제2 지점은 객체 영역의 최 좌측 꼭지점(950)을 지나는 직선과 객체 영역의 3사분면의 꼭지점 좌표들 중 y 값이 중간 값인 꼭지점(960)을 지나는 직선이 만난 지점(970)으로 결정될 수 있다. 도 9의 실시예에서 3사분면은 좌하분면을 의미하나 실시예에 따라, 우하분면 등이 될 수도 있다. 도 9의 제2 지점(970)은 객체 영역의 꼭지점 중 x 값이 가장 작은 지점인 최 좌측 꼭지점(950)과 동일한 x 값을 x 좌표로 가지며, 객체 영역의 3사분면의 꼭지점 좌표들 중 y 값이 중간 값인 꼭지점(960)과 동일한 y 값을 y 좌표로 가진다. 도 10은 도 9를 참조하여 설명한 방법에 따라 생성된 깊이맵을 나타낸다.
The second point may be a straight line connecting a second point having a minimum x value among the values of the vertex coordinates (x, y) of the object area as the x coordinate and a middle point among the y values of the three quadrant coordinates as the y coordinate. Referring to FIG. 9, the second point is a
이러한 개시된 기술인 시스템 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.While the system and apparatus disclosed herein have been described with reference to the embodiments shown in the drawings for purposes of clarity of understanding, they are illustrative only and various modifications and equivalent embodiments can be made by those skilled in the art. I will understand that. Accordingly, the true scope of protection of the disclosed technology should be determined by the appended claims.
Claims (6)
상기 2차원 영상을 적어도 하나의 배경 영역 및 적어도 하나의 객체 영역으로 분할하는 단계;
상기 2차원 영상의 소실점을 원점으로, 상기 소실점과 만나는 소실선들이 기울어진 방향을 따라, 상기 배경 영역의 깊이 값을 설정하는 단계; 및
상기 배경 영역에 설정된 깊이 값을 기준으로 상기 객체 영역의 깊이 값을 설정하는 단계를 포함하는 깊이 맵을 생성하는 방법.A method for generating a depth map of a 2D image to convert a 2D image into a stereoscopic stereoscopic image,
Dividing the 2D image into at least one background area and at least one object area;
Setting a depth value of the background area as a vanishing point of the 2D image along a direction in which vanishing lines meeting the vanishing point are inclined; And
And setting a depth value of the object region based on the depth value set in the background region.
상기 객체 영역의 넓이가 미리 설정된 넓이보다 작은 경우 상기 객체 영역의 전부를 동일한 깊이 값으로 설정하고, 상기 객체 영역의 넓이가 미리 설정된 넓이보다 큰 경우 상기 객체 영역의 적어도 일부가 서로 다른 깊이 값을 가지도록 설정하는 깊이 맵을 생성하는 방법.The method of claim 1, wherein the setting of the depth value of the object area comprises:
If the width of the object area is smaller than the preset width, all of the object areas are set to the same depth value, and if the width of the object area is larger than the preset width, at least a part of the object area has different depth values. How to create a depth map to set up.
상기 객체 영역의 넓이가 미리 설정된 넓이보다 작은 경우, 상기 객체 영역의 화소들을, 상기 객체 영역의 최하위 지점에 상응하는 배경 영역의 깊이 값으로 설정하는 깊이 맵을 생성하는 방법.The method of claim 1, wherein the setting of the depth value of the object area comprises:
And generating a depth map that sets pixels of the object region to a depth value of a background region corresponding to the lowest point of the object region when the width of the object region is smaller than a preset width.
상기 객체 영역의 넓이가 미리 설정된 넓이보다 큰 경우, 상기 객체 영역의 각 열(column)에 속한 화소들을 상기 각 열과 기준선이 교차하는 지점에 상응하는 배경 영역의 깊이 값으로 설정하는 깊이 맵을 생성하는 방법.The method of claim 1, wherein the setting of the depth value of the object area comprises:
When the width of the object area is larger than a preset width, a depth map is set to set pixels belonging to each column of the object area to a depth value of a background area corresponding to a point at which each column intersects a reference line. Way.
상기 객체 영역과 상기 배경 영역이 접하는 경계선인 깊이 맵을 생성하는 방법.The method of claim 4, wherein the baseline,
And generating a depth map that is a boundary line between the object region and the background region.
상기 객체 영역의 꼭지점 좌표(x,y)의 값들 중, 최대 x 값을 x 좌표로 최소 y 값을 y 좌표로 하는 제1 지점과, 최소 x 값을 x 좌표로 3사분면 좌표의 y값들 중 중간 값을 y 좌표로 하는 제2 지점을 연결한 직선인 깊이 맵을 생성하는 방법. The method of claim 5, wherein the baseline,
Among the values of the vertex coordinates (x, y) of the object region, a middle point between the first point having the maximum x value as the x coordinate and the minimum y value as the y coordinate, and the y values of the three quadrant coordinates with the minimum x value as the x coordinate A method of generating a depth map that is a straight line connecting a second point whose value is the y coordinate.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110114948A KR101303883B1 (en) | 2011-11-07 | 2011-11-07 | Depth map generation method for converting 2-dimensional image to stereoscopic image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110114948A KR101303883B1 (en) | 2011-11-07 | 2011-11-07 | Depth map generation method for converting 2-dimensional image to stereoscopic image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130049906A true KR20130049906A (en) | 2013-05-15 |
| KR101303883B1 KR101303883B1 (en) | 2013-09-04 |
Family
ID=48660463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110114948A KR101303883B1 (en) | 2011-11-07 | 2011-11-07 | Depth map generation method for converting 2-dimensional image to stereoscopic image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101303883B1 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101082046B1 (en) * | 2009-10-30 | 2011-11-10 | 엘지이노텍 주식회사 | Method and apparatus for converting 2D images to 3D images |
| KR101071911B1 (en) * | 2010-10-29 | 2011-10-10 | (주)포디비전 | Method for creation 3 dimensional image |
-
2011
- 2011-11-07 KR KR1020110114948A patent/KR101303883B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR101303883B1 (en) | 2013-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6412690B2 (en) | Method for obtaining depth information and display device | |
| JP4707368B2 (en) | Stereoscopic image creation method and apparatus | |
| CN101542529B (en) | Generation method of depth map for an image and an image process unit | |
| US20140071131A1 (en) | Image processing apparatus, image processing method and program | |
| KR102240568B1 (en) | Method and apparatus for processing image | |
| WO2011033673A1 (en) | Image processing apparatus | |
| JP5291755B2 (en) | Stereoscopic image generation method and stereoscopic image generation system | |
| KR20180120801A (en) | Switching between binocular and monocular time | |
| US9183670B2 (en) | Multi-sample resolving of re-projection of two-dimensional image | |
| KR20130061042A (en) | Image processing apparatus and method for rendering subpixel | |
| JP2015522198A (en) | Depth map generation for images | |
| TW201243763A (en) | Method for 3D video content generation | |
| KR20110049039A (en) | High density multi-view display system and method based on the active sub-pixel rendering | |
| JP5464279B2 (en) | Image processing apparatus, program thereof, and image processing method | |
| US20140340486A1 (en) | Image processing system, image processing method, and image processing program | |
| WO2012094077A1 (en) | Multi-sample resolving of re-projection of two-dimensional image | |
| KR20120053536A (en) | Image display device and image display method | |
| JPWO2015132828A1 (en) | Video display method and video display device | |
| CN104537627B (en) | A kind of post-processing approach of depth image | |
| JP6717576B2 (en) | Video rendering apparatus and method | |
| JP6128748B2 (en) | Image processing apparatus and method | |
| KR101125061B1 (en) | A Method For Transforming 2D Video To 3D Video By Using LDI Method | |
| KR101121979B1 (en) | Method and device for stereoscopic image conversion | |
| Yang et al. | Depth map generation from a single image using local depth hypothesis | |
| KR101303883B1 (en) | Depth map generation method for converting 2-dimensional image to stereoscopic image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160829 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |