KR101683164B1 - Apparatus and method for inpainting in occlusion - Google Patents

Apparatus and method for inpainting in occlusion Download PDF

Info

Publication number
KR101683164B1
KR101683164B1 KR1020100088678A KR20100088678A KR101683164B1 KR 101683164 B1 KR101683164 B1 KR 101683164B1 KR 1020100088678 A KR1020100088678 A KR 1020100088678A KR 20100088678 A KR20100088678 A KR 20100088678A KR 101683164 B1 KR101683164 B1 KR 101683164B1
Authority
KR
South Korea
Prior art keywords
boundary
region
occlusion
restoration
image
Prior art date
Application number
KR1020100088678A
Other languages
Korean (ko)
Other versions
KR20120026662A (en
Inventor
이승규
임화섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100088678A priority Critical patent/KR101683164B1/en
Publication of KR20120026662A publication Critical patent/KR20120026662A/en
Application granted granted Critical
Publication of KR101683164B1 publication Critical patent/KR101683164B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

가상시점 영상을 생성하는 과정에서 발생하는 폐색 영역을 복원하는 장치 및 방법을 제공한다. 폐색 영역 복원 방법은 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성하고, 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출하며, 상기 기준 시점에서 획득된 깊이 영상에서 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출하고, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하며, 상기 복원된 영역들을 상기 가상시점 영상들에 워핑한다.An apparatus and method for restoring an occlusion region generated in a process of generating a virtual viewpoint image are provided. The closed region reconstruction method includes the steps of: generating virtual viewpoint images at a virtual viewpoint based on a depth image obtained at a reference viewpoint and a color image obtained at the reference viewpoint, extracting boundaries of occlusion regions included in the virtual viewpoint images, Extracting restoration target areas corresponding to the occlusion areas based on the boundary of the occlusion areas in the depth image acquired at the reference time point, restoring the restoration target areas based on the color image acquired at the reference time point And warps the restored regions to the virtual viewpoint images.

Description

폐색 영역 복원 장치 및 방법{APPARATUS AND METHOD FOR INPAINTING IN OCCLUSION}[0001] APPARATUS AND METHOD FOR INPAINTING IN OCCLUSION [0002]

기술분야는 가상시점 영상을 생성하는 과정에서 발생하는 폐색 영역을 복원하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for restoring an occlusion region generated in a process of generating a virtual viewpoint image.

깊이 영상은 3차원 공간상에 위치하는 객체와 그 객체를 촬영하는 카메라 사이의 거리를 흑백의 단위로 나타내는 영상이다. 이러한 깊이 영상은 깊이 정보와 카메라 파라미터를 통하여 3차원 복원기술 또는 3차원 워핑(warping) 기술에 많이 이용된다. The depth image is an image in which the distance between the object located on the three-dimensional space and the camera for photographing the object is expressed in monochrome units. This depth image is widely used for 3D reconstruction or 3D warping through depth information and camera parameters.

기준시점에서 촬영되는 객체를 통한 깊이 영상 및 컬러 영상은 가상시점에서 촬영되는 객체를 통한 깊이 영상 및 컬러 영상과 서로 다르다. 왜냐하면 객체를 촬영하는 카메라가 이동할 때, 즉 객체를 바라보는 시점이 변화할 때, 시점이 변화하기 전에는 보이지 않던 부분이 시점이 변화한 후에는 보이게 되기 때문이다. 이때 기준시점 영상에서는 보이지 않지만 가상시점 영상에서 보이는 영역을 폐색 영역(occlusion)이라고 한다. The depth image and the color image through the object photographed at the reference point are different from the depth image and the color image through the object photographed at the virtual viewpoint. This is because when the camera that captures the object moves, that is, when the viewpoint of the object changes, the portion that was not seen until the viewpoint changes is visible after the viewpoint changes. At this time, the area that is not visible in the reference view image but is visible in the virtual view image is referred to as occlusion area.

그런데, 가상시점 영상이 복수 개인 경우, 폐색 영역도 복수 개로 발생할 수 있다. 기존의 폐색 영역을 복원하는 방식은 각 가상시점 영상 별로 폐색 영역을 독립적으로 복원한다. 이 경우 각 가상시점 영상에서는 주관적 및 객관적으로 고화질의 영상 복원이 가능하지만, 다양한 시점이 반영된 전체 영상에서는 주관적 및 객관적으로 고화질을 보장할 수 없다. 왜냐하면, 각 가상시점 영상에서 복원되는 영역 간에 컬러 및 깊이 정보가 불일치 하는 경우가 많기 때문이다.However, when there are a plurality of virtual viewpoint images, a plurality of occlusion areas may occur. In the conventional method of restoring the occlusion region, the occlusion region is independently restored for each virtual viewpoint image. In this case, high-quality image reconstruction can be performed subjectively and objectively in each virtual-view image, but high-quality images can not be assured subjective and objectively in a whole image in which various viewpoints are reflected. This is because the color and depth information are often inconsistent between the restored regions in each virtual viewpoint image.

일 측면에 있어서, 폐색 영역 복원 방법은 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성하는 단계, 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출하는 단계, 상기 기준 시점에서 획득된 깊이 영상에서 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출하는 단계, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하는 단계 및 상기 복원된 영역들을 상기 가상시점 영상들에 워핑하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of reconstructing an occlusion region, comprising: generating virtual viewpoint images at a virtual viewpoint based on a depth image obtained at a reference viewpoint and a color image obtained at the reference viewpoint; Extracting a boundary of the regions, extracting restoration object regions corresponding to the occlusion regions based on a boundary of the occlusion regions in the depth image obtained at the reference time, Performing inpainting of the restoration target areas, and warping the restored areas to the virtual view images.

상기 폐색 영역들의 경계를 추출하는 단계는 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출하는 단계 및 상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 단계를 포함할 수 있다.The step of extracting the boundaries of the occlusion regions may include detecting boundaries of occlusion regions included in the virtual viewpoint images and labeling the detected boundaries with either a foreground region boundary or a background region boundary have.

상기 복원 대상 영역들을 추출하는 단계는 상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경 영역 경계에 해당하는 영역을 추출하는 단계 및 상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)하는 단계를 포함할 수 있다.Extracting the regions to be restored includes extracting regions corresponding to background regions of the occlusion regions included in the virtual viewpoint images in the depth image obtained at the reference time point based on the boundaries of the occlusion regions, And growing a depth value from a region corresponding to the extracted background region boundary to a region corresponding to a foreground region boundary in the depth image obtained at the reference time point.

상기 복원 대상 영역들을 복원(Inpainting)하는 단계는 상기 복원 대상 영역들의 깊이 값과 주변 영역들의 깊이 값이 유사한 경우의 패치를 이용하여 상기 복원 대상 영역들을 복원할 수 있다.The step of restoring the restoration subject areas may restore the restoration subject areas using a patch when the depth values of the restoration subject areas and the depth values of the surrounding areas are similar.

다른 일 측면에 있어서, 폐색 영역 복원 방법은 상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 단계를 더 포함하고, 상기 공통 폐색 영역이 존재하면 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)할 수 있다.According to another aspect of the present invention, there is provided a method of restoring a closed region, the method including determining whether a common occlusion region exists between the regions to be restored, Thereby restoring the restoration target areas.

일 측면에 있어서, 폐색 영역 복원 장치는 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성하는 가상시점 영상 생성부, 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출하는 경계 추출부, 상기 기준 시점에서 획득된 깊이 영상에서 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출하는 영역 추출부, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하는 영역 복원부 및 상기 복원된 영역들을 상기 가상시점 영상들에 워핑하는 워핑부를 포함한다.In one aspect, an occlusion region restoration apparatus includes a virtual viewpoint image generation unit for generating virtual viewpoint images at a virtual viewpoint based on a depth image obtained at a reference viewpoint and a color image obtained at the reference viewpoint, A region extraction unit for extracting restoration target areas corresponding to the occlusion areas based on the boundaries of the occlusion areas in the depth image acquired at the reference time, An area restoration unit for restoring the restoration subject areas based on the color image obtained at the time point, and a warping unit for warping the restored areas to the virtual viewpoint images.

상기 경계 추출부는 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출하는 경계 검출부 및 상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 경계 라벨링부를 포함할 수 있다.The boundary extracting unit may include a boundary detecting unit for detecting a boundary of occlusion areas included in the virtual viewpoint images, and a boundary labeling unit for labeling the detected boundary with either a foreground area boundary or a background area boundary.

상기 영역 추출부는 상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경 영역 경계에 해당하는 영역을 추출하는 배경영역 경계 추출부 및 상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)하는 깊이 값 복원부를 포함할 수 있다.Wherein the region extracting unit extracts a region corresponding to a background region boundary of the occlusion regions included in the virtual viewpoint images in the depth image acquired at the reference time point based on the boundary of the occlusion regions, And a depth value restoration unit for growing a depth value from a region corresponding to the extracted background region boundary to a region corresponding to the foreground region boundary in the depth image obtained at the reference time point.

다른 일 측면에 있어서, 폐색 영역 복원 장치는 상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 판단부를 더 포함하고, 상기 공통 폐색 영역이 존재하면, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)할 수 있다.According to another aspect of the present invention, the clogging area restoration apparatus further includes a determination unit that determines whether a common clogging area exists between the restoration target areas, and when the common clogging area exists, The restoration target areas may be restored based on the restoration target areas.

상기 판단부는 상기 복원 대상 영역들 중에서 배경 영역 경계에 해당하는 영역이 중복되는 지 여부로 상기 공통 폐색 영역 존부를 판단할 수 있다.The determination unit can determine the common occlusion area using whether the region corresponding to the background region boundary is overlapped among the restoration target regions.

스테레오 영상 또는 다시점 영상에서 발생한 공통 폐색 영역에 대응하는 기준시점 영상 영역을 추출하고, 추출된 기준시점 영상 영역에서 복원과정을 수행하여 다시 스테레오 영상 또는 다시점 영상으로 워핑함으로써, 스테레오 영상 또는 다시점 영상에서 발생한 아티팩트(artifact)를 제거하고, 주관적 화질을 향상시킬 수 있다.A reference viewpoint image region corresponding to a common occlusion region generated from a stereo image or a multi-viewpoint image is extracted, and a restoration process is performed on the extracted reference viewpoint image region to warp into a stereo image or a multi-viewpoint image, Artifacts generated in the image can be removed and the subjective image quality can be improved.

또한, 가상시점 영상에서 발생한 공통 폐색 영역에 대응하는 기준시점 영상 영역을 추출 및 복원함으로써, 복원된 영상 간에 발생하는 컬러 및 깊이 정보의 불일치를 줄일 수 있다.Also, by extracting and restoring the reference view image region corresponding to the common occlusion region generated in the virtual view image, it is possible to reduce discrepancies in color and depth information occurring between the restored images.

또한, 가상시점 영상에서 발생한 공통 폐색 영역에 대응하는 기준시점 영상 영역을 추출 및 복원함으로써, 복원 과정에서 요구되는 연산량을 줄일 수 있다. 따라서, 영상 처리 속도가 빨라질 수 있다.In addition, by extracting and restoring the reference view image region corresponding to the common occlusion region generated in the virtual viewpoint image, the amount of calculation required in the restoration process can be reduced. Therefore, the image processing speed can be increased.

도 1은 기준시점 영상에서 각 영상 별로 복원한 경우를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 폐색 영역 복원 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가상시점 영상 생성부의 구체적 일 예를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 경계 추출부의 구체적 일 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 영역 추출부의 구체적 일 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 영역 복원부의 구체적 일 예를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 워핑부의 구체적 일 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 폐색 영역 복원 방법을 설명하기 위한 흐름도이다.FIG. 1 is a view illustrating a case where a reference view image is reconstructed for each image.
2 is a block diagram of an apparatus for restoring a closed area according to an embodiment of the present invention.
FIG. 3 is a view showing a specific example of a virtual viewpoint image generation unit according to an embodiment of the present invention.
4 is a view showing a specific example of a boundary extracting unit according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of a region extracting unit according to an embodiment of the present invention. Referring to FIG.
FIG. 6 is a diagram illustrating a specific example of an area restoration unit according to an embodiment of the present invention.
7 is a view showing a specific example of a warping portion according to an embodiment of the present invention.
8 is a flowchart illustrating a method of restoring a closed region according to an embodiment of the present invention.

이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to one aspect will be described in detail with reference to the accompanying drawings.

도 1은 기준시점 영상에서 각 영상 별로 복원한 경우를 나타낸 도면이다.FIG. 1 is a view illustrating a case where a reference view image is reconstructed for each image.

깊이 영상은 3차원 공간상에 위치하는 객체와 그 객체를 촬영하는 카메라 사이의 거리를 흑백의 단위로 나타내는 영상이고, 컬러 영상은 객체의 컬러에 대한 정보를 픽셀마다 나타내는 영상이다. 원영상의 시점에서 획득한 깊이 영상 및 컬러 영상을 가지고 새로운 시점에서 3차원 영상을 생성하는 경우, 원영상에서는 보이지 않던 영역이 새로운 시점에서는 보일 수 있다. 이러한 영역을 폐색 영역(occlusion)이라고 한다. 원 영상을 기준 시점 영상으로, 새로운 시점의 영상을 가상 시점 영상이라고 할 수 있다. The depth image is an image representing a distance between an object located in a three-dimensional space and a camera for photographing the object in units of black and white. A color image is an image representing information on the color of the object for each pixel. When a 3D image is generated at a new viewpoint with a depth image and a color image acquired at a viewpoint of an original image, an area not seen in the original image can be seen at a new viewpoint. This region is called occlusion. The original image can be referred to as a reference view image, and the new view image can be referred to as a virtual view image.

도 1을 참조하면, 기준 시점 영상을 기초로 하여 스테레오 영상이 생성되었다. 스테레오 영상은 사람 눈의 왼쪽과 오른쪽으로 보이는 시점에서의 영상을 의미한다. 여기서 (A)는 (B)를 기초로 하여 좌안 시점에서 생성된 영상이고, (C)는 (B)를 기초로 하여 우안 시점에서 생성된 영상이다. 또한, (A) 및 (C)는 가상시점에서 생성된 폐색 영역을 각 영상 별로 복원한 경우이다. (A) 및 (C)에서 타원 영역(110,120)은 기준 시점 영상의 배경에서 공통된 영역에 해당한다. (A) 및 (C)의 영상으로 생성되는 과정에서 발생한 폐색 영역은 각각 복원되는 과정에서, 기준 시점에서 공통된 영역임에도, 서로 다른 컬러 값을 가진다. 이러한 결과는 컬러 및 깊이 정보의 불일치로 심각한 아티팩트(artifact)를 초래하고, 사용자의 시각에 피로를 유발하는 원인이 된다. 아티팩트(artifact)란 영상에서 물체의 이미지가 뭉개지거나, 모자이크 현상이 발생함에 따라 화질이 저화되는 경우를 의미한다. 따라서, 각 가상시점 영상의 폐색 영역 중 기준시점 영상에서 공통된 영역을 추출하고, 공통된 영역을 복원하여 복원 결과를 일치시켜주어야 한다.
Referring to FIG. 1, a stereo image is generated based on a reference view image. Stereo image refers to the image at the viewpoint of the left and right eyes of the human eye. Here, (A) is the image generated at the left eye view on the basis of (B), and (C) is the image generated at the right eye view on the basis of (B). In addition, (A) and (C) are cases in which the occlusion region generated at the virtual viewpoint is restored for each image. (A) and (C), the elliptical regions 110 and 120 correspond to a common region in the background of the reference view image. The occlusion regions generated in the process of generating the images of (A) and (C) have different color values in the restoration process, respectively, although they are common areas at the reference time. These results lead to serious artifacts due to discrepancies in color and depth information, and cause fatigue in the user's view. The artifact means a case where the image quality of the object is reduced due to an image of the object being crushed or a mosaic phenomenon. Therefore, it is necessary to extract a common region from the reference view image among the occlusion regions of each virtual viewpoint image, and restore the common region to match the restoration results.

도 2는 본 발명의 일 실시예에 따른 폐색 영역 복원 장치의 블록도이다.2 is a block diagram of an apparatus for restoring a closed area according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 폐색 영역 복원 장치는 가상시점 영상 생성부(210), 경계 추출부(220), 영역 추출부(230), 영역 복원부(240) 및 워핑부(250)를 포함한다. 2, the apparatus for reconstructing a closed region according to an exemplary embodiment of the present invention includes a virtual view image generator 210, a boundary extractor 220, a region extractor 230, an area restorer 240, (250).

가상시점 영상 생성부(210)는 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성한다. 가상시점 영상 생성부(210)는 기준 시점에서 획득된 깊이 영상의 깊이 정보 및 컬러 영상의 컬러 정보에 기초하여 워핑(warping)을 수행하면 가상 시점에서 가상시점 영상을 생성할 수 있다. 워핑(warping)을 간략히 설명하면, 기준 시점(view point)에서 생성된 영상을 가상 시점영상으로 변환하는 영상처리 기법을 말한다. 워핑에 대해서는 이 기술이 속한 분야에서 통상의 지식을 가진 자들에게 널리 알려진 사실이어서 구체적인 설명은 생략한다. 또한, 가상시점 영상 생성부(210)는 기준 시점에서 획득된 여러 장의 컬러 영상에 기초하여 가상시점 영상들을 생성할 수 있다. 또한, 가상시점 영상 생성부(210)는 기준 시점에서 획득된 컬러 영상 및 여러 장의 깊이 영성에 기초하여 가상시점 영상들을 생성할 수 있다. The virtual viewpoint image generation unit 210 generates virtual viewpoint images at a virtual viewpoint based on the depth image obtained at the reference viewpoint and the color image obtained at the reference viewpoint. The virtual viewpoint image generation unit 210 may generate a virtual viewpoint image at a virtual viewpoint by performing warping based on the depth information of the depth image obtained at the reference viewpoint and the color information of the color image. A brief description of warping refers to an image processing technique for converting an image generated at a view point into a virtual view image. The warping is well known to those skilled in the art, so a detailed description is omitted. The virtual viewpoint image generator 210 may generate virtual viewpoint images based on the plurality of color images obtained at the reference point. The virtual viewpoint image generating unit 210 may generate virtual viewpoint images based on the color image obtained at the reference point and depth spots of a plurality of depths.

가상시점 영상에는 기준시점 영상에서 보이지 않던 폐색 영역이 포함될 수 있다. 왜냐하면, 기준시점 영상에 기초하여 가상 시점에서 영상을 생성하기 때문이다. 또한, 폐색 영역은 가상 시점에서 상대적으로 전경에 해당하는 경계선과 상대적으로 배경에 해당하는 경계선으로 구별될 수 있다. 기준시점 영상의 깊이 정보, 즉 3차원 좌표 값과 기준 시점에서 가상 시점으로 이동(shift)하는 방향을 고려하여 상대적으로 폐색 영역보다 작은 깊이 값을 가지는 영역을 전경 영역으로, 상대적으로 폐색 영역보다 큰 깊이 값을 가지는 영역을 배경 영역으로 구별될 수 있다.The virtual viewpoint image may include an occlusion region that is not visible in the reference viewpoint image. This is because the image is generated at the virtual viewpoint based on the reference viewpoint image. In addition, the occlusion region can be distinguished at a virtual viewpoint by a boundary line corresponding to the foreground and a boundary line corresponding to the background relatively. The depth information of the reference view image, that is, the three-dimensional coordinate value and the direction of shifting to the virtual viewpoint from the reference view, is referred to as a foreground region and a region having a depth value smaller than that of the occlusion region An area having a depth value can be distinguished as a background area.

경계 추출부(220)는 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출한다. 경계 추출부(220)는 경계 검출부(221) 및 경계 라벨링부(223)를 포함할 수 있다. The boundary extracting unit 220 extracts the boundaries of the occlusion areas included in the virtual viewpoint images. The boundary extracting unit 220 may include a boundary detecting unit 221 and a boundary labeling unit 223.

경계 검출부(221)는 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출할 수 있다. 경계 검출부(221)는 종래의 Morphological Operation 방법이나, Chain Code 기법을 이용하여 폐색 영역의 경계를 검출할 수 있다.The boundary detection unit 221 may detect the boundaries of the occlusion areas included in the virtual viewpoint images. The boundary detection unit 221 can detect the boundary of the occlusion region using the conventional Morphological Operation method or the Chain Code technique.

Morphological Operation 방법은 워핑된 칼라 영상의 각 픽셀의 칼라 값의 그래디언트(gradient)를 고려하여, 칼라 값이 존재하지 않는 폐색 영역의 경계를 일정한 마진(margin)으로 설정하는 방법이고, Chain Code 기법은, 특정 방향으로 샘플링된 경계 부분의 픽셀을 체인으로 연결해 나아가는 방식으로 확장함으로써 영역의 경계를 검출하는 기법으로서, 모두 영상 처리 분야에서 통상의 지식을 가지는 자에게 잘 알려져 있다.The Morphological Operation method is a method of setting a boundary of a closed region in which a color value does not exist to a certain margin in consideration of a gradient of a color value of each pixel of a warped color image, A technique for detecting a boundary of a region by extending a pixel of a boundary portion sampled in a specific direction in a chain linking manner is well known to those having ordinary knowledge in the image processing field.

경계 라벨링부(223)는 상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 할 수 있다. 경계 라벨링부(223)는 검출된 경계의 각 부분에 대해, 전경 영역과의 경계인지, 아니면 배경 영역과의 경계인지 여부를 판단하여, 이를 식별할 수 있는 라벨링(labeling)을 수행한다.The boundary labeling unit 223 may label the detected boundary with either the foreground region boundary or the background region boundary. The boundary labeling unit 223 determines whether a boundary between the foreground region and the background region is detected for each part of the detected boundary, and performs labeling to identify the boundary.

경계 라벨링부(223)는, 깊이 영상을 이용하여, 경계 검출부(221)에서 검출된 경계의 각 부분에 대해 깊이 값의 그래디언트 벡터(gradient vector)를 계산한다. 이러한 깊이 값의 그래디언트 벡터는 깊이 영상의 전체에 대해 일괄적으로 계산된 후, 검출된 경계의 각 부분에서 선택적으로 사용될 수 있으며, 또는 경계 라벨링 과정에서 경계 부분에 대해서만 선별적으로 계산될 수도 있다.The boundary labeling unit 223 calculates a gradient vector of depth values for each part of the boundary detected by the boundary detection unit 221 using the depth image. The gradient vector of depth values may be collectively calculated for the entire depth image, and then selectively used at each part of the detected boundary, or may be selectively computed only for the boundary part in the boundary labeling process.

또한, 경계 라벨링부(223)는 폐색 영역의 경계의 안쪽을 향하는 폐색 방향 벡터(occlusion direction vector)를 계산할 수 있다. 전경 영역과 접하는 경계 부분에서는, 계산된 깊이 값의 그래디언트 벡터와 폐색 방향 벡터가 서로 반대 방향을 향할 수 있다. 반면, 배경 영역과 접하는 경계 부분에서는, 깊이 값의 그래디언트 벡터와 폐색 방향 벡터가 유사한 방향을 향할 수 있다.In addition, the boundary labeling unit 223 may calculate an occlusion direction vector toward the inside of the boundary of the occluding region. In the boundary portion that comes into contact with the foreground region, the gradient vector of the calculated depth value and the occlusion direction vector may be directed in opposite directions. On the other hand, at the boundary portion that comes into contact with the background region, the gradient vector of the depth value and the obtuse direction vector can be directed in a similar direction.

또한, 경계 라벨링부(223)는, 검출된 경계의 각 부분에 대해, 깊이 값의 그래디언트 벡터와 폐색 방향 벡터 사이의 내적(inner product)를 계산할 수 있다. 이렇게 계산된 내적이 음수(negative value)인 부분에서는, 깊이 값의 그래디언트 벡터와 폐색 방향 벡터가 이루는 각은 90도 이상이므로, 경계 라벨링부(223)는 해당 부분의 경계를 전경 영역과 접하는 것으로 라벨링 한다. 한편, 계산된 내적이 양수(positive value)인 부분에서는, 깊이 값의 그래디언트 벡터와 폐색 방향 벡터가 이루는 각은 90도 이하이므로, 경계 라벨링부(223)는 해당 부분의 경계를 배경 영역과 접하는 것으로 라벨링 한다.Further, the boundary labeling unit 223 can calculate the inner product between the gradient vector of the depth value and the obstruction direction vector for each part of the detected boundary. Since the angle formed between the gradient vector of the depth value and the occlusion direction vector is 90 degrees or more in the portion where the inner product is calculated as described above, the boundary labeling unit 223 labels the boundary of the relevant portion as the foreground region, do. On the other hand, in the portion where the calculated inner product is a positive value, the angle formed by the gradient vector of the depth value and the obtuse direction vector is 90 degrees or less, so that the boundary labeling unit 223 tangent to the background region Label.

상기 내적 계산 시, 벡터 값이 클수록 더 신뢰할 수 있는 계산으로 인정한다. 즉, 내적 값의 절대치(norm)가 클수록 결과를 신뢰할 수 있다.In the inner product calculation, the larger the vector value, the more reliable the calculation is. That is, the larger the norm of the inner product, the more reliable the result.

영역 추출부(230)는 기준 시점에서 획득된 깊이 영상에서, 경계 추출부(220)에서 추출된 폐색 영역들의 경계에 기초하여, 폐색 영역들에 대응하는 복원 대상 영역들을 추출한다. 영역 추출부(230)는 기준 시점에서 획득된 깊이 영상에서, 배경영역 경계에 해당하는 영역으로부터 전경영역 경계에 해당하는 영역까지 깊이 값이 복원 된 복원 대상 영역들을 추출할 수 있다. 영역 추출부(230)는 배경영역 경계 추출부(231) 및 깊이 값 복원부(233)를 포함할 수 있다.The region extracting unit 230 extracts restoration target areas corresponding to the occlusion areas based on the boundaries of the occlusion areas extracted by the boundary extracting unit 220 in the depth image obtained at the reference time. The region extracting unit 230 can extract the restoration subject areas having the depth values restored from the area corresponding to the background area boundary to the area corresponding to the foreground area boundary in the depth image obtained at the reference point. The region extracting unit 230 may include a background region boundary extracting unit 231 and a depth value restoring unit 233.

배경영역 경계 추출부(231)는 상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경영역 경계에 해당하는 영역을 추출할 수 있다. 배경영역 경계 추출부(231)는 경계 추출부(220)에서 추출된 배경영역 경계의 깊이 값에 기초하여 기준 시점에서 획득된 깊이 영상에서, 상기 배경영역 경계에 해당하는 영역을 추출할 수 있다. 폐색 영역 내부에는 깊이 값이 존재하지 않으므로, 배경영역 경계 추출부(231)는 폐색 영역의 경계 중에서 배경영역 경계에 해당하는 부분을, 기준 시점에서 획득된 깊이 영상에서 추출할 수 있다. 가상시점 영상의 폐색 영역으로부터 기준시점 영상의 해당 영역을 추출해야 하므로, 배경영역 경계 추출부(231)는 각 가상시점 영상들로부터 백워핑(back warping)을 통해 기준시점 영상에서 배경영역 경계에 해당하는 영역을 추출할 수 있다.The background region boundary extraction unit 231 may extract a region corresponding to the background region boundary of the occlusion regions included in the virtual viewpoint images in the depth image obtained at the reference time point based on the boundaries of the occlusion regions . The background region boundary extraction unit 231 can extract a region corresponding to the background region boundary in the depth image obtained at the reference time point based on the depth value of the background region boundary extracted by the boundary extraction unit 220. [ Since the depth value does not exist inside the occlusion area, the background region boundary extraction unit 231 can extract a portion corresponding to the background region boundary from the boundary of the occlusion region, from the depth image acquired at the reference time point. Since the corresponding region of the reference viewpoint image is extracted from the occlusion region of the virtual viewpoint image, the background region boundary extractor 231 extracts the corresponding viewpoint image from the reference viewpoint image through the back warping Can be extracted.

또한, 영역 추출부(230)는 전경영역 경계 추출부(도시되지 않음)를 포함할 수 있다. 전경영역 경계 추출부(도시되지 않음)는 상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 전경영역 경계에 해당하는 영역을 추출할 수 있다.In addition, the region extracting unit 230 may include a foreground region boundary extracting unit (not shown). The foreground region boundary extracting unit (not shown) extracts a region corresponding to the foreground region boundary of the occlusion regions included in the virtual viewpoint images in the depth image obtained at the reference time point based on the boundaries of the occlusion regions .

깊이 값 복원부(233)는 상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)할 수 있다. 깊이 값 복원부(233)는 배경영역 경계 추출부(231)에 의해 추출된 배경영역 경계에 해당하는 영역으로부터 전경영역 경계에 해당하는 영역까지 깊이 값을 복원할 수 있다. 가상시점 영상에 포함된 폐색 영역에는 깊이 값이 없으므로, 기준시점 영상에서 상기 폐색 영역에 대응하는 부분에도 깊이 값이 존재하지 않는다. 따라서, 깊이 값 복원부(233)는 기준시점 영상에서 배경영역 경계에 해당하는 영역을 기준으로 하여 전경영역 경계에 해당하는 영역까지 깊이 값을 복원할 수 있다.The depth value restoring unit 233 may grow the depth value from the region corresponding to the extracted background region boundary to the region corresponding to the foreground region boundary in the depth image obtained at the reference time point. The depth value restoring unit 233 can restore the depth value from the area corresponding to the background area boundary extracted by the background area boundary extracting unit 231 to the area corresponding to the foreground area boundary. Since there is no depth value in the occlusion region included in the virtual viewpoint image, there is no depth value in the portion corresponding to the occlusion region in the reference viewpoint image. Accordingly, the depth value restoring unit 233 can restore the depth value up to the area corresponding to the foreground region boundary on the basis of the region corresponding to the background region boundary in the reference view image.

이때, 깊이 값 복원부(233)는 배경영역 경계에 해당하는 영역의 깊이 값과 주변 깊이 값의 유사도를 비교하고, 유사한 주변 깊이 값을 샘플링하여 복원 대상 영역들의 깊이 값을 복원할 수 있다. 비교 및 샘플링 방식은 포인트(point) 기반 방식, 지역(region) 기반 방식, NLM(Non Local Mean) 방식으로 구분될 수 있다. 포인트(point) 기반 방식은 복원하고자 하는 픽셀의 주변 픽셀과 유사도를 비교하고, 유사도가 인정되는 주변 픽셀을 샘플링하여 복원 대상 영역의 깊이 값을 복원한다. 지역(region) 기반 방식은 복원하고자 하는 영역을 블록 단위로 나누어 블록 단위로 유사도를 비교하고, 유사도가 인정되는 블록을 샘플링하여 복원 대상 영역의 깊이 값을 복원한다. 여기서 블록은 일정한 크기를 가진 패치를 포함할 수 있다. NLM(Non Local Mean) 방식은 복원하고자 하는 영역을 블록 단위로 나누어 블록 단위로 유사도를 비교하지만, 유사도가 인정되는 경우 픽셀 단위로 샘플링하여 복원 대상 영역의 깊이 값을 복원한다. 여기서 유사도는 기울기(Gradient) 및 깊이 값의 유사도를 포함할 수 있다.At this time, the depth value restoring unit 233 may compare the similarity of the depth value of the area corresponding to the background region boundary and the surrounding depth value, and may restore the depth value of the restoration subject areas by sampling similar peripheral depth values. The comparison and sampling method can be classified into a point-based method, a region-based method, and a NLM (Non Local Mean) method. The point-based method compares the degree of similarity with the neighboring pixels of a pixel to be restored, and restores the depth value of the restoration target area by sampling neighboring pixels having similarity. In the region-based method, the area to be restored is divided into blocks, and the similarity is compared on a block-by-block basis. The depth value of the restoration object area is restored by sampling blocks having similarity. Where the block may include a patch having a constant size. In the non-local mean (NLM) method, the similarity is compared on a block-by-block basis by dividing an area to be restored. On the other hand, if the similarity is recognized, the depth value of the restoration area is restored by sampling in units of pixels. Here, the similarity may include the degree of similarity between the gradient and the depth value.

영역 복원부(240)는 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 동시에 복원(Inpainting)한다. 영역 복원부(240)는 깊이 값 복원부(233)에서 복원된 깊이 값을 기초로 하여 복원 대상 영역들의 컬러 값을 동시에 복원한다. 영역 복원부(240)는 복원 대상 영역의 주변 영역의 깊이 정보를 이용하여 깊이 값이 유사하도록 컬러 값을 복원할 수 있다. 또한, 영역 복원부(240)는 주변 영역 및 복원 대상 영역의 깊이 정보를 이용하여 깊이 값이 유사하도록 컬러 값을 복원할 수 있다. The region restoring unit 240 simultaneously restores the restoration target regions based on the color image obtained at the reference point. The region restoring unit 240 restores the color values of the restoration subject regions based on the depth value restored by the depth value restoring unit 233. The area restoring unit 240 may restore the color value so that the depth values are similar using the depth information of the surrounding area of the restoration subject area. In addition, the area restoring unit 240 may restore the color values so that the depth values are similar to each other using the depth information of the surrounding area and the restoration area.

영역 복원부(240)는 포인트(point) 기반 방식, 지역(region) 기반 방식, NLM(Non Local Mean) 방식의 깊이 값 비교 및 샘플링 방식으로 복원 대상 영역의 컬러 값을 복원할 수 있다.The region restoring unit 240 may restore the color values of the restoration target region by a point-based method, a region-based method, a depth value comparison method using a non-local mean (NLM) method, and a sampling method.

워핑부(250)는 상기 복원된 영역들을 상기 가상시점 영상들에 워핑한다. 워핑부(250)는 영역 복원부(240)에서 복원된 영역들만을 각 가상시점 영상들로 워핑한다. 가상시점 영상 생성시 발생하는 폐색 영역을 기준시점 영상에서 일괄적으로 복원하므로 각 가상시점에서 복원되는 폐색영역의 일관성이 유지된다. 또한, 복원된 영역만을 가상시점에 영상에 워핑함으로써, 각 가상시점 영상의 폐색영역이 복원되므로, 각각의 가상시점 영상에 포함된 폐색 영역을 각각 복원하는 경우보다 연산량이 줄어든다.The warping unit 250 warps the restored regions to the virtual viewpoint images. The warping unit 250 warps only the regions reconstructed by the region reconstruction unit 240 into respective virtual viewpoint images. Since the occlusion region generated when generating the virtual viewpoint image is collectively restored from the reference viewpoint image, the consistency of the occluded region restored at each virtual viewpoint is maintained. In addition, since only the reconstructed region is warped to an image at an imaginary viewpoint, the occlusion region of each virtual viewpoint image is restored, so that the amount of computation is reduced as compared with the case of restoring each occluded region included in each virtual viewpoint image.

또한, 본 발명의 일 실시예에 따른 폐색 영역 복원 장치는 상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 판단부(도시되지 않음)를 더 포함하고, 상기 공통 폐색 영역이 존재하면, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)할 수 있다. 이때, 판단부(도시되지 않음)는 상기 복원 대상 영역들 중에서 배경 영역 경계에 해당하는 영역이 중복되는 지 여부로 상기 공통 폐색 영역 존부를 판단할 수 있다. 폐색 영역 복원 장치는 가상시점 영상에 포함된 폐색 영역에 대응하는 기준시점 영상의 복원대상 영역에서, 복수개의 가상시점 영상 들간에 복원대상 영역에서 공통되는 폐색 영역이 존재하는 경우에만 상기 복원대상 영역을 복원할 수 있다. 가상시점 영상들에 포함된 폐색 영역이 기준시점 영상에서 공통되지 않는다면, 각각 가상시점 영상에 포함된 폐색 영역을 복원하는 것이 더 효율적이기 때문이다.
In addition, the apparatus for restoring a closed region according to an embodiment of the present invention further includes a determination unit (not shown) for determining whether a common occlusion region exists between the regions to be restored, and when the common occlusion region exists , And restore the restoration target areas based on the color image obtained at the reference time point. At this time, the determination unit (not shown) can determine the common occlusion area using whether the region corresponding to the background region boundary is overlapped among the restoration target regions. The obstacle area restoration device may be configured to restore the restoration subject area only when there is a blocked area common to the restoration subject area in the restoration subject area of the reference view image corresponding to the occlusion area included in the virtual viewpoint image, Can be restored. If the occlusion regions included in the virtual viewpoint images are not common to the reference viewpoint image, it is more efficient to reconstruct the occluded regions included in the virtual viewpoint image.

도 3은 본 발명의 일 실시예에 따른 가상시점 영상 생성부(210)의 구체적 일 예를 나타낸 도면이다.3 is a block diagram illustrating an example of a virtual viewpoint image generation unit 210 according to an exemplary embodiment of the present invention.

도 3을 참조하면, (A1)은 기준시점에서 촬영된 컬러 영상이고, (A2)는 기준시점에서 촬영된 깊이 영상이다. (B1)은 기준시점 영상에 기초하여 생성된 좌안시점 컬러 영상이고, (B2)는 좌안시점 깊이 영상이다. (C1)은 기준시점 영상에 기초하여 생성된 우안시점 컬러 영상이고, (C2)는 우안시점 깊이 영상이다. 가상시점 영상 생성부(210)를 통하여 생성된 가상시점 영상에는 폐색 영역이 발생한다. 왜냐하면, 기준시점에서는 보이지 않지만, 가상시점에서는 보이는 영역이 생겨나기 때문이다. 가상시점 영상 생성부(210)는 기준시점 영상을 기초로 하여 생성되므로, 기준시점에서 보이지 않는 영역에 대해서는 별도의 복원과정이 필요하다. (B1) 및 (B2)에서 좌안시점 영상은 폐색 영역(310)을 포함하고 있다. 또한, (C1) 및 (C2)에서 우안시점 영상은 폐색 영역(320)을 포함하고 있다.
Referring to FIG. 3, (A1) is a color image photographed at a reference point, and (A2) is a depth image photographed at a reference point. (B1) is the left eye view color image generated based on the reference view image, and (B2) is the left eye view depth image. (C1) is a right eye view color image generated based on a reference view image, and (C2) is a right eye view depth image. The occlusion region is generated in the virtual viewpoint image generated through the virtual viewpoint image generation unit 210. This is because, although it is not visible at the reference time, a visible region appears at the virtual viewpoint. Since the virtual viewpoint image generating unit 210 is generated based on the reference viewpoint image, a separate restoration process is required for an area that is not visible from the reference viewpoint. (B1) and (B2), the left eye view image includes the occlusion region 310. [ In (C1) and (C2), the right eye view image includes the occlusion region 320.

도 4는 본 발명의 일 실시예에 따른 경계 추출부(220)의 구체적 일 예를 나타낸 도면이다.FIG. 4 is a view showing a specific example of the boundary extracting unit 220 according to an embodiment of the present invention.

도 4를 참조하면, (A)는 좌안시점 컬러 영상을 나타내고, (B)는 우안시점 컬러 영상을 나타낸다. 경계 추출부(220)는 좌안시점 영상의 폐색 영역(410)을 추출한다. 또한, 경계 추출부(220)는 우안시점 영상의 폐색 영역(420)을 추출한다. 이때, 경계 추출부(220)는 좌안시점 영상의 폐색 영역(410) 경계를 검출하고, 전경 영역에 가까운 전경영역 경계인지, 배경 영역에 가까운 배경영역 경계인지를 라벨링할 수 있다. 따라서, 좌안시점 영상의 폐색 영역은 전경영역 경계와 배경영역 경계로 둘러 쌓인 영역이 될 수 있다. 또한, 경계 추출부(220)는 우안시점 영상의 폐색 영역(420) 경계를 검출하고, 전경 영역에 가까운 전경영역 경계인지, 배경 영역에 가까운 배경영역 경계인지를 라벨링할 수 있다. 마찬가지로, 우안시점 영상의 폐색 영역도 전경영역 경계와 배경영역 경계로 둘러 쌓인 영역이 될 수 있다. Referring to FIG. 4, (A) shows a left eye view color image, and (B) shows a right eye view color image. The boundary extracting unit 220 extracts the occluded region 410 of the left eye view image. In addition, the boundary extracting unit 220 extracts the occlusion region 420 of the right eye view image. At this time, the boundary extracting unit 220 may detect the boundary of the occluded region 410 of the left eye view image, and label the boundary of the foreground region near the foreground region or the boundary of the background region close to the background region. Accordingly, the occlusion region of the left eye view image can be a region surrounded by the foreground region boundary and the background region boundary. In addition, the boundary extracting unit 220 may detect the boundary of the occlusion region 420 of the right eye view image and label the boundary of the foreground region near the foreground region or the boundary of the background region close to the background region. Likewise, the occlusion region of the right eye view image may be a region surrounded by the foreground region boundary and the background region boundary.

도 5는 본 발명의 일 실시예에 따른 영역 추출부(230)의 구체적 일 예를 나타낸 도면이다.5 is a diagram illustrating a specific example of the region extracting unit 230 according to an embodiment of the present invention.

도 5를 참조하면, (A)는 좌안시점 컬러 영상을 나타내고, (B)는 우안시점 컬러 영상을 나타낸다. (C)는 기준시점 컬러 영상에서 좌안시점 영상 및 우안시점 영상의 폐색영역에 대응하는 영역을 나타낸다. (D)는 기준시점 깊이 영상에서 좌안시점 영상 및 우안시점 영상의 폐색영역에 대응하는 영역을 나타낸다. (E)는 기준시점 영상에서 복원 대상 영역을 나타낸다. Referring to FIG. 5, (A) shows a left-eye view color image, and (B) shows a right-eye view color image. (C) represents a region corresponding to the occluded region of the left eye view image and the right eye view image in the reference point color image. (D) represents a region corresponding to the occlusion region of the left eye view image and the right eye view image in the reference view depth image. (E) represents a restoration target area in the reference view image.

영역 추출부(230)는 경계 추출부(220)에서 추출된 좌안시점 컬러 영상의 폐색 영역(410)에 기초하여 기준시점 영상에서 상기 폐색 영역(410)에 대응하는 복원 대상 영역(510,530)을 추출할 수 있다. 영역 추출부(230)는 폐색 영역(410) 중에서 배경영역 경계로 라벨링된 영역을 기준시점 영상으로 백워핑시키고, 상기 백워핑된 영역을 기준으로 전경영역 경계로 라벨링되어 백워핑된 영역까지 깊이 값을 복원할 수 있다. 백워핑은 워핑과 반대되는 영상처리 기법으로 가상시점 영상에서 기준시점 영상으로 처리하는 것을 의미한다. 또한, 영역 추출부(230)는 경계 추출부(220)에서 추출된 우안시점 컬러 영상의 폐색 영역(420)에 기초하여 기준시점 영상에서 상기 폐색 영역(420)에 대응하는 복원 대상 영역(520,540)을 추출할 수 있다. 영역 추출부(230)는 폐색 영역(420) 중에서 배경영역 경계로 라벨링된 영역을 기준시점 영상으로 백워핑시키고, 상기 백워핑된 영역을 기준으로 전경영역 경계로 라벨링되어 백워핑된 영역까지 깊이 값을 복원할 수 있다. 복원 대상 영역(530)은 영역 추출부(230)에 의하여 화살표 방향과 같이 좌안시점 컬러 영상의 폐색 영역(410) 중 배경영역 경계에 해당하는 영역으로부터 전경영역 경계에 해당하는 영역까지 깊이 값을 복원하여, 추출될 수 있다. 또한, 복원 대상 영역(540)은 영역 추출부(230)에 의하여 화살표 방향과 같이 우안시점 컬러 영상의 폐색 영역(420) 중 배경영역 경계에 해당하는 영역으로부터 전경영역 경계에 해당하는 영역까지 깊이 값을 복원하여, 추출될 수 있다.The region extracting unit 230 extracts the restoration target areas 510 and 530 corresponding to the occlusion area 410 from the reference view image based on the occlusion area 410 of the left eye view color image extracted by the boundary extracting unit 220 can do. The region extracting unit 230 back-wraps the region labeled with the background region boundary in the occlusion region 410 as the reference view image, labels the back-warped region as the foreground region boundary, Can be restored. Backwarding is the opposite of warping, which means that the virtual viewpoint image is treated as the reference viewpoint image. The region extracting unit 230 extracts the restoration target regions 520 and 540 corresponding to the occlusion region 420 from the reference viewpoint image based on the occlusion region 420 of the right eye point color image extracted by the boundary extracting unit 220, Can be extracted. The region extracting unit 230 back-wraps the region labeled with the background region boundary in the occlusion region 420 as the reference view image, labels the back-warped region as the foreground region boundary, Can be restored. The restoration subject area 530 restores the depth value from the area corresponding to the border of the background area to the area corresponding to the border of the foreground area among the occluded areas 410 of the left eye view color image, And can be extracted. In addition, the restoration subject area 540 is divided by the area extraction unit 230 into the depth value from the area corresponding to the background area boundary to the area corresponding to the front area boundary in the occluded area 420 of the right eye view color image, And can be extracted.

(D)에서 하얀색 영역은 좌안시점 영상의 폐색영역과 우안시점 영상의 폐색영역이 공통된 폐색 영역이다. (E)는 복원 대상 영역에 해당하는 부분에 대하여 전경 영역이 제거된 영상이다. 복원 대상 영역은 배경 영역으로부터 복원되어야 하므로 하얀색 영역에서 전경 영역은 제거 되었다.
(D), the white region is a closed region in which the occlusion region of the left eye view image and the occluded region of the right eye view image are common. (E) is an image in which the foreground region is removed from the portion corresponding to the restoration subject region. Since the restoration target area must be restored from the background area, the foreground area is removed from the white area.

도 6은 본 발명의 일 실시예에 따른 영역 복원부(240)의 구체적 일 예를 나타낸 도면이다.FIG. 6 is a view showing a specific example of the area restoration unit 240 according to an embodiment of the present invention.

도 6을 참조하면, (A)는 기준시점 영상에서 복원 대상 영역을 나타내고, (B)는 기준시점 영상에서 복원 대상 영역의 컬러 값이 복원된 영상(610,620)을 나타낸다. 영역 복원부(240)는 영역 추출부(230)에서 추출된 복원 대상 영역을 기준 시점에서 획득된 컬러 영상에 기초하여 복원한다. 영역 복원부(240)는 복원 대상 영역의 주변 영역의 깊이 정보를 이용하여 깊이 값이 최대한 유사하도록 복원을 수행할 수 있다. 또한, 영역 복원부(240)는 복원 대상 영역의 주변 영역 및 복원 대상 영역의 깊이 정보를 이용하여 복원을 수행할 수 있다. 영역 복원부(240)는 포인트(point) 기반 방식, 지역(region) 기반 방식, NLM(Non Local Mean) 방식 중 어느 하나의 방식으로 복원 대상 영역의 컬러 값을 복원할 수 있다. 영역 복원부(240)는 복원 대상 영역의 주변 배경 영역으로부터, 복원 대상 영역의 깊이 값과 유사한 배경 영역의 컬러 값으로 복원 될 수 있다.
Referring to FIG. 6, (A) shows a restoration target area in a reference view image, and (B) shows an image 610 and 620 in which a color value of a restoration target area is reconstructed from a reference view image. The region restoring unit 240 restores the restoration target region extracted by the region extracting unit 230 based on the color image obtained at the reference point. The area restoring unit 240 may restore the depth information of the restoration target area so that the depth values are maximally similar to each other using the depth information of the surrounding area of the restoration target area. Also, the area restoring unit 240 may perform restoration using the depth information of the surrounding area and the restoring area of the restoration subject area. The area restoring unit 240 may restore the color value of the restoration target area by any one of a point-based method, a region-based method, and a non-local mean (NLM) method. The area restoring unit 240 can restore the background area of the restoration target area to the color value of the background area similar to the depth value of the restoration target area.

도 7은 본 발명의 일 실시예에 따른 워핑부(250)의 구체적 일 예를 나타낸 도면이다.7 is a view showing a specific example of the warping unit 250 according to an embodiment of the present invention.

도 7을 참조하면, (A)는 기준시점 영상에서 복원 대상 영역(610,620)이 복원된 영상, (B)는 가상시점 영상으로 복원 대상 영역(610)이 워핑되어, 폐색 영역(710)이 복원된 좌안시점 영상, (C)는 가상시점 영상으로 복원 대상 영역이 워핑되어, 폐색 영역(720)이 복원된 우안시점 영상을 나타낸다. 워핑부(250)는 기준시점 영상에서 영역 복원부(240)에 의해 복원 대상 영역의 컬러 값이 복원되면, 복원 대상 영역을 좌안시점 영상의 폐색영역에 해당하는 영역 및 우안시점 영상의 폐색영역에 해당하는 영역으로 워핑한다. 좌안시점 영상 및 우안시점 영상 각각에서 폐색 영역을 복원하지 않고, 기준시점 영상에서 복원된 영역을 좌안시점 영상 및 우안시점 영상으로 워핑함으로써, 좌안시점 영상 및 우안시점 영상은 기준시점 영상과 일치하는 컬러 값 및 깊이 값을 가질 수 있다. 또한, 좌안시점 영상 및 우안시점 영상 각각에서 폐색 영역을 복원하지 않고, 기준시점 영상에서 한 번 폐색 영역을 복원함으로써, 복원과정에 소요되는 연산량을 줄일 수 있다.
Referring to FIG. 7, (A) shows a reconstruction target area 610, 620 is reconstructed from a reference view image, (B) a virtual reconstruction target area 610 is warped, (C) shows a right eye view image in which the restoration area is warped to the virtual view image and the obstruction area 720 is restored. When the color value of the restoration target area is restored by the area restoring unit 240 in the reference view image, the warping unit 250 may restore the restoration target area to a region corresponding to the occluded region of the left eye view image and an occluded region of the right eye view image Warps to the corresponding region. The left eye view image and the right eye view image are warped to the left eye view image and the right eye view image without restoring the occluded region in each of the left eye view image and the right eye view image, Values and depth values. Also, by restoring the occlusion region once in the reference view image without restoring the occluded region in each of the left eye view image and the right eye view image, the amount of calculation required for the restoration process can be reduced.

도 8은 본 발명의 일 실시예에 따른 폐색 영역 복원 방법을 설명하기 위한 흐름도이다.8 is a flowchart illustrating a method of restoring a closed region according to an embodiment of the present invention.

810단계에서 폐색 영역 복원 장치는 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 가상 시점에서의 가상시점 영상들을 생성한다. In step 810, the occlusion area restoration apparatus generates virtual viewpoint images at virtual viewpoints based on the depth images obtained at the reference viewpoint and the color images obtained at the reference viewpoint.

820단계에서 폐색 영역 복원 장치는 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출한다. 또한, 폐색 영역 복원 장치는 상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출할 수 있다. 또한, 폐색 영역 복원 장치는 상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 할 수 있다.In step 820, the clogging area restoration device extracts the boundaries of the clogging areas included in the virtual viewpoint images. In addition, the occlusion area restoration device may detect the boundaries of the occlusion areas included in the virtual viewpoint images. In addition, the occluded region restoration apparatus may label the boundary between the foreground region boundary and the background region boundary with respect to the detected boundary.

830단계에서 폐색 영역 복원 장치는 상기 기준 시점에서 획득된 깊이 영상에서 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출한다. 또한, 폐색 영역 복원 장치는 상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경 영역 경계에 해당하는 영역을 추출할 수 있다. 또한, 폐색 영역 복원 장치는 상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)할 수 있다.In step 830, the occlusion area restoration device extracts restoration target areas corresponding to the occlusion areas based on the boundaries of the occlusion areas in the depth image obtained at the reference time. In addition, the occluded region restoration apparatus may extract a region corresponding to a background region boundary of occlusion regions included in the virtual viewpoint images in the depth image acquired at the reference time point based on the boundaries of the occlusion regions. In addition, the occluded region restoration apparatus may grow the depth value from the region corresponding to the extracted background region boundary to the region corresponding to the foreground region boundary in the depth image obtained at the reference time point.

840단계에서 폐색 영역 복원 장치는 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)한다. 폐색 영역 복원 장치는 상기 복원 대상 영역들의 깊이 값과 주변 영역들의 깊이 값이 유사한 경우의 패치를 이용하여 상기 복원 대상 영역들을 동시에 복원할 수 있다.In step 840, the occluded area restoration apparatus restores the restoration target areas based on the color image obtained at the reference time. The clogging area restoration device can restore the restoration target areas simultaneously using a patch when the depth values of the restoration target areas and the depth values of the surrounding areas are similar.

850단계에서 폐색 영역 복원 장치는 상기 복원된 영역들을 상기 가상시점 영상들에 워핑한다. In step 850, the occluded region restoration apparatus warps the restored regions to the virtual viewpoint images.

또한, 본 발명의 일실시예에 따른 폐색 영역 복원 장치는 상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 단계를 더 포함하고, 상기 공통 폐색 영역이 존재하면 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)할 수 있다.According to another aspect of the present invention, there is provided a device for restoring a closed region, the device including a step of determining whether a common occlusion region exists between the regions to be restored, The restoration target areas may be restored based on the color image.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

Claims (10)

기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 복수의 가상시점 영상들을 생성하는 단계;
상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출하는 단계;
상기 기준 시점에서 획득된 깊이 영상에서, 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출하는 단계;
상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 단계; 및
상기 공통 폐색 영역이 존재하는 경우에, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하는 단계
를 포함하는 폐색 영역 복원 방법.Generating a plurality of virtual viewpoint images based on the depth image obtained at the reference point and the color image obtained at the reference point;
Extracting boundaries of occlusion regions included in the virtual viewpoint images;
Extracting restoration target areas corresponding to the occlusion areas based on the boundaries of the occlusion areas in the depth image acquired at the reference time point;
Determining whether a common occlusion area exists between the restoration target areas; And
And restoring the restoration target areas based on the color image obtained at the reference time point when the common occlusion area exists
Wherein the closed region reconstruction method comprises: 제1항에 있어서,
상기 폐색 영역들의 경계를 추출하는 단계는
상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출하는 단계; 및
상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 단계
를 포함하는 폐색 영역 복원 방법.The method according to claim 1,
The step of extracting the boundaries of the occlusion regions
Detecting boundaries of occlusion regions included in the virtual viewpoint images; And
Labeling the detected boundary with either a foreground region boundary or a background region boundary
Wherein the closed region reconstruction method comprises: 제1항에 있어서,
상기 복원 대상 영역들을 추출하는 단계는
상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경 영역 경계에 해당하는 영역을 추출하는 단계; 및
상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)하는 단계
를 포함하는 폐색 영역 복원 방법.The method according to claim 1,
The step of extracting the restoration target areas
Extracting a region corresponding to a background region boundary of occlusion regions included in the virtual viewpoint images in the depth image acquired at the reference time point based on the boundary of the occlusion regions; And
Growing a depth value from a region corresponding to the extracted background region boundary to a region corresponding to a foreground region boundary in the depth image obtained at the reference time point
Wherein the closed region reconstruction method comprises: 제1항에 있어서,
상기 복원 대상 영역들을 복원(Inpainting)하는 단계는
상기 복원 대상 영역들의 깊이 값과 주변 영역들의 깊이 값이 유사한 경우의 패치를 이용하여 상기 복원 대상 영역들을 복원하는 폐색 영역 복원 방법.The method according to claim 1,
The step of restoring the restoration target areas
And restoring the restoration subject areas using a patch when the depth values of the restoration subject areas and the depth values of the surrounding areas are similar. 삭제delete 기준 시점에서 획득된 깊이 영상 및 상기 기준 시점에서 획득된 컬러 영상에 기초하여 복수의 가상시점 영상들을 생성하는 가상시점 영상 생성부;
상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 추출하는 경계 추출부;
상기 기준 시점에서 획득된 깊이 영상에서, 상기 폐색 영역들의 경계에 기초하여 상기 폐색 영역들에 대응하는 복원 대상 영역들을 추출하는 영역 추출부;
상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하는 영역 복원부; 및
상기 복원 대상 영역들 간에 공통 폐색 영역이 존재하는지 여부를 판단하는 판단부
를 포함하고,
상기 영역 복원부는 상기 공통 폐색 영역이 존재하는 경우에, 상기 기준 시점에서 획득된 컬러 영상에 기초하여 상기 복원 대상 영역들을 복원(Inpainting)하는 폐색 영역 복원 장치.A virtual viewpoint image generation unit that generates a plurality of virtual viewpoint images based on a depth image obtained at a reference point and a color image obtained at the reference point;
A boundary extracting unit for extracting boundaries of occlusion areas included in the virtual viewpoint images;
An area extraction unit for extracting restoration object areas corresponding to the occlusion areas based on the boundaries of the occlusion areas in the depth image acquired at the reference time point;
An area restoration unit restoring the restoration subject areas based on the color image acquired at the reference time point; And
A determination unit for determining whether a common occlusion area exists between the restoration target areas,
Lt; / RTI >
Wherein the area restoration unit restores the restoration subject areas based on the color image obtained at the reference time point when the common occlusion area exists. 제6항에 있어서,
상기 경계 추출부는
상기 가상시점 영상들에 포함된 폐색 영역들의 경계를 검출하는 경계 검출부; 및
상기 검출된 경계에 대하여 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 경계 라벨링부
를 포함하는 폐색 영역 복원 장치.The method according to claim 6,
The boundary extracting unit
A boundary detector for detecting a boundary of occlusion areas included in the virtual viewpoint images; And
A boundary labeling unit for labeling the detected boundary with either a foreground region boundary or a background region boundary,
And an obstacle area restoration device. 제6항에 있어서,
상기 영역 추출부는
상기 폐색 영역들의 경계에 기초하여 상기 기준 시점에서 획득된 깊이 영상에서, 상기 가상시점 영상들에 포함된 폐색 영역들의 배경 영역 경계에 해당하는 영역을 추출하는 배경영역 경계 추출부; 및
상기 기준 시점에서 획득된 깊이 영상에서, 상기 추출된 배경 영역 경계에 해당하는 영역으로부터 전경 영역 경계에 해당하는 영역까지 깊이 값을 복원(growing)하는 깊이 값 복원부
를 포함하는 폐색 영역 복원 장치.The method according to claim 6,
The region extracting unit
A background region boundary extracting unit for extracting a region corresponding to a background region boundary of the occlusion regions included in the virtual viewpoint images in the depth image acquired at the reference time point based on the boundary of the occlusion regions; And
A depth value restoring unit for restoring a depth value from a region corresponding to the extracted background region boundary to a region corresponding to a foreground region boundary in the depth image obtained at the reference time point,
And an obstacle area restoration device. 삭제delete 제6항에 있어서,
상기 판단부는
상기 복원 대상 영역들 중에서 배경 영역 경계에 해당하는 영역이 중복되는 지 여부로 상기 공통 폐색 영역 존부를 판단하는
폐색 영역 복원 장치.The method according to claim 6,
The determination unit
Determining whether or not the region corresponding to the background region boundary overlaps the restoration subject regions,
Closed area restoration device.
KR1020100088678A 2010-09-10 2010-09-10 Apparatus and method for inpainting in occlusion KR101683164B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100088678A KR101683164B1 (en) 2010-09-10 2010-09-10 Apparatus and method for inpainting in occlusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100088678A KR101683164B1 (en) 2010-09-10 2010-09-10 Apparatus and method for inpainting in occlusion

Publications (2)

Publication Number Publication Date
KR20120026662A KR20120026662A (en) 2012-03-20
KR101683164B1 true KR101683164B1 (en) 2016-12-05

Family

ID=46132377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100088678A KR101683164B1 (en) 2010-09-10 2010-09-10 Apparatus and method for inpainting in occlusion

Country Status (1)

Country Link
KR (1) KR101683164B1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101336955B1 (en) * 2012-06-25 2013-12-04 인텔렉추얼디스커버리 주식회사 Method and system for generating multi-view image
EP2833637A1 (en) 2013-07-31 2015-02-04 Thomson Licensing Method for processing a current image of an image sequence, and corresponding computer program and processing device
KR102156402B1 (en) * 2013-11-05 2020-09-16 삼성전자주식회사 Method and apparatus for image processing
KR101781942B1 (en) 2016-03-08 2017-10-23 숭실대학교산학협력단 Method of holl-filling, recording medium and apparatus for performing the method
KR20180061803A (en) * 2016-11-30 2018-06-08 현대엠엔소프트 주식회사 Apparatus and method for inpainting occlusion of road surface
CN110326028A (en) * 2018-02-08 2019-10-11 深圳市大疆创新科技有限公司 Method, apparatus, computer system and the movable equipment of image procossing
KR102454167B1 (en) * 2019-06-27 2022-10-14 한국전자통신연구원 Method and apparatus for generating virtual view point image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010045776A (en) * 2008-07-31 2010-02-25 Stmicroelectronics Srl Method and system for rendering image, and computer program therefor

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066550B1 (en) * 2008-08-11 2011-09-21 한국전자통신연구원 Method for generating vitual view image and apparatus thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010045776A (en) * 2008-07-31 2010-02-25 Stmicroelectronics Srl Method and system for rendering image, and computer program therefor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1:방송공학회논문지
논문2:IEEE

Also Published As

Publication number Publication date
KR20120026662A (en) 2012-03-20

Similar Documents

Publication Publication Date Title
KR101683164B1 (en) Apparatus and method for inpainting in occlusion
CN111066065B (en) System and method for hybrid depth regularization
US10043278B2 (en) Method and apparatus for reconstructing 3D face with stereo camera
EP2087466B1 (en) Generation of depth map for an image
KR101055411B1 (en) Method and apparatus of generating stereoscopic image
US20180300937A1 (en) System and a method of restoring an occluded background region
KR101669820B1 (en) Apparatus and method for bidirectional inpainting in occlusion based on volume prediction
KR101367284B1 (en) Method and apparatus of inpainting image according to change of viewpoint
RU2423018C2 (en) Method and system to convert stereo content
Sun et al. HDR image construction from multi-exposed stereo LDR images
US20120114225A1 (en) Image processing apparatus and method of generating a multi-view image
JP5015126B2 (en) Image generation method, image authentication method, image generation apparatus, image authentication apparatus, program, and recording medium
KR101960852B1 (en) Apparatus and method for multi-view rendering using background pixel expansion and background-first patch matching
US20100079453A1 (en) 3D Depth Generation by Vanishing Line Detection
WO2014180255A1 (en) Data processing method, apparatus, computer storage medium and user terminal
Luo et al. Foreground removal approach for hole filling in 3D video and FVV synthesis
Nguyen et al. New hole-filling method using extrapolated spatio-temporal background information for a synthesized free-view
Lim et al. Bi-layer inpainting for novel view synthesis
Lee et al. Estimating scene-oriented pseudo depth with pictorial depth cues
Bharathi et al. 2D-to-3D Conversion of Images Using Edge Information
Wei et al. Iterative depth recovery for multi-view video synthesis from stereo videos
KR100742752B1 (en) Method for reconstructing stereo images using regularized adaptive disparity estimation scheme
Wei et al. Video synthesis from stereo videos with iterative depth refinement
Lai et al. Surface-based background completion in 3D scene
EP3115963A1 (en) Method for generating a pair of disparity-coherent watermarks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right