KR20090068980A - 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법 - Google Patents

자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법 Download PDF

Info

Publication number
KR20090068980A
KR20090068980A KR1020070136804A KR20070136804A KR20090068980A KR 20090068980 A KR20090068980 A KR 20090068980A KR 1020070136804 A KR1020070136804 A KR 1020070136804A KR 20070136804 A KR20070136804 A KR 20070136804A KR 20090068980 A KR20090068980 A KR 20090068980A
Authority
KR
South Korea
Prior art keywords
image
images
target image
pixel
semi
Prior art date
Application number
KR1020070136804A
Other languages
English (en)
Other versions
KR100924716B1 (ko
Inventor
손광훈
민동보
김동현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020070136804A priority Critical patent/KR100924716B1/ko
Publication of KR20090068980A publication Critical patent/KR20090068980A/ko
Application granted granted Critical
Publication of KR100924716B1 publication Critical patent/KR100924716B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

자유 시점 영상 재생을 위한 2D/3D 가상 시점 합성 방법이 개시된다. 개시된 방법은 N개의 시점에 상응하는 N 개의 영상을 획득하는 단계(a); N 개의 영상 중 선택된 일부의 기준 영상들에 대해 변이를 추정하는 단계(b); N 개의 영상 중 기준 영상 이외의 영상들에 대해 상기 기준 영상의 변이 관련 정보를 워핑하는 단계(c); 상기 워핑된 변이 관련 정보를 이용하여 기준 영상 이외의 영상들에 대한 변이를 추정하는 단계(d)를 포함한다. 개시된 방법에 의하면, 가상 시점 영상 합성 시 발생하는 연산상의 중복을 최소화할 수 있는 장점이 있다.
영상, 합성, 변이

Description

자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성 방법{Method for Rendering Virtual View for 2D/3D Free View Video Generation}
본 발명은 자유 시점 영상 재생을 위한 2D/3D 가상 시점 합성 방법에 관한 것으로서, 더욱 상세하게는 가상 시점 영상 합성 시의 연산량을 줄이고 3차원 영상에 대해서도 자유 시점에 따른 영상을 제공할 수 있는 방법에 관한 것이다.
멀티미디어 처리 분야의 급속한 발전으로 인해 3차원 TV는 차세대 방송 시스템 시장에서 주목받는 제품 중 하나가 될 것으로 예상되고 있다. 3차원 TV가 상용화되려면 다시점 영상을 획득하여 처리하고 막대한 양의 데이터를 압축하여 전송하는 기술이 발전해야 한다.
가상 시점 합성 기술은 3차원 TV는 물론 다양한 영상 분야에서 중요한 기술 중 하나이며, 영상 기반 합성 방식(Image-based rendering)에 기반하여 많은 방식들이 제안되었다.
가상 시접 합성은 제한된 수의 카메라 영상만으로 다양한 시점을 제공하는 기술로서 3차원 TV 시스템을 개발하는데 있어 데이터양과 비용을 줄이는데 매우 유용하다.
가상 시점 합성에 관한 기술로서, 스테레오 영상으로부터 중간 시점을 재생하는 방식이 종래에 제안되었다. 중간 시점은 투영된 영상의 화질에 따라 가중치 평균을 사용하여 합성되는 것이 일반적이었다.
한편, 가상 시점 합성을 위해서는 주어지는 기준 영상들에 대해 변이 정보를 획득하여야 한다.
예를 들어, N개 시점에 대한 기준 영상이 주어질 때 N개 영상에 대한 변이를 추정하여 각 영상의 깊이 정보를 획득하여야 했다.
이와 같은 종래의 가상 시점 합성을 위한 변이 추정 방식은 다수의 기준 영상에 대해 일일이 변이 추정을 하여야 하는 바 상당히 많은 연산량을 요구하는 문제점이 있었다.
또한, 종래에는 지정된 가상 시점에 상응하는 2차원 영상을 합성하는 방식에 대해서는 많은 방법이 제안되었으나, 3차원 영상을 자유 시점으로 제공할 수 없는 문제점이 있었다.
본 발명에서는 상기한 바와 같은 종래 기술의 문제점을 해결하기 위해, 가상 시점 영상 합성 시 발생하는 연산상의 중복을 최소화하기 위한 자유 시점 영상 재생을 위한 2D/3D 가상 시점 합성 방법을 제안한다.
본 발명의 다른 목적은 가상 시점 영상 합성 시 N 시점 영상이 주어질 때 N 개의 시점 영상 모두로부터 깊이 정보를 구할 필요가 없는 자유 시점 영상 재생을 위한 2D/3D 가상 시점 합성 방법을 제안한다.
본 발명의 또 다른 목적은 3D 영상에 대해서도 자유롭게 시점을 선택하여 재생할 수 있는 3D 가상 시점 합성 방법을 제안하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 가상 시점에서의 영상 합성을 위한 변이 추정 방법으로서, N개의 시점에 상응하는 N 개의 영상을 획득하는 단계(a); N 개의 영상 중 선택된 일부의 기준 영상들에 대해 변이를 추정하는 단계(b); N 개의 영상 중 기준 영상 이외의 영상들에 대해 상기 기준 영상의 변이 관련 정보를 워핑하는 단계(c); 상기 워핑된 변이 관련 정보를 이용하여 기준 영상 이외의 영상들에 대한 변이를 추정하는 단계(d)를 포함하는 가상 시점 영상 합성 시의 변이 추정 방법이 제공된다.
상기 기준 영상의 변이를 추정하는 단계(b)는, 기준 영상의 픽셀 당 비용 함수를 연산하는 단계; 상기 픽셀 당 비용 함수를 에너지 함수를 설정하는 단계; 상 기 에너지 함수를 최소로 하는 최적 비용 함수를 연산하는 단계; 및 상기 최적 비용 함수를 이용한 최적화 과정에 의해 변이를 추정하는 단계를 포함할 수 있다.
상기 기준 영상 이외의 영상은 타겟 영상 및 세미 타겟 영상으로 구분된다.
상기 세미 타겟 영상은 N 개의 영상 중 최좌측 영상 및 최우측 영상이며, 상기 기준 영상은 세미 타겟 영상을 제외한 영상들 중 서로 인접하지 않도록 선택된다.
상기 변이 관련 정보는 상기 기준 영상의 최적 비용 함수를 포함할 수 있다.
상기 타겟 영상에 대해서는 인접한 기준 영상들의 최적 비용 함수에 대한 전방 워핑 및 후방 워핑이 수행되며, 상기 세미 타겟 영상에 대해서는 인접한 기준 영상의 최적 비용 함수에 대한 전방 워핑 또는 후방 워핑이 수행된다.
상기 타겟 영상으로의 기준 영상의 최적 비용 함수 워핑 시, 제1 기준 영상의 가려진 픽셀 및 상기 타겟 영상의 가려진 픽셀을 검출하는 단계(e); 타겟 영상의 가려진 픽셀들에 대해 미리 설정된 가시도 함수 값을 설정하는 단계(f); 상기 가시도 함수 값을 이용하여 상기 제1 기준 영상의 최적 비용 함수를 워핑하는 단계(g); 및 제2 기준 영상 및 상기 타겟 영상에 대해 상기 단계 (e) ~ (f)를 반복하는 단계를 더 포함할 수 있다.
상기 제1 기준 영상과 상기 타겟 영상의 픽셀 매칭 시 매칭이 이루어지지 않는 픽셀을 타겟 영상의 가려진 픽셀로 설정한다.
상기 제1 기준 영상과 상기 타겟 영상의 픽셀 매칭 시 중복 매칭이 이루어지는 픽셀이 존재할 경우, 변이에 기반한 제1 조건 및 최적 비용 함수에 기반한 제2 조건을 모두 만족하는 픽셀이 존재할 경우 해당 픽셀을 제1 기준 영상의 가려진 픽셀로 설정하며, 상기 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 존재하지 않는 경우, 중복으로 매칭되는 타겟 영상의 픽셀 및 상기 매칭이 이루어지지 않는 타겟 영상의 픽셀 모두를 가려진 후보 픽셀로 설정한다.
상기 가시도 함수는 '1'또는 '0'값으로 설정되고, 상기 타겟 영상의 가려진 픽셀 및 상기 타겟 영상의 가려진 후보 픽셀에는 '0'할당되어 다음의 수학식에 의해 제1 기준 영상의 최적 비용 함수가 상기 타겟 영상에 전방 워핑된다.
Figure 112007092832432-PAT00001
상기 수학식에서, E는 최적 비용 함수이고 d는 변위이고, I는 제1 기준 영상의 x좌표이며, O는 가시도 함수임.
상기 세미 타겟 영상으로의 기준 영상의 최적 비용 함수 워핑 시, 상기 세미 타겟 영상과 인접한 기준 영상의 가려진 픽셀 및 상기 타겟 영상의 가려진 픽셀을 검출하는 단계; 상기 세미 타겟 영상의 가려진 픽셀들에 대해 미리 설정된 가시도 함수 값을 설정하는 단계; 및 상기 가시도 함수 값을 이용하여 다음의 수학식에 의해 상기 세미 타겟 영상의 가려진 픽셀의 최적 비용 함수를 설정하는 단계를 포함한다.
Figure 112007092832432-PAT00002
상기 수학식에서, O는 가시도 함수이고, E는 최적 비용 함수이며, w는 가중치 함수이고, λ는 가중치 상수임.
상기 세미 타겟 영상과 상기 세미 타겟 영상과 인접한 기준 영상의 픽셀 매칭 시 매칭이 이루어지지 않는 픽셀을 세미 타겟 영상의 가려진 픽셀로 설정한다.
상기 세미 타겟 영상과 상기 세미 타겟 영상에 인접한 기준 영상과의 픽셀 매칭 시 중복 매칭이 이루어지는 픽셀이 존재할 경우, 변이에 기반한 제1 조건 및 최적 비용 함수에 기반한 제2 조건을 모두 만족하는 픽셀이 존재할 경우 해당 픽셀을 기준 영상의 가려진 픽셀로 설정하며, 상기 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 존재하지 않는 경우, 중복으로 매칭되는 세미 타겟 영상의 픽셀 및 상기 매칭이 이루어지지 않는 세미 타겟 영상의 픽셀 모두를 가려진 후보 픽셀로 설정한다.
본 발명의 다른 측면에 따르면, N개의 시점에 상응하는 N 개의 영상을 획득하는 단계(a); N 개의 영상 중 선택된 일부의 기준 영상들에 대해 변이를 추정하는 단계(b); N 개의 영상 중 기준 영상 이외의 영상들에 대해 상기 기준 영상의 변이 관련 정보를 워핑하는 단계(c); 상기 워핑된 변이 관련 정보를 이용하여 기준 영상 이외의 영상들에 대한 변이를 추정하는 단계(d); 상기 N 개 시점 영상들의 추정된 변이 정보를 이용하여 실제 영상에 있는 모든 점을 3D 공간으로 역투영하는 단계(e); 상기 실제 영상의 좌표를 임의의 가상 시점 영상 좌표로 변환하는 단계(f); 및 상기 가상 시점 영상의 2차원 평면으로 3차원 좌표를 투영하는 단계(g)를 포함하는 가상 시점에서의 영상 합성 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, N개의 시점에 상응하는 N 개의 영상을 획득하는 단계(a); 상기 N 개의 영상에 대한 변이 정보를 추정하는 단계(b); 임의의 가상 시점이 지정될 경우, 상기 임의의 가상 시점과 연관된 적어도 둘 이상의 시점에 상응하는 2차원 영상을 상기 임의의 가상 시점과 인접한 획득 영상의 변이 정보를 이용하여 합성하는 단계; 및 상기 적어도 둘 이상의 2차원 영상을 이용하여 3차원 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 임의의 가상 시점에서의 3차원 영상 합성 방법이 제공된다.
본 발명에 의하면, 가상 시점 영상 합성 시 발생하는 연산상의 중복을 최소화할 수 있는 장점이 있다.
또한, 본 발명에 의하면 가상 시점 영상 합성 시 N 시점 영상이 주어질 때 N 개의 시점 영상 모두로부터 깊이 정보를 구할 필요가 없는 장점이 있다.
아울러, 본 발명에 의하면, 3D 영상에 대해서도 자유롭게 시점을 선택하여 재생할 수 있는 장점이 있다.
이하에서, 첨부된 도면을 참조하여 본 발명에 의한 자유 시점 영상 재생을 위한 2D/3D 가상 시점 합성 방법의 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 자유 시점 영상 재생을 위한 가상 시점 합성 방법의 전체적인 흐름을 도시한 도면이다.
도 1을 참조하면, N 개의 카메라로부터 촬영된 N 시점 영상 데이터를 획득한 다(단계 100).
N 시점 영상을 획득하면, N 개 영상에 대한 변이를 추정하여 N개 영상에 대한 깊이 정보를 연산한다(단계 102).
종래에는 N개의 N시점 영상 데이터가 획득될 경우, 가상 시점에 대한 영상 합성을 위해 N개의 영상 데이터에 대한 변이를 일일이 추정하여 N개 영상의 깊이를 연산하였다. 이와 같은 종래의 방식을 N-시점 & N-깊이 방식이라고 한다.
그러나, 본 발명의 실시예에서는 N개 영상에 대해 일일이 깊이 정보를 연산하지 않고 N 개의 영상 중 미리 설정된 M(M<N)개의 영상에 대해서만 깊이 정보를 연산하며, 나머지 (N-M)개의 영상에 대해서는 워핑을 이용해 깊이 정보를 획득한다.
본 발명에서 제안되는 이와 같은 방식을 세미 N-시점 & N-깊이 방식으로 표현하기로 하며, 세미 N-시점 & N-깊이 방식에 의한 깊이 정보 획득 방법에 대해서는 별도의 도면을 참조하여 상세히 설명하기로 한다.
세미 N-시점 & N-깊이 방식에 의해 N개의 시점 영상에 대한 깊이 정보를 획득하면, 임의의 시점에 대한 영상 합성이 수행된다.
임의의 시점이 설정되면, 임의 시점과 연관된 미리 주어진 시점 영상들의 변이 정보를 이용하여 실제 영상에 있는 모든 점들을 3D 공간상으로 역투영한다(단계 104).
3D 영상상으로 역투영이 수행된 후, 실제 영상의 좌표를 임의의 시점에 해당되는 좌표로 변환한다(단계 106).
좌표 변환이 완료되면, 가상 영상의 2D 평면으로 3D 좌표를 투영한다(단계 108).
상술한 단계 104 내지 단계 106에 대한 상세한 방법은 별도의 도면을 참조하여 상세히 설명하기로 한다.
이상에서는, 본 발명의 실시예에 따른 자유 시점 영상 재생을 위한 2D 가상 시점 합성을 위한 개괄적인 절차를 살펴보았으며, 이하에서는 본 발명의 제안 사항들에 대해 보다 상세히 설명하기로 한다.
I. 세미 N-시점 & N-깊이 방식
본 발명의 세미 N-시점 & N-깊이 방식을 설명하기에 앞서, 종래의 N-시점 & N-깊이 방식에 대해 살펴보기로 한다.
도 2는 종래의 N-시점 & N-깊이 구조를 설명하기 위한 도면이다.
종래 방식에 의할 경우, N개 시점의 영상이 주어졌을 때, 가상 시점을 합성하기 위해 N개의 깊이 맵을 획득하여야 했다. Zitnick에 의해 제안된 N-시점 & N-깊이 방식은 N개 영상에 대한 변이 추정을 통해 N개의 깊이 맵을 추정하고 중간 시점을 합성하였다.
도 2에 도시된 바와 같이, 7개의 시점 영상이 주어졌을 때 7개의 모든 시점 영상을 기준영상으로 하여 각각 7번의 변이 추정 과정이 수행되어야 했다.
이와 같은 변이 추정 과정은 막대한 계산량을 요구하는 바, 오프라인에서 미리 수행되는 것이 일반적이었다. 종래의 방식에서 변이 추정 복잡도가 높은 가장 큰 이유는 모든 영상에 대해 동일한 방식으로 변이 추정을 수행하기 때문이었다.
도 2에 도시된 7개의 시점 영상은 일부의 가려진 영역을 제외하면 대부분이 중복되는 영상임에도 불구하고 각 7개의 영상에 대해 동일한 변이 추정을 수행함으로써 불필요한 계산상의 중복이 발생하였다.
본 실시예에서는 이와 같은 계산 상의 중복을 최소화하고 N 시점 영상으로부터 깊이 정보를 보다 빠르게 획득할 수 있는 세미 N-시점 & N-깊이 방식을 제안한다.
제안되는 세미 N-시점 & N-깊이 방식은 인접한 영상들에서의 깊이 정보는 가려진 영역을 제외하고는 차이가 없다는 점에 기초한다.
도 3은 인접한 다른 시점에서 획득된 두 개의 영상 및 각 영상의 깊이 지도를 도시한 도면이다.
도 3에는 브레이크 댄서를 서로 다른 시점에서 본 이미지 패어가 도시되어 있으며, 도 3을 참조하면, 두 영상의 깊이 지도는 유사하며, 단지 가려진 영역에서 차이가 있다는 점을 확인할 수 있다.
도 4는 본 발명의 일 실시예에 따른 세미 N-시점 & N-깊이 구조를 도시한 도면이다.
본 발명의 바람직한 실시예에 따르면, N개 시점의 영상이 주어질 때, N 개의 영상은 세 개의 종류로 구분된다. N 개의 영상 중 일부 영상은 기준 영상으로 분류되고, 일부 영상은 타겟 영상으로 분류되며, 나머지 영상은 세미 타겟 영상으로 분류된다.
도 4를 참조하면, 7개의 시점 영상이 주어졌을 때, 2, 4, 6번째 영상은 기준 영상으로 설정된다. 또한, 첫 번째 및 마지막 영상은 세미 타겟 영상으로 설정된다. 나머지 영상은 타겟 영상으로 설정된다.
본 발명의 바람직한 실시예에 따르면, N 개의 영상 중 깊이 정보는 기준 영상들에 대해서만 연산된다. 타겟 영상 및 세미 타겟 영상의 깊이 정보는 기준 영상의 변이 정보와 연관된 정보를 워핑(Warping)함으로써 산출되며 독립적으로 깊이 정보가 산출되지는 않는다.
상기 워핑되는 기준 영상의 변이 정보와 연관된 정보는 기준 영상의 최적 비용 함수 정보일 수 있다.
하나의 영상의 깊이 정보를 연산하는데 소요되는 리소스를 C라고 할 때, 도 2 와 같은 N-시점 & N-깊이 방식은 7C의 연산량을 요구한다. 그러나, 도 4와 같은 세미 N-시점 & N-깊이 방식의 경우 3개의 영상에 대해서만 깊이 정보가 연산되므로 3C+a의 연산량을 요구한다.
N 개 시점의 영상이 주어질 때, 다음과 같은 방식으로 기준 영상, 타겟 영상 및 세미 타겟 영상으로 설정할 수 있다.
N 개 시점의 영상이 주어질 때, 좌우 끝에 해당되는 영상들은 세미 타겟 영상으로 설정된다.
또한, 기준 영상은 세미 타겟 영상을 제외한 영상들 중 일부로부터 선택될 수 있으며 서로 인접하지 않도록 선택된다. 타겟 영상은 세미 타겟 영상과 기준 영상을 제외한 영상들로 설정된다.
도 4에는 영상의 좌우 끝에 해당되는 1번 영상 및 7번 영상이 세미 타겟 영 상으로 설정되고, 서로 인접하지 않는 2번 영상, 4번 영상 및 6번 영상이 기준 영상으로 설정되며, 기준 영상 및 세미 타겟 영상을 제외한 3번 영상 및 5번 영상이 타겟 영상으로 설정되어 있다.
도 5는 본 발명의 일 실시예에 따른 N이 짝수일 경우에 기준 영상, 타겟 영상 및 세미 타겟 영상을 설정한 예를 도시한 도면이다.
도 5를 참조하면, 8개의 영상이 주어지는 경우가 도시되어 있으며, 좌우 끝에 해당되는 1번 영상 및 8번 영상이 세미 타겟 영상으로 설정된다. 2번 영상 내지 7번 영상 중 2, 5, 7번 영상이 기준 영상으로 설정되는 경우가 도 5에 도시되어 있다. 도 5와는 달리 2, 4, 7번 영상이 기준 영상으로 설정될 수도 있다.
N개의 영상이 주어질 때, 세미 타겟 영상의 수, 기준 영상의 수 및 타겟 영상의 수는 다음의 수학식 1과 같이 일반화될 수 있다.
Figure 112007092832432-PAT00003
다만, 수학식 1은 세미 타겟 영상, 기준 영상 및 타겟 영상의 수를 일반화하기 위한 일 실시예에 불과하며, 필요에 따라 이와 다르게 각 영상의 수를 설정할 수도 있다는 점은 당업자에게 있어 자명할 것이다.
N=4인경우
도 4 및 도 5를 참조하면, 세미 타겟 영상에 대해서는 전방 워핑 또는 후방 워핑 중 어느 하나만이 수행되는 비대칭적 워핑이 수행된다. 한편, 타겟 영상에 대해서는 전후방의 기준 영상을 이용한 대칭적 워핑이 수행된다.
도 6은 본 발명의 일 실시예에 따른 세미 N-시점 & N-깊이 방식을 이용한 변이 추정 과정을 도시한 순서도이다.
도 6을 참조하면, 기준 영상들에 대한 최적 비용 함수를 연산한다(단계 600). 기준 영상들에 대한 변이 추정을 위해 1차적으로 최적 비용 함수를 연산한다. 전술한 바와 같이, 최적 비용 함수는 타겟 영상 또는 세미 타겟 영상에 워핑될 수 있다.
기준 영상들에 대한 최적 비용 함수를 연산하면, 이를 이용한 최적화 과정을 통해 기준 영상들의 변이를 추정한다(단계 602). 최적화 방식으로는 WTA(Winner-Takes All), 그래프 컷과 같은 다양한 방식이 사용될 수 있으며, 최적화를 통해 최종적인 변이를 추정한다.
기준 영상들에 대한 변이 추정이 완료되면, 타겟 영상 및 세미 타겟 영상들에 대한 대칭적 워핑 또는 비대칭적 워핑을 수행하여 기준 영상의 최적 비용 함수를 워핑시킨다(단계 604).
워핑된 최적 비용 함수를 이용하여 타겟 영상 및 세미 타겟 영상에 대한 변이를 추정한다(단계 606). 타겟 영상 및 세미 타겟 영상에 대한 변이 추정 시 기준 영상에는 존재하지 않는 가려진 영역에 대한 픽셀 처리가 필요하다. 가려진 영역의 픽셀 처리에 대해서는 별도의 도면을 참조하여 상세히 설명하기로 한다.
II. 기준 영상의 최적 비용 함수 연산
일반적으로, 변이 추정 시 최소한 둘 또는 그 이상의 영상이 사용된다. i-1, i, i+1번째 영상을 각각 좌, 중앙, 우 영상이라 할때 중앙 영상의 차영상은 좌(우) 영상을 오른쪽(왼쪽)으로 이동하고 차이를 구하여 계산된다.
i번째 영상의 차영상 ei ,j(p,d)는 i,j번째 영상으로 다음의 수학식 2와 같이 계산된다.
Figure 112007092832432-PAT00004
위 수학식 2에서, p 와 d는 픽셀의 2D 위치와 변이를 나타내며, I는 화소값을 T는 정합 비용의 상한선을 나타낸다. 픽셀당 비용 함수 ei(p,d)는 ei ,i+1과 ei ,i- 1를 이용하여 중앙 영상의 점의 가시도를 고려하여 계산된다.
픽셀당 비용 함수를 e(p,d)로 정의하고, 최적의 비용 함수를 E(p,d)로 정의할 때, 픽셀당 비용 함수와 최적 비용 함수는 다음의 수학식 3과 같은 관계가 있다.
Figure 112007092832432-PAT00005
위 수학식 3에서 n은 노이즈를 의미한다. 이하에서는 E(p,d)는 E(p)로 표현하기로 하며, 이는 모든 변이에 대해 같은 절차가 수행되기 때문이다.
비용 함수를 구하는 방식은 본 발명자에 의해 출원된 대한민국 특허출원 제 2007-0136756호에 기재된 비용함수 연산 방법에 기초한다.
최적 비용 함수의 연산을 위해 에너지 함수를 설정하며, 에너지 함수를 최소화시키는 최적 비용 함수를 연산한다.
다음의 수학식 4는 본 발명에서 사용되는 에너지 함수를 표현한 수학식이다.
Figure 112007092832432-PAT00006
위 수학식 4에서, w는 가중치 함수이며 이웃 픽셀들과의 화소값 차이에 대한 가중치를 부여한다. w는 p와 p+n 사이의 화소값의 차가 클수록 더 작은 가중치가 부여되도록 하며, 화소값의 차이가 작을수록 더 큰 가중치가 부여되도록 한다. 즉, 화소값의 차이에 반비례하는 가중치가 부여되는 것이다.
또한, 해당 픽셀과 이웃 픽셀 사이의 비용 함수 차이값이 연산되며, 이 비용함수 차이값에 전술한 가중치가 곱해진다.
위 수학식 3에서, n 및
Figure 112007092832432-PAT00007
은 서로 직교하는 2차원 벡터이다. M은 에너지 함수에서 고려되는 이웃 픽셀 집합의 사이즈를 나타낸다.
최적 비용 함수는 수학식 4와 같은 에너지 함수를 최소로 하는 값이며, 비용 함수를 구하기 위해 수학식 4를 1차 미분하면 다음의 수학식 5를 얻을 수 있다.
Figure 112007092832432-PAT00008
위 수학식을 단순화하기 위해 이웃 픽셀의 집합을 재정의한다. p를 (x,y)라고 할 때, 이웃 픽셀의 집합은 다음의 수학식 6과 같이 표현될 수 있다.
Figure 112007092832432-PAT00009
위 수학식 6을 이용하여, 수학식 5는 다음의 수학식 7과 같이 표현될 수 있다.
Figure 112007092832432-PAT00010
위 수학식 7로부터 최적 비용 함수 E(p)를 구하기 위해 반복 계산법(Iteration)이 이용될 수 있으며, (k+1)번째 반복 계산의 해는 다음의 수학식 8과 같이 계산된다.
Figure 112007092832432-PAT00011
위 수학식 8은 정규화된 픽셀 당 비용함수와 이웃한 픽셀들의 비용을 가중치 평균한 비용 함수로 구성되어 있다. 반복 계산을 수행함으로써 비용함수 E(p)는 주변의 이웃한 점들의 비용 함수에 의해 정규화된다.
본 발명의 일 실시예에 따르면, CIE-Lab을 이용한 비대칭적인 가우시안 가중치 함수가 사용될 수 있다. rc와 rs는 각각 컬러와 공간상의 거리에 대한 가중치 상수로 Ci가 i번째 영상에서 계산되는 컬러 거리라 하면 가중치 함수는 다음의 수학식 9와 같이 표현될 수 있다.
Figure 112007092832432-PAT00012
수학식 8에 의한 비용 함수의 연산을 가속화하기 위해 가우스-사이들 가속화 방식이 본 실시예에서 제안된다.
수학식 8에 의한 반복 계산 시 연산 속도를 늦추는 가장 큰 문제점이 이미 계산된 정보가 한번의 반복 계산이 완료된 후에야 사용된다는 점이다.
이러한 문제점을 해결하기 위해 이웃한 픽셀들의 집합인 N(p)를 인과적 파트인 Nc(p)와 비인과적인 파트인 Nn(p)루 구분하여 다음의 수학식 10에 의해 연산함으로써 연산 속도를 가속화시킬 수 있다.
Figure 112007092832432-PAT00013
보다 신뢰성 있는 최적 비용 함수를 연산하기 위해 보다 멀리 있는 픽셀의 정보를 모으는 것이 필요하다. 이는 정확한 최적 비용 함수를 추정하기 위해 상당히 많은 수의 반복 계산을 수행하여야 한다는 것을 의미한다.
반복 계산의 횟수를 줄이기 위해 가우스-사이들 가속화 방식과 함께 다해상도 접근 방식이 제안된다.
다해상도 접근 방식은 원본 이미지의 해상도에 비해 작은 해상도에서 동일한 연산을 수행하고, 연산 결과를 보다 큰 해상도에서의 연산에 이용하는 방식이다. 설명의 편이를 위해, 이하에서는 원본 이미지의 해상도를 제1 해상도라고 하고, 제 1 해상도의 1/2에 해당되는 해상도를 제2 해상도, 제2 해상도의 1/2에 해당되는 해상도를 제3 해상도로 하기로 한다.
도 7은 본 발명의 일 실시예에 따른 다해상도 접근 방식의 프레임 구조를 도시한 도면이다.
수학식 8에서, 일반적으로 최적의 비용 함수 E(p)는 픽셀 당 비용함수 e(p)로 초기화될 수 있다. 본 실시예에서는 저 해상도에서의 최종 연산값을 그보다 상위 해상도에서의 초기값으로 활용하는 다해상도 접근 방식을 제안하며 이는 반복 계산 시의 수렴을 가속화시킬 수 있다.
도 7를 참조하면, 원본 이미지의 해상도의 1/4인 제3 해상도에서 픽셀 당 비용함수 e2(d)를 연산하고, 연산된 e2(d)는 초기치로 활용되어 제3 해상도에서의 비용 함수 E2(d)가 연산된다.
연산된 제3 해상도에서의 E2(d)는 제2 해상도에서의 초기치로 활용된다. 제2 해상도에서는 제3 해상도에서의 최종 값을 초기치로 활용하여 비용 함수 E1(d)를 연산하며, 연산된 E1(d)는 제1 해상도에서 초기치로 활용된다.
즉, 낮은 해상도인 제N 해상도에서 연산된 최종값은 이보다 높은 해상도인 제(N-1) 해상도의 초기치로 활용되는 것이다. 이와 같은 방식은 최종적인 원본 해상도에서의 연산량을 크게 줄일 수 있다.
낮은 해상도에서 최종 계산된 비용 함수는 업샘플링되어 높은 해상도의 초기 치로 활용되는데, 업샘플링 시 경계 영역에서의 오류를 최소화하는 보간법이 요구된다.
업샘플링 시 경계 영역에서의 오류를 전파하는 선형 보간법보다는 다음의 수학식 11에 의한 적응적 보간을 수행하는 것이 바람직하다.
Figure 112007092832432-PAT00014
위 수학식 11에서, w는 가중치 함수를 의미하고 λa는 가중치 요소이며, 일례로 15로 설정될 수 있다.
III. 가려진 영역의 픽셀에 대한 처리
전술한 바와 같이, 기준 영상에 대해 연산된 최적 비용 함수는 타겟 영상 및 세미 타겟 영상에 워핑된다. 타겟 영상의 경우 두 개의 기준 영상을 이용하여 대칭적 워핑이 이루어지기 때문에 가려진 영역이 보상되며 적은 수의 홀만이 존재한다.
그러나, 세미 타겟 영상의 경우 전방 워핑 또는 후방 워핑 중 어느 하나만이 수행되는 비대칭적 워핑이 이루어지기 때문에 가려진 영역에 대한 처리가 필요하다.
예를 들어, 최 좌측 시점의 영상의 경우 후방 워핑만이 수행되므로 영상의 좌측 부분에 가려진 영역이 발생한다. 본 실시예에서는 이와 같이 세미 타겟 영상의 가려진 영역에 적절한 최적 비용 함수를 할당하는 방법을 제안한다.
먼저, 타겟 영상에 대한 가려진 영역 처리에 대해 설명한다. 타겟 영상에 대해서는 전방 워핑 및 후방 워핑이 모두 수행되며, 먼저 전방 워핑에 대해 설명한다.
우선, 기준 영상의 점들로 구성된 타겟 영상에 대한 함수 St(j)를 정의한다. St(j)는 다음의 수학식 12와 같이 정의된다.
Figure 112007092832432-PAT00015
i와 j는 기준 영상과 타겟 영상의 x좌표를 나타내며, W는 영상의 가로 크기를 의미한다.
도 8 및 도9는 기준 영상과 대상 영상 사이의 전방 워핑이 이루어질 때 가려진 영역이 발생하는 경우를 도시한 도면이다.
도 8을 참조하면, 기준 영상의 4번째 내지 7번째 픽셀은 타겟 영상의 픽셀에 중복 매칭된다. 이중 2개의 픽셀은 기준 영상과 타겟 영상 모두에 존재하는 영상의 픽셀이며, 2개의 픽셀은 기준 영상에만 존재하는 픽셀이다. 한편, 타겟 영상의 8번째 및 9번째 픽셀에는 기준 영상의 픽셀이 매칭되지 않으며 이는 타겟 영상에만 존재하는 영상의 픽셀이다.
도 8에서, 점선으로 매칭 관계가 표시된 4번째 및 5번째 픽셀이 실제로 기준 영상에만 존재하는 픽셀이며, 기준 영상의 가려진 픽셀은 도 8과 같이 일반적으로 가려지지 않은 픽셀에 비해 작은 변이를 가지고 있다.
한편, 도 9를 참조하면, 기준 영상의 2번재 내지 5번째 픽셀은 타겟 영상의 픽셀에 중복 매칭된다. 또한, 타겟 영상의 8번째 및 9번째 픽셀에는 기준 영상의 픽셀이 매칭되지 않으며 이는 타겟 영상에만 존재하는 영상의 픽셀이다.
도 9에서, 점선으로 매칭 관계가 표시된 4번째 및 5번째 픽셀이 실제로 기준 영상에만 존재하는 픽셀이며, 이 경우에는 오히려 가려진 픽셀이 그렇지 않은 픽셀에 비해 큰 변이를 가지고 있다.
기준 영상에서 가려진 픽셀인지 또는 가려지지 않은 픽셀인지 여부를 판단하기 위해 변이에 기반한 제1 조건과 최적 비용 함수에 기반한 제2 조건이 이용된다.
제1 조건은 가려진 픽셀이 가려지지 않은 픽셀에 비해 변이가 작다는 특징을 이용하는 것이며, 제2 조건은 가려진 픽셀이 가려지지 않은 픽셀에 비해 비용 함수가 크다는 특징을 이용하는 것이다.
중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 있을 경우 이를 기준 영상의 가려진 픽셀로 판단하며 가려지지 않은 픽셀의 비용함수만이 워핑되도록 한다.
그러나, 중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 존재하지 않을 경우에는 기준 영상의 어떠한 픽셀 정보가 워핑되어야 할지 결정할 수 없다.
이때, 타겟 영상에서 매칭이 안되는 픽셀 및 중복 매칭되는 픽셀 모두를 가려진 후보 픽셀로 설정한다.
예를 들어, 도 9에서, 타겟 영상의 2번째 및 3번째 픽셀과 8번째 및 9번째 픽셀은 모두 가려진 후보 픽셀로 설정된다.
타겟 영상에서는 각 픽셀 별로 가시도 함수 Ot(j)가 설정되며, 가시도 함수는 '0'또는 '1'의 값을 가진다. 타겟 영상의 가려진 픽셀 및 가려진 후보 픽셀의 가시도 함수의 값은 '0'으로 설정되며, 그 이외의 픽셀의 가시도 함수의 값은 '1'로 설정될 수 있다.
타겟 영상에서 픽셀별로 가시도 함수의 값이 설정되면, 타겟 영상에서의 가시도 함수를 이용하여 기준 영상의 비용 함수는 다음의 수학식 13과 같이 워핑된다.
Figure 112007092832432-PAT00016
즉, 타겟 영상에 존재하는 픽셀의 최적 비용 함수만이 기준 영상에서 타겟 영상으로 워핑되는 것이다.
위 수학식 13에서, 동일한 과정이 각 라인마다 반복되기 때문에 y 좌표는 생략되었다. 후방 워핑도 전방 워핑과 유사한 방식으로 수행되며 후방 워핑에서 St(j)는 다음의 수학식 14와 같이 정의된다.
Figure 112007092832432-PAT00017
후방 워핑은 타겟 영상의 가시도 함수 Ot(j)를 이용하여 다음의 수학식 15와 같이 수행될 수 있다.
Figure 112007092832432-PAT00018
타겟 영상에 대해 전방 워핑과 후방 워핑이 모두 수행될 때, 대상 영상의 픽셀들에 전방 및 후방 워핑이 중복되어 이루어질 수 있는데, 이 경우 해당 변이에 대한 최적 비용 함수가 작은 워핑을 선택하는 것이 바람직하다.
한편, 세미 타겟 영상의 경우 전방 워핑 및 후방 워핑 중 어느 하나만이 수행되기 때문에 가려진 영역이 처리되어야 한다. 또한, 타겟 영상의 경우에도 전방 및 후방 워핑 후 홀이 발생할 수 있으며, 이러한 홀에 대한 처리가 필요하다.
세미 타겟 영상의 가려진 영역 처리 및 타겟 영상의 홀 처리는 세미 타겟 영상 또는 타겟 영상의 가시도 함수 Ot를 이용하여 다음의 수학식 16을 이용하여 수행된다.
Figure 112007092832432-PAT00019
IV. 가상 시점 영상의 합성
본 실시예에서, 실제 영상의 텍스쳐 정보가 가상 영상으로 매핑되며, 이 과 정은 모든 실제 영상에 대해 수행된다. 도 10은 가상 시점 영상을 합성하는 과정을 도시한 도면이다.
도 10을 참조하면, (1) 역투영과 (2) 카메라의 좌표 변환 및 (3) 투영을 통해 가상 시점 영상을 합성하는 과정이 도시되어 있다.
도 11은 가상 시점 a에서의 가상 시점 영상 합성을 위한 가상 카메라의 이동을 도시한 도면이다.
가상 카메라의 회전은 합성된 영상에 많은 홀을 발생시킬 수 있는 바, 평행 이동을 본 실시예에서는 고려한다.
주어진 가상 시점에 대해 가장 가까운 두 영상(i번째와 (i+1)번째)이 선택되고 가상 시점에 투영된다. i번째 영상에서 변이 di를 갖는 점 mi(xi, yi)는 3D 공간상의 점 Mi로 다음의 수학식 17과 같이 변환된다.
Figure 112007092832432-PAT00020
(x0, y0)는 영상의 기저점을 의미한다. Mi를 평행 이동(Tx, Ty, Tz)을 이용하여 가상 카메라의 좌표로 변환하고, 가상 카메라의 영상 표면으로 투영하면 실제와 가상 영상에서 대응하는 점들의 관계를 계산할 수 있다.
가상 시점의 점
Figure 112007092832432-PAT00021
는 다음의 수학식 18과 같이 계산된다.
Figure 112007092832432-PAT00022
수식을 간단하게 하기 위해 정규화된 좌표(ax, ay, az)=( Tx, Ty, Tz)/B를 사용하며, 카메라 간의 거리는 1로 정의될 수 있다. 와 를 실제와 투영된 영상이라고 할 때, 다음의 수학식 19와 같은 관계가 성립한다.
Figure 112007092832432-PAT00023
실제 영상에서 가상 영상으로 텍스쳐 정보를 전달하는 전방 맵핑이 수행될 때, 몇가지 문제점이 발생할 수 있다. 수학식 x의 경우 일대일 맵핑이 되지 않고, 가상 시점에 다중 투영이나 홀이 발생한다. 가상 시점에 다중 투영이 발생하는 이유는 깊이 불연속과 영상 리샘플링이 있다.
깊이 불연속 지점에 존재하는 점들은 그들이 다른 변이를 가지고 있음에도 불구하고 가상 시점에서 동일한 점에 투영된다. 이 경우 카메라로부터 가까운 거리에 있는 점이 나머지 점들을 감싸기 때문에 투영된 점들 중 가장 큰 변이를 갖는 점만을 보존한다.
다른 문제는 영상의 리샘플링에 의해 발생하는데, 가상 시점 재생 시 물체의 크기가 변할 때, 같은 변이를 갖는 점들에 대해서도 다중 투영과 홀이 발생할 수 있다. 특히, 가상 시점의 점
Figure 112007092832432-PAT00024
는 정수 단위가 아닐 수도 있다. 이러한 문제점을 해결하기 위해 가상 시점 합성 시 가상 영상에서 실사 영상으로 투영하는 역방향 맵핑과 선형 보간법이 이용될 수 있다.
역방향 맵핑은 영상 리샘플링에서 발생할 수 있는 화질의 저하를 막아준다. 가상 카메라는 좌,우, 전방, 후방을 포함하여 x와 z축으로 움직인다. 가상 시점에 홀을 발생시킬 수 있기 때문에 y축으로의 움직임은 제한되는 것이 바람직하다.
Figure 112007092832432-PAT00025
는 가상 카메라의 실제 위치를 의미한다. V(p)를 가상 시점의 점이 실제 영상에서 보이는지 여부를 판별하는 가시 함수라고 할 때, 가상 시점은 투영된 영상의 내삽을 통해 다음의 수학식 20과 같이 연산된다.
Figure 112007092832432-PAT00026
V. 3차원 가상 시점 영상의 생성
본 발명에서는 가상 시점에 상응하는 3차원 영상을 생성하는 방법을 제안한다. 본 발명의 바람직한 실시예에 따르면, 가상 시점이 주어질 경우 가상 시점과 연관된 두 개 이상의 시점에 대한 2차원 영상을 합성하여 가상 시점에 상응하는 3차원 영상을 생성할 수 있다.
도 11에는 시점 a에서의 가상 시점 영상을 위한 카메라의 이동과 함께 a, b 두 개의 가상 시점 영상을 이용하여 가상 시점에 상응하는 3차원 영상을 생성하는 경우가 도시되어 있다.
도 11에서, a는 사용자에 의해 지정된 가상 시점이다. 가상 시점이 지정될 경우 지정된 시점에서의 2D 영상 및 지정된 시점에 비해 소정 거리 이동된 시점인 b에서의 2D 영상을 합성한다.
이때, 두 개의 시점간의 거리는 Bs로 도시되어 있으며, Bs의 길이는 당업자에 의해 선택될 수 있다.
즉, 지정된 가상 시점인 a에서 제1 2차원 영상을 합성하고, 시점 a에서 Bs만큼 이동된 시점 b 제2 2차원 영상을 합성한다. 이와 같은 2차원 영상을 스테레오 영상으로 하여 3차원 영상을 합성함으로써 가상 시점에 대한 3차원 영상의 합성이 가능하다.
도 11에는 사용자가 지정한 가상 시점에서의 2차원 영상 및 상기 지정된 가상 시점에서 소정 거리 이동된 시점에서의 2차원 영상을 이용하여 3차원 영상을 합성하는 경우가 도시되어 있으나, 이는 다양한 방식으로 변형 가능하다.
예를 들어, 사용자가 지정한 가상 시점에서 소정 거리 오른쪽으로 이동된 시점 및 소정 거리 왼쪽으로 이동된 시점에서의 2차원 영상을 각각 합성하여 3차원 영상을 합성할 수도 있을 것이다.
또 다른 예로 두 개의 2차원 영상이 아닌 이보다 많은 수의 2차원 영상을 획득하여 3차원 영상을 획득할 수도 있을 것이다.
즉, 본 발명의 사상에 따르면, 지정된 가상 시점과 연관된 복수 시점에서의 2차원 영상을 획득하여 3차원 영상의 합성이 가능한 것이다.
본 발명의 일 실시예에 따르면, 양질의 3차원 영상 합성을 위해 시프트 센서 방식이 이용될 수 있다. 도 12는 시프트 센서 방식의 일례를 나타낸 도면이다.
제로 시차 설정(Zero Parallax Setting, ZPS)을 하기 위해 가상 카메라의 센서가 렌즈의 위치에 대해 h만큼 평행하게 이동된다. 이는 3차원 장면이 디스플레이 장치에서 재연될 때 수렴 거리 Zc를 선택할 수 있도록 해준다. 센서의 시프팅은 카메라의 기저점의 이동을 통해 계산된다. 기저점의 수평 이동을 h라 정의할 때, 가상 시점의 점은 다음의 수학식 21에 의해 연산된다. 여기서 는 이동된 우,좌 영상을 의미한다.
Figure 112007092832432-PAT00027
도 1은 본 발명의 일 실시예에 따른 자유 시점 영상 재생을 위한 가상 시점 합성 방법의 전체적인 흐름을 도시한 도면.
도 2는 종래의 N-시점 & N-깊이 구조를 설명하기 위한 도면.
도 3은 인접한 다른 시점에서 획득된 두 개의 영상 및 각 영상의 깊이 지도를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 세미 N-시점 & N-깊이 구조를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 N이 짝수일 경우에 기준 영상, 타겟 영상 및 세미 타겟 영상을 설정한 예를 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 세미 N-시점 & N-깊이 방식을 이용한 변이 추정 과정을 도시한 순서도.
도 7은 본 발명의 일 실시예에 따른 다해상도 접근 방식의 프레임 구조를 도시한 도면.
도 8 및 도9는 기준 영상과 대상 영상 사이의 전방 워핑이 이루어질 때 가려진 영역이 발생하는 경우를 도시한 도면.
도 10은 가상 시점 영상을 합성하는 과정을 도시한 도면.
도 11은 가상 시점 a에서의 가상 시점 영상 합성을 위한 가상 카메라의 이동을 도시한 도면.

Claims (26)

  1. 가상 시점에서의 영상 합성을 위한 변이 추정 방법으로서,
    N개의 시점에 상응하는 N 개의 영상을 획득하는 단계(a);
    N 개의 영상 중 선택된 일부의 기준 영상들에 대해 변이를 추정하는 단계(b);
    N 개의 영상 중 기준 영상 이외의 영상들에 대해 상기 기준 영상의 변이 관련 정보를 워핑하는 단계(c);
    상기 워핑된 변이 관련 정보를 이용하여 기준 영상 이외의 영상들에 대한 변이를 추정하는 단계(d)를 포함하는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
  2. 제1항에 있어서,
    상기 기준 영상의 변이를 추정하는 단계(b)는,
    기준 영상의 픽셀 당 비용 함수를 연산하는 단계;
    상기 픽셀 당 비용 함수를 이용하여 에너지 함수를 설정하는 단계;
    상기 에너지 함수를 최소로 하는 최적 비용 함수를 연산하는 단계; 및
    상기 최적 비용 함수를 이용한 최적화 과정에 의해 변이를 추정하는 단계를 포함하는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
  3. 제1 항에 있어서,
    상기 기준 영상 이외의 영상은 타겟 영상 및 세미 타겟 영상으로 구분되는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
  4. 제3항에 있어서,
    상기 세미 타겟 영상은 N 개의 영상 중 최좌측 영상 및 최우측 영상이며, 상기 기준 영상은 세미 타겟 영상을 제외한 영상들 중 서로 인접하지 않도록 선택되는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
  5. 제3항에 있어서,
    상기 변이 관련 정보는 상기 기준 영상의 최적 비용 함수인 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
  6. 제5항에 있어서,
    상기 타겟 영상에 대해서는 인접한 기준 영상들의 최적 비용 함수에 대한 전방 워핑 및 후방 워핑이 수행되며, 상기 세미 타겟 영상에 대해서는 인접한 기준 영상의 최적 비용 함수에 대한 전방 워핑 또는 후방 워핑이 수행되는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
  7. 제3항에 있어서,
    상기 타겟 영상으로의 기준 영상의 최적 비용 함수 워핑 시,
    제1 기준 영상의 가려진 픽셀 및 상기 타겟 영상의 가려진 픽셀을 검출하는 단계(e);
    타겟 영상의 가려진 픽셀들에 대해 미리 설정된 가시도 함수 값을 설정하는 단계(f);
    상기 가시도 함수 값을 이용하여 상기 제1 기준 영상의 최적 비용 함수를 워핑하는 단계(g); 및
    제2 기준 영상 및 상기 타겟 영상에 대해 상기 단계 (e) ~ (f)를 반복하는 단계를 더 포함하는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
  8. 제7항에 있어서,
    상기 제1 기준 영상과 상기 타겟 영상의 픽셀 매칭 시 매칭이 이루어지지 않는 픽셀을 타겟 영상의 가려진 픽셀로 설정하는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
  9. 제8항에 있어서,
    상기 제1 기준 영상과 상기 타겟 영상의 픽셀 매칭 시 중복 매칭이 이루어지는 픽셀이 존재할 경우, 변이에 기반한 제1 조건 및 최적 비용 함수에 기반한 제2 조건을 모두 만족하는 픽셀이 존재할 경우 해당 픽셀을 제1 기준 영상의 가려진 픽 셀로 설정하며,
    상기 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 존재하지 않는 경우, 중복으로 매칭되는 타겟 영상의 픽셀 및 상기 매칭이 이루어지지 않는 타겟 영상의 픽셀 모두를 가려진 후보 픽셀로 설정하는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
  10. 제9항에 있어서,
    상기 가시도 함수는 '1'또는 '0'의 값으로 설정되고, 상기 타겟 영상의 가려진 픽셀 및 상기 타겟 영상의 가려진 후보 픽셀에는 '0'이 할당되어 다음의 수학식에 의해 제1 기준 영상의 최적 비용 함수가 상기 타겟 영상에 전방 워핑되는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
    Figure 112007092832432-PAT00028
    상기 수학식에서, E는 최적 비용 함수이고 d는 변위이고, i는 제1 기준 영상의 x좌표이며, O는 가시도 함수임.
  11. 제3항에 있어서,
    상기 세미 타겟 영상으로의 기준 영상의 최적 비용 함수 워핑 시,
    상기 세미 타겟 영상과 인접한 기준 영상의 가려진 픽셀 및 상기 타겟 영상의 가려진 픽셀을 검출하는 단계;
    상기 세미 타겟 영상의 가려진 픽셀들에 대해 미리 설정된 가시도 함수 값을 설정하는 단계; 및
    상기 가시도 함수 값을 이용하여 다음의 수학식에 의해 상기 세미 타겟 영상의 가려진 픽셀의 최적 비용 함수를 설정하는 단계를 포함하는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
    Figure 112007092832432-PAT00029
    상기 수학식에서, O는 가시도 함수이고, E는 최적 비용 함수이며, w는 가중치 함수이고, λ는 가중치 상수임.
  12. 제11항에 있어서,
    상기 세미 타겟 영상과 상기 세미 타겟 영상과 인접한 기준 영상의 픽셀 매칭 시 매칭이 이루어지지 않는 픽셀을 세미 타겟 영상의 가려진 픽셀로 설정하는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
  13. 제12항에 있어서,
    상기 세미 타겟 영상과 상기 세미 타겟 영상에 인접한 기준 영상과의 픽셀 매칭 시 중복 매칭이 이루어지는 픽셀이 존재할 경우, 변이에 기반한 제1 조건 및 최적 비용 함수에 기반한 제2 조건을 모두 만족하는 픽셀이 존재할 경우 해당 픽셀을 기준 영상의 가려진 픽셀로 설정하며,
    상기 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 존재하지 않는 경우, 중복으로 매칭되는 세미 타겟 영상의 픽셀 및 상기 매칭이 이루어지지 않는 세미 타겟 영상의 픽셀 모두를 가려진 후보 픽셀로 설정하는 것을 특징으로 하는 가상 시점에서의 영상 합성을 위한 변이 추정 방법.
  14. N개의 시점에 상응하는 N 개의 영상을 획득하는 단계(a);
    N 개의 영상 중 선택된 일부의 기준 영상들에 대해 변이를 추정하는 단계(b);
    N 개의 영상 중 기준 영상 이외의 영상들에 대해 상기 기준 영상의 변이 관련 정보를 워핑하는 단계(c);
    상기 워핑된 변이 관련 정보를 이용하여 기준 영상 이외의 영상들에 대한 변이를 추정하는 단계(d);
    상기 N 개 시점 영상들의 추정된 변이 정보를 이용하여 실제 영상에 있는 모든 점을 3D 공간으로 역투영하는 단계(e);
    상기 실제 영상의 좌표를 임의의 가상 시점 영상 좌표로 변환하는 단계(f); 및
    상기 가상 시점 영상의 2차원 평면으로 3차원 좌표를 투영하는 단계(g)를 포함하는 것을 특징으로 하는 가상 시점에서의 영상 합성 방법.
  15. 제14항에 있어서,
    상기 기준 영상 이외의 영상은 타겟 영상 및 세미 타겟 영상으로 구분되는 것을 특징으로 하는 가상 시점에서의 영상 합성 방법.
  16. 제15항에 있어서,
    상기 세미 타겟 영상은 N 개의 영상 중 최좌측 영상 및 최우측 영상이며, 상기 기준 영상은 세미 타겟 영상을 제외한 영상들 중 서로 인접하지 않도록 선택되는 것을 특징으로 하는 가상 시점에서의 영상 합성 방법.
  17. 제16항에 있어서,
    상기 변이 관련 정보는 상기 기준 영상의 최적 비용 함수인 것을 특징으로 하는 가상 시점에서의 영상 합성 방법.
  18. 제17항에 있어서,
    상기 타겟 영상에 대해서는 인접한 기준 영상들의 최적 비용 함수에 대한 전방 워핑 및 후방 워핑이 수행되며, 상기 세미 타겟 영상에 대해서는 인접한 기준 영상의 최적 비용 함수에 대한 전방 워핑 또는 후방 워핑이 수행되는 것을 특징으로 하는 가상 시점에서의 영상 합성 방법.
  19. N개의 시점에 상응하는 N 개의 영상을 획득하는 단계(a);
    상기 N 개의 영상에 대한 변이 정보를 추정하는 단계(b);
    임의의 가상 시점이 지정될 경우, 상기 임의의 가상 시점과 연관된 적어도 둘 이상의 시점에 상응하는 2차원 영상을 상기 임의의 가상 시점과 인접한 획득 영상의 변이 정보를 이용하여 합성하는 단계;
    상기 적어도 둘 이상의 2차원 영상을 이용하여 3차원 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 임의의 가상 시점에서의 3차원 영상 합성 방법.
  20. 제19항에 있어서,
    상기 임의의 가상 시점과 연관된 적어도 둘 이상의 시점은,
    상기 임의의 가상 시점 및 상기 임의의 가상 시점으로부터 소정 거리 이동된 시점을 포함하는 것을 특징으로 하는 임의의 가상 시점에서의 3차원 영상 합성 방법.
  21. 제19항에 있어서,
    상기 임의의 가상 시점과 연관된 적어도 둘 이상의 시점은,
    임의의 가상 시점에서 소정 거리 왼쪽으로 이동된 시점 및 임의의 가상 시점에서 소정 거리 오른쪽으로 이동된 시점을 포함하는 것을 특징으로 하는 임의의 가상 시점에서의 3차원 영상 합성 방법.
  22. 제19항에 있어서,
    상기 단계(b)는,
    N 개의 영상 중 선택된 일부의 기준 영상들에 대해 변이를 추정하는 단계;
    N 개의 영상 중 기준 영상 이외의 영상들에 대해 상기 기준 영상의 변이 관련 정보를 워핑하는 단계;
    상기 워핑된 변이 관련 정보를 이용하여 기준 영상 이외의 영상들에 대한 변이를 추정하는 단계를 포함하는 것을 특징으로 하는 임의의 가상 시점에서의 3차원 영상 합성 방법.
  23. 제22항에 있어서,
    상기 기준 영상 이외의 영상은 타겟 영상 및 세미 타겟 영상으로 구분되는 것을 특징으로 하는 임의의 가상 시점에서의 3차원 영상 합성 방법.
  24. 제23항에 있어서,
    상기 세미 타겟 영상은 N 개의 영상 중 최좌측 영상 및 최우측 영상이며, 상기 기준 영상은 세미 타겟 영상을 제외한 영상들 중 서로 인접하지 않도록 선택되는 것을 특징으로 하는 가상 시점에서의 3차원 영상 합성 방법.
  25. 제24항에 있어서,
    상기 변이 관련 정보는 상기 기준 영상의 최적 비용 함수인 것을 특징으로 하는 가상 시점에서의 3차원 영상 합성 방법.
  26. 제25항에 있어서,
    상기 타겟 영상에 대해서는 인접한 기준 영상들의 최적 비용 함수에 대한 전방 워핑 및 후방 워핑이 수행되며, 상기 세미 타겟 영상에 대해서는 인접한 기준 영상의 최적 비용 함수에 대한 전방 워핑 또는 후방 워핑이 수행되는 것을 특징으로 하는 가상 시점에서의 3차원 영상 합성 방법.
KR1020070136804A 2007-12-24 2007-12-24 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법 KR100924716B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070136804A KR100924716B1 (ko) 2007-12-24 2007-12-24 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070136804A KR100924716B1 (ko) 2007-12-24 2007-12-24 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법

Publications (2)

Publication Number Publication Date
KR20090068980A true KR20090068980A (ko) 2009-06-29
KR100924716B1 KR100924716B1 (ko) 2009-11-04

Family

ID=40996299

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070136804A KR100924716B1 (ko) 2007-12-24 2007-12-24 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법

Country Status (1)

Country Link
KR (1) KR100924716B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011133496A2 (en) * 2010-04-21 2011-10-27 Samir Hulyalkar System, method and apparatus for generation, transmission and display of 3d content
KR20130098109A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 가시성 에너지 모델을 이용한 변이 추정 장치 및 방법
KR101331225B1 (ko) * 2012-05-17 2013-11-19 동국대학교 산학협력단 악성 흑색종 판별 장치 및 방법
US8803947B2 (en) 2010-08-03 2014-08-12 Samsung Electronics Co., Ltd. Apparatus and method for generating extrapolated view
KR20140102999A (ko) * 2013-02-15 2014-08-25 광운대학교 산학협력단 영상 워핑을 위한 장치 및 방법
US9147281B2 (en) 2010-08-27 2015-09-29 Samsung Electronics Co., Ltd. Rendering apparatus and method for generating multi-views
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
CN109076255A (zh) * 2016-04-26 2018-12-21 Lg电子株式会社 发送360度视频的方法、接收360度视频的方法、发送360度视频的设备、接收360度视频的设备
KR102196032B1 (ko) 2019-10-21 2020-12-29 한국과학기술원 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100748719B1 (ko) * 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011133496A2 (en) * 2010-04-21 2011-10-27 Samir Hulyalkar System, method and apparatus for generation, transmission and display of 3d content
WO2011133496A3 (en) * 2010-04-21 2012-04-05 Samir Hulyalkar System, method and apparatus for generation, transmission and display of 3d content
US8803947B2 (en) 2010-08-03 2014-08-12 Samsung Electronics Co., Ltd. Apparatus and method for generating extrapolated view
US9147281B2 (en) 2010-08-27 2015-09-29 Samsung Electronics Co., Ltd. Rendering apparatus and method for generating multi-views
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
KR20130098109A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 가시성 에너지 모델을 이용한 변이 추정 장치 및 방법
KR101331225B1 (ko) * 2012-05-17 2013-11-19 동국대학교 산학협력단 악성 흑색종 판별 장치 및 방법
KR20140102999A (ko) * 2013-02-15 2014-08-25 광운대학교 산학협력단 영상 워핑을 위한 장치 및 방법
CN109076255A (zh) * 2016-04-26 2018-12-21 Lg电子株式会社 发送360度视频的方法、接收360度视频的方法、发送360度视频的设备、接收360度视频的设备
CN109076255B (zh) * 2016-04-26 2021-10-08 Lg电子株式会社 发送、接收360度视频的方法及设备
KR102196032B1 (ko) 2019-10-21 2020-12-29 한국과학기술원 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템

Also Published As

Publication number Publication date
KR100924716B1 (ko) 2009-11-04

Similar Documents

Publication Publication Date Title
KR100924716B1 (ko) 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
US6351572B1 (en) Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
US9041819B2 (en) Method for stabilizing a digital video
US9100537B2 (en) Object tracking using graphics engine derived vectors in a motion estimation system
US5917937A (en) Method for performing stereo matching to recover depths, colors and opacities of surface elements
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
US8611642B2 (en) Forming a steroscopic image using range map
Tsai et al. Dense disparity estimation with a divide-and-conquer disparity space image technique
US20130127988A1 (en) Modifying the viewpoint of a digital image
EP2291825B1 (en) System and method for depth extraction of images with forward and backward depth prediction
KR102156402B1 (ko) 영상 처리 방법 및 장치
US20130129192A1 (en) Range map determination for a video frame
FR2724033A1 (fr) Procede de generation d&#39;image de synthese
KR100897542B1 (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
JP2011060216A (ja) 画像処理装置および画像処理方法
JP2000215311A (ja) 仮想視点画像生成方法およびその装置
US8577202B2 (en) Method for processing a video data set
Min et al. 2D/3D freeview video generation for 3DTV system
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
KR100335617B1 (ko) 3차원 입체영상 합성방법
Wu et al. Depth extraction from unidirectional integral image using a modified multibaseline technique
Fukushima et al. Free viewpoint image generation using MultiPass dynamic programming
JP2001291116A (ja) 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体
Knorr et al. From 2D-to stereo-to multi-view video
KR100655465B1 (ko) 실시간 중간 시점 영상 보간 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120904

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130823

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140808

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160105

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161024

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171023

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 11