KR101241654B1 - 입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체 - Google Patents

입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체 Download PDF

Info

Publication number
KR101241654B1
KR101241654B1 KR1020110071192A KR20110071192A KR101241654B1 KR 101241654 B1 KR101241654 B1 KR 101241654B1 KR 1020110071192 A KR1020110071192 A KR 1020110071192A KR 20110071192 A KR20110071192 A KR 20110071192A KR 101241654 B1 KR101241654 B1 KR 101241654B1
Authority
KR
South Korea
Prior art keywords
disparity
graph
initial
disparity graph
stereoscopic image
Prior art date
Application number
KR1020110071192A
Other languages
English (en)
Other versions
KR20130010408A (ko
Inventor
노준용
김소영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110071192A priority Critical patent/KR101241654B1/ko
Publication of KR20130010408A publication Critical patent/KR20130010408A/ko
Application granted granted Critical
Publication of KR101241654B1 publication Critical patent/KR101241654B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체에 관한 것으로,
상기 입체 영상의 디스패리티 그래프 압축 조절 장치는 입체 영상에 대한 1차원의 초기 디스패리티 그래프를 생성하는 초기 디스패리티 그래프 생성부; 포아송 방정식을 이용하여 상기 초기 디스패리티 그래프를 압축하는 전체 압축부; 및 1차원 모션 워핑 방식으로 상기 전체 압축부에 의해 압축된 디스패리티 그래프를 연결하는 씬 연결부;를 포함할 수 있다.

Description

입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체{Apparatus and method for editing disparity graph of stereoscopic image, image processing apparatus, and recording medium}
본 발명은 입체 영상의 편집 기술에 관한 것으로, 작업자의 고정점과 관람자의 시각적 안전 영역을 보장하면서 초기 디스패리티 그래프 특징을 가질 수 있도록 하는 입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체에 관한 것이다.
일반적으로, 스테레오 카메라 또는 다시점 카메라와 같은 입체 카메라는 사람의 눈과 같이 2대 이상의 카메라를 사용하여 좌, 우의 영상을 얻고, 그 두 영상 사이의 거리 즉, 디스패리티(disparity)에 의해 시청자로 하여금 영상에 입체감을 느끼게 한다. 구체적으로, 입체 카메라에 의해 촬상된 두 영상 사이의 디스패리티로 인해 작업자는 두 눈 사이에 시차(parallax)를 느끼게 되고, 이러한 양안 시차는 입체감을 느끼게 한다.
이와 같이, 입체 영상(Stereoscopic image)에서 깊이를 나타내는 디스패리티 값(disparity values)은, 영상 관람자의 시각 안전 확보에 매우 큰 영향을 미치는 데이터이다.
영상 관람자의 시각 안전을 위해서는 디스패리티 값의 범위는 한정되어 있다. 작업자들은 카메라와 객체(object)간의 다양한 요소로 결정되는 디스패리티를 조절하기 힘들기 때문에, 디스패리티 그래프를 작성함으로써 디스패리티를 작업에 적용하였다. 그러나 단순히 디스패리티 그래프를 만드는 것은 작업자의 원하는 장면을 만드는 것에 많은 제약이 따르고, 능숙한 스테레오그래퍼를 요구한다.
작업자가 시각적 안전한 디스패리티 범위를 계산하기 쉽게 만든 것으로, 종래에는 스테레오스코픽 계산기(Stereoscopic Calculator)가 제안된 바 있다. 또한 Visumotion은 Autodestk 사의 마야 플러그인은 시각적 안전영역을 작업자에게 박스 형태로 보여줌으로써 가이드를 제시한다. 그러나 이런 방법은 카메라의 움직임과 디스패리티 값 조절에 어려움이 따른다.
디스패리티 값을 조절하는 방법에 대한 여러 제안이 있어 왔다. 예를 들어, 초기 디스패리티 그래프가 기 설정 조건을 벗어나는 경우, 사전에 설정된 값으로 일괄 변경하는 방법(제1 방법), 또는 디스패리티 그래프를 일괄적으로 선형 압축시키는 방법(제2 방법) 등이 있다.
그러나 제1 방법은 초기 디스패리티 그래프의 형태의 왜곡을 발생시켜 작업자의 사전에 한 디스패리티 디자인(disparity design)을 살리지 못하는 단점이 있고, 제2 방법은 시각적 안전 영역을 효과적으로 활용하지 못하는 단점이 있다.
이에 본 발명에서는 입체 영상의 초기 디스패리티 그래프의 특성을 최대한 유지하면서 시각적 안전 영역도 효과적으로 활용할 수 있도록 하는 입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체를 제공하고자 한다.
또한 본 발명은 디스패리티 그래프의 부분 수정을 지원하여, 보다 세밀한 편집 작업이 가능하도록 하는 입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체를 제공하고자 한다.
뿐 만 아니라, 디스패리티 값의 씬간 연결이 자연스럽게 수행되도록 함으로써, 관람객의 시각적 편안함을 보장할 수 있도록 하는 입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체를 제공하고자 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제1 실시 형태에서는, 입체 영상에 대한 1차원의 초기 디스패리티 그래프를 생성하는 초기 디스패리티 그래프 생성부; 포아송 방정식을 이용하여 상기 초기 디스패리티 그래프를 압축하는 전체 압축부; 및 1차원 모션 워핑 방식으로 상기 전체 압축부에 의해 압축된 디스패리티 그래프를 연결하는 씬 연결부;를 포함하는 디스패리티 그래프 조절 장치를 제공한다.
상기 압축된 디스패리티 그래프는 상기 초기 디스패리티 그래프와 동일한 그래프 형태를 가지며, 시각적 안전 영역에 포함되는 것을 특징으로 한다.
상기 전체 압축부는 "
Figure 112011055313733-pat00001
,
Figure 112011055313733-pat00002
, s'= t, at start frame, |t| < safe zone (상기 D는 미분 매트릭스, 상기 s'는 압축전 디스패리티 벡터값, 상기 t 는 압축후 디스패리티 벡터값, 상기 start frame은 압축 시작점(또는 고정점), 상기 safe zone은 시각적 안전 영역)"의 식에 따라 상기 초기 디스패리티 그래프를 압축하는 것을 특징으로 한다.
상기 디스패리티 그래프 조절 장치는 작업자에 의해 입력되는 부분 수정 범위와 경계 조건에 대한 정보에 따라 상기 압축된 디스패리티 그래프를 부분 수정한 후, 상기 씬 연결부에 제공하는 부분 수정부를 더 포함하는 것을 특징으로 한다.
상기 부분 수정부는 "
Figure 112012077610918-pat00027
(상기 D는 미분 매트릭스, 상기 s'는 압축전 디스패리티 벡터, 상기 t 는 압축후 디스패리티 벡터값, 상기 i 은 부분 수정될 프레임들(frames of local constraints), 상기 j은 부분 수정 범위의 시작 및 끝 프레임(start/end frames of local area), 상기 ti,vi은 부분 수정된 프레임들에서의 디스패리티 값(disparity values in locally constrained frames), 상기 tj, s'j 은 부분 수정 범위의 시작 및 끝 프레임에서의 디스패리티 값들임)"의 식에 따라, 상기 압축된 디스패리티 그래프를 부분 수정하는 것을 특징으로 한다.
상기 초기 디스패리티 그래프 생성부는 상기 입체 영상의 좌 영상 및 우 영상을 비교 분석하여 객체별 디스패리티를 계산하고, 상기 객체별 디스패리티를 1차원의 그래프 형태로 변환하여 상기 초기 디스패리티 그래프를 생성하며, 상기 초기 디스패리티 그래프는 1차원 그래프인 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제2 실시 형태에서는, 본 발명의 제1 실시 형태에 따른 디스패리티 그래프 조절 장치를 포함하는 이미지 편집 장치를 제공한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제3실시 형태에서는, 입체 영상에 대한 1차원의 초기 디스패리티 그래프를 생성하는 단계; 포아송 방정식을 통해 상기 초기 디스패리티 그래프를 전체적으로 압축하는 단계; 상기 압축된 디스패리티 그래프를 작업자에 의해 입력되는 부분 수정 범위와 경계 조건에 대한 정보에 따라 부분 수정하는 단계; 및 1차원 모션 워핑 방식으로 상기 부분 수정된 디스패리티 그래프를 연결하는 단계;를 포함하는 디스패리티 그래프 조절 방법을 제공한다.
상기 압축된 디스패리티 그래프는 시각적 안전 영역에 포함되며, 상기 초기 디스패리티 그래프와 동일한 그래프 형태를 가지는 것을 특징으로 한다.
상기 초기 디스패리티 그래프를 전체적으로 압축하는 단계는 "
Figure 112011055313733-pat00004
,
Figure 112011055313733-pat00005
,, s'= t, at start frame, |t| < safe zone (상기 D는 미분 매트릭스, 상기 s'는 압축전 디스패리티 벡터값, 상기 t 는 압축후 디스패리티 벡터값, 상기 start frame은 압축 시작점(또는 고정점), 상기 safe zone은 시각적 안전 영역)"의 식에 따라 상기 초기 디스패리티 그래프를 압축하는 것을 특징으로 한다.
상기 부분 수정하는 단계는 "
Figure 112012077610918-pat00028
(상기 D는 미분 매트릭스, 상기 s'는 압축전 디스패리티 벡터, 상기 t 는 압축후 디스패리티 벡터값, 상기 i 은 부분 수정될 프레임들(frames of local constraints), 상기 j은 부분 수정 범위의 시작 및 끝 프레임(start/end frames of local area), 상기 ti,vi은 부분 수정된 프레임들에서의 디스패리티 값(disparity values in locally constrained frames), 상기 tj, s'j 은 부분 수정 범위의 시작 및 끝 프레임에서의 디스패리티 값들임)"의 식에 따라, 상기 압축된 디스패리티 그래프를 부분 수정하는 것을 특징으로 한다.
상기 초기 디스패리티 그래프를 생성하는 단계는 상기 입체 영상의 좌 영상 및 우 영상을 비교 분석하여 객체별 디스패리티를 계산하고, 상기 객체별 디스패리티를 1차원의 그래프 형태로 변환하여 상기 초기 디스패리티 그래프를 생성하며, 상기 초기 디스패리티 그래프는 1차원 그래프인 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제4 실시 형태에서는, 본 발명의 제3 실시 형태에 따른 디스패리티 그래프 조절 방법을 수행하기 위한 프로그램이 기록된 기록매체를 제공한다.
본 발명에서는 작업자에게 시각적 편안함에 대한 고려 없이 자유롭게 스토리텔링에 따른 디스패리티 디자인을 할 수 있는 환경을 제공해 준다. 즉, 작업자가 디자인한 초기 디스패리티 그래프의 특징을 그대로 유지하면서 압축동작이 수행되도록 하고, 압축된 디스패리티 그래프는 시각적 안전영역에 안정적으로 포함되도록 한다.
또한, 초기 디스패리티 그래프가 1차원 그래프 형태를 가지도록 함으로써, 그래프의 부분 수정과 씬간 연결이 자연스럽게 이루어 지도록 한다. 뿐 만 아니라, 1차원 모션 워핑(motion warping) 기술을 통해 객체별 디스패리피티 값을 연결하도록 함으로써, 관람객은 씬 전환 장면에서 시각적 편안함을 느낄 수 있도록 해준다.
도1은 본 발명의 일 실시예에 따른 입체 영상의 디스패리티 그래프 조절 장치를 설명하기 위한 도면이다.
도2는 카메라와 객체간 거리에 따라 달라지는 디스패리티와 깊이간 상관 관계를 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따라 압축된 디스패리티 그래프의 일례를 도시한 도면이다.
도4는 본 발명의 일 실시예에 따라 부분 수정이 수행된 디스패리티 그래프의 일례를 도시한 도면이다.
도5a는 본 발명의 일 실시예에 따른 씬 연결전 후 디스패리티 그래프 변화의 예를 도시한 도면이다.
도5b는 본 발명의 일 실시예에 따른 씬 연결부의 입력 영상과 출력 영상의 예를 도시한 도면이다.
도6a는 본 발명의 일 실시예에 따른 디스패리티 그래프 압축 전 렌더링 결과를 나타낸 도면이다.
도6b는 본 발명의 일 실시예에 따른 디스패리티 그래프 압축 후 렌더링 결과를 나타낸 도면이다.
도7은 본 발명의 일 실시예에 따른 디스패리티 그래프 조절 방법을 설명하기 위한 도면이다.
도8은 본 발명의 일 실시예에 따른 디스패리티 그래프 조절 방법에 따른 효과를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도1은 본 발명의 일 실시예에 따른 입체 영상의 디스패리티 그래프 조절 장치를 설명하기 위한 도면이다.
도1을 참조하면, 본 발명의 일 실시예에 따른 입체 영상의 디스패리티 그래프 조절 장치는 입력부(100), 좌영상 버퍼(111), 우영상 버퍼(112), 초기 디스패리티 그래프 생성부(120), 초기 디스패리티 그래프 편집부(130), 씬 연결부(140), 랜더링부(150) 등을 포함하고, 초기 디스패리티 그래프 편집부(130)는 전체 압축부(131), 및 부분 수정부(132) 등을 포함하여 구성될 수 있다.
입력부(100)는 입체 카메라와 같은 입체 영상 획득 수단으로부터 제공되는 입체 영상을 수신하고, 이를 좌 영상과 우 영상으로 분리한다.
좌영상 버퍼(111)는 입력부(100)에 의해 분리된 좌 영상을 임시 저장하며, 우영상 버퍼(112)는 입력부(100)에 의해 분리된 우 영상을 임시 저장된다.
초기 디스패리티 그래프 생성부(120)는 좌 영상과 우 영상을 비교 분석하여 좌 영상과 우 영상에 동시 존재하는 객체 각각에 대한 수평적 거리 편차(즉, 객체별 디스패리티)를 계산하고, 객체별 디스패리티를 1차원의 그래프 형태로 변환하여 상기 초기 디스패리티 그래프를 생성한다. 이때, 초기 디스패리티 그래프가 1차원 그래프 형태를 가지는 것은 차후 작업자가 디스패리티 그래프의 부분 수정 및 씬 연결을 보다 용이하게 수행할 수 있도록 하기 위함이다.
만약, 객체가 카메라와 가까이 있을 경우, 디스패리티는 큰 값을 가지게 되고, 반대로 객체가 카메라로부터 멀어질수록 디스패리티는 작은 값을 가지게 된다. 이에 본 발명에서는 객체별 디스패리티로부터 장면의 디스패리티 값을 획득하고, 이를 반영하는 초기 디스패리티 그래프를 생성할 수 있게 되는 것이다.
도2는 카메라와 객체간 거리에 따라 달라지는 디스패리티와 깊이간 상관 관계를 설명하기 위한 도면으로, 도2를 참조하면 디스패리티와 깊이간 상관관계는 반비례 관계를 가지며, 디스패리티는 이하의 수학식1에서와 같이 표현됨을 알 수 있다.
Figure 112011055313733-pat00007
d= xl - xr
이때, Z는 카메라의 초점 거리, B는 카메라간 간격, d는 디스패리티, xl 는 좌영상에서의 객체 위치, xr 는 우영상에서의 객체 위치, Z는 깊이를 나타낸다.
전체 압축부(131)는 포아송 방정식(poisson equation)을 이용하여 초기 디스패리티 그래프를 전체적으로 압축하여, 압축된 디스패리티 그래프가 초기 디스패리티 그래프 형태를 가지면서 시각적 안전 영역(safe zone)에 포함되도록 한다.
포아송 방정식은 디스패리티 그래프의 미분값(gradient)을 시간에 따라 정의해주는 식이므로, 디스패리티 그래프의 시각적 미분값을 계산할 수 있으며, 이때의 시각적 미분값은 각 프레임별의 차이값을 나타낸다. 이에 본 발명에서는 포아송 방정식을 이용하여 초기 디스패리티 그래프의 시각적 미분값을 계산하고, 이와 가장 편차가 작은(가장 바람직하게는 "0") 시각적 미분값을 가지는 디스패리티 그래프를 도출한 후, 이를 압축된 디스패리티 그래프로 획득함으로써, 압축된 디스패리티 그래프가 도3에 도시된 바와 같이 초기 디스패리티 그래프와 동일한 그래프 형태를 가지면서 시각적 안전 영역에도 안정적으로 포함되도록 한다.
이때, 시각적 안전 영역은 한국정보통신기술협회에서 발행한 '3D 안전 가이드 라인', 시스템 적용 환경 등을 고려하여 능동적으로 설정 또는 변경될 수도 있으나, 가장 바람직하게는 카메라와 객체가 이루는 각이 1.5도 보다 작은 범위가 되도록 한다.
이와 같은 전체 압축부(131)의 압축 과정은 수학식 2로 표현될 수 있다.
Figure 112011055313733-pat00008
Figure 112011055313733-pat00009
s'= t, at start frame,
|t| < safe zone
이때, D는 미분 매트릭스, s'는 압축전 디스패리티 벡터값, t 는 압축후 디스패리티 벡터값, start frame은 압축 시작점(또는 고정점), safe zone은 시각적 안전 영역.
부분 수정부(132)는 작업자에 의해 부분 수정 동작이 요청될 때에 선택적으로 활성화된다. 만약, 작업자가 부분 수정 동작을 요청하고, 부분 수정 범위와 경계 조건(boundary condition)에 대한 정보를 입력하면, 부분 수정부(132)는 이에 응답하여 압축된 디스패리티 그래프의 부분 수정을 수행한다. 즉, 본 발명에서는 압축된 디스패리티 그래프의 특정 영역만을 선택적으로 수정할 수 있도록 함으로써, 작업자가 디스패리티 그래프 보다 세밀한 수정을 보장한다.
이와 같은 부분 수정부(132)의 부분 수정 과정은 수학식 3로 표현될 수 있다.
Figure 112011055313733-pat00010
이때, i 은 부분 수정될 프레임들(frames of local constraints), j은 부분 수정 범위의 시작 및 끝 프레임(start/end frames of local area), ti,vi은 부분 수정된 프레임들에서의 디스패리티 값(disparity values in locally constrained frames), tj, s'j 은 부분 수정 범위의 시작 및 끝 프레임에서의 디스패리티 값들을 각각 나타낸다.
도4는 부분 수정부(132)에 의해 부분 수정이 수행된 디스패리티 그래프의 일례를 도시한 도면으로, 부분 수정부(132)는 도4에 도시된 바와 같이 작업자에 의해 선택된 부분 수정 범위에 속하는 디스패리티 값을 경계 조건(boundary condition), 즉 작업자 고정값(constraint points)으로 수정해줌을 알 수 있다.
씬 연결부(140)는 디스패리티 그래프 추출을 기반으로 씬 연결을 수행하며, 디스패리티 그래프의 자연스러운 연결을 위해, 1차원 모션 워핑(motion warping) 기술을 사용한다.
도5a는 본 발명의 일 실시예에 따른 씬 연결전 후 디스패리티 그래프 변화의 예를 도시한 도면으로, 도5b는 씬 연결부(140)의 입력 영상과 출력 영상의 예를 도시한 도면이다.
즉, 씬 연결전에 씬1(#1)에서의 디스패리티와 씬2(#2)에서의 객체의 디스패리티간에 큰 차가 존재하더라도, 씬 연결부(140)는 이들을 1 차원 모션 워핑 기술을 통해 연결함으로써, 씬 연결 이후 관람자가 시각적 편안함을 느낄 수 있도록 해준다.
랜더링부(150) 는 씬 연결이 완료된 영상을 랜더링하여 최종 결과물을 출력한다.
도6a 및 도6b는 본 발명의 일 실시예에 따른 디스패리티 그래프 압축 전후, 렌더링 결과를 나타낸 도면이다.
도6a는 디스패리티 그래프 조정전 랜더링 결과, 도6b는 디스패리티 그래프 조정후 랜더링 결과를 나타낸 도면으로, 이들 도면을 비교하면 디스패리티 그래프 조정전에 비해 디스패리티 그래프 조정후에, 객체 각각의 디스패리티가 급격히 감소함을 알 수 있다. 즉, 본 발명에 따른 디스패리티 그래프 조정후에는 객체의 디스패리티가 시각적 안전 영역에 포함되어, 관람자가 해당 영상을 시각적으로 편안하게 관람할 수 있음을 알 수 있다.
도7은 본 발명의 일 실시예에 따른 디스패리티 그래프 조절 방법을 설명하기 위한 도면이다.
먼저, 입체 영상이 수신되면, 이를 좌 영상과 우 영상으로 분리한다. 그리고 좌 영상과 우 영상을 비교분석하여, 객체별 수평적 거리 편차(즉, 디스패리티)를 계산하고, 계산된 객체별 디스패리티 모두를 디스패리티 값으로 변환하여 1차원의 초기 디스패리티 그래프를 생성한다(S1).
그리고 포아송 방정식을 이용하여 초기 디스패리티 그래프를 압축하여, 초기 디스패리티 그래프의 형태를 그대로 유지하고, 객체별 디스패리티가 모두 시각적 안전 영역내 포함되도록 한다(S2).
이러한 상태에서, 만약 작업자가 압축된 디스패리티 그래프의 부분 수정을 요청하면(S3), 작업자로부터 부분 수정 범위와 경계 조건(boundary condition)에 대한 정보를 입력받는다(S4).
그리고 작업자에 의해 입력된 부분 수정 범위와 경계 조건을 기반으로 디스패리티 그래프를 부분적으로 수정한다. 즉, 디스패리티 그래프의 전체 영역 중에서 작업자가 선택한 부분 수정 범위에 속하는 영역의 디스패리티 값은 작업자가 입력한 경계 조건(boundary condition)을 만족하도록 조정한다(S5).
그리고 1차원 모션 워핑(motion warping) 기술을 통해 객체별 디스패리피티 값을 연결한 후(S6), 랜더링 동작을 통해 최종 영상을 출력한다(S6).
도8은 본 발명의 일 실시예에 따른 디스패리티 그래프 조절 방법에 따른 효과를 설명하기 위한 도면이다.
도8에서, (a)는 압축 이전의 디스패리티 그래프를, (b)은 종래의 기술에 따라 기 설정 조건을 벗어나는 경우, 일정 값으로 변화시키는 방법을 이용한 결과, (c) 는 종래의 기술에 따른 디스패리티 그래프를 일괄적으로 선형 압축시키는 방법을 이용한 결과, (d)는 본 발명의 디스패리티 그래프 조절 방법에 따라 디스패리티 그래프를 압축시키는 방법을 이용한 결과를 각각 나타낸다.
즉, 종래에는 (b)에 도시된 바와 같이 초기 디스패리티 그래프의 형태의 왜곡을 발생시켜 작업자의 사전에 한 디스패리티 디자인(disparity design)을 살리지 못하는 문제가 발생하거나, (c)에 도시된 바와 같이 시각적 안전 영역을 효과적으로 활용하지 못하는 문제가 발생함을 알 수 있다.
그러나 본 발명에서는 앞서 설명한 바와 같이 포아송 방정식을 이용하여 초기 디스패리티 그래프를 전체적으로 압축시킴으로써, 압축된 디스패리티 그래프가 초기 디스패리티 그래프와 동일한 그래프 형태를 가지면서도 시각적 안전 영역에도 안정적으로 포함되도록 한다.
뿐 만 아니라, 본 발명은 상기의 디스패리티 그래프 조절 방법뿐만 아니라, 컴퓨터를 통해 실행되고, 작업자의 고정점과 관람자의 시각적 안전 영역을 보장하면서 초기 디스패리티 그래프 특징을 유지할 수 있도록 하는 초기 디스패리티 편집 기능과, 관람자의 시각적 편안함을 보장하기 위한 씬 연결 기능을 제공하는 입체 영상의 디스패리티 그래프 조절 방법을 수행하며 컴퓨터에 의해 실행 가능한 프로그램이 기록된 기록매체도 포함한다.
다만, 프로그램에 포함되는 입체 영상의 디스패리티 그래프 조절 방법은 앞에서 설명한 것과 같으므로 구체적인 설명은 생략하기로 한다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 입력부 111: 좌영상 버퍼
112: 우영상 버퍼 120: 초기 디스패리티 그래프 생성부
130: 초기 디스패리티 그래프 편집부 131: 전제 압축부
132: 부분 수정부 140: 씬 연결부
150: 랜더링부

Claims (13)

  1. 입체 영상에 대한 1차원의 초기 디스패리티 그래프를 생성하는 초기 디스패리티 그래프 생성부;
    포아송 방정식을 이용하여 상기 초기 디스패리티 그래프를 압축하는 전체 압축부; 및
    1차원 모션 워핑 방식으로 상기 전체 압축부에 의해 압축된 디스패리티 그래프를 연결하는 씬 연결부;를 포함하는 입체 영상의 디스패리티 그래프 조절 장치.
  2. 제1항에 있어서, 상기 압축된 디스패리티 그래프는
    상기 초기 디스패리티 그래프와 동일한 그래프 형태를 가지며, 시각적 안전 영역에 포함되는 것을 특징으로 하는 입체 영상의 디스패리티 그래프 조절 장치.
  3. 제1항에 있어서, 상기 전체 압축부는
    하기의 식에 따라 상기 초기 디스패리티 그래프를 압축하는 것을 특징으로 하는 디스패리티 그래프 조절 장치,
    Figure 112011055313733-pat00011
    ,
    Figure 112011055313733-pat00012

    s'= t, at start frame,
    |t| < safe zone
    상기 D는 미분 매트릭스, 상기 s'는 압축전 디스패리티 벡터값, 상기 t 는 압축후 디스패리티 벡터값, 상기 start frame은 압축 시작점(또는 고정점), 상기 safe zone은 시각적 안전 영역.
  4. 제1항에 있어서,
    작업자에 의해 입력되는 부분 수정 범위와 경계 조건에 대한 정보에 따라 상기 압축된 디스패리티 그래프를 부분 수정한 후, 상기 씬 연결부에 제공하는 부분 수정부를 더 포함하는 것을 특징으로 하는 입체 영상의 디스패리티 그래프 조절 장치.
  5. 제4항에 있어서, 상기 부분 수정부는
    하기의 식에 따라 상기 압축된 디스패리티 그래프를 부분 수정하는 것을 특징으로 하는 디스패리티 그래프 조절 장치,
    Figure 112012077610918-pat00029

    상기 D는 미분 매트릭스, 상기 s'는 압축전 디스패리티 벡터, 상기 t 는 압축후 디스패리티 벡터값, 상기 i 은 부분 수정될 프레임들(frames of local constraints), 상기 j은 부분 수정 범위의 시작 및 끝 프레임(start/end frames of local area), 상기 ti,vi은 부분 수정된 프레임들에서의 디스패리티 값(disparity values in locally constrained frames), 상기 tj, s'j 은 부분 수정 범위의 시작 및 끝 프레임에서의 디스패리티 값들임.
  6. 제1항에 있어서, 상기 초기 디스패리티 그래프 생성부는
    상기 입체 영상의 좌 영상 및 우 영상을 비교 분석하여 객체별 디스패리티를 계산하고, 상기 객체별 디스패리티를 1차원의 그래프 형태로 변환하여 상기 초기 디스패리티 그래프를 생성하는 것을 특징으로 하는 입체 영상의 디스패리티 그래프 조절 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 기재된 입체 영상의 디스패리티 그래프 조절 장치를 포함하는 이미지 편집 장치.
  8. 입체 영상에 대한 1차원의 초기 디스패리티 그래프를 생성하는 단계;
    포아송 방정식을 통해 상기 초기 디스패리티 그래프를 전체적으로 압축하는 단계;
    상기 압축된 디스패리티 그래프를 작업자에 의해 입력되는 부분 수정 범위와 경계 조건에 대한 정보에 따라 부분 수정하는 단계; 및
    1차원 모션 워핑 방식으로 상기 부분 수정된 디스패리티 그래프를 연결하는 단계;를 포함하는 입체 영상의 디스패리티 그래프 조절 방법.
  9. 제8항에 있어서, 상기 압축된 디스패리티 그래프는
    시각적 안전 영역에 포함되며, 상기 초기 디스패리티 그래프와 동일한 그래프 형태를 가지는 것을 특징으로 하는 입체 영상의 디스패리티 그래프 조절 방법.
  10. 제8항에 있어서, 상기 초기 디스패리티 그래프를 전체적으로 압축하는 단계는
    하기의 식에 따라 상기 초기 디스패리티 그래프를 압축하는 것을 특징으로 하는 디스패리티 그래프 조절 방법,
    Figure 112011055313733-pat00014
    ,
    Figure 112011055313733-pat00015

    s'= t, at start frame,
    |t| < safe zone
    상기 D는 미분 매트릭스, 상기 s'는 압축전 디스패리티 벡터값, 상기 t 는 압축후 디스패리티 벡터값, 상기 start frame은 압축 시작점(또는 고정점), 상기 safe zone은 시각적 안전 영역.
  11. 제8항에 있어서, 상기 부분 수정하는 단계는
    하기의 식에 따라 상기 압축된 디스패리티 그래프를 부분 수정하는 것을 특징으로 하는 디스패리티 그래프 조절 방법,
    Figure 112012077610918-pat00016

    상기 D는 미분 매트릭스, 상기 s'는 압축전 디스패리티 벡터, 상기 t 는 압축후 디스패리티 벡터값, 상기 i 은 부분 수정될 프레임들(frames of local constraints), 상기 j은 부분 수정 범위의 시작 및 끝 프레임(start/end frames of local area), 상기 ti,vi은 부분 수정된 프레임들에서의 디스패리티 값(disparity values in locally constrained frames), 상기 tj, s'j 은 부분 수정 범위의 시작 및 끝 프레임에서의 디스패리티 값들임.
  12. 제8항에 있어서, 상기 초기 디스패리티 그래프를 생성하는 단계는
    상기 입체 영상의 좌 영상 및 우 영상을 비교 분석하여 객체별 디스패리티를 계산하고, 상기 객체별 디스패리티를 1차원의 그래프 형태로 변환하여 상기 초기 디스패리티 그래프를 생성하는 것을 특징으로 하는 입체 영상의 디스패리티 그래프 조절 방법.
  13. 제8항 내지 제12항 중 어느 한 항에 기재된 입체 영상의 디스패리티 그래프 조절 방법을 수행하기 위한 프로그램이 기록된 기록매체.
KR1020110071192A 2011-07-18 2011-07-18 입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체 KR101241654B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110071192A KR101241654B1 (ko) 2011-07-18 2011-07-18 입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110071192A KR101241654B1 (ko) 2011-07-18 2011-07-18 입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20130010408A KR20130010408A (ko) 2013-01-28
KR101241654B1 true KR101241654B1 (ko) 2013-03-11

Family

ID=47839663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110071192A KR101241654B1 (ko) 2011-07-18 2011-07-18 입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체

Country Status (1)

Country Link
KR (1) KR101241654B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100672925B1 (ko) 2004-04-20 2007-01-24 주식회사 후후 적응적 시차 추정 방식을 이용한 다시점 영상 생성 방법
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
US20110032341A1 (en) 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100672925B1 (ko) 2004-04-20 2007-01-24 주식회사 후후 적응적 시차 추정 방식을 이용한 다시점 영상 생성 방법
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
US20110032341A1 (en) 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content

Also Published As

Publication number Publication date
KR20130010408A (ko) 2013-01-28

Similar Documents

Publication Publication Date Title
US8953023B2 (en) Stereoscopic depth mapping
JP5429896B2 (ja) 立体動画による潜在的眼精疲労を測定するシステムおよび方法
TWI528781B (zh) 用以訂製立體內容之三維效果的方法及裝置
US8908011B2 (en) Three-dimensional video creating device and three-dimensional video creating method
KR20110086079A (ko) 입력 ３차원 비디오 신호를 프로세싱하는 방법 및 시스템
EP2701389A1 (en) Apparatus and method for depth-based image scaling of 3D visual content
JP2018133746A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
US9918067B2 (en) Modifying fusion offset of current, next, second next sequential frames
KR20130091819A (ko) 3차원 영상 시스템 및 그 영상 재생 방법
CN102289841A (zh) 一种立体图像观众感知深度的调节方法
KR101241654B1 (ko) 입체 영상의 디스패리티 그래프 압축 조절 장치 및 방법, 이미지 처리 장치, 및 기록 매체
US20140063206A1 (en) System and method of viewer centric depth adjustment
Mangiat et al. Disparity remapping for handheld 3D video communications
KR101697163B1 (ko) 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법
JP5311526B1 (ja) ３ｄ立体視画像作成方法、３ｄ立体視画像作成システム及び３ｄ立体視画像作成プログラム
JP6685241B2 (ja) 立体視ビデオ生成
KR101562111B1 (ko) 피로도를 고려한 영상 처리 장치 및 방법
KR101907127B1 (ko) 입체 비디오 주밍 및 비디오 내의 전경 및 배경 검출
JP5601375B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20160165207A1 (en) Electronic device, method, and computer program product
KR20130005148A (ko) 입체감 조절 장치 및 입체감 조절 방법
KR101158492B1 (ko) 화면 분할을 통한 주시각 제어 방법 및 이를 이용한 입체 카메라
JP2015029215A (ja) 立体画像処理装置
KR20170033294A (ko) 입체 깊이 조정 및 초점 조정
Yasakethu et al. Transforming 3D cinema content for an enhanced 3DTV experience

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160225

Year of fee payment: 4