KR102131745B1 - 3d 이미지 시퀀스의 처리 - Google Patents

3d 이미지 시퀀스의 처리 Download PDF

Info

Publication number
KR102131745B1
KR102131745B1 KR1020147018241A KR20147018241A KR102131745B1 KR 102131745 B1 KR102131745 B1 KR 102131745B1 KR 1020147018241 A KR1020147018241 A KR 1020147018241A KR 20147018241 A KR20147018241 A KR 20147018241A KR 102131745 B1 KR102131745 B1 KR 102131745B1
Authority
KR
South Korea
Prior art keywords
image
pair
images
stereoscopic
flattening
Prior art date
Application number
KR1020147018241A
Other languages
English (en)
Other versions
KR20140119692A (ko
Inventor
피에르 휴즈 루디에
윌리암 지. 레드만
디디에 도이앙
Original Assignee
인터디지탈 매디슨 페이튼트 홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지탈 매디슨 페이튼트 홀딩스 filed Critical 인터디지탈 매디슨 페이튼트 홀딩스
Publication of KR20140119692A publication Critical patent/KR20140119692A/ko
Application granted granted Critical
Publication of KR102131745B1 publication Critical patent/KR102131745B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다양한 구현은 과도한 패럴랙스, 깊이, 또는 디스패리티가 시청자에 전달되는 것을 방지하기 위한 기법들을 제공한다. 한 특정 구현에서, 비디오 시퀀스의 스테레오스코픽 이미지 쌍 내의 물체에 대한 깊이 인디케이터가 타겟 범위를 벗어나 있다고 판정된다. 스테레오스코픽 이미지 쌍 중 하나 이상의 이미지는 물체에 대한 깊이 인디케이터가 타겟 범위 내에 있도록 수정된다. 다른 구현들에서, 비디오 시퀀스의 물체와 다른 부분 간의 깊이 천이는 평탄화된다. 다른 구현들에서, 스테레오스코픽 이미지 쌍은 이 물체를 포함하는 2D 이미지 쌍으로 대체된다. 또 다른 구현들에서, 최종 비디오 시퀀스는 (i) 0이 아닌 디스패리티를 갖고 있으며 깊이 인디케이터가 전체 이미지 쌍에 대한 타겟 범위 내에 있는 하나 이상의 스테레오스코픽 이미지 쌍, 및 (ii) 하나 이상의 2D 이미지 쌍을 포함한다.

Description

3D 이미지 시퀀스의 처리{PROCESSING 3D IMAGE SEQUENCES}
관련출원의 교차참조
이 출원은 (i) 2012년 1월 4일자 출원된 명칭이 "과도한 패럴랙스 시청을 방지하기 위한 방법 및 장치"인 미합중국 예비 출원 No. 61/583,105, (ii) 2012년 1월 5일자 출원된 명칭이 "시청 조건에 기반한 자동 스테레오 렌더링 방법 및 장치"인 미합중국 예비 출원 No. 61/583,462, 및 (iii) 2012년 1월 6일자 출원 명칭이 "이미지의 캡쳐 동안 양안전도(vergence) 이슈를 방지하기 위해 어시스턴스를 제공하는 방법 및 장치"인 미합중국 예비 출원 NO. 61/584,123의 이익을 주장한다. 이들 이익 출원의 각 내용은 모든 목적을 위해 참조로 통합되어 있다.
스테레오스코픽 비디오 시퀀스에 관한 구현이 기술된다. 다양한 특정 구현들은 스테레오스코픽 비디오 시퀀스의 하나 이상의 이미지 쌍에서 패럴랙스(parallax), 깊이(depth), 또는 디스패리티(disparity)를 조정하는 것에 관한 것이다.
현 스테레오스코픽 콘텐츠는 2개의 카테고리로 분류될 수 있다: 패럴랙스 값들이 스테레오 이미지들로 구축되어 있음을 의미하는, 선-렌더링된 콘텐츠, 및 컴퓨터-생성 게임 및 무비와 같이, 실시간으로 렌더링되는 콘텐츠. 실시간으로 렌더링되는 콘텐츠의 경우에, 렌더링 엔진의 제한을 통해서 패럴랙스의 양을 제한하는 것이 가능하다. 그러나, 선-렌더링된 콘텐츠가 편안 임계치를 벗어나는 경우 시청자를 보호하기 위한 해법을 선-렌더링된 콘텐츠에 적용하는 것은 훨씬 어렵다.
일반적인 양태에 따르면, 비디오 시퀀스의 스테레오스코픽 이미지 쌍 내의 물체에 대한 깊이 인디케이터는 타겟 범위를 벗어나 있는 것으로 판정된다. 물체에 대한 깊이 인디케이터가 타겟 범위 내에 있도록 스테레오스코픽 이미지 쌍 중 하나 이상의 이미지가 수정된다.
다른 일반적인 양태에 따르면, 비디오 시퀀스의 물체와 다른 부분 간의 깊이 천이(transition)은 평탄화된다.
다른 일반적인 양태에 따르면, 스테레오스코픽 이미지 쌍 중 하나 이상의 이미지를 수정하는 일은 스테레오스코픽 이미지 쌍을 물체를 포함하는 2D 이미지 쌍으로 대체하는 일을 포함한다.
다른 일반적인 양태에 따르면, 스테레오스코픽 이미지 쌍을 2D 이미지 쌍으로 대체하는 일은 (i) 0이 아닌 디스패리티를 갖고 있으며 깊이 인디케이터가 전체 이미지 쌍에 대한 타겟 범위 내에 있는 하나 이상의 스테레오스코픽 이미지 쌍, 및 (ii) 하나 이상의 2D 이미지 쌍을 포함하는 비디오 시퀀스가 결과로 나타난다.
하나 이상의 구현들에 대한 세부 사항은 첨부 도면과 이하의 설명에 제시되어 있다. 한 특정 방식으로 기술되었더라도, 구현들이 다양한 식으로 구성 또는 구현될 수 있음이 명백하다. 예를 들어, 구현은 방법으로 실행될 수 있고, 또는, 예를 들어, 한 세트의 작업을 실행하도록 구성된 장치 또는 한 세트의 작업을 실행하기 위한 명령어를 저장하는 장치와 같은 장치로 구현될 수 있거나 신호로 구현될 수 있다. 다른 양태 및 피처들은 첨부 도면과 특허청구범위와 연관지어서 고려한 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은 특정 패럴랙스 상황을 묘사하는 삽화 도를 제시하고 있다.
도 2는 비디오 시퀀스를 제공하는 시스템의 구현을 묘사하는 블록 도를 제시하고 있다.
도 3은 비디오 시퀀스를 제공하는 프로세스의 구현을 묘사하는 흐름 도를 제시하고 있다.
도 4는 비디오 콘텐츠를 평탄화하기 위한 시스템의 구현을 묘사하는 블록 도를 제시하고 있다.
도 5는 깊이 천이를 평탄화하기 위한 프로세스의 구현을 묘사하는 흐름 도를 제시하고 있다.
많은 모바일 오디오 기기는 과도하게 소리가 큰 소스 콘텐츠가 사용자의 청각에 손상을 입히는 효과를 방지하기 위해 음량 안전 컷오프(volume safety cutoffs)를 제공한다. 스테레오스코픽 시청에 있어서는, 그와 거의 유사한 기기가 출시되지 않은 것으로 보이며, 그 결과, 시청자는 과도한 패럴랙스의 불편한 시청 체험으로부터 보호받지 못한다. 하나 이상의 구현은 과도한 패럴랙스가 시청되지 않게 제한하는 메커니즘을 제공한다. 하나 이상의 구현은 또한 모든 콘텐츠를 사용자에게 편안한 레벨로 만들기 위해서, 과도한 패럴랙스가 있는 콘텐츠 샷(shot)의 깊이를 변조하거나, 깊이를 압축하거나 또는 2D로 천이(transition)할 수 있는 가능성을 제공한다.
패럴랙스, 디스패리티 및 깊이는 스테레오스코픽 표현에 관련되어 있다. 패럴랙스는 물체에 대한 두 시선 간의 각도 차이다. 스테레오스코픽 표현의 맥락에서, 시선들은 시청자의 좌안 및 우안 각각으로 시작해서 대응하는 물체(또는 그의 일부)의 좌안 및 우안 이미지 뷰로 진행한다.
디스패리티는 스테레오스코픽 이미지 쌍의 좌안 및 우안 이미지들 각각에 있는 물체(또는 그의 일부)의 직선 위치 차이다. 디스패리티는 물리적 척도(예로, 센티미터)로, 또는 이미지-상대 척도(예로, 픽셀로 또는 이미지 폭의 퍼센티지로)로 표현될 수 있다. 2개의 폼 간의 변환은 디스플레이된 이미지들의 크기를 알고 있을 때 가능하다.
깊이는, 스테레오스코픽 표현에서 인지되는 것으로, 패럴랙스로부터 판정될 수 있다. 그러나, 깊이는 디스패리티 및 패럴랙스에 관련된, 선형인 아닌 삼각법에 따른 것이다. 깊이는, 이하 논의되는 바와 같이, 도 1의 시거리(apparent distance) D로 보여주고 있으며, 이론상은 0에서 무한까지의 범위일 수 있다.
3개의 척도인 패럴랙스, 디스패리티 및 깊이는, 앞서 설명한 바와 같이, 상호 추론될 수 있는 것이다. 3개 모두는 광의에서는 "깊이" 척도라 할 수 있고 이 출원에서는 "깊이 인디케이터"로서 취급된다. 이들 3개의 척도는 달리 요구되지 않는다면 이 출원의 목적을 위해 상호교환될 수 있는 것으로 본다. 우리는 3개의 척도가 이하의 표 1에서 어떻게 대응하는지에 대한 다음의 간략한 예를 제시한다.
Figure 112014062024294-pct00001
도 1은 시청자(110)가, 시청자로부터의 시거리(D)가 물리적 디스패리티(dp), 시청 거리(V), 및 시청자의 양안 간격(tE)의 조합으로 유도된 패럴랙스(θ)로부터 야기되는 스크린(120)의 스테레오스코픽 표현을 보면서 특정 물체(130)를 인지하는 상황(100)을 보여주고 있다.
설명과 예시의 간결성을 위해, 상황(100)은 좌우 시선(131, 132)이 시청자의 좌안 및 우안(111, 112) 간의 선, 즉 길이(tE)를 갖는 선과 직각 삼각형을 형성하는 것으로 도시되어 있다. 더욱이, 좀더 간결성을 위해, 이 선은 스크린(120)에 평행한 것으로 본다.
상황(100)의 예에서, 물리적 디스패리티(dp)는 몇몇 규약에 따른 것이고, 여기서는 네거티브(negative)를 고려하며 물체의 좌안 이미지가 물체의 우안 이미지의 왼쪽에 있을 때마다 네거티브이다.
패럴랙스 각(θ)은, 상황(100)에서, 포지티브(positive)이며, (-tE)보다 큰 모든 (dp) 값의 경우 포지티브이다. 패럴랙스(θ)는 시선들(131 및 132)이 평행할 때 0이 되고(도 1에는 도시되지 않음), 이 경우에 물체(130)는 무한 거리(D = ∞)에 있는 것으로 나타날 것이다. 이는 스크린(120)에 디스플레이된 바와 같은 물체의 물리적 디스패리티(dp)가 네거티브이고 크기가 시청자의 양안 거리와 같은(즉, dp는 -tE와 같음) 경우일 것이다.
물체(130)의 좌안 및 우안 이미지들이 (-tE)보다 작은 디스패리티를 갖는 스테레오스코픽 이미지 쌍을 제공함으로써 패럴랙스(θ)가 디스플레이될 수 있는 경우들이 있다. 이들 상황에서, 패럴랙스는 네거티브가 되고, 이때 스크린(120)에 의한 물체(130)의 표현은 유의미한 해석을 갖는 것에 대응하지 않게 되고 패럴랙스(θ)는 네거티브가 된다. 그러한 경우에, 기하학적으로, 시선들(131, 132)은 시청자(110) 뒤에서 교차하지만, 물체(130)의 이미지들은 여전히 스크린(120)에 나타나서, 인간의 시각 계가 즐겨하지 않는 모순을 유발한다.
물리적인 디스패리티가 적어도 0의 패럴랙스(θ)에 대응하는 적어도 (-tE)인 한, 패럴랙스가 좀더 포지티브가 될 때, 즉, 물체(130)를 시청하면서 좌안이 우안 쪽으로 더 돌고 및/또는 우안이 좌안 쪽으로 더 돌 때, 물체는 시청자에게 좀더 가까운 것으로 나타난다. 패러랙스가 덜 포지티브하게 됨에 따라서, 물체(130)는 더 멀게 나타난다. 디스패리티가 0인 경우에, 물체는 시청자로부터 스크린과 같은 거리(D = V)에 있는 것으로 나타난다.
양안 간격(tE), 시청자로부터 스크린까지의 거리 V, 물리적 디스패리티(dp), 및 시청자로부터 물체의 시거리 (D) 간의 관계는 도 1의 유사한 삼각관계들을 조사함으로써(및 상황(100)의 dp의 부호가 네거티브임을 고려해서) 구한 방정식으로 기술될 수 있다:
EQ. 1: dp = - tE(D - V)/D
이는 D에 대해서 풀면 다음과 같다:
EQ. 2: D = tEV/(dp + tE)
위의 규약에서, 포지티브 물리적 디스패리티 dp가 물체의 좌안 이미지를 물체의 대응하는 우안 이미지의 오른쪽에 배치한다고 생각해 보자. 그 결과, 5개의 교차 조건이 EQ. 2에서 나타난다:
1. dp가 포지티브일 때, (dp + tE)는 tE보다 크고, D는 V 미만이 된다. 즉, 포지티브 물리적 디스패리티 dp를 이용해 디스플레이된 물체는 스크린보다 시청자에 더 가까운 것으로 나타난다. 예를 들어, tE = dp이면, D는 V/2와 같을 것이고, 그 결과 시청자와 스크린 간의 중간지점에 물체가 나타난다.
2. dp가 0일 때, D는 V와 같게 된다. 즉, 디스패리티가 0인 물체가 스크린에 나타난다.
3. dp가, 상황(100)에 도시된 바와 같이, 크기가 tE보다 좀더 작은 네거티브일 때, D는 V보다 크다. 즉, 물체는 스크린 뒤에 나타난다.
4. dp가 -tE와 같으면, 물체는 무한대에 나타난다.
5. dp가 tE보다 좀더 네거티브이면, 네거티브 패럴랙스에 관련해서 위에 언급된 모순이 나타난다. 즉, EQ. 1은 D가 네거티브임을 나타내며, 이는 물체의 이미지들이 스크린(120)의 뷰 전방에 나타날 때도 물체가 시청자의 뒤에 나타남을 사사한다. 인간들은 그들 뒤에 있는 물체들을 볼 수 없기 때문에, 그러한 표상(presentation)은 통상은 피할 수 없는 지각 충돌(perceptual conflict)로 나타날 수 있다.
물리적인 디스패리티(dp)는 스테레오스코픽 이미지 쌍의 이미지들과 스크린의 사이즈(S)에 고유한 디스패리티(di)에 비례한다. 스크린의 사이즈(S)가 더 커질수록(그리고 그에 의해 스테레오스코픽 이미지들의 사이즈가 커질수록), 특정 고유 디스패리티(di)는 더 큰 물리적 디스패리티(dp)를 산출할 것이다:
EQ. 3: d p = d i × S
여기서 di는 이미지 폭의 일부(fraction)로서 표현된다. 이를 EQ. 1에 결합하면 다음이 산출된다:
EQ. 4 D = t E V /( d i × S + t E )
이와 같이, 고유 디스패리티(di)를 갖는 물체를 보여주는 특정 스테레오스코픽 이미지 쌍의 경우, 시청자로부터 물체의 시거리(D)는 스크린으로부터 시청자까지의 거리(V) 및/또는 스크린의 사이즈(S)를 가변함으로써 변경된다.
부가적으로, 양안 간격(tE)은 근본적으로 오래 기간에 걸쳐서 개인에게 일정하지만, 한 개체군 내의 개개인들은 실질적으로 다를 수 있고, 특히 성인과 어린이를 비교할 때 그렇다.
위의 논의와 방정식으로부터, (i) 이들 척도들 모두가 다른 것들로부터 계산될 수 있고, (ii) 패럴랙스, 디스패리티, 및 시거리가 모두 어떻게 상관되는지가 명백해진다. 몇몇 실시 예들에서, 이들 방정식은 특정 요소들, 예를 들어, 양안 거리(tE), 스크린 사이즈(S), 및/또는 시청 거리(V)에 대한 미리 정해진 '디폴트' 값들을 이용하여 구현될 수 있고, 따라서 다른 값들(예로, 거리 D)은 조건 방식(contingent fashion)으로 제시될 수 있고 여기서 최종 값들은 실제 값들이 디폴트 가정과 어떻게 다른지에 의존할 것이다.
도 1에 관련한 패럴랙스의 논의는 근사임을 유의할 필요가 있다. 한 시선이 수직이라고 가정하면 계산은 좀더 쉬워지고 변수의 수가 더 적어진다. 수직 시선은 시선과 양안 간격 tE 간에 우안(112)에서 직각으로 나타난다. 머리가 스크린에 마주하고 있다고 가정하는 것이 더 근사적이며, 이는 눈들의 베이스라인과 스크린의 평면이 평행해지는 결과를 낳는다(즉, 눈들은 스크린으로부터 등거리이다). 스크린을 똑바로 마주하고 있는 머리는 통상, 시청 상황에서 잘못될 수 있는 것을 고려할 때 중심 경우가 되기 때문에 좋은 가정이다. 이와 같이, 임의 머리 선회는 정면-마주함이 중앙 조건이므로 어느 방향에서도 편차를 낳는다. tE가 V에 비해서 작을 때, 즉 델타가 작은 때, sin() 및 tan()은 통상 이 영역에서 상당히 선형인 것으로 고려되기 때문에 근사는 일반적으로 허용가능한 것으로 고려된다.
각 논의된 3개의 척도 각각은 장점을 취하고 있다. 패럴랙스는 통상 사람의 뇌가 3D를 실제로 인지하는 방식에 가장 가까운 것으로 고려되고 있다. 깊이는 통상 실제 장면을 가장 잘 묘사하는 것으로 고려되고 있다. 디스패리티는 장면에서 일어나는 일을 정확하게 기술한다. 예를 들어, 머리 회전, 스크린에 더 가깝게 또는 더 멀리 이동하는 시청자, 또는 스크린 사이즈 변경과 같은 많은 변수는 깊이 및 패럴랙스에 영향을 줄 수 있지만, 디스패리티(적어도 이미지 사이즈의 비례로서의 디스패리티는 아님)에는 영향을 주지 않는다. 또한 디스패리티가 직접 제어 및 수정될 수 있음은 명료하다.
이 출원에 논의되는 많은 구현은 패럴랙스 값을 줄이는 것에 관한 것임을 유의하자. 이 언어는 적어도 공격적인 패럴랙스 값들이 종종 물체가 스크린보다 시청자에 더 가깝게 나타나는 3D 효과에 해당하기 때문에 자주 이용된다. 그러한 상황은 편안 또는 안전을 위해서 너무 큰 패럴랙스 값을 포함한다. 그러나, 예를 들어, 패럴랙스가 너무 작은 것으로 여겨지면 모든 구현은 패럴랙스 값을 증가시키는데 이용될 수 있음을 이해하여야 한다. 빈번하게, 한 구현은, 이하 설명되는 바와 같이, 고-발산(hyperdivergence) 및 고-집폭(hyperconvergence) 둘 다에 안전 및/또는 편안한 레벨을 제공한다.
도 2는 스테레오스코픽 콘텐츠를 제공하며 패럴랙스가 안전 값들을 초과하지 않게 보장하는 시스템 또는 장치(200)의 시스템 블록 도를 보여주고 있다.
도 2에서, 패럴랙스 계산기(204)는 고-집폭 및 고-발산 둘 다에 대한 피킹(peaking) 패럴랙스 값을 판정한다. 계산은 좌 이미지(201) 및 우 이미지(202)의 결합에 기반하거나 선-렌더링된(pre-rendered) 깊이 맵(203)을 기반으로 한다. 패럴랙스 계산기(204)는, 다양한 구현에서, 패럴랙스가 아니라 최소 및 최대 피킹 디스패리티 또는 깊이를 판정한다는 것을 이해하여야 한다.
이를 하기 위해서, 패럴랙스 계산기(204)는 제공된(선-렌더링된 깊이 맵(203)의 경우와 같이) 디스패리티 또는 깊이 정보를 기반으로 또는 대응하는 물체 이미지들(201, 202) 간의 디스패리티를 분석함으로써 최대 패럴랙스 각 θ MAX 를 판정한다. 마찬가지로, 최소 패럴랙스 각 θ MIN도 알게 된다.
다양한 구현에서, 디스패리티 히스토그램은 최대 및 최소 디스패리티를 평가하는데 이용된다.
디스플레이 사이즈 및 시청 조건(예로, 시청 거리, 예측된 시청자 양안 거리)을 나타내는 디스플레이 정보(205)가 습득된다. 이는 매뉴얼 입력, 디스플레이로부터의 피드백, 프리셋 또는 눈 추적과 같은 임의 다른 소스로부터 나올 수 있다. 디스패리티 정보(205)는, 예를 들어, EQ. 2 또는 EQ. 4와 함께 패럴랙스 계산기(204)에 의해서 이용될 수 있다.
시청을 위한 편안 임계치(206)는 사용자, 팩토리 프리셋 또는 다른 메커니즘에 의해서 입력된다. 이는 최소 및 최대 디스패리티(물리적 또는 고유), 최소 및 최대 물체 시거리(깊이), 및/또는 최소 및 최대 패럴랙스 각에 관한 것일 수 있다. 대안으로, 이는 예에 의해 제공될 수 있고, 예를 들어, 시청자는 테스트 이미지의 디스플레이가 편안하지 않을 때를 가리킬 수 있고 언급된 임계치는 기록될 수 있다. 편안 임계치(comfort threshold)는, 예를 들어, 기록된 임계치(예로, 디스패리티 값)를 기반으로 정해질 수 있다. 예들은 (i) 편안 임계치를 기록 임계치로 설정하는 일, (ii) 시청자가 불편함을 표현하기 1 또는 2 프레임 이전에 편안 임계치를 "깊이"(예로, 디스패리티) 값에 설정하는 일, 또는 (iii) 예를 들어, 디스패리티 값에 대해서, 편안 임계치를 기록된 디스패리티 임계치의 절대값의 90%에 설정하는 것과 같이, 편안 임계치를 기록된 임계치보다 약간 더 "안전한" 값에 설정하는 일을 포함한다.
패럴랙스 임계치 계산기(207)는 (205) 및 (206)으로부터 입력을 취하고 콘텐츠에 대한 최소 및 최대 허용가능 패럴랙스(θ MIX _ TRESHOLD , θ MAX _ THRESHOLD)를 판정한다. 패럴랙스 임계치 계산기(207)는, 다양한 구현에서, 패럴랙스가 아니라, 최소 및 최대 허용가능 디스패리티 또는 깊이를 판정한다는 점을 이해하여야 한다. 유사하게, 안전 계산기(208)는 임계치 값들(207)을 실제 콘텐츠 피킹 값들(204)에 결합하고 액션이 필요한지 여부를 판정한다. 그의 가장 간단한 형태로, 안전 계산기(208)는 θ MAX > θ MAX _ THRESHOLD일 때 또는 θ MIX < θ MIX _ TRESHOLD일 때 트리거하는 비교기일 수 있다. 좀더 복잡한 판정은 통상 프로세서를 이용하고, 예를 들어, 미리 정해진 시간 량보다 많은 시간 동안 θ MAX > θ MAX _ THRESHOLD일 때, 또는 θ MAX가 θ MAX _THRESHOLD를 초과하는 각의 시간에 대한 적분(integral)이 미리 정해진 값을 초과할 때 트리거하는 기간(duration)을 고려할 수 있다. 그러한 좀더 복잡한 판정은 시청자가 일시적인 패럴랙스 편위(excursion)는 관용할 수 있지만 동일한 극값이 지속되면 좋아하지 않는다는 인식을 인정한다.
추가 구현들은 또한 패럴랙스(또는 디스패리티 또는 깊이) 편위를 범한 디스플레이의 일부를 고려한다. 예를 들어, 하나 이상의 구현은 큰 물체가 주어진 임계치 위의 디스패리티를 갖고 있을 때 침해(violation)를 트리거한다. "라지(large)"로서 자격을 얻는 물체의 사이즈는, 예를 들어, 디폴트로 설정되거나, 사용자에 의해 설정되거나, 또는 디스플레이 사이즈의 특정 퍼센티지로 설정될 수 있다.
또 다른 구현들은 또한 패럴랙스 침해가 발생하였는지를 판정하는데 있어서 물체의 모션을 고려한다. 이동하는 물체들은 종종 높은 패럴랙스 값들 및/또는 높은 패럴랙스 값들의 변화율을 갖는다. 이러한 양태는, 다양한 구현에서, 패럴랙스의 절대값 및 패럴랙스의 변화율을 고려함으로써 캡쳐된다. 그러한 구현은 적어도 절대값 및 변화율의 이러한 2개의 팩터에 대해 패럴랙스 침해가 발생하였는지 여부에 대한 결정을 기반으로 한다. 그러한 구현들은 통상 모션을 추정하기 위해서 다른 블록(도 2에는 도시되지 않음)을 포함한다. 모션 추정 블록의 출력은, 다양한 구현에서, 안전 계산기(208)에 입력으로 제공된다.
안전 계산기(208)에 의한 액션이 필요할 때, 이는 패럴랙스 극단을 임계치(207)에 억제하기 위해, 스테레오 보간기(209)에 의해 제공되는, 스테레오스코픽 보간의 형태를 취하거나 과도한 콘텐츠의 시청을 방지하기 위해 2D 출력(210)으로의 전환의 형태를 취할 수 있다.
보간은, 다양한 구현에서, 로컬 또는 글로벌이다. 어떤 구현들은 최대 허용가능 값에서 디스패리티의 절대값의 클리핑(clipping)을 실행하며, 이는 임계치를 침해하는 물체들에만 영향을 주는 로컬 동작이다. 다른 구현들은 임계치를 침해하는 물체들만의 디스패리티를 보간하며, 이는 또한 로컬 동작이다. 다른 구현들은 전체 이미지의 디스패리티를 스케일 다운(scale down)하며, 이는 전체 이미지(아마도 0 디스패리티를 갖는 물체들은 제외)의 디스패리티에 영향을 주는 글로벌 동작이다.
현 공개의 옵션은 스테레오스코픽 소스 콘텐츠(201, 202; 211로부터)와 보간된 스테레오스코픽 출력(209로부터) 또는 2D 출력(210으로부터) 간의 좀더 부드러운 천이를 제공하기 위해서 스테레오 소스 버퍼(211)와 스테레오 믹서(212)를 제공하는 것이다. 도 2에서, 이중 선은 스테레오스코픽 신호 경로들(즉, 모듈들(209-212)의 출력들)을 나타내고, 비-스테레오스코픽 신호 경로들(즉, 소스들(201, 202)의 출력들)은 그렇게 디스플레이하지 않았다.
적어도, 스테레오 소스 버퍼(211)는 불편하게 하는 스테리오스코픽 콘텐츠가 제시되기 전에 안전 계산기(208)가 필요한 액션을 지시 수 있기에 충분한 실시간 신호 경로의 레이턴시를 제공한다. 예를 들어, 스테레오 소스 버퍼(211)는, 다양한 구현에서, 시스템(200)이 (i) 안전 임계치 및/또는 편안 임계치의 침해를 식별하고, (ii) 이 침해를 교정하고, 그리고 (iii) 천이가 부드럽게 되도록 충분한 메모리 또는 버퍼 길이를 포함한다.
일 실시 예에서, 스테레오 보간기(209)는 버퍼(211)로부터 스테레오스코픽 이미지들을 구하고 스테레오 믹서(212)에 제공되는 새로운 스테레오스코픽 이미지 쌍을 계산하며, 스테레오 믹서(212)는 이를 버퍼(211)로부터의 수정되지 않은 스테레오스코픽 스트림보다 우선해서 이용한다. 새로운 스테레오스코픽 이미지 쌍은 동일 장면을 표현하지만, 이 장면을 극단이 덜한 패럴랙스로 제시한다. 패럴랙스의 극단이 감소하는 정도는 안전 계산기(208)에 의해서 계산될 수 있고, 또는 몇몇 실시 예에서는 미리 정해진 감소일 수 있다.
다른 실시 예에서, 2D 출력 모듈(210)은 버퍼(211)로부터 스테레오스코픽 콘텐츠를 수신하며, 안전 계산기(208)에 의해 신호를 받을 때, 스테레오스코픽 이미지 쌍의 좌안 또는 우안 이미지를 복제하여 다른 안(eye) 이미지를 대체한다. 그래서 2D 출력 모듈(210)은 2D 이미지 쌍을 출력으로 제공하고, 이는 양 이미지가 동일한 이미지 쌍이다. 이러한 식으로, 패럴랙스는 완전히 억제되어, 디스패리티를 포함하지 않는 즉, 온전하게 2D를 나타내는 스테레오스코픽 이미지가 생긴다. 스테레오 믹서(212)는, 제공되는 경우, 버퍼(211)로부터의 수정되지 않은 스테레오스코픽 스트림에 우선해서 2D 출력(210)을 이용한다.
또 다른 실시 예에서, 스테레오 보간기(209) 및 2D 출력 모듈(210)은 안전 계산기(208)에 의해 신호를 받을 수 있고, 스테레오 믹서(212)는 정책에 따라서 소스들(209-211) 간에 점진적으로 페이딩(fading)한다.
다른 실시 예들에서, 모듈들(209-211)은 그들 각자의 출력을 연속해서 생성할 수 있다. 더욱이, 스테레오 믹서(212)는 이들 중에서 선택하도록 안전 계산기(208)에 의해 지시를 받을 수 있다.
몇몇 실시 예에서, 스테레오 소스 버퍼(211)는 좌 및 우 이미지들(201, 202)에 의해 제공되는 바와 같은 완전한 스테레오스코픽 콘텐츠로부터 패럴랙스-제한된 콘텐츠(보간된 스테레오스코픽 이미지들이건 2D 표현이건 간에)로의 점진적인 천이를 가능하게 해줄 정도로 충분히 클 수 있다.
일 실시 예에서, 버퍼(211)는 10개의 프레임을 보유하고 있다. 제1 프레임이 상영되고 있는 동안 안전 계산기(208)는 10번째 프레임이 한계를 초과한다고 판정한다. 이때 스테레오 보간기(209)는 한계를 침해하지 않는 10번째 프레임의 콘텐츠를 디스플레이하기 위해서 이들 9개의 프레임에 대해 점진적으로 적절한 교정을 하기 위해 2번째 내지 10번째 프레임에 관여하게 된다.
다른 예에서, 버퍼(211)는 여전히 10개의 프레임을 보유하고 있다. 그러나, 버퍼(211) 내의 제1 프레임은 안전 또는 편안 임계치를 침해하는 것으로서 안전 계산기(208)에 의해 플래그(flag)된다. 따라서, 상응하는 교정이 제공된다(예로, 스테레오 보간기(209)에 의한). 버퍼(211) 내의 추가 프레임들은 교정을 필요로 하지 않는다. 따라서, 제1 프레임에 제공된 교정은 후속 프레임에 걸쳐 점진적으로 제거된다. 그러한 경우들에서, 스테레오 믹서(212)는 스테레오 소스 버퍼(211)로부터의 대응하는 이미지들 대신에, 제공된 경우, 스테레오 보간기(209)로부터의 이미지들을 보여주도록 구성된다.
다른 실시 예에서, 스테레오 소스 버퍼(211)는 다시 10개의 프레임을 보유하며, 10번째 프레임 내의 3D 효과는 안전 또는 편안 임계치를 침해하는 것으로서 안전 계산기(208)에 의해 플래그된다. 교정(수정)으로서 2D 출력(210)이 10번째 프레임에만 제공될 것이다. 그러나, 2D 출력(210)으로부터의 대응 버전들을 이용해 2번째에서 9번째까지의 전체 스테레오스코픽 이미지를 크로스-페이딩(cross-fading)함으로써 천이는 쉬워진다. 크로스페이드는 믹서(212)가, 예를 들어, 스테레오 소스 버퍼(211)로부터 부분 기여(partial contribute)를 받고 2D 출력(210)으로부터 켤레 부분 기여(conjugate partial contribute)를 받음으로써 생성된다. 한 구현에서, 스테레오 소스 버퍼(211)로부터의 부분 기여는 90%에서 시작하고 2D 출력(210)으로부터의 부분 기여는 10%에서 시작하며, 그래서 전체 기여는 100%가 된다. 더욱이, 2D 출력(210)의 기여는 프레임 단위로 증가하며, 스테레오 소스 버퍼(211)의 기여는 대응하는 프레임 단위로 감소하므로, 모든 프레임에 대해 전체는 100%가 된다. 그 결과는 10번째 프레임에 의해서 스테레오스코픽 출력(213)이 100% 2D 출력(210)이 된다는 것이다.
그러한 실시 예에서, 스테레오 믹서(212)는 2D 출력(210)으로부터의 이미지들이 이용가능하게 될 때 자동으로 페이드(fade)를 시작하도록 구성될 수 있다. 대안으로, 페이드의 사용 및 정도는 안전 계산기(208)로부터의 제어 신호(도시되지 않음)에 의해서 제어될 수 있다.
또 다른 실시 예에서, 스테레오 믹서(212)는 스테레오 소스 버퍼(211)로부터의 신호를 제공한다. 10번째 프레임은 안전 또는 편안 임계치를 침해하는 것으로서 안전 계산기(208)에 의해 플래그된다. 따라서, 스테레오 믹서(212)는, 예를 들어, 2번째에서 5번째까지의 프레임과 같은, 수 개의 프레임에 대해 블랙으로 페이드를 시작한다. 이후 스테레오 믹서(212)는 소스로서 2D 출력(210)으로 전환하지만, 6번째에서 9번째까지의 프레임들에 대해서 블랙으로부터 페이드를 한다. 이후 10번째 프레임은 페이드-인을 따르지만 단지 2D에 있는 것으로 보이게 된다.
수정된 스테레오스코픽 표현으로부터 그리고 그로의 천이를 용이하게 하기 위한 이들 다양한 기법은 상이한 심미적 효과를 갖는다. 따라서, 이들 기법은 시청자 선호도, 시청자 프로필 등을 기반으로 선택되거나 조정될 수 있다.
오리지널 스테레오스코픽 소스(201, 202; 211로부터의), 보간된 스테레오스코픽 이미지들(209로부터의), 및/또는 2D 콘텐츠(210으로부터의)의 최종 결합은 시청을 위해 스테레오스코픽 출력(213)에 전송된다.
간단한 실시 예에서, 안전 계산기(208)는 단순하게 2D 출력 모듈(210)에게 좌안 및 우안 이미지들 중 하나를 다른 안 이미지에 복제하고 이를 스테레오스코픽 출력(213)으로서 제공하도록 명령할 수 있다.
본 공개의 다른 옵션은 이 프로세스를 좀더 높은 품질 보간, 좀더 부드러운 천이 또는 이 둘을 제공하기 위해서 시청 전에 스테레오스코픽 콘텐츠의 전체에 적용하는 것이다.
도 3은 과도한 패럴랙스 시청을 방지하기 위한 프로세스(300)를 보여주고 있으며, 이 프로세스는 디스플레이 정보(205) 및 사용자 편안 임계치 입력(206)이 임계치 계산기(207)에 제공되어 있고 최종 임계치 및 대응 정책 정보(320)가 저장되어 있는 301에서 시작한다. 좌안 및 우안 이미지들(201, 202)은 스테레오스코픽 소스(321)로서 순차적으로 이용가능하다. 스테레오스코픽 소스(321)는 깊이 맵(203)을 더 포함할 수 있다.
단계 302에서, 임계치 정보(320)가 획득된다. 단계 303에서, 스테레오 소스(즉, 좌 이미지(201), 우 이미지(202))는 처리를 위해 획득된다. 단계 304에서, 패럴랙스 극단들은 패럴랙스 계산기(204)에 의해 스테레오스코픽 소스(321)로부터 판정된다.
단계 305에서, 안전 계산기(208)는 204에서 구한 패럴랙스 극단들이 임계치 정보(320)의 한계 내에 있는지 여부를 판정한다. 그렇다면, 즉, 안전 침해가 없다면, 단계 307에서 스테레오스코픽 소스로부터의 이미지들은 출력으로 제공되어 뷰 된다. 그렇지 않으면, 단계 306에서, 또한 안전 계산기(208)에 의해, 스테레오스코픽 보간을 이용하거나 출력을 2D가 되게 강제함으로써 과도한 패럴랙스가 완화되는지 여부에 관해서 판정이 이루어진다.
판정(306)의 예는 임계치 정보(320) 내의 패럴랙스 극단들의 경미한 침해에 대해서는, 스테레오스코픽 보간이 이용되는 반면 패럴랙스 극단들의 좀더 심각한 침해에 대해서는 2D 출력이 이용되는 것일 수 있다. 패럴랙스 극단들의 심각한 침해에 비한 경미한 침해를 구성하는 것은 정책 문제로서 임계치 정보(320)에 제공된다.
다양한 구현들은 보간된 스테레오스코픽 출력을 이용할지 아니면 2D 출력을 이용할지 여부에 대한 판정 프로세스에서 많은 상이한 정책 결정을 이용할 수 있다. 다양한 구현에 이용되는 정책 결정들의 예는 다음 중 하나 이상을 포함한다: (i)패럴랙스가 편안 레벨을 임계치보다 많이 초과하면, 보간 대신 2D로 전환하고, (ii) 물체들이 포지티브 패럴랙스와 네거티브 패럴랙스에 관한 편안 레벨을 초과하면, 보간 대신에 2D로 전환하고, 및/또는 (iii) 패럴랙스가 편안 레벨을 넘고 모션의 하이 레벨이 검출되면, 보간 대신에 2D로 전환한다.
2D로의 전환 이유는 다양한 구현마다 다를 수 있다. 특정 구현들은 품질 이유, 속도 이유, 및/또는 복잡성 이유로 2D로 전환한다. 예를 들어, 패럴랙스가 과도할 때, 패럴랙스를 편안 레벨로 만드는데 필요한 보간은 빈번하게 시간을 소모하며(속도 이유) 또는 상당한 처리 능력 및/또는 메모리를 필요로 한다(복잡성 이유). 더욱이, 그러한 보간은 오클루전(occlusion) 때문에 이미지들의 품질을 떨어뜨릴 수 있다(품질 이유).
단계 306에서, 판정이 스테레오스코픽 보간을 이용하는 것이면, 프로세스(300)는 단계 308로 이어지고 여기서 스테레오스코픽 보간기(209)는 스테레오스코픽 소스(이미지(301, 302))를 처리하고 단계 309에서는 시청을 위한 출력인 스테레오스코픽 보간을 생성한다.
그렇지 않으면, 디스패리티를 갖지 않는 스테레오스코픽 이미지 쌍이 2D 출력 모듈(210)에 의해서 생성되고, 예를 들어, 2D 출력 모듈은 스테레오스코픽 소스(이미지(301, 302))의 제1 안 이미지를 다른 안 이미지에 복사(copy)해서 스테레오스코픽 포맷인 2D 이미지를 효과적으로 생성한다. 단계 310에서, 스페레오스코픽 포맷의 2D 이미지는 시청을 위해 출력된다.
단계 304-311은 스테레오 소스(321) 내의 각 스테레오스코픽 이미지 쌍에 대해 반복될 수 있다(도 3에는 도시되지 않음). 마지막 스테레오스코픽 이미지 쌍, 또는 이들의 보간된 대체물 또는 2D 대체물이 단계 307, 308 또는 309에 의해 출력된 후에 프로세스(300)는 312에서 종료한다.
프로세스(300)의 몇몇 실시 예에서, 과도한 패럴랙스에 대한 처리 방법들(보간 대 2D 출력) 중 단지 하나가 제공될 수 있고, 이 경우에, 단계 306은 없어지고 단지 하나의 제공된 치유 방법이 이용된다(단계 308/309 또는 310/311).
작업(307, 309 및 311)은, 예를 들어, 스테레오 믹서(212)에 의해 실행된다. 스테레오 믹서(212)는 또한, 다양한 실시 예에서, 도 3에 도시되어 있지 않은 평탄화 작업을 실행한다(그러나, 도 4-5를 참조). 평탄화가 이 출원에서 이용되며, 이는, 예를 들어, 천이가 크지 않도록 천이를 깊이로(또는 깊이 인디케이터로) 수정하는 것을 나타낸다. 이는 필터링 동작으로서 빈번하게 논의된다.
평탄화 작업은, 예를 들어, 패럴랙스, 깊이 또는 디스패리티에 적용될 수 있다. 이 평탄화는, 다양한 실시 예에서, 공간 도메인 및/또는 시 도메인에서 실행된다.
우리는 먼저 시 도메인을 다루기로 한다. 다양한 시나리오에서, 스테레오 믹서(212)는 (i)3D(오리지널 또는 보간된)로부터 2D로의 천이, (ii) 2D에서 3D(오리지널 또는 보간된)로의 천이, (iii) 오리지널 3D로부터 수정된 3D로의 천이, 및/또는 (iv) 수정된 3D로부터 오리지널 3D로의 천이 간에 평탄화가 적용되어야 하는지를 판정한다. 수정된 3D는 통상, 다양한 실시 예에서, 이미지 쌍의 연관된 부분에 대해 깊이 인디케이터를 낮추거나 증가시키는 수정을 반영한다는 점에 유의하자.
평탄화 작업은 수 개의 형태 중 하나 이상을 취할 수 있다. 다음의 구현들은 다양한 평탄화 작업을 보여주고 있다:
- 스테레오 믹서(212)가 3D(오리지널 3D 또는 수정된 3D)로부터 2D로 천이하면, 스테레오 믹서(212)는, 예를 들어, 2D에 이를 때까지 또는 임계치에 이를 때까지 스테레오 보간기(209)를 이용하여 패럴랙스를 점차 부드럽게 함으로써 천이를 평탄화한다. 다양한 구현들은 비디오 시퀀스의 연속 이미지들 내의 선형 감소를 이용하거나, 포물선 감소를 이용하거나 또는 지수적 감소를 이용하여 패럴랙스를 점차 부드럽게 만든다. 이들 기법은 패럴랙스의 급격한 변화는 불편한 시청을 유발하거나 적어도 나쁜 품질의 인식을 갖게 하는데 일조하기 때문에 패럴랙스의 급격한 변화를 피한다. 평탄화는, 다양한 실시 예에서, 예를 들어, (i) 2D에 이르게 될 때까지, (ii) 패럴랙스가 감소하여 2D의 임계치 안에 들 때까지 - 이 경우에는 평탄화는 2D로 전환됨 -, 또는 (iii) 패럴랙스가 편안 레벨로 복귀할 때까지 - 이 경우에 스테레오 믹서(212)는 오리지널 3D로 전환됨 - 계속된다(물론 이하 논의되는 바와 같이, 천이에 대한 평탄화 실행이 있을 수 있다). 평탄화는 다수의 이미지를 가로지르는 특정 물체의 패럴랙스(또는 깊이 또는 디스패리티, 예로)에 적용된다.
- 한 특정 구현은 수 개의 연속 이미지 쌍들 각각에서 디스패리티의 절대값을 50%씩(전반적으로 또는 국부적으로) 감소시키는데 스테레오 보간기(209)를 이용한다. 이들 감소는 디스패리티의 절대값이 0의 임계치 안에 들어올 때까지 계속되고, 이때, 스테레오 믹서(212)는 2D로 전환한다. 다른 구현들은 수 개의 연속 이미지 쌍들 각각에 대해서 디스패리티의 절대값의 선형 축소로 패럴랙스의 효과를 감소시킨다. 이들 감소는 또한 디스패리티의 절대값이 0의 임계치 안에 들어올 때까지 계속되고, 이때 스테레오 믹서(212)는 2D로 전환한다. 이들은 수 개의 연속 이미지 쌍들에 대해서 나타나는 시간적인 평탄화의 예이다. 이들은 또한 반복 평탄화 프로세스 또는 점진적 평탄화 프로세스라 칭해진다.
- 스테레오 믹서(212)가 2D에서 3D(오리지널 3D 또는 수정된 3D)로 천이하면, 스테레오 믹서(212)는 원하는 패럴랙스에 도달할 때까지 패럴랙스를 점차 증가시켜 천이를 평탄화한다. 다양한 구현은 선형 증가, 포물선 증가, 또는 지수적 증가를 이용하여 패럴랙스를 점차 증가시킨다. 이들 기법은 패럴랙스의 급격한 변화는 불편한 시청을 유발하거나 적어도 나쁜 품질의 인식을 갖게 하는데 일조하기 때문에 패럴랙스의 급격한 변화를 피한다. 평탄화는, 이들 구현에서 (i) 원하는 3D에 이르게 될 때까지, (ii) 패럴랙스가 증가하여 원하는 3D의 임계치 안에 들 때까지 - 이 경우에는 평탄화는 3D로 전환됨 - , 또는 (iii) 패럴랙스가 다시 충분히 점프하여 스테레오 믹서(212)가 2D를 제공하기로 결정할 때까지 계속된다(물론 위에서 논의된 바와 같이 천이에 대한 평탄화 실행이 있을 수 있다).
- 한 특정 구현은 수 개의 연속 이미지 쌍들 각각에서 디스패리티의 절대 값을 최대 50%씩(전반적으로 또는 국부적으로) 증가시키는데 스테레오 보간기(209)를 이용한다. 이들 증가는 디스패리티가 디스패리티의 최대 절대값의 임계치 내에 이를 때까지 계속되고, 이때, 스테레오 믹서(212)는 3D로 전환한다. 다른 구현들은 스테레오 보간기(209)를 이용하여, 수 개의 연속 이미지 쌍들 각각에 대해서 디스패리티의 절대값의 선형 복원(증가)으로 패럴랙스의 효과를 증가시킨다. 이들 증가는 디스패리티가 오리지널 스테레오스코픽 이미지들 내의 전체 값들의 임계치 안에 들어올 때까지 계속되고, 이때 스테레오 믹서(212)는 3D로 전환한다. 이들은 수 개의 연속 이미지 쌍들에 대해서 나타나는 시간적인 평탄화의 예이다. 이들 예는 또한 반복 평탄화 프로세스 또는 점진적 평탄화 프로세스라 칭해진다.
- 다양한 구현은 3D 값들 간에 천이한다. 이는, 예를 들어, (i) 오리지널 3D로부터 수정된 3D로의 천이, (ii) 수정된 3D로부터 오리지널 3D로의 천이, 및/또는 (iii) 수정된 3D로부터 다른 수정된 3D로의 천이를 포함한다. 시작 3D 값은 안전/편안 레벨 안에 있거나 그렇지 않을 수 있다. 이들 구현은 수정된 3D를 성취하기 위해서 디스패리티를 수정한다. 수정된 3D는 또한 안전/편안 레벨 안에 있거나 그렇지 않을 수 있다. 예를 들어, 특정 구현들은 과도한 디스패리티(이는 안전/편안 레벨 밖에 있다)를 점차 평탄화하지만, 점차 평탄화에 따르면 수정된 3D 값들의 적어도 일부는 아직도 안전/편안 레벨 밖에 있다. 그러한 한 구현은 디스패리티의 절대값을 점차 단계적으로 내리지만, 단계적으로 내려진 값은 수 개의 단계 후까지는 안전/편안 레벨 아래에 속하지 않는다.
주어진 스테레오스코픽 이미지 쌍에 대해서, 스테레오스코픽 이미지 쌍 안의 상이한 물체들은 상이한 디스패리티 값을 갖는다는 것은 명확하다. 따라서, 많은 평탄화 프로세스에서, 평탄화 작업들은 단지 이미지들 내의 물체들의 서브세트(subset)에만 실행된다. 예를 들어, 전체 이미지 쌍에 대한 디스패리티의 절대값들의 초기 감소 이후에, 많은 물체는 2D의 임계치 또는 감소한 3D에 대응하는 임계치 안에 있을 것이다. 따라서, 디스패리티의 절대값의 차후 감소들은, 평탄화 작업이 계속되므로, 임계치를 넘는 디스패리티의 절대값을 여전히 갖고 있는 물체들에만 실행된다. 다양한 구현이 먼저 글로벌 감소(예로, 50%)를 적용한 다음 이러한 50% 감소 이후에도 여전히 임계치를 넘는 물체들의 디스패리티의 절대값을 국부적으로 감소시킨다는 것에 유의하자.
평탄화 작업은 시간적으로 비디오 시퀀스의 다수의 스테레오스코픽 이미지 쌍 전반으로 확대된다. 다양한 구현은 평탄화 작업을 실행하기 위해서 다소 많거나 적은 시간 또는 이미지 쌍들을 이용한다. 평탄화를 실행하는 속도는, 시간 또는 이미지 쌍들의 수의 관점에서, 예를 들어, 사용자 선호에 의해 결정될 수 있다.
다양한 구현은, 예를 들어, 사용자, 사용자 프로필 또는 디폴트 값에 의해 제공된 입력으로서 조정 레벨을 이용한다. 조정 레벨은, 이러한 맥락에서, 주어진 이미지(또는 이미지의 일부)를 강하게 수정하는 방법을 판정하는데 이용된다. 예들 들어, 다양한 구현에서, 조정 레벨은 0과 1 사이의 어떤 지점이라도 좋으며, 여기서 0은 디스패리티가 없음을 의미하고(=2D) 1은 풀(오리지널) 3D이다. 어떤 의미에서는 0은 가장강한 수정에 대응하고 1은 가장 약한(즉, 0으로) 수정에 대응한다. 0과 1 사이에서, 수정(예로, 보간)은 디스패리티의 레벨을 감소시킨다. 다시 이는 시간적 방식으로 3D(오리지널 또는 수정된)에서 2D로(그리고 이의 역) 평탄하게 넘어가게 하는데 이용될 수 있다. 이는 또한 3D(오리지널 또는 수정된)에서 다른 3D(오리지널 또는 수정된)로 넘어가게 하는데 이용될 수 있다. 조정 레벨은 또한 수정 레벨에 공간적으로 영향을 주기 위해서 공간적 평탄화에 적용될 수 있다. 더욱이, 조정 레벨은 또한, 예를 들어, 변화가 없음을 나타내는 0과 최대 변화를 나타내는 1을 이용하는 것과 같이, 디스패리티의 절대값을 증가시키는데 적용될 수 있다.
다양한 구현에서 시간적 평탄화 프로세스를 설명하는데 그래디언트(gradient)가 이용될 수 있음은 자명하다. 그래디언트는, 예를 들어, 이미지에서 이미지로의 물체의 팰럴랙스(또는 깊이, 또는 디스패리티, 예로)의 변화율로서 결정된다. 특정 구현들은 또한, 적어도 부분적으로 패럴랙스의 변화율(예로)을 기반으로 안전/편안 레벨을 정의한다. 다양한 구현은 패럴랙스를, 안전/편안 존 안에 있는 절대 레벨로 충분히 다운시키고, 및/또는 이전 이미지로부터 현재 이미지까지의 패럴랙스의 변화율이 안전/편안 존안에 있게 하는 레벨로 충분히 다운하기 위해서 물체의 패럴랙스(예로)를 시간적으로 평탄화한다.
이제 우리는 공간적 평탄화, 즉 공간 도메인에서의 평탄화를 다루기로 한다. 다양한 시나리오에서, 스테레오 믹서(212)는, 예를 들어, 로컬 패럴랙스(예로) 수정이 이루어졌기 때문에 평탄화가 주어진 이미지 안에 적용되어야하는지 판정한다. 로컬 수정 때문에, 시청자가 불편해 할 수 있는 이미지의 일부에 대한 깊이 천이가 있을 수 있다. 깊이 천이는 종종 물체에 대한 깊이 천이가라 불린다.
공간 평탄화 작업은 수 개의 형태 중 하나 이상을 취할 수 있다. 다음의 구현들은 다양한 평탄화 작업을 보여주고 있다:
- 다양한 구현은 물체의 깊이 천이가 임계치를 초과하면 로컬/공간 평탄화가 적용되어야 한다고 판정한다. 이는, 예를 들어, 물체의 패럴랙스가 수정되었지만 이 물체를 둘러싸는 영역의 패럴랙스는 수정되지 않은 경우 이루어질 수 있다.
- 다양한 구현은 정의된 수의 픽셀로 물체로부터 연장하는 구역으로 정의된 보간 존을 판정한다. 그러한 존은 이미지의 중앙에 있는 물체를 둘러싸고 있다면 도넛을 닮을 수 있다. 그러나, 그러한 존은, 예를 들어, 물체가 이미지의 에지에 인접해 있다면 다른 모양을 가질 수 있다.
- 다양한 구현은 물체의 패럴랙스 값으로부터 보간 존의 바깥에 인접한 픽셀들의 팰러랙스 값으로 이동하는, 보간 존 안의 픽셀들의 패럴랙스(예로)를 점차적으로 조정한다. 보간은, 다양한 구현에서, 선형, 포물선, 또는 지수적 보간일 수 있다.
- 다양한 구현은, 예를 들어, 물체와 이 물체에 인접한 영역 사이에서 패럴랙스의 급격한 변화를 피하기 위해서, 위에 언급된 보간 존을 이용한다. 보간 존의 사이즈(통상은 픽셀의 관점에서, 폭)는, 예를 들어, 패럴랙스(예를 들어)의 기존 그래디언트(즉, 평탄화 없는 실제 차), 패럴랙스의 원하는 그래디언트, 및 디스패리티의 사이즈를 기반으로 판정된다. 한 구현에서, 물체는 이미지의 중앙 가까이에 있고, 패럴랙스의 수정 때문에, 물체로부터 이 물체를 둘러싸는 영역으로 패럴랙스의 급격한 변화가 있다. 이 물체에 대한 깊이 천이를 평탄화하기 위해서, 10개 픽셀의 폭을 갖는 도넛-모양 보간 존이 이 물체를 바로 둘러싸는 영역 내에 정의되며, 패럴랙스는 물체의 패럴랙스 값으로부터 보간 존의 바깥에 인접한 영역의 패럴랙스 값으로 점차 기울어진다.
-다양한 구현은 보간 존의 "내부" 에지 상의 물체의 패럴랙스 값과 보간 존의 "외부" 에지에 인접한 영역의 패럴랙스 값 사이에서, 보간 존 내의 선형 기울기를 실행한다.
많은 구현에서, 보간 존은 이미 수정된 패럴랙스(예로)를 갖고 있는 물체를 둘러싼다. 게다가, 본간 존의 바깥 에지는 수정되지 않은 영역에 인접해 있을 것이다. 그러나, 양 에지는, 특정 구현들에서는, 안전/편안 레벨 내에 있을 것이다. 물체의 패럴랙스에 실행된 수정의 심각도에 따라서, 시청자를 불편하게 하고 및/또는 이미지의 인지된 품질을 떨어뜨리는 깊이 천이에서 다양한 현저한 효과가 있을 수 있다.
다양한 구현은, 예를 들어, 0과 어떤 포지티브 정수 사이에 조정 레벨을 정의한다. 조정 레벨은, 예를 들어, 0(조정이 이루어지지 않음을 나타냄)과 5(최대 조정이 이루어져야 함을 나타냄) 사이의 값에 설정될 수 있다. 특정 구현들에서, 조정 레벨은 보간 존과 결합되고, 패럴랙스(또는 깊이, 또는 디스패리티)는 물체의 레벨로부터 보간 존을 둘러싸는 영역의 레벨 쪽으로 조정된다. 이 레벨이 5이면, 패럴랙스(예로)는 보간 존에 접하는 두 값 사이에서 완전하게 조정된다. 그러나, 이 레벨이 0과 5 사이에 있으면, 패럴랙스(예로)는 물체의 값으로부터 보간 존을 둘러싸는 영역의 값 쪽으로 단지 부분적으로 조정된다. 따라서, 아직도 천이가 있지만, 이 천이는 다른 식으로 이루어진 것만큼 크지는 않다.
평탄화는 보간의 한 형태이고, 보간 존 내의 패럴랙스 변화를 가져오기 위해서 보간을 통상 이용한다는 것은 명백하다. 따라서, 도 2의 다양한 구현에서, 스테레오 믹서(212)는 스테레오 보간기(209)에게 원하는 평탄화를 실행하도록 지시한다. 그러한 시스템에서, 2D 출력은 또한 유닛(210)으로부터 스테레오 보간기(209)로 라우트된다. 특정 시스템들은 보간을 실행하지 않는다. 오히려, 특정 구현들은 오리지널 3D를 제공하거나, 편안 레벨을 넘어서면 2D를 제공한다. 이들 구현 중 일부는 또한 3D에서 2D로의 천이 및 2D에서 3D로의 천이 간에 평탄화를 제공한다.
도 4를 참조하면, 평탄화를 실행할 수 있는 스테레오 믹서의 구현이 제시되어 잇다. 도 4는 도 2의 스테레오 믹서(212)의 한 구현인 스테레오 믹서(412)를 포함한다.
스테레오 믹서(412)는 평탄화 유닛(420)을 포함한다. 평탄화 유닛(420)은, 다양한 구현에서, 평탄화 작업 및 알고리즘을 실행하기 위한 필터 또는 프로세서를 포함한다.
평탄화 유닛(420)은 이미지들을 저장하기 위한 이미지 저장 유닛(430)에 연결되어 있다. 이 이미지 저장 유닛(430)에 저장된 이미지들은, 예를 들어, 도 2의 시스템(200)에 의해 처리된 스테레오스코픽 이미지 시퀀스로 이미지들을 포함하고 있다. 이미지 저장 유닛(430)에 저장된 이미지들은 처리되고 있는 현재 이미지(들)보다 시간상 앞서 나타나는 이미지들일 수 있다. 게다가, 또는 대안으로, 이미지 저장 유닛(430)에 저장된 이미지들은 처리되고 있는 현재 이미지(들)보다 시간상 나중에 나타나는 이미지들일 수 있다. 특히, 반복해서 작업하는 특정 구현들은 처리되고 있는 현재 이미지(들)보다 시간상 이전에 또는 나중에 나타나는 이미지들에 접근할 수 있다.
평탄화 유닛(420)은 또한 규칙 저장 유닛(440)에 연결되어 있다. 규칙 저장 유닛(440)은 규칙을 저장하고 있고, 규칙은 평탄화 유닛(420)에 의해 실행된 평탄화 프로세스에 이용된 임의 파라미터를 포함할 수 있다. 그러한 파라미터는, 예를 들어, 시간적 평탄화에 관련된 파라미터, 공간적 파라미터에 관련된 파라미터, 평탄화 존을 식별하는 파라미터, 필터를 식별하거나 필터 파라미터를 제공하는 파라미터를 포함한다. 이들 다양한 파라미터는 이하 더 논의된다.
평탄화 유닛(420)은 또한 도 2의 논의에서 기술된 스테레오 보간기(209), 2D 출력 모듈(210), 및 스테레오 소스 버퍼(211)에 연결되어 있다. 평탄화 유닛(420)은 도 2의 스테레오 믹서(212)에 대해 논의한 것과 유사한 식으로, 스테레오 보간기(209), 2D 출력 모듈(210), 및 스테레오 소스 버퍼(211)와 상호작용한다.
평탄화 유닛(420)은 또한 스테레오스코픽 출력(213)에 연결되어 있다. 평탄화 유닛(420)은 도 2의 스테레오 믹서(212)에 대해 논의한 것과 유사한 식으로, 스테레오스코픽 출력(213)과 상호작용한다.
평탄화 유닛(420)은 다양한 평탄화 작업들을 실행하도록 동작할 수 있다. 이들 다양한 평탄화 작업은 도 5와 도 5에 관련된 추가 구현들에 관련해서 이하 기술된다.
도 5를 참조하면, 깊이 천이를 평탄화하는 프로세스(500)가 제시되어 있다. 깊이 천이는 디스패리티 천이를 가리키고 이를 포함한다는 것은 이해할 수 있다. 깊이 천이는, 예를 들어, 한 화상 내의 공간적 천이으로, 또는 다수 화상에 걸친 시간적 천이으로 나타날 수 있다.
공간적 깊이 천이의 예는, 예를 들어, 높은 디스패리티의 영역으로부터 낮은 디스패리티를 갖는 동일 이미지 내의 개별 영역으로의 천이를 포함한다. 공간적 깊이 천이는, 다양한 구현에서, 점진적 천이 또는 급격한 천이가다.
시간적 깊이 천이의 예는 시퀀스 내의 제1 이미지로부터 시퀀스 내의 후속 이미지로의 천이를 포함한다. 제1 이미지로부터 차후 이미지로의 천이에서 다수의 깊이 천이가 빈번히 나타난다. 통상 제1 이미지 및 후속 이미지에서 나타나는 특정 물체에 대해서 깊이 천이가 이루어진다. 그래서, 제1 이미지 및 후속 이미지에서 나타나는 주어진 물체에 대해서, 물체는 제1 이미지 및 후속 이미지 각각의 깊이를 갖는다. 물체에 대한 시간적 깊이 천이는 제1 이미지로부터 후속 이미지로의 물체에 대한 깊이 변화를 나타낸다. 시간적 깊이 천이는, 예를 들어, 물체의 깊이가 제1 이미지와 후속 이미지에서 동일하면 고르고, 이 깊이가 제1 이미지로부터 후속 이미지로 작은 양만큼 변하면 점진적이고, 또는 이 깊이가 제1 이미지로부터 후속 이미지로 상당한 양만큼 변하면 급격할 수 있다.
프로세스(500)는 물체에 대한 깊이 인디케이터가 범위를 벗어나 있다고 판정하는 일(510)을 포함한다. 프로세스(500)의 특정 구현들에서, 작업(510)은 비디오 시퀀스의 스테레오스코픽 이미지 쌍 내의 물체에 대한 깊이 인디케이터가 타겟 범위를 벗어나 있다고 판정하는 일을 포함한다.
깊이 인디케이터는 깊이, 또는 디스패리티 또는 패럴랙스의 인디케이터이다. 깊이 인디케이터의 예는 깊이 또는 디스패리티 또는 패럴랙스의 값, 또는 깊이 또는 디스패리티 또는 패럴랙스의 범위를 포함한다. 값 또는 범위는, 다양한 구현에서, 수나 수들의 범위에 의해, 색이나 색들의 범위에 의해, 사이즈나 사이즈들의 범위(예로, 히스토그램에서 막대들에 의한 것과 같이)에 의해서 나타내어 진다.
작업(510)은, 예를 들어, 패럴랙스 극단이 침해되었다고 판정하는 작업(305)에 의해 실행된다. 작업(510)은, 예를 들어, 안전 계산기(208)에 의해 실행된다.
프로세스(500)는 깊이 인디케이터가 범위 내에 있도록 하나 이상의 이미지를 수정하는 일(520)을 포함한다. 프로세스(500)의 특정 구현들에서, 작업(520)은 물체에 대한 깊이 인디케이터가 타겟 범위 내에 있도록 스테레오스코픽 이미지 쌍 중 하나 이상의 이미지를 수정하는 일을 포함한다.
작업(520)은, 예를 들어, 스테레오스코픽 소스를 보간하는 작업(308)에 의해서, 또는 하나의 안 이미지를 다른 안 이미지에 복제하는 작업(310)에 의해서 실행된다. 작업(520)은, 예를 들어, 도 2의 스테레오 보간기(209)(예로, 작업(308)을 실행하는)에 의해서, 또는 도 2의 2D 출력(210)(예로, 작업(310)을 실행하는)에 의해서 실행된다. 작업(308)은 이미지를 보간해서 수정한다. 작업(310)은 이미지를 2D 버전으로 대체하여, 즉 스테레오스코픽 이미지 쌍 중 하나의 이미지를 스테레오스코픽 이미지 쌍 중 다른 이미지의 복제로 대체함으로써 이미지를 수정한다.
프로세스(500)는 물체에 대한 깊이 천이를 평탄화하는 옵션 단계(530)를 포함한다. 프로세스(500)의 특정 구현들에서, 작업(530)은 물체 및 비디오 시퀀스의 다른 부분 간의 깊이 천이를 평탄화하는 일을 포함한다. 작업(530)은, 예를 들어, 스테리오 믹서(212) 및/또는 스테레오 믹서(412)에 의해 실행된다.
프로세스(500)의 다양한 구현 예가 이제 기술된다. 이들 예는 예시적인 것으로 배타적인 것이 아니다.
- 다양한 구현은, 적어도 부분적으로, 스테레오스코픽 이미지 쌍을 2D 이미지 쌍으로 대체함으로써 수정 작업(520)을 실행한다. 적어도 특정 구현들의 경우에, 대체의 결과로 (i) 0이 아닌 디스패리티를 갖고 있으며 깊이 인디케이터가 전체 이미지 쌍에 대한 타겟 범위 내에 있는 하나 이상의 스테레오스코픽 이미지 쌍, 및 (ii) 하나 이상의 2D 이미지 쌍을 포함하는 비디오 시퀀스가 나타난다.
- 다양한 구현은 깊이 인디케이터가 임계치 이상으로 타겟 범위를 벗어나 있음을 판정한다. 이들 구현들 중 수 개의 구현은, 임계치가 초과되었다는 판정을 기반으로, 스테레오스코픽 이미지 쌍을 2D 이미지 쌍으로 대체하는 판정을 한다.
- 다양한 구현은 수정된 3D 이미지 쌍을 평탄화한다. 3D 이미지 쌍은 스테레오스코픽 이미지 쌍이다. 스테레오스코픽 이미지 쌍 중 하나 이상의 이미지는, 물체에 대한 깊이 인디케이터가 0과 이전의 스테레오스코픽 이미지 쌍 내의 대응 물체에 대한 깊이 인디케이터 사이에 있도록, 수정된다.
- 다양한 구현은 2D 이미지 쌍을 평탄화한다. 2D 이미지 쌍은 양 이미지가 동일해서 3D 효과를 내지 않는 이미지 쌍이다. 스테레오스코픽 이미지 쌍 중 하나 이상의 이미지는, 스테레오스코픽 이미지 쌍을 물체를 포함하는 2D 이미지 쌍으로 대체함으로써, 수정된다.
- 다양한 구현은 공간적으로 평탄화한다. 예를 들어, 특정 구현들은 스테레오스코픽 이미지 쌍 내의 물체와 스테레오스코픽 이미지 쌍 내의 영역들 간의 깊이 천이를 평탄화한다. 몇몇 구현들에서, 이 영역은 물체에 인접해 있다.
- 다양한 구현은 시간적으로(또는 공간적 시간적으로) 평탄화한다. 예를 들어, 특정 구현들은 스테레오스코픽 이미지 쌍 내의 물체와 비디오 시퀀스의 개별 이미지 쌍 내의 대응 물체 간의 깊이 천이를 평탄화한다. 다양한 구현에서, 개별 이미지 쌍은 비디오 시퀀스에서 스테레오스코픽 이미지 쌍 이전에 및/또는 비디오 시퀀스 내의 후속 이미지 쌍 후에 나타난다. 다양한 구현에서, 평탄화는 스테레오스코픽 이미지 쌍 및/또는 개별 이미지 쌍으로 실행된다. 더욱이, 개별 이미지 쌍은, 특정 구현들에서, 스테레오스코픽 이미지 쌍 및/또는 2D 이미지 쌍이다.
- 다양한 구현은 하나 이상의 평탄화 기법을 공간적으로, 시간적으로, 또는 공간적 시간적으로 실행한다. 특정 구현들에서, 평탄화는 깊이 인디케이터의 그래디언트가 타겟 그래디언트 범위 내에 있을 때까지 실행된다. 특정 구현들은 평탄화가 실행되는 평탄화 존을 판정한다. 특정 구현들에서, 평탄화 존은 스테레오스코픽 이미지 쌍 내의 공간적 평탄화 존을 포함하고, 공간적 평탄화 존은, 예를 들어, 물체 주위에 픽셀들의 규정된 폭을 포함한다. 특정 구현들에서, 공간적 평탄화 존은 스테레오스코픽 이미지 쌍의 이미지들 중 하나에 관련해서 판정된다. 특정 구현들에서, 평탄화 존은 시간적 평탄화 존을 포함하고 물체의 깊이 인디케이터가 하나 이상의 스테레오스코픽 이미지 쌍들 내의 대응 물체에 관련해서 평탄화되는 비디오 시퀀스 내의 하나 이상의 스테레오스코픽 이미지 쌍을 포함한다. 특정 구현들에서, 깊이 인디케이터는 평탄화 존 전반에서 선형으로 변한다.
- 다양한 구현은, 적어도 부분적으로, 깊이 인디케이터가 적어도 미리 정해진 시간 량만큼 임계치를 초과하였음을 판정함으로써 물체에 대한 깊이 인디케이터가 타겟 범위 밖에 있다고 판정한다.
다양한 구현은 적어도 부분적으로 크로스-페이드(cross-fade), 페이드-인(fade-in), 페이드-아웃(fade-out), 페이드-투-블랙(fade-to-black), 및 페이드-프롬-블랙(fade-from-black)을 이용하여 전환을 실행한다. 한 예에서, 장면 변화는 큰 깊이 천이를 포함하고 있으며, 큰 깊이 천이를 피하기 위해서 제1 장면의 마지막에서 페이드-투-블랙을 실행하고 이후 새로운 장면의 시작에서 페이드-인을 실행한다.
다양한 구현에서, 스테레오 믹서(212)는 2D, 오리지널 3D 및 수정된 3D를 포함하는 다양한 입력들 간에 전환을 한다. 그러한 스테레오 믹스는 보통 스테레오 스위처(switcher)에 의해 구현된다. 통상적인 스테레오 스위처들은 또한 위에 논의된 크로스-페이드, 페이드-인, 페이드-아, 페이드-투-블랙, 및 페이드-프롬-블랙을 실행할 수 있다.
평탄화는 많은 구현에서, 예를 들어, 스테레오 믹서(212) 안에 큰 버퍼를 이용함으로써 가능해진다. 큰 버퍼는 스테레오 믹서(212)가 특정 이미지에서 깊이 침해를 식별하고, 특정 이미지에서 깊이 침해를 다루어서 평탄화를 실행할 수 있는 시간을 제공한다. 평탄화는, 다양한 구현에서, 특정 이미지에 앞서는 이미지들에, 특정 이미지 이후의 이미지들에, 및/또는 특정 이미지에 실행된다.
다양한 구현은 안전 또는 편안 임계치가 한 쌍에 대해 벗어난 경우, 문제가 되는 스테레오스코픽 이미지 쌍들을 대응하는 2D 이미지 쌍들로 대체함으로써 스테레오스코픽 이미지 쌍들을 수정한다. 그러한 수 개의 구현은 (i) 0이 아닌 디스패리티를 갖고 있으며 깊이 인디케이터가 전체 이미지 쌍에 대한 안전 또는 편안 임계치를 침해하지 않는 하나 이상의 스테레오스코픽 이미지 쌍, 및 (ii) 하나 이상의 2D 이미지 쌍을 포함하는 비디오 시퀀스를 생성할 수 있다. 그러한 구현들은 과도한 3D를 피하기 위한 필요조건에 부합하는 유용한 접근 방식을 제공할 수 있다. 그러한 수 개의 구현은 선택적인 평탄화 피처들을 더 제공한다.
다양한 구현에서, 수정된 및/또는 평탄화된 비디오 시퀀스는 (i) 저장, (ii) 전송, 또는 (iii) 상영 중에서 하나 이상을 위해 제공된다. 예를 들어, 스테레오스코픽 출력(213)은 다양한 디스플레이 장치 중 임의 장치로 상영될 수 있다. 그러한 디스플레이 장치들은, 예를 들어, 텔레비전, 컴퓨터 디스플레이, 태블릿 또는 셀 폰을 포함한다.
도 2-5에 도시된 요소들이 다양한 형태의 하드웨어, 소프트웨어, 또는 이들의 결합으로 구현될 수 있음은 이해하여야 한다. 통상, 이들 요소는 하나 이상의 적절히 프로그램된 범용 장치에서 하드웨어와 소프트웨어의 결합으로 구현되고, 이들 장치는 프로세서, 메모리, 및 입력/출력 인터페이스들을 포함할 수 있다. 여기서, 구 "연결"은 직접 연결이거나 하나 이상의 중간 컴포넌트를 통한 간접 연결을 의미하는 것으로 정의된다. 그러한 중간 컴포넌트들은 하드웨어 및 소프트웨어 기반 컴포넌트들을 포함할 수 있다.
여기에서 열거된 모든 예 및 조건 언어는 이 공개의 원리들 및 더 나아가 발명자가 이 방면에 기여한 개념을 독자가 이해하는데 조력하기 위한 교육적인 목적을 두고 있는 것이며 그렇게 구체적으로 열거된 예들 및 조건들에 한정되지 않는 것으로 해석되어야 한다.
더욱이, 여기서 이 공개의 원리, 양태, 및 실시 예는 물론이고 이들의 구체적인 예를 열거하는 모든 서술은 그들의 구조적이고 기능적인 균등물을 아우르는 것이다. 게다가, 그러한 균등물은 현재 알려져 있는 균등물은 물론이고 미래에 개발되는 균등물, 즉 구조에 관계없이 동일한 기능을 실행하는 개발된 임의 요소들을 포함하는 것이다.
그래서, 예들 들어, 이 방면에 숙련된 자들이면 여기에 제시된 블록 도들이 이 공개의 원리들을 구현하는 예시적인 회로의 개념적인 뷰를 표현하고 있다는 것을 이해할 것이다. 유사하게, 임의 흐름도, 흐름 다이어그램, 상태 천이도, 유사 부호 등은 컴퓨터 판독가능 매체에 실질적으로 표현될 수 있고 컴퓨터 또는 프로세서가 명시적으로 도시되어 있지 않을지라도 컴퓨터 또는 프로세서에 의해서 실행될 수 있는 다양한 프로세스를 나타낸다는 것을 이해할 것이다.
도 2-5에 도시된 다양한 요소의 기능들은 전용 하드웨어는 물론이고 적절한 소프트웨어와 연동해서 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해서 제공될 수 있다. 프로세서에 의해 제공될 때, 이들 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 더욱이, 용어 "프로세서" 또는 "제어기"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 않아야 하고, 묵시적으로, 제한 없이, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 및 비휘발성 저장 장치를 포함할 수 있다.
관례적 및/또는 관습적인 다른 하드웨어도 포함될 수 있다. 유사하게, 도면들에 도시된 스위치들은 단지 개념적이다. 이들의 기능은 프로그램 로직의 동작을 통해서, 전용 로직을 통해서, 프로그램 제어 및 전용 로직의 상호작용을 통해서, 또는 심지어는 매뉴얼 식으로 실행될 수 있으며, 특정 기법은 문맥을 통해서 구체적으로 이해하듯이 구현하는 자에 의해 선택가능하다.
본 공개의 가르침을 통합하고 있는 실시 예들이 여기에 상세히 도시되고 기술되었을지라도, 이 방면에 숙련된 자들은 여전히 이들 가르침을 통합하는 다른 변형된 실시 예들을 용이하게 고안할 수 있다. 양호한 실시 예들이 기술되었으므로, 이 방면에 숙련된 자들은 위의 가르침에 비추어서 수정 및 변형을 행할 수 있음에 유의해야 한다. 그러므로 본 공개의 특정 실시 예들에 변화를 줄 수 있으며 이는 본 공개의 범위 내에 속함을 이해하여야 한다.
이 출원은 도 2 및 도 4의 블록도 및 도 3 및 도 5의 흐름 다이어그램을 포함해서 다수의 도면을 제공한다. 이들 도면들의 각각은 다양한 구현들에 대한 내용을 제공한다.
- 예를 들어, 블록 도들은 장치 또는 시스템의 기능 블록의 상호연결을 분명하게 기술하고 있다. 그러나, 또한 블록 도들이 프로세스의 흐름을 제공한다는 것도 명백하다. 일례로, 도 2는 또한 도 2의 블록들의 기능을 실행하기 위한 흐름 다이어그램을 제시하고 있다. 예를 들어, 안전 계산기(208)에 대한 블록은 또한 스테레오스코픽 이미지 쌍이 안전 패럴랙스 임계치를 초과하는지 여부를 판정하는 동작을 나타내고 있고, 스테레오 보간기(209)에 대한 블록은 또한 스테레오스코픽 이미지 쌍의 깊이를 수정하는 동작을 나타내고 있다. 도 2의 다른 블록들은 유사하게 흐름 프로세스를 기술하는 것으로 해석된다.
더욱이, 도 4도 또한 유사한 방식으로 흐름 프로세스를 기술하는 것으로 해석될 수 있다.
- 예를 들어, 흐름 다이어그램들은 흐름 프로세스를 분명하게 기술하고 있다. 그러나, 흐름 다이어그램들이 흐름 프로세스를 실행하기 위한 시스템 또는 장치의 기능 블록들 간에 상호연결을 제공한다는 것도 또한 명백하다. 일례로, 도 3은 또한 프로세스(300)의 기능들을 실행하기 위한 블록 도를 나타내고 있다. 예를 들어, 기준 요소(304)는 또한 패럴랙스 극단을 판정하는 기능을 실행하기 위한 블록을 나타내고 있다. 도 3의 다른 블록들은 유사하게 이 시스템/장치를 기술하는 것으로 해석된다. 더욱이, 도 5도 또한 유사한 식으로 시스템 또는 장치를 기술하는 것으로 해석된다.
이와 같이 우리는 다수의 구현을 제공하였다. 다양한 구현은 과도한 패럴랙스, 깊이, 또는 디스패리티가 시청자에게 제공되는 것을 방지하는 시도를 한다. 다양한 구현은 (i) 3D 콘텐츠를 보간하고, (ii) 3D 콘텐츠를 2D 콘텐츠로 대체하고, 및/또는 (iii) 콘텐츠를 평탄화한다. 평탄화된 콘텐츠는 2D 또는 3D 콘텐츠일 수 있으며, 평탄화 작업을 실행하기 위한 다양한 기법이 논의되었다.
그러나, 기술된 구현들의 변형은 물론이고 추가의 응용을 생각해볼 수 있으며 이는 이 공개의 범위 내에 속함을 유의해야 한다. 게다가, 기술된 구현들의 피처들 및 양태들은 다른 구현들에 적응될 수 있다.
제시된 원리들의 "일 실시 예" 또는 "실시 예" 또는 "한 구현" 또는 "구현"에 대한 언급은 물론이고 이들의 다른 변형은 실시 예에 연관해서 기술된 특정 피처, 구조, 특성 등이 본 원리들의 적어도 한 실시 예에 포함되어 있음을 의미한다. 이와 같이, 이 명세서 전반에서 다양한 곳에 나타나는 구 "일 실시 예에서" 또는 "실시 예에서" 또는 "한 구현에서" 또는 "구현에서"의 출현은 물론이고 임의 다른 변형은 반듯이 모두가 동일 실시 예를 나타내는 것은 아니다.
게다가, 이 출원 또는 그의 특허청구범위는 정보의 다양한 단편들을 "결정하는 일"을 나타낼 수 있다. 정보를 결정하는 일은, 예를 들어, 정보를 추정하는, 일 정보를 계산하는 일, 정보를 예측하는 일, 또는 메모리로부터 정보를 검색하는 일 중 하나 이상을 포함할 수 있다.
더욱이, 이 출원 또는 그의 특허청구범위는 정보의 다양한 단편들에 "접근하는 일"을 나타낼 수 있다. 정보에 접근하는 일은, 예를 들어, 정보를 수신하는 일, 정보(예로, 메모리)를 검색하는 일, 정보를 저장하는 일, 정보를 처리하는 일, 정보를 전송하는 일, 정보를 이동하는 일, 정보를 복제하는 일, 정보를 삭제하는 일, 정보를 계산하는 일, 정보를 판정하는 일, 정보를 예측하는 일, 또는 정보를 추정하는 일 중 하나 이상을 포함할 수 있다.
예를 들어, "A/B", A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우에서, "/", "및/또는" , 및 "중 적어도 하나" 중 임의 것의 이용은 첫 번째 열거한 옵션 (A)만의 선택, 아니면 두 번째 열거한 옵션 (B)만의 선택, 아니면 옵션(A 및 B)의 선택을 아우르는 것이다. 다른 예로서, "A, B, 및/또는 C" 및 "A, B, 및 C 중에서 적어도 하나"의 경우에, 그러한 구는 첫 번째 열거한 옵션 (A)만의 선택, 아니면 두 번째 열거한 옵션 (B)만의 선택, 아니면 세 번째 열거한 옵션 (C)만의 선택, 아니면 첫 번째 및 두 번째 열거한 옵션(A 및 B)만의 선택, 아니면 첫 번째 및 세 번째 열거한 옵션(A 및 C)만의 선택, 아니면 두 번째 및 세 번째 열거한 옵션(B 및 C)만의 선택, 아니면 두 번째 및 세 번째 열거한 옵션(B 및 C)만의 선택, 아니면 모든 옵션(A 및 B 및 C)의 선택을 아우르는 것이다. 이는, 이 방면과 관련된 방면에서 보통의 숙련자에게 자명하듯이, 많은 리스트가 열거되는 만큼 확장될 수 있다.
게다가, 많은 구현은, 예를 들어, 포스트-프로세서 또는 프리-프로세서와 같은, 프로세서로 구현될 수 있다. 이 출원에서 논의된 처리 장치들은, 다양한 구현에서, 예를 들어, 프로세스, 기능, 또는 작업을 실행하도록 집합적으로 구성되어 있는 다수의 프로세서(서브-프로세서)를 포함한다. 예를 들어, 평탄화 유닛(420)은, 다양한 구현에서, 평탄화 유닛(420)의 작업들을 실행하도록 집합적으로 구성되어 있는 다수의 서브-프로세서로 구성된다.
여기에 기술된 구현들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락으로 논의되었더라도(예를 들어, 단지 방법으로서만 논의됨), 논의된 피처들의 구현은 또한 다른 형태(예로, 장치 또는 프로그램)로 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법은, 예를 들어, 일반적으로, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그램어블 로직 장치를 포함하는 처리 장치를 나타내는 프로세서와 같은 장치로 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터, 셀 폰, 태블릿, 개인 정보 단말기("PDA")와 같은 통신 장치, 및 최종-사용자들 간에 정보 통신을 가능하게 하는 다른 장치를 포함한다.
여기에 기술된 다양한 프로세스 및 피처들의 구현은 다양하고 상이한 장비 또는 애플리케이션으로 구현될 수 있다. 그러한 장비의 예는 인코더, 디코더, 포스트-프로세서, 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 텔레비전, 셋톱 박스, 라우터, 게이트웨이, 모뎀, 랩톱, 개인용 컴퓨터, 태블릿, 셀 폰, PDA, 및 다른 통신 장치를 포함한다. 명백하듯이, 이 장비는 모바일일 수 있고 심지어는 자동차에도 설치될 수 있다.
게다가, 이들 방법은 프로세서에 의해 실행되는 명령어로 구현될 수 있고, 그러한 명령어( 및/또는 구현에 의해 생성된 데이터 값들)는, 예를 들어, 집적 회로, 소프트웨어 캐리어, 또는, 예를 들어, 하드 디스크, 컴팩 디스트("CD"), 광학 디스트(예를 들어, 종종 디지털 다용도 디스크 또는 디지털 비디오 디스크라 불리는 DVD), 랜덤 액세스 메모리("RAM"), 또는 판독 전용 메모리("ROM")와 같은 다른 저장 장치와 같은 프로세서-판독가능 매체에 저장될 수 있다. 명령어들은 프로세서-판독가능 매체에 유형으로 체화된 응용 프로그램을 형성할 수 있다. 명령어들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 결합에 있을 수 있다. 명령어들은, 예를 들어, 운영 시스템, 개별 애플리케이션, 또는 이 둘의 결합에서 발견될 수 있다. 그러므로 프로세서는, 예를 들어, 프로세스를 수행하도록 구성된 장치 및 프로세스를 수행하기 위한 명령어를 갖고 있는 프로세서-판독가능 매체(저장 장치와 같은)를 포함하는 장치로서 특화될 수 있다. 더욱이, 프로세서-판독가능 매체는, 명령어에 더해서 또는 명령어 대신에, 구현에 의해 생성된 데이터 값들을 저장할 수 있다.
이 방면에 숙련된 자에게 자명하듯이, 구현들은, 예를 들어, 저장 또는 전송될 수 있는 정보를 반송하도록 포맷된 다양한 신호를 생성할 수 있다. 이 정보는, 예를 들어, 방법을 실행하기 위한 명령어, 또는 기술된 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 평탄화 작업을 실행하기 위한 코드를 데이터로 반송하거나 평탄화 작업을 실행함으로써 생성된 실제 평탄화된 스테레오스코픽 비디오 시퀀스를 데이터로 반송하도록 포맷될 수 있다. 그러한 신호는, 예를 들어, 전자기파(예를 들어, 스펙트럼의 무선 주파수 부분을 이용하는)로, 또는 기저대 신호로서 포맷될 수 있다. 포맷팅은, 예를 들어, 데이터 스트림을 인코딩하는 일과 캐리어를 인코딩된 데이터 스트림으로 변조하는 일을 포함할 수 있다. 이 신호가 반송하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 이 신호는 공지된 바와 같은 다양하고 상이한 유선 또는 무선 링크를 통해 전송될 수 있다. 이 신호는 프로세서-판독가능 매체에 저장될 수 있다.
다수의 구현이 기술되었다. 그렇더라도, 다양한 수정이 행해질 수 있음을 이해할 것이다. 예를 들어, 상이한 구현들의 요소들은 다른 구현을 낳기 위해서 결합, 보충, 수정 또는 제거될 수 있다. 게다가, 보통의 숙련된 자는, 다른 구조들 및 프로세스들이 공개된 것들로 대체될 수 있고 공개된 구현들과 적어도 실질적으로 동일한 결과(들)를 성취하기 위해서 적어도 실질적으로 동일한 방식(들)으로 동일한 기능(들)을 적어도 실질적으로 실행한다는 것을 이해할 것이다. 따라서, 이들 및 다른 구현들은 이 출원이 고려하고 있는 것이다.

Claims (27)

  1. 3D 이미지 시퀀스를 처리하는 방법으로서,
    비디오 시퀀스의 스테레오스코픽 이미지 쌍(stereoscopic image pair) 내의 물체에 대한 깊이 인디케이터(depth indicator)가 타겟 범위를 벗어나 있다고 판정하는 단계; 및
    상기 물체에 대한 깊이 인디케이터가 상기 타겟 범위 내에 있도록 상기 스테레오스코픽 이미지 쌍 중 하나 이상의 이미지를 수정하는 단계; 및
    상기 물체와 상기 비디오 시퀀스의 다른 부분 간의 깊이 천이(transition)를 평탄화하는 단계
    를 포함하고,
    상기 평탄화하는 단계는 상기 평탄화가 실행되는 평탄화 존(zone)을 판정하는 단계를 포함하고, 상기 평탄화 존은 상기 스테레오스코픽 이미지 쌍 내에 공간적 평탄화 존을 포함하는, 3D 이미지 시퀀스를 처리하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 스테레오스코픽 이미지 쌍 중 하나 이상의 이미지를 수정하는 단계는 상기 물체에 대한 깊이 인디케이터가 0과 이전의 스테레오스코픽 이미지 쌍 내의 대응 물체에 대한 깊이 인디케이터의 값 사이에 있도록 수정하는 단계를 포함하는, 3D 이미지 시퀀스를 처리하는 방법.
  4. 제1항에 있어서,
    상기 스테레오스코픽 이미지 쌍 중 하나 이상의 이미지를 수정하는 단계는 상기 스테레오스코픽 이미지 쌍을 상기 물체를 포함하는 2D 이미지 쌍으로 대체하는 단계를 포함하는, 3D 이미지 시퀀스를 처리하는 방법.
  5. 제4항에 있어서,
    상기 스테레오스코픽 이미지 쌍을 상기 2D 이미지 쌍으로 대체하는 단계는 (i) 0이 아닌 디스패리티를 갖고 있으며 상기 깊이 인디케이터가 전체 이미지 쌍에 대한 타겟 범위 내에 있는 하나 이상의 스테레오스코픽 이미지 쌍, 및 (ii) 하나 이상의 2D 이미지 쌍을 포함하는 비디오 시퀀스가 결과로서 나타나는, 3D 이미지 시퀀스를 처리하는 방법.
  6. 제4항에 있어서,
    상기 깊이 인디케이터가 임계치보다 더 많이 상기 타겟 범위를 벗어나 있다고 판정하는 단계; 및
    상기 임계치가 초과되어 있다는 판정을 기반으로, 상기 스테레오스코픽 이미지 쌍을 상기 2D 이미지 쌍으로 대체하기로 판정하는 단계를 더 포함하는 3D 이미지 시퀀스를 처리하는 방법.
  7. 제1항에 있어서,
    상기 평탄화하는 단계는 상기 물체와 상기 스테레오스코픽 이미지 쌍 내의 한 영역(region) 간의 깊이 천이를 평탄화하는 단계를 포함하는, 3D 이미지 시퀀스를 처리하는 방법.
  8. 제7항에 있어서,
    상기 영역은 상기 물체에 인접해 있는, 3D 이미지 시퀀스를 처리하는 방법.
  9. 제1항에 있어서,
    상기 평탄화하는 단계는 상기 물체와 상기 비디오 시퀀스의 개별 이미지 쌍 내의 대응 물체 간의 깊이 천이를 평탄화하는 단계를 포함하는, 3D 이미지 시퀀스를 처리하는 방법.
  10. 제9항에 있어서,
    상기 개별 이미지 쌍은 상기 비디오 시퀀스 내의 상기 스테레오스코픽 이미지 쌍 이전에 나타나는, 3D 이미지 시퀀스를 처리하는 방법.
  11. 제9항에 있어서,
    상기 개별 이미지 쌍은 상기 비디오 시퀀스 내의 상기 스테레오스코픽 이미지 쌍 이후에 나타나는, 3D 이미지 시퀀스를 처리하는 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 평탄화하는 단계는 상기 스테레오스코픽 이미지 쌍에서 실행되는, 3D 이미지 시퀀스를 처리하는 방법.
  13. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 평탄화하는 단계는 상기 개별 이미지 쌍에서 실행되는, 3D 이미지 시퀀스를 처리하는 방법.
  14. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 개별 이미지 쌍은 스테레오스코픽 이미지 쌍을 포함하는, 3D 이미지 시퀀스를 처리하는 방법.
  15. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 개별 이미지 쌍은 2D 이미지 쌍을 포함하는, 3D 이미지 시퀀스를 처리하는 방법.
  16. 제1항에 있어서,
    상기 평탄화하는 단계는 상기 깊이 인디케이터의 그래디언트(gradient)가 타겟 그래디언트 범위 내에 있을 때까지 실행되는, 3D 이미지 시퀀스를 처리하는 방법.
  17. 삭제
  18. 제1항에 있어서,
    상기 평탄화 존은 상기 물체 주위에 특정된 픽셀들의 폭을 포함하는, 3D 이미지 시퀀스를 처리하는 방법.
  19. 제1항에 있어서,
    상기 공간적 평탄화 존은 상기 스테레오스코픽 이미지 쌍의 이미지들 중 하나에 관련해서 판정되는, 3D 이미지 시퀀스를 처리하는 방법.
  20. 제1항에 있어서,
    상기 평탄화 존은 시간적 평탄화 존을 포함하고, 상기 비디오 시퀀스 내의 하나 이상의 스테레오스코픽 이미지 쌍을 포함하며, 상기 물체의 깊이 인디케이터는 상기 하나 이상의 스테레오스코픽 이미지 쌍 내의 대응 물체에 대해 평탄화되는, 3D 이미지 시퀀스를 처리하는 방법.
  21. 제1항에 있어서,
    상기 평탄화하는 단계는 상기 평탄화 존 전반에서 상기 깊이 인디케이터를 선형으로 가변하는 단계를 포함하는, 3D 이미지 시퀀스를 처리하는 방법.
  22. 제1항, 제3항 내지 제11항 중 어느 한 항에 있어서,
    상기 물체에 대한 깊이 인디케이터가 상기 타겟 범위를 벗어나 있다고 판정하는 단계는 상기 깊이 인디케이터가 적어도 미리 정해진 시간 량 동안 임계치를 초과하였다고 판정하는 단계를 포함하는, 3D 이미지 시퀀스를 처리하는 방법.
  23. 3D 이미지 시퀀스를 처리하는 장치로서,
    제1항, 제3항 내지 제11항, 제16항, 제18항 내지 제21항 중 어느 한 항의 방법을 실행하도록 집합적으로 구성된 하나 이상의 프로세서를 포함하는 3D 이미지 시퀀스를 처리하는 장치.
  24. 제23항에 있어서,
    상기 하나 이상의 프로세서는,
    비디오 시퀀스의 스테레오스코픽 이미지 쌍 내의 물체에 대한 깊이 인디케이터가 타겟 범위를 벗어나 있다고 판정하는 단계; 및
    상기 물체에 대한 깊이 인디케이터가 상기 타겟 범위 내에 있도록 상기 스테레오스코픽 이미지 쌍 중 하나 이상의 이미지를 수정하는 단계를 실행하도록 집합적으로 더 구성되는, 3D 이미지 시퀀스를 처리하는 장치.
  25. 제23항에 있어서,
    비디오 시퀀스의 스테레오스코픽 이미지 쌍에 있는 물체에 대한 깊이 인디케이터가 타겟 범위를 벗어나 있다고 판정하는 수단; 및
    상기 물체에 대한 깊이 인디케이터가 상기 타겟 범위 내에 있도록 상기 스테레오스코픽 이미지 쌍 중 하나 이상의 이미지를 수정하는 수단을 포함하는 3D 이미지 시퀀스를 처리하는 장치.
  26. 제23항에 있어서,
    상기 장치는 상기 방법이 상기 비디오 시퀀스의 재생 동안 상기 비디오 시퀀스에 실행하게 하는 메모리 또는 버퍼를 갖고 있는 3D 이미지 시퀀스를 처리하는 장치.
  27. 하나 이상의 프로세서가 제1항, 제3항 내지 제11항, 제16항, 제18항 내지 제21항 중 어느 한 항의 방법을 실행할 수 있게 하는 명령어들이 저장되어 있는 프로세서 판독가능 매체.
KR1020147018241A 2012-01-04 2012-12-20 3d 이미지 시퀀스의 처리 KR102131745B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261583105P 2012-01-04 2012-01-04
US61/583,105 2012-01-04
US201261583462P 2012-01-05 2012-01-05
US61/583,462 2012-01-05
US201261584123P 2012-01-06 2012-01-06
US61/584,123 2012-01-06
PCT/IB2012/002927 WO2013102790A2 (en) 2012-01-04 2012-12-20 Processing 3d image sequences cross reference to related applications

Publications (2)

Publication Number Publication Date
KR20140119692A KR20140119692A (ko) 2014-10-10
KR102131745B1 true KR102131745B1 (ko) 2020-07-08

Family

ID=47739399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147018241A KR102131745B1 (ko) 2012-01-04 2012-12-20 3d 이미지 시퀀스의 처리

Country Status (5)

Country Link
US (1) US9313475B2 (ko)
EP (1) EP2801198B1 (ko)
JP (1) JP6215228B2 (ko)
KR (1) KR102131745B1 (ko)
WO (1) WO2013102790A2 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9736467B2 (en) * 2013-08-05 2017-08-15 Samsung Display Co., Ltd. Apparatus and method for adjusting stereoscopic images in response to head roll
WO2015100490A1 (en) * 2014-01-06 2015-07-09 Sensio Technologies Inc. Reconfiguration of stereoscopic content and distribution for stereoscopic content in a configuration suited for a remote viewing environment
US10935788B2 (en) * 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
US10230932B2 (en) * 2014-02-13 2019-03-12 Autodesk, Inc. Techniques for animating transitions between non-stereoscopic and stereoscopic imaging
US11218682B2 (en) * 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax
CN106851246B (zh) 2017-02-06 2019-08-23 京东方科技集团股份有限公司 用于确定三维图像或视频的视觉疲劳度的方法和设备
CA3055218A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
WO2019061064A1 (zh) * 2017-09-27 2019-04-04 深圳市大疆创新科技有限公司 图像处理方法和设备
CN112513712B (zh) * 2018-07-23 2023-05-09 奇跃公司 具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法
KR102479120B1 (ko) * 2020-12-18 2022-12-16 한국공학대학교산학협력단 가변 초점 방식의 3d 텐서 기반 3차원 영상 획득 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021163A (ja) * 2006-07-13 2008-01-31 Matsushita Electric Ind Co Ltd 画像処理装置

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787598B2 (ja) * 1991-06-06 1995-09-20 株式会社エイ・ティ・アール視聴覚機構研究所 視差補正装置
JPH0954376A (ja) 1995-06-09 1997-02-25 Pioneer Electron Corp 立体表示装置
JPH099300A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体表示装置
JP3397602B2 (ja) 1996-11-11 2003-04-21 富士通株式会社 画像表示装置及び方法
JP4149037B2 (ja) * 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
GB0125774D0 (en) 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
JP3938122B2 (ja) * 2002-09-20 2007-06-27 日本電信電話株式会社 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
EP1617684A4 (en) * 2003-04-17 2009-06-03 Sharp Kk THREE-DIMENSIONAL IMAGE CREATION DEVICE, THREE-DIMENSIONAL IMAGE REPRODUCING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME
EP1628490A1 (en) * 2003-05-27 2006-02-22 Sanyo Electric Co., Ltd. Image display device and program
WO2005009052A1 (en) 2003-07-16 2005-01-27 Koninklijke Philips Electronics N.V. Head tracked autostereoscopic display
KR20050012328A (ko) 2003-07-25 2005-02-02 엘지전자 주식회사 고밀도 광디스크의 프레젠테이션 그래픽 데이터 관리 및재생방법과 그에 따른 고밀도 광디스크
JP2005167310A (ja) * 2003-11-28 2005-06-23 Sharp Corp 撮影装置
US8094927B2 (en) 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
JP2005295004A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
JP2006178900A (ja) 2004-12-24 2006-07-06 Hitachi Displays Ltd 立体画像生成装置
CA2553473A1 (en) 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
EP1958458B1 (en) 2005-11-30 2016-08-17 Telecom Italia S.p.A. Method for determining scattered disparity fields in stereo vision
CN101322418B (zh) 2005-12-02 2010-09-01 皇家飞利浦电子股份有限公司 图像信号的深度相关的滤波
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
KR101345303B1 (ko) 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
WO2009020277A1 (en) * 2007-08-06 2009-02-12 Samsung Electronics Co., Ltd. Method and apparatus for reproducing stereoscopic image using depth control
US8300086B2 (en) 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
JP4608563B2 (ja) 2008-03-26 2011-01-12 富士フイルム株式会社 立体画像表示装置および方法並びにプログラム
US8238612B2 (en) 2008-05-06 2012-08-07 Honeywell International Inc. Method and apparatus for vision based motion determination
US20090282429A1 (en) 2008-05-07 2009-11-12 Sony Ericsson Mobile Communications Ab Viewer tracking for displaying three dimensional views
EP2274920B1 (en) * 2008-05-12 2019-01-16 InterDigital Madison Patent Holdings System and method for measuring potential eyestrain of stereoscopic motion pictures
KR101619450B1 (ko) * 2009-01-12 2016-05-10 엘지전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
JP5434231B2 (ja) * 2009-04-24 2014-03-05 ソニー株式会社 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
GB2471137B (en) * 2009-06-19 2011-11-30 Sony Comp Entertainment Europe 3D image processing method and apparatus
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
EP2293586A1 (en) 2009-08-04 2011-03-09 Samsung Electronics Co., Ltd. Method and system to transform stereo content
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
US8798160B2 (en) 2009-11-06 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus for adjusting parallax in three-dimensional video
JP2011124941A (ja) * 2009-12-14 2011-06-23 Mitsubishi Electric Corp ３次元映像生成装置及び３次元映像生成方法
WO2011081646A1 (en) 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
JP5505881B2 (ja) 2010-02-02 2014-05-28 学校法人早稲田大学 立体映像制作装置およびプログラム
JP5565001B2 (ja) * 2010-03-04 2014-08-06 株式会社Ｊｖｃケンウッド 立体映像撮像装置、立体映像処理装置および立体映像撮像方法
WO2011114567A1 (ja) * 2010-03-18 2011-09-22 富士フイルム株式会社 立体表示装置及び立体撮影装置、並びに利き目判定方法及びこれに用いる利き目判定プログラム並びに記録媒体
JP5292364B2 (ja) * 2010-07-07 2013-09-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
JP2013533057A (ja) 2010-07-30 2013-08-22 アールティーシー インダストリーズ， インコーポレイテッド 商品の安全確保および管理システム
US9565415B2 (en) * 2010-09-14 2017-02-07 Thomson Licensing Method of presenting three-dimensional content with disparity adjustments
JP5150698B2 (ja) * 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
WO2012055892A1 (en) 2010-10-29 2012-05-03 Thomson Licensing Method for generation of three-dimensional images encrusting a graphic object in the image and an associated display device
JP5887515B2 (ja) * 2010-11-10 2016-03-16 パナソニックＩｐマネジメント株式会社 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置
JP2012178688A (ja) * 2011-02-25 2012-09-13 Olympus Corp 立体画像撮影装置
JP5178876B2 (ja) * 2011-04-27 2013-04-10 株式会社東芝 立体映像表示装置及び立体映像表示方法
CN103563363A (zh) 2011-05-19 2014-02-05 汤姆逊许可公司 立体视觉图像的自动转换以便允许同时进行图像的立体视觉和平面视觉显示

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021163A (ja) * 2006-07-13 2008-01-31 Matsushita Electric Ind Co Ltd 画像処理装置

Also Published As

Publication number Publication date
US9313475B2 (en) 2016-04-12
WO2013102790A3 (en) 2013-12-27
WO2013102790A9 (en) 2014-07-31
JP6215228B2 (ja) 2017-10-18
CN104067612A (zh) 2014-09-24
US20150071525A1 (en) 2015-03-12
WO2013102790A2 (en) 2013-07-11
EP2801198B1 (en) 2023-10-11
JP2015508947A (ja) 2015-03-23
EP2801198A2 (en) 2014-11-12
KR20140119692A (ko) 2014-10-10

Similar Documents

Publication Publication Date Title
KR102131745B1 (ko) 3d 이미지 시퀀스의 처리
JP6510039B2 (ja) ジャダー可視性制御のためのデュアルエンドメタデータ
US11218682B2 (en) Methods and apparatus for processing and or encoding images with negative parallax
US10185145B2 (en) Display apparatus and operating method of display apparatus
US11587526B2 (en) Luminance adaption to minimize discomfort and improve visibility
JP2012083412A (ja) 画像処理装置、画像処理方法、およびプログラム
GB2568261A (en) System and method for presenting data at variable quality
JP2011109294A (ja) 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム
KR20210145719A (ko) 상이한 압축 레벨의 비디오 코딩을 위한 부가 정보
US20240179353A1 (en) Method and apparatus for employing dynamic range mapping information for hdr image decoder considering backward compatibility
KR20150116891A (ko) 중간 뷰 이미지들을 생성하기 위한 시스템
JP5599063B2 (ja) 表示制御装置、表示制御方法及びプログラム
RU2640645C2 (ru) Система для генерирования изображения промежуточного вида
JP2009284331A (ja) 復号装置及び復号方法、プログラム
US9918067B2 (en) Modifying fusion offset of current, next, second next sequential frames
US20130187907A1 (en) Image processing apparatus, image processing method, and program
US10230932B2 (en) Techniques for animating transitions between non-stereoscopic and stereoscopic imaging
JP2017028622A (ja) 画質制御装置、画質制御方法、画質制御システム及び画質制御用プログラム
KR20130005148A (ko) 입체감 조절 장치 및 입체감 조절 방법
WO2013108307A1 (ja) 映像処理装置および映像処理方法
CN104067612B (zh) 3d图像序列的处理
KR102053943B1 (ko) 3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치
US20130208086A1 (en) 3d video reproduction device

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant