KR101630444B1 - 스테레오스코픽 디지털 영화에서의 최적화된 모션 재생을 위한 방법과 장치 - Google Patents
스테레오스코픽 디지털 영화에서의 최적화된 모션 재생을 위한 방법과 장치 Download PDFInfo
- Publication number
- KR101630444B1 KR101630444B1 KR1020127018953A KR20127018953A KR101630444B1 KR 101630444 B1 KR101630444 B1 KR 101630444B1 KR 1020127018953 A KR1020127018953 A KR 1020127018953A KR 20127018953 A KR20127018953 A KR 20127018953A KR 101630444 B1 KR101630444 B1 KR 101630444B1
- Authority
- KR
- South Korea
- Prior art keywords
- convergence
- motion blur
- eye image
- amount
- displacement
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000006073 displacement reaction Methods 0.000 claims abstract description 44
- 230000007423 decrease Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 230000002596 correlated effect Effects 0.000 claims 4
- 230000000875 corresponding effect Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 239000000872 buffer Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000006227 byproduct Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 235000013619 trace mineral Nutrition 0.000 description 1
- 239000011573 trace mineral Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Systems (AREA)
Abstract
왼쪽 눈 영상 프레임 쌍 안의 각 오브젝트에 대해 프레임간 오브젝트 변위를 결정하는 단계, 오른쪽 눈 영상 프레임 쌍 안의 각 오브젝트에 대해 프레임간 오브젝트 변위를 결정하는 단계, 왼쪽 눈 영상과 오른쪽 눈 영상 쌍 내의 각 오브젝트 사이의 수렴 이동장을 결정하는 단계, 왼쪽 눈 영상 프레임 쌍의 각 오브젝트에 대한 프레임 간 오브젝트 변위와 오른쪽 눈 영상 프레임 쌍의 각 오브젝트에 대한 프레임 간 오브젝트 변위 및 왼쪽 눈 영상과 오른쪽 눈 영상 내의 각 오브젝트 사이의 수렴 이동장에 대응하는 모션 블러의 양을 결정하는 단계 및 모션 블러의 양에 의하여 모션 블러를 조정하는 단계를 포함하는 방법과 장치가 기술된다.
Description
본 발명은 영화에 관한 것으로, 특히, 장면 오브젝트에 대해 적응적으로 모션 블러(motion blur)를 조정함에 의한 스테레오스코픽 디지털 영화의 재생에 있어서의 최적화된 모션 재생에 관한 것이다.
스테레오스코픽 디지털 영화의 성취는 극장 관객에게 더 가까워 보이는 장면 오브젝트, 즉 영상-평면 전방의 오브젝트들의 재생에 있어서 새로운 도전을 제기하였다. 만일 이러한 요소들이 동적으로 움직이게 된다면, 이들은 어떤 모션 점프(저더(judder)라고도 불리운다)을 수반하여, 디스플레이되거나 스크린에 영사될 수 있다. 대안적으로, 시청자에게 더 가까워 보이도록 표시되는 같은 오브젝트가, 어떤 공칭값 미만의 속도로 움직인다면, 그 자연스럽게 포착된 모션 블러는 더 뚜렷한 효과를 수반하여 시각화될 것이다. 고전적인 필름 영화와 2D 디지털 영화는 위의 모션 블러의 양과 영상 깊이 사이의 상관관계에 의해 영향받지 않는다. 그러나, 3D 영상 맺음에 있어서 이 상관관계가 다양한 행동을 한다. 이러한 현상에 수반하여, 스테레오스코픽 3차원(Stereoscopic Three-Dimensional, S3D) 깊이 묘사에 관련된 새로운 문제가 발생한다. 이는 3D 재생 동안 특수 안경을 써야 하는 불편에 더하여, 모션 블러와 영상 깊이의 상관관계의 편차에 의해 야기되는 청중에게 다소 불쾌한 효과를 낳는다.
스테레오스코픽 영화 영사의 전방 시청 평면 내에서 일어나는 동적 장면 오브젝트의 불규칙한 움직임 특이현상을 고려하는 공지된 저작은 거의 없다. 그럼에도 불구하고, 본 방법은 영화관에서 현존하는 실무에 있어서 알려진 몇가지 영상 처리 기법을 사용한다. 본 방법은 스테레오스코픽 영상을 위해 모션 블러 기본사항을 다르게 채용한다.
본 발명이 비교될 수 있는 모션 재생의 향상을 목표로 하는 방법에는 두 가지 범주가 있다.
첫 번째 범주는 스테레오스코픽 3D 디지털 영화에 있어서 초당 프레임율을 줄이기 위하여 모션 블러를 더하는 방법을 포함한다. 이 방법은 프레임 반복율을, 방향이 있는 프레임 간 장면 오브젝트의 흔적을 향상시킴으로써, 각 눈당 72 FPS에서 48 FPS로 줄이는 것을 목표로 한다. 각 눈의 영상에 대해 영화 마스터링의 후제작 단계 동안 이 모션 블러 장이 추출된다. 부가된 화상 구성요소는 작으나, 프레임 반복율이 표준 값인 48 FPS일 때, 왼쪽 눈(LE) - 오른쪽 눈(RE) 프레임 시퀀스 안의 고속 오브젝트와 연관되어, 움직임을 파괴하는 효과를 제거하는 데에 기여할 수 있다. 이러한 범주의 방법의 이점은 스테레오스코픽 영상 렌더링에 적응적 모션 블러를 더하고 따라서 저더 부산물을 줄이게 된다는 것이다. 이 방법의 단점은 그 모션 분석이 오직 고전적인 프레임 간 차이에만 기반하고 있으며, 3D 화상의 특이사항들을 포괄하지 않는다는 것이다.
두 번째 범주는 시청자에게 3D 장면 오브젝트의 근접도(proximity, 가까움)을 제한하는 방법을 포함한다. 이 접근법은 수렴 편차의 범위의 값을 제한한다, 즉, 시청자가 극장에서 스페레오스코픽 회상을 3D 현상으로서 인식할 수 있기 위해 눈을 교차시켜야 하는 정도를 제한한다. 초기 수렴은 카메라 촬영 동안에 결정되며 후제작 도중 일정 정도로 고쳐질 수 있다. 시청자에게 근접도를 제한함으로써 (또는 가까움의 외관을 제한함으로써) 모션 부산물이 또한 줄어든다, 왜냐하면 오브젝트가 영사 스크린과 청중 사이의 가상 공간 내에서 가까워질수록 부산물이 더 잘 보이기 때문이다. 방법의 이 범주의 이점은 향상된 모션 재생을 얻는데 있어서 상대적인 단순함에 있다. 이는 평행 영상 이동 과정인 수렴 정정에 의해 이루어진다. 단점은 이 방법이 수렴을 또한 따라서 스테레오스코픽한 표현의 의도를 조작함으로써 영화 작가와 감독의 창작적 결정에 영향을 준다는 것이다.
다른 모션 블러의 양의 작용의 귀결은 전자적 수렴이다. 눈-영상 중 하나가 다른 눈-영상에 대하여 상대적으로 수평으로 이동하면서, 장면 오브젝트는 시청자에게 더 가깝게 보일 수 있다. 인간의 뇌는 더 가까운 구역에 더 잘 집중하기 때문에, 인간 시각계(Human Visual System, HVS)의 민감함은 어떤 비율이 맞지 않는 모션도 강조한다. 이 문제에 대응하기 위해, 필요한 것은 모션 블러와 변화한(고쳐진, 수정된)(modified, corrected) 전자적 수렴 사이의 관계를 인식하고 최적화하는 방법과 장치이다. 전자적 수렴이라는 용어는 여기서 후처리에 행해진, 비디오 도메인에서의 LE와 RE 영상 사이의 이동을 정의한다.
본 발명의 방법과 장치는 3차원 영화 표시에서의 어떤 요소들, 특히 시청자의 눈에 가깝게 보이는 장면 오브젝트의, 즉 공칭 속도보다 더 빠르게 또는 공칭 속도보다 더 느리게 움직이는 오브젝트의 영화관 관객에 의한 보다 현실감있는 인식에 공헌한다. 본 방법은 주어진 동적 장면 오브젝트에 대해 최적의 모션 블러를 추정하는 것과, 그리고 추정된 모션 블러를 왼쪽 눈 영상과 오른쪽 눈 영상에 대해 측정된 모션 블러의 값들과 비교하는 것에 기반한다. 차이를 평가하면서, 본 발명의 영상 처리는, 초당 24프레임에서 매끈한 오브젝트 변위의 목적을 위하여, 양 눈 이미지에 대해 흐려짐을 줄이거나 또는 그들에 소량의 흐려짐을 더할 것이다. 24 FPS의 속도는 촬영과 영사에 대해 동일하다. 본 발명은 3D 수렴과 시차(parallax) 렌더링이 채용되는 후제작에서의 스테레오 화상 렌더링을 위한 새로운 가능성을 향하여 방향 지워졌다. 근본적인 동기는 인간의 시각계의 어떤 모션 블러를 지각할 필요와 영상 프레임 시퀀스가 그를 만족시킬 수 있는 능력이 임의적임으로부터 온다. 디지털 영화에서의 스테용오스코픽 영상화는 이러한 편차를 강조할 뿐이다. 영상 프레임 시퀀스내에서 자연적으로 진화하는 장면의 이산적인 표시는, 본 발명이 감소시키는 저더(비디오 이미지에서의 흔들림이나 비틀림 현상)와 같은 부산물이나 섬광 효과를 야기한다고 알려져 있다.
3D 디지털 영화는 영화 창작자에게 새로운 가능성을 보여준다. 이러한 가능성 중에는 수렴 처리와 조작이 있다. 프레임 버퍼 안의 눈-영상 중 왼쪽 또는 오른쪽 하나에 대해 수평으로 이동하거나 또는 컴퓨터 그래픽 응용프로그램을 통해서, 화상 오브젝트는 시청자로부터 더 가깝거나 또는 더 멀리 나타난다. 인간은 z축을 따라서 접근하는 오브젝트를 추적하기 위해 눈을 교차시키는데, 이는 움직이는 요소의 가변적인 인식의 문제를 야기하는 동작이다. 이를 극복하기 위해, 본 발명이 제안한 접근법에 의해 인식 전환(perception shift)이 분석되고 모션 블러가 본 발명의 방법과 장치에 의하여 적절히 보상되었다.
해야 할 일은 스테레오스코픽 재생에 있어서 모션 블러와 영상 평면 사이의 관계를 분석하는 수단을 찾는 것과 초당 24프레임(FPS)의 속도로 3D 동적 오브젝트를 영화적 상영에 대해 더 잘 적응시키는 것을 위한 방법과 장치를 도입하는 것이다. 3D 동적 오브젝트의 적응은 창작적 영상 컨텐트를 바꾸어서는 안된다. 바람직한 모션 블러는 후제작 설비에서 마스터링 과정 중에, 또는 컴퓨터 그래픽 단계에서도, 창작자에 의해 상영 파일에 가감될 수 있다.
본 발명의 방법은 모션 블러를 초당 24프레임 시퀀스에서 임계(공칭)속도보다 느리게 움직이는 전방 평면 3D 오브젝트에 대해 저감시키고 이 임계 속도 위에서 움직이는 빠른 오브젝트에 대해서 모션 블러를 더한다. 임계 속도는 오브젝트가 1/10 비디오 프레임을 1/12초 동안 가로지르는 때이다. 방법은 또한 수렴 처리 동안에 오브젝트 흔적을 최적화한다. 흐려짐의 양의 변화는 양쪽 눈-영상(왼쪽 눈과 오른쪽 눈)에 대해 같다, 그리고 따라서 변화는 최소한이며, 안구 추적의 경우에 대해 강약 해상도를 보존하고 감독의 창작적 의도를 온전히 보존하기를 의도한다.
왼쪽 눈 영상 프레임 쌍 안의 각 오브젝트에 대해 프레임간 오브젝트 변위를 결정하는 단계, 오른쪽 눈 영상 프레임 쌍 안의 각 오브젝트에 대해 프레임간 오브젝트 변위를 결정하는 단계, 왼쪽 눈 영상과 오른쪽 눈 영상 쌍 내의 각 오브젝트 사이의 수렴 이동장(convergence shifting field)을 결정하는 단계, 왼쪽 눈 영상 프레임 쌍의 각 오브젝트에 대한 프레임 간 오브젝트 변위와 오른쪽 눈 영상 프레임 쌍의 각 오브젝트에 대한 프레임 간 오브젝트 변위 및 왼쪽 눈 영상과 오른쪽 눈 영상 내의 각 오브젝트 사이의 수렴 이동장에 대응하는 모션 블러의 양을 결정하는 단계 및 모션 블러의 양에 의하여 모션 블러를 조정하는 단계를 포함하는 방법과 장치가 기술된다.
본 발명은 부합하는 도면과 연관지어져 읽혔을 때 이하 상세한 설명으로부터 가장 잘 이해된다. 도면은 이하 간단히 기술될 다음 도들을 포함한다.
도 1은 장면 오브젝트의 벡터 변위장(vector displacement field)으로서의 LE와 RE 영상 사이의 초기 수렴을 도시하는 도면;
도 2는 초기에 시청자에게 더 가깝게 보였고 지금은 LE 영상이 오른쪽으로 이동된 뒤 더욱 가까운 오브젝트를 도시하는 도면;
도 3은 빠르게 움직이는 오브젝트를 위한 모션 블러의 양을 도시하는 도면;
도 4는 오브젝트 속도와 수정된 모션 블러의 양 사이의 비선형적 관계를 도시하는 도면;
도 5는 오브젝트가 청중으로부터 하나의 그리고 같은 거리에 위치하고 있을 때 오브젝트의 속도에 따른 모션 블러의 양을 표현하는 도면;
도 6은 본 발명의 원리에 부합하는 예시적인 실시의 방법의 흐름도;
도 7은 본 발명의 예시적인 실시의 블록도.
도 1은 장면 오브젝트의 벡터 변위장(vector displacement field)으로서의 LE와 RE 영상 사이의 초기 수렴을 도시하는 도면;
도 2는 초기에 시청자에게 더 가깝게 보였고 지금은 LE 영상이 오른쪽으로 이동된 뒤 더욱 가까운 오브젝트를 도시하는 도면;
도 3은 빠르게 움직이는 오브젝트를 위한 모션 블러의 양을 도시하는 도면;
도 4는 오브젝트 속도와 수정된 모션 블러의 양 사이의 비선형적 관계를 도시하는 도면;
도 5는 오브젝트가 청중으로부터 하나의 그리고 같은 거리에 위치하고 있을 때 오브젝트의 속도에 따른 모션 블러의 양을 표현하는 도면;
도 6은 본 발명의 원리에 부합하는 예시적인 실시의 방법의 흐름도;
도 7은 본 발명의 예시적인 실시의 블록도.
스테레오스코픽 디지털 영화의 진보는 극장 관객에게 더 가깝게 인식되는 장면 오브젝트의 영사에 있어서 새로운 문제를 노출시켰다. 이러한 오브젝트들이 프레임 시퀀스의 최대 재생가능한 속도에 비교할 만한 속도로 움직인다면, 이들은 스크린 상에 모션의 붕괴를 보이며 디스플레이될 수 있다. 역으로, 만일 같은 오브젝트가, 시청자에게 더 가까와지면서, 어떤 공칭 값보다 더 느리게 움직인다면, 오브젝트의 흔적 요소, 또는 모션 블러가 더 명시적으로 시각화될 수 있다.
2차원 영상 처리로부터, 적절하게 증가되거나 감소되면, 모션 블러가 동적 장면 오브젝트의 재생을 향상시키는 데 가치 있는 도구가 될 수 있음이 잘 알려져 있다. 어떤 자연스러운 모션 블러는 원본 카메라 촬영 (디지털과 아날로그 촬영 모두) 동안 일어난다. 이는 오브젝트가 움직이거나 그 형태를 변화시키는 동안 오브젝트 흔적으로 나타난다. 이 물리적인 현상은, 장면 구성요소가 한 프레임의 시간간격 동안 계속 움직이며, (디지탈 또는 필름 촬영을 위한) 노출 과정이 이산적 프레임 내에 모션 흔적을 남기는, 화상 촬영을 위한 초당 프레임 수의 한계 즉, 24 FPS에 의해 유래되는 것이다. 이러한 현상이 프레임 간 모션 블러의 원인이다. 프레임간 차이를 분석하고 주어진 프레임 쌍 이내의 픽셀당 모션 블러의 양을 느리거나 줄일 수 있는 영상 처리 시스템이, 후제작 또는 컴퓨터 그래픽 스테이션에서를 포함하여, 있다. 프레임 쌍은, 예컨대 프레임 1과 프레임 2이다. 다음 프레임 쌍은 프레임 2와 프레임 3이다.
스페레오스코픽 3D 디지털 카페라는 눈-영상이 순차적으로 먼저 왼쪽 눈에 대해 그 후 오른쪽 눈에 대해 영사되는 경우를 제공한다. 이는 다른 쪽 눈에 대한 비디오 프레임이 스크린에 영사되는 동안 한쪽 눈-영상이 가려지거나 암전된다(dark)는 의미이다. 결과로, 관객은 어떤 모션 붕괴를 관찰하게 된다. 두 번째, 3D 영화는 영사 스크린과 시청자 사이의 가상 공간에 부피를 가지는 장면 오브젝트를 시각화하며, 이 오브젝트들은 HVS에 더 가깝게 나타난다. "가장 가까운" 오브젝트는 점프 현상을 보일 수 있으며, 이러한 경우 부가적인 모션 블러가 모션 블러를 매끈하게 만들기 위하여 사용될 수 있다. 역으로, 더 느리게 움직이는 오브젝트에서 흐려짐이 더 가까운 지역에서 잘 보일 수 있으며, 이러한 경우 흐려짐 양이 감소되어야 한다. 본 발명의 목적은 적응적 모션 블러를 동적 장면의 최적화된 재생을 가져오기 위해 사용하는 것이다.
이하의 3단계가 적응적 3D 모션 블러의 이 문제를 해결하기 위해 수행된다:
- LE 영상과 RE 영상에 대해 분리하여 복합적 프레임 간 오브젝트 변위를 결정하는 단계;
- LE 영상과 RE 영상 사이의 수렴-이동장을 결정하는 단계; 및
- LE 영상과 RE 영상 사이의 수렴-이동장의 함수로서 모션 블러의 양과, LE 영상과 RE 영상에 대하여 프레임 간 오브젝트 변위를 결정하는 단계.
영상 처리에서 장면 오브젝트의 속도는 픽셀 수로 측정된 그의 프레임간 모션 또는 프레임간 변위에 의해 결정된다. 이는 양 눈 이미지 모두에 대해 스테레오스코픽 3차원(S3D)영상에 있어서도 유효하다. S3D에서 추가적인 요소는 수렴 변동에 의해 초래된 깊이에 있어서의 또는 z축을 따라서의 오브젝트 움직임이다. 본 발명에 도달하는 데에 있어 2차원 오브젝트 속도(최적 모션 블러 양의 함수의 인수로서)와 LE와 RE 화상 사이의 수렴(눈-영상 사이의 수평적 이동에 기반하여) 양 현상 모두가 분석되었다. 비디오 프레임율은 디스플레이와 스크린 상의 최대 오브젝트 속도 시각화를 위한 선택사항을 결정한다. 24 FPS(또는 24 FPS의 배수로의 영사된 프레임들)의 영화적 재생을 위해서 영화작가협회에 의해 확립된 촬영된 장면 오브젝트 움직임에 대한 제한이 있다. S3D에서는 추가적인 단계, 즉 동적 오브젝트가 시청자에게 가까운 가상 공간 내에 위치되었을 때, 모션 블러의 양과 오브젝트의 속도 사이의 최적의 상관관계를 찾는 것이 필요하다.
- 만일 3D 오브젝트의 속도가 중간(median) 속도보다 (10%를 초과하여) 낮다면 가까운 가상 공간에 대한 모션 블러의 양은 그에 대응하여 감소하여야 한다. HVS는 가까운 오브젝트에 대해 집중하는 경향이 있으며 그의 모션 흔적을 쉽게 본다
- 만일 3D 오브젝트의 속도가 중간 속도의 플러스 또는 마이너스 10% 정도라면 가까운 가상 공간에 대한 모션 블러의 양이 바뀌지 않고 보존되어야 한다
- 만일 3D 오브젝트의 속도가 중간 속도보다 (10%를 초과하여) 높다면 가까운 가상 공간에 대한 모션 블러의 양이 그에 대응하여 증가하여야 한다. 이는 시청자로 하여금 극장 영사 스크린 상에서 모션 끊어짐(점프 또는 저더)을 보는 것을 방지한다. 증가한 양은 장면 오브젝트의 가능한 안구 추적을 고려하자면 최소한이다.
상기 기술은 모션 블러가 주어진 수렴 값에서의 오브젝트의 속도에 의존하여 증가하거나 감소한다는 점을 명확히 한다. 모션 블러는 또한 주어진 오브젝트 속도에서의 수렴 값에 의존하여서 증가하거나 감소한다. 이 관계는 또한 비례적이다, 만일 수렴이 공칭 수렴(임계치 수렴)보다 크다면, 모션 블러가 증가하고 그 역도 성립한다. 픽셀 수로 측정된 공칭 수렴(임계치 수렴)은 하나의 프레임 쌍의 LE와 RE 영상 사이에서 대략 50픽셀 거리이다. 즉, 속도와 수렴 모두가 모션 블러에 영향을 미친다.
복합 프레임간 오브젝트 변위(Inter-Frame Object Displacement) 그 자체는 모션에 의존하는 값을 가지는 원소의 배열을 포함하는 영상이다. 가장 단순한 경우에, 각 원소의 값은 같은 프레임 쌍의 이웃한 프레임 사이의 픽셀 차이를 반영한다. 프레임 쌍은 연속하는 왼쪽 눈 영상과 연속하는 오른쪽 눈 영상 사이에 있다. 즉, 예컨대, LE 영상 프레임 1과 LE 영상 프레임 2는 프레임 쌍의 양 프레임에서 같은 오브젝트 사이의 거리를 결정하기 위해 비교된다. 유사하게 RE 영상 프레임 1과 RE 영상 프레임 2는 프레임 쌍의 양 프레임에서 같은 오브젝트 사이의 거리를 결정하기 위해 비교된다.
이 변위는 다음과 같이 표시된다:
IF Disp → 프레임간 오브젝트 변위를 나타냄
오브젝트가 시청자로부터 멀어지면서 그 선형 속도는 증가할 수 있지만, 그 각속도는 그대로 남아 있다는 점에 주의해야 한다.
도 1은 LE와 RE 영상 사이의 초기 수렴을 이하에서 분석되는 장면 오브젝트의 벡터 변위장으로서 도시한다.
그 다음, 초기 수렴 분산장(initial convergence distribution field)이 다음과 같이 표시된다:
InConV → 초기 수렴을 나타냄
InConv는 LE와 RE에 대한 두 개의 포착된 영상의 오브젝트 인스턴스간 값을 표시하는 값들의 배열이다.
5 내지 100 픽셀의 픽셀 이동의 범위가 좋은 결과를 도출한다는 점이 연구에 의해 밝혀졌다. 픽셀 이동은 양쪽 방향 어느 쪽도 가능하다. 즉, 예컨대, 오브젝트가 왼쪽에서 오른쪽 방향 또는 오른쪽에서 왼쪽 방향으로 움직이고 있을 수 있으며 따라서 모션 블러가 오브젝트와 같이 움직이고 있게 된다(모션 블러는 일반적으로 오브젝트 뒤에 있다). 픽셀 이동은, 따라서, 오브젝트의 움직임 방향에 따라 양쪽 방향 어느 쪽도 가능하다. 픽셀 이동은 초기 깊이 위치에 적용된다. 픽셀 이동의 결과는 수정된 깊이 위치이다.
눈-영상 중 하나의 다른 하나에 대해 상대적인 평행 이동은 재생된 3D 장면 내의 모든 오브젝트에 대한 새로운 눈 수렴점을 결정한다. 후제작에서 이 과정은 보통 후제작의 스테레오스코픽 색상 수정 시스템에 의해 구현된다. 눈 수렴 또는 눈 교차는, S3D영화에서는 영사 스크린과 시청사 사이에서, 스크린과 수직인 축(Z축)을 따라서 일어난다. 이 과정은 HVS에 의한 부피가 있는 오브젝트의 인식에 공헌하거나, 또는 깊이감을 주는, 음의 수렴으로 알려져 있다.
디지털 색상 수정기(수렴 수정기)에 의해 처리될 경우, LE와 RE 영상 내의 오브젝트의 하나이자 같은 요소 사이의 거리가 픽셀 단위로 측정된다. 부피가 있는 장면이 두 개의 비디오 카메라의 스테레오스코픽 장치를 통해 촬영될 때, 그리고 두 개의 평평한 (또는 2D의) 디지털 픽셀 평면으로 변환될 때, 공간 정보는 LE와 RE 영상 내의 두 오브젝트 인스턴스 사이의 다양한 위치 이동에 의해서 전달된다. 오브젝트 이동이 더 클수록 더 증가한 안구 교차를 요구하며 이 오브젝트는 시청자에게 가까워 보이는 반면, 두 오브젝트 인스턴스 간의 더 작은 이동은 보다 먼 장면 요소의 느낌을 전달할 것이다.
하나의 눈 이미지의 평행 이동은 오브젝트 인스턴스간 거리를 모든 오브젝트에 대해 하나의 같은 절대 픽셀양 만큼 변화시킨다. 10에서 70픽셀 사이의 평행 이동이 양 방향에 대해 허용가능하다는 점이 연구에 의해 발견되었다. 즉, 예컨대, 오브젝트는 왼쪽에서 오른쪽 방향으로 또는 오른쪽에서 왼쪽 방향으로 이동하고 있을 수 있으며 따라서 모션 블러는 오브젝트와 같이 이동하고 있다 (모션 블러는 일반적으로 오브젝트 뒤에 있다). 평행 이동은, 따라서, 오브젝트의 움직임의 방향에 따라서 양 방향 모두일 수 있다. 차이를 만드는 것은 상대적 픽셀 양이다. 평행 이동은 수정된 깊이 위치에 적용된다. 도2는 이 현상을 보여준다, 즉 시청자에게 초기에 더 가깝게 보였던 오브젝트가 이제 뚜렷한 스테레오스코픽 효과의 목적을 위하여 LE 영상이 오른쪽으로 움직인 후 보다 더 가까워진다. 도 2에서 오브젝트 O1이 오른쪽으로 움직였고 오브젝트 O1, O2와 O3 사이의 같은 상대 거리를 유지하면서 오브젝트 O2와 O3dl 또한 오른쪽으로 움직였다. 초기에 약간 멀리 보인 그러나 여전히 음의 수렴 공간에 있는 오브젝트는, 첫 번째 오브젝트보다 덜 두드러진 효과를 보임에도 불구하고, 이제 시청자에게 약간 더 가까워진다. 영상 이동은 프레임 버퍼, 또는 프레임 저장공간, 또는 색채 수정기 내에서 행해진다.
후제작 설비에 있는 색채 수정기 내에서 추론된 수렴 이동은 다음과 같이 표시된다:
CorrConv → 수정된 수렴을 나타냄
픽셀 단위로 측정된 이동의 값은 평행 이동으로 인하여 화상 안의 모든 오브젝트에 대해 상수이다. 그와 초기 수렴 분포장의 합은 가상 3D공간 내에서 요망되는 제어 효과를 불러일으킨다.
최적 모션 블러를 계산하기 위한 변수들을 위와 같이 정의하면, 그 함수는:
모션 블러 = F(초기 수렴, 수정된 수렴, 프레임간 오브젝트 변위)
또는 K1, K2, K3이 함수의 계수일 때,
모션 블러 = F(K1.InConv, K2.CorrConv, K3.(IF Disp))
이다. 모션 블러는 영상 프레임 내의 모든 픽셀에 대해 정의되며, LE 와 RE 화상에 대해 같다. 모션 블러는 초기값과 비교하여 크거나 작을 수 있다. 보통 작은 양의 모션 블러는 HVS에 의한 인식에 차이를 가져온다.
프레임간 변위 IF Disp 는 두 개의 연속된 비디오 프레임 내의 장면 오브젝트의 위치 사이의, 픽셀 단위로 측정된, 거리로 정의된다. 이는 LE 영상 시퀀스 내와 RE 영상 시퀀스 내의 오브젝트들에 대해 분리하여 측정되어야 한다. 가장 단순한 경우 IF Disp는 양 눈의 영상 시퀀스에 대해 같다.
위에서 정의된 모션 블러 함수 안의 초기 수렴 InConv은 다음과 같이 정의된다:
1) LE-RE 카메라의 축간 분리도에 의해서, 또는 두 카메라의 렌즈 사이의 거리(보통 인간의 두 눈 사이의 동공간 거리이기도 한 65mm이다)에 의해서.
2) 비디오 도메인에서, 오브젝트의 LE 영상과 RE 영상 사이의 펙셀 거리로 측정된 장면 내의 오브젝트의 깊이 위치에 의해서. 이 값은 수 픽셀에서 수백 픽셀이 될 수 있다. 카메라 촬영 도중 (깊이 맵 생성기에 의해 결정되는) 오브젝트 깊이 위치는 프레임 내의 오브젝트의 LE 영상과 RE 영상 사이의 픽셀 거리를 측정함으로써 결정될 수 있다. 1)과 2)의 값은 본 발명의 방법과 그에 상응하는 장치에 입력된다.
수정된 수렴 CorrConv 값은 후제작 작업흐름에서 S3D 색상 수정기에 의해 더해지며 오퍼레이터에 의해 수동으로 제어된다. 이는 InConv로부터 수 픽셀에서 수백 픽셀을 더하거나 빼는 범위인 창작적 범위 내에서의 초기 수렴의 변경이다. 오퍼레이터가 LE-RE 수렴의 값을 변경할 때, 이 값이 메뉴 모니터에 디스플레이 될 수 있고 본 발명의 처리에 들어갈 수 있다.
모션 블러 함수는 원본 장면 모션 블러의 양에 대한 가산기 또는 감산기이다. 이 함수는 본 발명의 요체이고, InConv, CorrConv, 그리고 K1, K2, K3계수에 의해 가중치가 주어지는 IF Disp로부터 데이터를 얻으며 장면 흐려짐의 양을 더하거나 뺀다. 예컨대, 이 계수들은 숫자일 수 있고, 따라서 모션 블러 함수가 그 세 변수에 대하여 선형 함수일 수 있다. 공칭값으로는, K1, K2와 K3는 모두 0.9에서 1.1사이의 범위에 있으며 서로 같거나 같지 않을 수 있다.
본 발명은 장면 오브젝트의 속도를 그 S3D 변위와 함께 분석하며, 양자 모두에 대해 계수 기반 함수 처리를 사용하여, 동적 장면의 더 깨끗하고 매끈한 재생을 위한 최적화된 모션 블러를 제공한다. 본 발명은 시청자에게 더 가깝게 보이는 느린 속도의 오브젝트에 모션 블러를 줄이며, 관객에게 더 가깝게 보이는 빠른 속도의 오브젝트에 대해서는 움직힘 흐려짐을 약간 증가시킨다. 이 방법은 장면 오브젝트, 오브젝트 속도, 그리고 S3D 수렴에 적용할 수 있다.
도 3은 시청자 눈에 대한 거리에 의존하는, 빠르게 움직이는 오브젝트를 위한 모션 블러의 양을 도시한다. 수평선의 길이는 모션 블러에 있어서의 조정을 나타낸다. 가장 위의 오브젝트에서, 모션 블러는 감소한다. 3D오브젝트의 속도는 중간(공칭, 임계치) 속도보다 낮다는 것이 발견되었고 따라서 모션 블러는 감소되었다. 중간 오브젝트에서, 3D 오브젝트의 속도는 중간(공칭, 임계치) 속도와 같거나 그에 가깝다는 것이 발견되었고 따라서 모션 블러에는 변화가 없다. 가장 아래의 오브젝트에서 3D오브젝트의 속도는 중간(공칭, 임계치) 속도보다 크다는 것이 발견되었고 따라서 모션 블러는 증가되었다.
도 4는 오브젝트 속도와 변경된 모션 블러의 양 사이의 비선형적 관계를, 본 발명의 방법에 대하여 도시한다.
도 5는 오브젝트가 관객으로부터 하나의 같은 거리에 놓여졌을 때, 오브젝트 속도에 따른 모션 블러의 양을 표시한다. 더 느린 속도의 3D 오브젝트는 가장 위의 오브젝트에 대해 도시된 것처럼 더 적은 모션 블러를 요구한다. 빠른 속도의 3D 오브젝트는 중간 오브젝트에 대해 도시된 것처럼 더 많은 모션 블러를 요구한다. 중간 속도의 3D 오브젝트(중간 (공칭, 임계치)속도와 같거나 가까운)는 가장 아래의 오브젝트에 대해 도시된 것처럼 그 모션 블러에 변화를 요구하지 않는다.
도 6은 상기 개시에 부합하여 실행된 본 발명의 예시적인 방법의 흐름도를 도시한다. 단계(605)에서 비디오 프레임이 프레임 쌍의 일부로서 수신된다(입력). 단계(610)에서 입력(데이터)가 왼쪽 눈 영상인지를 결정하는 검사가 수행된다. 만일 입력이 왼쪽 눈 영상이면 단계(615)에서 왼쪽 눈 영상 입력이 버퍼에 저장된다. 여기서 사용된 대로 버퍼는 어떤 저장 장치나 수단도 가능하다. 단계(620)에서 오브젝트의 프레임간 변위가 연속되는 LE 영상의 프레임 쌍 사이에서 결정된다. 만일 입력이 왼쪽 눈 영상이 아니라면 그것은 오른쪽 눈 영상임이 분명하므로 단계(625)에서 오른쪽 눈 영상이 버퍼에 저장된다. 여기서 사용된 것처럼 버퍼는 어떤 저장 장치나 수단도 가능하다. 단계(630)에서 오브젝트의 프레임간 변위가 연속되는 RE 영상의 프레임 쌍 사이에서 결정된다. 단계(635)에서 모든 비디오 프레임 쌍에 대한 초기 LE-RE 수렴이 결정된다. 오브젝트의 이동 방형에 따라서 어떤 방향으로건 5 내지 100 픽셀의 픽셀 이동이 있다. 단계(640)에서 수정된 수렴이 결정된다. 이는 수평 방향을 따라 10 내지 70픽셀의 평행 이동이다. 단계(645)에서 모션 블러가 프레임간 변위, 초기 수렴 및 가중치가 매겨진 값을 증가시키거나 감소시킴으로써 수정된 수렴의 함수로서 결정된다. 결과는 오브젝트 당 필요한 모션 블러를 결정한다. 단계(650)에서 마지막 프레임인지 여부를 결정하는 검사가 수행된다. 만일 프레임이 마지막 프레임이 아니라면 처리는 단계(605)에서 계속된다.
도 7은 후제작 환경에서 가장 잘 실행될 수 있는, 본 발명의 예시적인 실시의 블록도이다. 발명은 현존하는 후제작 장비의 부가 유닛으로 실행되거나 또는 후제작 과정에 삽입되는 분리된 유닛으로 실행될 수도 있다. 본 발명의 장치는 도 7에 설명된 것 보다 더 많거나 적은 모듈을 포함할 수 있다. 도 7의 모듈들은 본 발명의 방법의 기능들에 대응한다. 입력은 장치로 수신되며 버퍼에 저장된다. 왼쪽 눈과 오른쪽 눈 영상 사이의 데이터의 분리 또는 두 개의 버퍼가 바람직하지만 하나 또는 두 개의 버퍼가 있을 수 있다. 데이터의 저장은 선택사항일 수 있다. 프레임간 변위가 연속되는 LE 영상 프레임들에 대해 장치의 위쪽에 있는 미분기(differentiator)에 의해 결정된다. 프레임간 변위가 연속되는 RE 영상 프레임들에 대해 장치의 아래쪽에 있는 미분기에 의해 결정된다. 초기 수렴이 깊이 맵 생성기에 의해 결정되며 LE와 RE 영상 데이터 모두를 사용한다. 수정된 수렴은 수렴 수정기에 의하여 오퍼레이터 입력을 사용하여 결정된다. 그리고 나서 모션 블러가 모션 블러 계산기에 의해 (오브젝트를 모션 블러에 대해 조정하는) 비디오 프레임을 출력으로 하여 결정된다.
본 발명은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합의 다양한 형태로 구현될 수 있음이 이해되어야 한다. 바람직하게는, 본 발명은 하드웨어와 소프트웨어의 조합으로 구현된다. 그에 더하여, 소프트웨어는 바람직하게는 프로그램 저장 장치에 유형적으로 수록된 응용 프로그램으로서 구현된다. 응용 프로그램은 어떠한 적절한 아키텍처를 포함하는 기계에도 업로드되고, 그에 의해서 수행될 수 있다. 바람직하게는, 기계는 하나 또는 그 이상의 중앙처리장치(CPU), 램(RAM), 입출력(I/O) 인터페이스와 같은 하드웨어를 가지는 컴퓨터 플랫폼 위에 구현된다. 컴퓨터 플랫폼은 또한 운영체제와 마이크로인스트럭션 코드를 포함한다. 여기서 기술된 다양한 과정과 함수는 마이크로인스트럭션 코드의 일부이거나 운영체제를 통해 실행되는 응용프로그램의(또는 이들의 조합의) 일부이거나 할 수 있다. 이에 더하여, 부가적인 데이터 저장 장치나 인쇄 장치와 같은 다양한 다른 주변 장치들이 컴퓨터 플랫폼에 연결될 수 있다.
수반하는 도면에 도시된 구성하는 시스템 구성부분과 방법의 단계의 일부가 바람직하게는 소프트웨어로 구현되기 때문에, 시스템 구성부(또는 과정의 단계) 사이의 실질적인 연결은 본 발명이 프로그램되는 양상에 따라 다를 수 있음이 더욱 이해되어야 한다. 여기서의 교시를 받으면, 당업자는 이러한 그리고 유사한 본 발명의 구현 또는 설정을 고안할 수 있다.
Claims (18)
- 모션 블러(motion blur)를 조정하는 방법으로서,
왼쪽 눈 영상 프레임 쌍(image frame pair)의 각 오브젝트에 대해 프레임간 오브젝트 변위(inter-frame object displacement)를 결정하는 제1결정 단계;
오른쪽 눈 영상 프레임 쌍의 각 오브젝트에 대해 프레임간 오브젝트 변위를 결정하는 제2결정 단계;
상기 왼쪽 눈 영상 프레임 쌍과 오른쪽 눈 영상 프레임 쌍의 각 오브젝트 사이의 수렴 이동장(convergence shifting field)을 결정하는 제3결정 단계;
상기 왼쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위, 상기 오른쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위, 및 상기 왼쪽 눈 영상 프레임 쌍과 상기 오른쪽 눈 영상 프레임 쌍 내의 각 오브젝트 사이의 상기 수렴 이동장에 대응하여 모션 블러의 양을 결정하는 제4결정 단계; 및
상기 모션 블러를 상기 모션 블러의 양에 의해 조정하는 단계를 포함하는 방법. - 제1항에 있어서,
왼쪽 눈 영상 데이터를 수신하는 단계; 및
오른쪽 눈 영상 데이터를 수신하는 단계를 더 포함하는 방법. - 제1항에 있어서, 상기 제3결정 단계는,
초기 수렴을 결정하는 단계; 및
수정된 수렴을 결정하는 단계를 더 포함하는 것인 방법. - 제3항에 있어서, 상기 초기 수렴은 상기 각 오브젝트의 초기 깊이 위치(depth position)의 픽셀 이동을 더 포함하는 것인 방법.
- 제3항에 있어서, 상기 수정된 수렴은 상기 각 오브젝트의 수정된 깊이 위치의 평행 이동을 더 포함하는 것인 방법.
- 제3항에 있어서, 상기 제4결정 단계는 상기 왼쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위, 상기 오른쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위 및 상기 초기 수렴과 상기 수정된 수렴의 각각에 가중치를 주는 것이고 상기 가중치는 0.9에서 1.1 사이의 범위에 있는 것인 방법.
- 제1항에 있어서, 상기 모션 블러의 양은 각 오브젝트의 속도값 및 그 수렴과 더 상관관계가 있되, 상기 속도값은 주어진 수렴 값에 대하여 상기 왼쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위와, 상기 오른쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위에 의해 결정되는 것이며, 그에 더하여 만약 상기 속도값이 임계치 속도보다 느리다면 상기 모션 블러의 양이 그에 대응하여 감소하고, 만약 상기 속도값이 상기 임계치 속도보다 빠르다면 상기 모션 블러의 양이 그에 대응하여 증가하고, 만약 상기 속도값이 상기 임계치 속도에 가깝다면 상기 모션 블러의 양이 변화하지 않고 유지되는 것인 방법.
- 제3항에 있어서, 상기 수정된 수렴은 사용자 입력을 수신하는 것인 방법.
- 제1항에 있어서, 상기 모션 블러의 양은 각 오브젝트의 속도값 및 그 수렴과 더 상관관계가 있되, 상기 속도값은 주어진 수렴값에 대하여 상기 왼쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위와, 상기 오른쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위에 의해 결정되는 것이며, 그에 더하여 만약 상기 수렴값이 임계치 수렴보다 크다면 상기 모션 블러의 양이 그에 맞추어 증가하고, 만약 상기 수렴값이 임계치 수렴보다 작다면 상기 모션 블러의 양이 그에 맞추어 감소하고, 만약 상기 수렴값이 임계치 수렴에 가깝다면 상기 모션 블러의 양이 변화하지 않고 유지되는 것인 방법.
- 모션 블러를 조정하는 장치로서,
왼쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대해 프레임간 오브젝트 변위를 결정하는 제1미분기;
오른쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대해 프레임간 오브젝트 변위를 결정하는 제2미분기;
상기 왼쪽 눈 영상과 상기 오른쪽 눈 영상 쌍 내의 각 오브젝트 사이의 수렴 이동장을 결정하는 수렴 수정기; 및
상기 왼쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위, 상기 오른쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위, 및 상기 왼쪽 눈 영상 프레임 쌍과 상기 오른쪽 눈 영상 프레임 쌍 내의 각 오브젝트 사이의 상기 수렴 이동장에 대응하여 모션 블러의 양을 결정하는 모션 블러 계산기를 포함하되,
상기 모션 블러 계산기는 상기 모션 블러를 상기 모션 블러의 양에 의해 조정하는 것인 장치. - 제10항에 있어서,
왼쪽 눈 영상 데이터를 수신하는 수단; 및
오른쪽 눈 영상 데이터를 수신하는 수단을 더 포함하는 장치. - 제10항에 있어서, 상기 수렴 수정기는,
초기 수렴을 결정하는 수단; 및
수정된 수렴을 결정하는 수단을 더 포함하는 것인 장치. - 제12항에 있어서, 상기 초기 수렴은 상기 오브젝트 각각의 초기 깊이 위치의 픽셀 이동을 위한 수단을 더 포함하는 것인 장치.
- 제12항에 있어서, 상기 수정된 수렴은 상기 오브젝트 각각의 수정된 깊이 위치의 평행 이동을 위한 수단을 더 포함하는 것인 장치.
- 제12항에 있어서, 상기 모션 블러 계산기는 상기 왼쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위, 상기 오른쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위, 및 상기 초기 수렴과 상기 수정된 수렴의 각각에 대해 가중치를 결정하며, 상기 가중치는 0.9에서 1.1 사이의 범위인 것인 장치.
- 제10항에 있어서, 상기 모션 블러의 양은 각 오브젝트의 속도값 및 그 수렴과 더욱 상관관계가 있되, 상기 속도값은 주어진 수렴값에 대하여 상기 왼쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위와, 상기 오른쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위에 의해 결정되는 것이며, 그에 더하여 만약 상기 속도값이 임계 속도보다 낮으면 상기 모션 블러의 양이 이에 대응하여 감소하고, 만약 상기 속도값이 상기 임계 속도보다 높으면 상기 모션 블러의 양이 이에 대응하여 증가하고, 만약 상기 속도값이 상기 임계 속도에 가까우면 상기 모션 블러의 양이 변화하지 않고 유지되는 것인 장치.
- 제12항에 있어서, 상기 수정된 수렴은 사용자 입력을 수신하는 수단을 더 포함하는 것인 장치.
- 제10항에 있어서, 상기 모션 블러의 양은 각 오브젝트의 속도값 및 그 수렴과 더 상관관계가 있되, 상기 속도값은 주어진 수렴값에 대하여 상기 왼쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위와, 상기 오른쪽 눈 영상 프레임 쌍 내의 각 오브젝트에 대한 상기 프레임간 오브젝트 변위에 의해 결정되는 것이며, 그에 더하여 만약 상기 수렴값이 임계치 수렴보다 크면 상기 모션 블러의 양이 이에 대응하여 증가하고, 만약 상기 수렴값이 임계치 수렴보다 작으면 상기 모션 블러의 양이 이에 대응하여 감소하고, 만약 상기 수렴값이 임계치 수렴에 가까우면 상기 모션 블러의 양이 변화하지 않고 유지되는 것인 장치.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/IB2009/007858 WO2011077177A1 (en) | 2009-12-22 | 2009-12-22 | Method and apparatus for optimal motion reproduction in stereoscopic digital cinema |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120106829A KR20120106829A (ko) | 2012-09-26 |
| KR101630444B1 true KR101630444B1 (ko) | 2016-06-14 |
Family
ID=42126476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020127018953A KR101630444B1 (ko) | 2009-12-22 | 2009-12-22 | 스테레오스코픽 디지털 영화에서의 최적화된 모션 재생을 위한 방법과 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9030525B2 (ko) |
| EP (1) | EP2517472B1 (ko) |
| JP (1) | JP5429911B2 (ko) |
| KR (1) | KR101630444B1 (ko) |
| CN (1) | CN102668572B (ko) |
| CA (1) | CA2783588C (ko) |
| WO (1) | WO2011077177A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013046082A (ja) * | 2011-08-22 | 2013-03-04 | Sony Corp | 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム |
| US9286658B2 (en) * | 2012-03-22 | 2016-03-15 | Qualcomm Incorporated | Image enhancement |
| DE102013204935A1 (de) * | 2013-03-20 | 2014-09-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts |
| JP6318547B2 (ja) * | 2013-10-28 | 2018-05-09 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
| US9704272B2 (en) | 2014-11-21 | 2017-07-11 | Microsoft Technology Licensing, Llc | Motion blur using cached texture space blur |
| US9684970B2 (en) | 2015-02-27 | 2017-06-20 | Qualcomm Incorporated | Fast adaptive estimation of motion blur for coherent rendering |
| KR101801749B1 (ko) | 2016-08-24 | 2017-11-28 | 한국과학기술연구원 | 3차원 복원을 위한 다중시점 영상 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080309884A1 (en) | 2005-04-26 | 2008-12-18 | O'dor Matthew | Electronic Projection Systems and Methods |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4067138B2 (ja) * | 1994-06-07 | 2008-03-26 | 株式会社セガ | ゲーム装置 |
| US5619293A (en) * | 1994-06-16 | 1997-04-08 | Nikon Corporation | Image blur suppression device of a camera which aligns an image blur suppression lens and actuator based on anticipated sag of supporting members |
| JP3802653B2 (ja) * | 1997-05-21 | 2006-07-26 | オリンパス株式会社 | 立体画像表示装置 |
| US7495664B2 (en) * | 2000-06-19 | 2009-02-24 | Mental Images Gmbh | Instant ray tracing |
| AUPQ887100A0 (en) * | 2000-07-19 | 2000-08-10 | Dynamic Digital Depth Research Pty Ltd | Image processing and encoding techniques |
| US8134613B2 (en) * | 2001-04-10 | 2012-03-13 | Sony Corporation | Image processing apparatus and method, and image pickup apparatus |
| US8401336B2 (en) * | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
| JP4596216B2 (ja) * | 2001-06-20 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596227B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| JP4729812B2 (ja) * | 2001-06-27 | 2011-07-20 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2004207780A (ja) | 2002-12-20 | 2004-07-22 | Namco Ltd | 写真撮影装置 |
| US7119816B2 (en) * | 2003-03-31 | 2006-10-10 | Microsoft Corp. | System and method for whiteboard scanning to obtain a high resolution image |
| US7620218B2 (en) * | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
| US8682097B2 (en) * | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
| US8593542B2 (en) * | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
| US8896725B2 (en) * | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
| JP2005229280A (ja) | 2004-02-12 | 2005-08-25 | Fuji Photo Film Co Ltd | 画像処理装置および方法並びにプログラム |
| CN101297545B (zh) * | 2005-10-28 | 2012-05-02 | 株式会社尼康 | 摄影装置、图像处理装置 |
| TWI345193B (en) * | 2006-06-15 | 2011-07-11 | Chimei Innolux Corp | Eye tracking compensated method and device thereof and hold-type display |
| US7840046B2 (en) * | 2006-06-27 | 2010-11-23 | Siemens Medical Solutions Usa, Inc. | System and method for detection of breast masses and calcifications using the tomosynthesis projection and reconstructed images |
| KR20080037955A (ko) * | 2006-10-27 | 2008-05-02 | 삼성전자주식회사 | 영상처리장치와 그 제어방법 |
| CN101021948A (zh) | 2007-03-14 | 2007-08-22 | 华南理工大学 | 人体对称性运动图像中关节的自动识别装置及方法 |
| WO2008140656A2 (en) * | 2007-04-03 | 2008-11-20 | Gary Demos | Flowfield motion compensation for video compression |
| KR100866230B1 (ko) * | 2007-04-12 | 2008-10-30 | 삼성전자주식회사 | 파노라마 사진 촬영 방법 |
| US8300086B2 (en) * | 2007-12-20 | 2012-10-30 | Nokia Corporation | Image processing for supporting a stereoscopic presentation |
| US9094675B2 (en) * | 2008-02-29 | 2015-07-28 | Disney Enterprises Inc. | Processing image data from multiple cameras for motion pictures |
| GB0807953D0 (en) * | 2008-05-01 | 2008-06-11 | Ying Ind Ltd | Improvements in motion pictures |
| GB0809631D0 (en) * | 2008-05-28 | 2008-07-02 | Mirriad Ltd | Zonesense |
| US8385971B2 (en) * | 2008-08-19 | 2013-02-26 | Digimarc Corporation | Methods and systems for content processing |
| JP5389049B2 (ja) * | 2008-12-16 | 2014-01-15 | パナソニック株式会社 | 撮像装置、半導体集積回路、および動きベクトル判定方法 |
-
2009
- 2009-12-22 EP EP09808954.3A patent/EP2517472B1/en not_active Not-in-force
- 2009-12-22 US US13/517,061 patent/US9030525B2/en not_active Expired - Fee Related
- 2009-12-22 CN CN200980163174.7A patent/CN102668572B/zh not_active Expired - Fee Related
- 2009-12-22 JP JP2012545456A patent/JP5429911B2/ja not_active Expired - Fee Related
- 2009-12-22 KR KR1020127018953A patent/KR101630444B1/ko active IP Right Grant
- 2009-12-22 WO PCT/IB2009/007858 patent/WO2011077177A1/en active Application Filing
- 2009-12-22 CA CA2783588A patent/CA2783588C/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080309884A1 (en) | 2005-04-26 | 2008-12-18 | O'dor Matthew | Electronic Projection Systems and Methods |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102668572A (zh) | 2012-09-12 |
| EP2517472A1 (en) | 2012-10-31 |
| CN102668572B (zh) | 2015-04-29 |
| KR20120106829A (ko) | 2012-09-26 |
| WO2011077177A1 (en) | 2011-06-30 |
| JP2013515422A (ja) | 2013-05-02 |
| CA2783588A1 (en) | 2011-06-30 |
| EP2517472B1 (en) | 2018-05-16 |
| US20120300025A1 (en) | 2012-11-29 |
| CA2783588C (en) | 2017-06-13 |
| US9030525B2 (en) | 2015-05-12 |
| WO2011077177A8 (en) | 2012-06-21 |
| JP5429911B2 (ja) | 2014-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2724542B1 (en) | Method and apparatus for generating a signal for a display | |
| US9445072B2 (en) | Synthesizing views based on image domain warping | |
| US8441520B2 (en) | Primary and auxiliary image capture devcies for image processing and related methods | |
| KR101630444B1 (ko) | 스테레오스코픽 디지털 영화에서의 최적화된 모션 재생을 위한 방법과 장치 | |
| US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
| US10095953B2 (en) | Depth modification for display applications | |
| US8633968B2 (en) | Three-dimensional recording and display system using near- and distal-focused images | |
| TW201921920A (zh) | 用於產生影像之設備及方法 | |
| JP6148154B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2014042238A (ja) | ３ｄビジュアルコンテントのデプスベースイメージスケーリング用の装置及び方法 | |
| US20120127265A1 (en) | Apparatus and method for stereoscopic effect adjustment on video display | |
| Tseng et al. | Automatically optimizing stereo camera system based on 3D cinematography principles | |
| JP5566196B2 (ja) | 画像処理装置及びその制御方法 | |
| Lin et al. | A stereoscopic video conversion scheme based on spatio-temporal analysis of MPEG videos | |
| US20230156171A1 (en) | A method for providing a holographic experience from a 3d movie | |
| KR102053943B1 (ko) | 3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치 | |
| JP2014175739A (ja) | 動画処理装置 | |
| Mangiat | High Dynamic Range and 3D Video Communications for Handheld Devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |