KR20130091245A - 3차원(3d) 표시에 있어서 플로팅 윈도우를 사용하는 방법과 시스템 - Google Patents

Abstract

입체 영상을 표시하는 방법과 시스템이 기술되며, 여기서 입체 영상을 디스플레이하는 도중 입체 쌍 중 적어도 하나의 입체 이미지의 일부가 차단된다. 차단된 일부는 영상의 수직 에지에 가까운 또는 영상을 디스플레이하기 위한 영역의 수직 에지에 가까운 영상의 지역과 결부된 최소의 디스패리티의 크기와 적어도 같은 너비를 가진다. 컨텐츠 디스플레이 중 영상의 일부를 차단함으로써, 영상의 또는 디스플레이 영역의 에지에 근소에서 깊이 큐 상충을 피할 수 있다.

Description

3차원(3D) 표시에 있어서 플로팅 윈도우를 사용하는 방법과 시스템{METHOD AND SYSTEM OF USING FLOATING WINDOW IN THREE-DIMENSIONAL (3D) PRESENTATION}

관련 출원에 대한 상호 참조

본 특허 출원은 2010년 4월 1일 출원된 미국 특허 가출원 제 61/319972호(발명의 명칭: "Floating Window Compensation for Three-Dimensional(3D) Presentation")의 우선권을 주장한다. 이 특허 가출원의 교시는 참조로써 그 전체가 본 명세서에 명시적으로 포함된다.

기술분야

본 발명은 입체 표시에 사용하기 위해 영상을 준비하는 것에 관련된 것이다.

입체 3차원(3D) 표시에서는, 영화와 정지 화상 모두에서, 스크린 또는 화상의 전방에 보이는 것으로 예상되는 물체가 우안 또는 좌안 에지와 접하는 경우, 우안 그리고/또는 좌안 영상을 그에 대응하는 우안 또는 좌안 에지에서 크로핑(crop)하는 것이 통상적인 실무이다. 이러한 실무는, 물체를 보여주는데 있어서 깊이 상충(depth conflict)을 피하고자 의도된 것이며, 보통 플로팅 윈도우(floating window) 또는 플로팅 에지(floating egde)라 불리며, 수동으로 설정된다.

그러나, 극장 환경에서 실제 상영될 때, 스크린의 양 측면을 가리는 것은 플로팅 에지가 디스플레이될 지역에 지장을 주거나 이 지역을 마스킹할 수 있으며, 따라서 플로팅 에지를 더하는 목적을 형해화할 수 있다. 이 같은 상황은 만일 모니터가 원본 영상 컨텐츠의 전체 레스터보다 적은 영상을 디스플레이하는 경우에도, 3D 비디오 디스플레이에서 일어날 수 있다.

디스플레이 환경 또는 장비에서 플로팅 에지의 복구는 플로팅 에지가 컨텐츠의 전경 요소에 지장을 주지 않도록 밑에 깔린 영상을 고려하여야만 한다. 그러나, 극장 환경에서나 개인용 3D 비디오 디스플레이를 위해서는, 전문적으로 설정된 플로팅 윈도우 조정이 실용적이지 않으며, 이러한 상황은 자동 플로팅 에지 (또는 플로팅 윈도우) 생성 및/또는 조정을 요구한다.

본 발명의 실시예는 입체 쌍의 적어도 한 입체 영상의 일부가 입체 영상을 디스플레이하는 도중 차단되는, 입체 표시를 위한 방법과 시스템을 제공한다. 영상의 지역과 결부된 최소 디스패리티(disparity)에 기반한 너비를 가진 차단된 부분을 제공함으로써, 영상 또는 디스플레이 영역의 에지 부근에서 겉보기 깊이 상충을 피할 수 있다.

일 실시예는 제1입체 영상의 영역과 결부된 최소 디스패리티를 획득하는 단계, 최소 디스패리티에 부합하여 상기 영역과 근접한 제1입체 영상의 일부를 획하는 단계, 획정된 일부를 디스플레이되는 것으로부터 차단하면서 제1입체 영상을 디스플레이하는 단계를 포함하는 방법을 제공한다.

다른 실시예는 영상 디스플레이 영역의 에지에 인접한 입체 영상의 지역 내의 물체의 겉보기 깊이를 결정하는 단계, 및 입체 영상의 일부를 디스플레이되는 것으로부터 차단하되, 상기 일부는 물체의 겉보기 깊이에 기반하여 선택된 너비를 가지는 것인 단계를 포함하는 방법을 제공한다.

또 다른 실시예는 제1입체 영상의 지역과 결부된 최소 디스플레이를 결정하고, 최소 디스패리티에 부합하여 지역에 인접한 제1입체 영상의 일부를 획정하며, 제1입체 영상의 디스플레이 중 획정된 일부를 차단하기 위해 설정된 적어도 하나의 프로세서를 포함하는 시스템을 제공한다.

본 발명의 교시는 첨부된 도면과 함께 이하 상세한 설명을 고려함으로써 쉽게 이해될 수 있다.
도 1은 상영되는 장면의 일례를 도시한 도면;
도 2는 도 1의 장면 내의 3D 쇼트(shot) 또는 구성의 좌안 뷰를 도시한 도면;
도 3은 도 1의 장면 내의 3D 쇼트 또는 구성의 우안 뷰를 도시한 도면;
도 4는 도 2-3의 좌안 및 우안 영상을 겹침으로서 형성된 입체 영상 뷰를 도시한 도면;
도 5는 입체 영상으로부터 인식된 3D의 가상적인 뷰를 도시한 도면;
도 6은 시각적 깊이 상충을 도시하는 가상적 뷰를 도시한 도면;
도 7은 플로팅 에지가 도입된 입체 영상 쌍를 도시한 도면;
도 8은 플로팅 에지가 어떻게 시각적 깊이 상충을 해소하는지 도시하는 가상적 뷰를 도시한 도면;
도 9는 플로팅 에지의 무효화를 초래하는, 엄폐되는 입체 영상의 일부를 도시한 도면;
도 10은 도 9의 엄폐된 지역에 인접하여 복구된 플로팅 에지를 도시한 도면;
도 11은 복구된 플로팅 에지가 어떻게 도 9의 엄폐된 지역에 의해 초래된 시각적 깊이 상충을 해소하는지를 도시하는 가상적 뷰를 도시한 도면;
도 12는 플로팅 에지의 필요성을 제거하는 엄폐된 지역을 가지는 입체 영상를 도시한 도면;
도 13은 플로팅 에지가 제거된 도 12의 입체 영상를 도시한 도면;
도 14는 플로팅 에지의 자동 위치설정의 다른 실시예에 대한 흐름도;
도 15는 플로팅 에지의 자동 조정의 다른 실시예에 대한 흐름도;
도 16은 플로팅 에지의 자동 조정의 다른 실시예에 대한 흐름도;
도 17은 본 발명의 방법을 구현하기 위한 시스템의 일 실시예를 도시한 도면.
이해를 돕기 위하여, 가능한 곳에서는, 도면들 간에서 공통된 동일한 요소를 지칭하는 데에, 동일한 참조 번호가 사용되었다.

본 발명의 실시예에 따라, 스크린 앞에 나타나도록 의도된 에지에 가까운 물체가 스크린 에지의 실제 위치에 의하여 스크린 표면의 뒤에 고정되는 효과를 해소하기 위해 컨텐츠의 상영 도중 플로팅 윈도우 또는 마스크가 동적으로 적용될 수 있는 3D 상영이 (디지털 영화인지 또는 비디오인지 상관 없이) 구현된다. 예컨대, 플로팅 에지의 정보를 제공하기 위해 메타데이터를 사용하는 모드, 플로팅 에지를 실시간에 동적으로 렌더링하거나 입체 영상 내에 미리 기록하게 하는 모드, 및 서로 다른 특성 또는 치수를 가지는 플로팅 에지를 제공하는 모드를 포함하는, 플로팅 윈도우 또는 플로팅 에지의 몇 가지 모드가 선택될 수 있다.

미리 기록된 플로팅 에지를 가지는 컨텐츠의 2D 보기가 시청자의 주의를 빼앗는 임의의 에지의 파동(undulation)을 야기할 수 있는 반면에, 실시간으로 플로팅 에지를 렌더링하는 것은 컨텐츠가 한쪽 눈 영상 뷰만을 사용함으로써 (예컨대, 좌안 영상만을 보여줌) 2D로 보여질 수 있기 때문에 미리 기록하는 접근방법에 비해 이점이 있다.

본 발명에서, "플로팅 윈도우" 및 "플로팅 에지"라는 용어는 대응한 좌측 및/또는 우측 에지에서 입체 쌍의 좌안 및/또는 우안 영상의 크로핑을 기술하는데 사용된다. 이러한 크로핑의 목적은 "전경 물체"가 스크린의 하나 또는 양쪽 측면 (예, 수직) 에지와 겹칠 때(즉, 물체의 영상이 스크린의 측면 에지를 넘어서 뻗어나감) 시청자에게 발생하는 시각심리적 상충을 줄이거나 제거하는 데 있다. 본 논의에서, "전경 물체"라는 용어는 입체 영상 내에서 음의 디스패리티를 가지는 물체, 즉, 스크린과 시청자 사이에 겉보기 깊이 위치를 가져야 하는 물체를 의미한다. 용어 "겉보기 깊이"는 좌안 및 우안 영상 사이의 디스패리티에 의해 야기되는, 스크린에 대한 시청자에 의한 깊이의 인식이다. 디스패리티와 겉보기 깊이는 상호간에 변환될 수 있는 연관된 양이다. 서로 다른 위치의 시청자가 영상의 같은 요소에 대해서 서로 다른 겉보기 깊이를 인식할 것이기 때문에 3D 상영은 보통 겉보기 깊이를 제공하는데 제약이 있다. 시각심리적 상충은 물체의 영상이 보이는 스크린의 에지에 의해 부분적으로 엄폐되기 때문에 일어나며, 보이는 스크린의 에지를 물체 뒤에 실제 깊이 위치를 가진다.

엄폐는 깊이 배열을 하는데 데에 강력한 시각적 단서이다. 시청자에게 더 가까운 물체는 시청자에게 더 먼 물체를 가릴 수 있다. 대부분의 경우, 엄폐는 양안 디스패리티가 그러한 것보다 깊이 배열에 더 강력한 시각적 단서이다. 결과적으로, 영상 내의 물체의 디스패리티가 물체가 전경에 있음을 암시하더라도, 스크린 에지의 단서는 이와 모순되고 우선하여, 물체의 겉보기 위치가 스크린으로 물러서도록 초래할 수 있다. 만일 물러선 전경의 물체 자체가 다른 전경의 물체를 엄폐한다면, 결과는 시각적 깊이 단서 모순의 연속일 수 있다.

이러한 상충의 결과는 입체 상영을 보는 것이 인식된 깊이의 풍부함을 갖춘 컨텐츠를 시청자가 즐기는 직관적인 활동이 되기를 멈추고, 그 대신 다른 물체보다 더 앞에 있는 어떤 물체가 겉보기에 그보다 뒤에 나타나는, 혼동을 불러일으키는 시각적 퍼즐이 된다는 것이다. 이는 시청자의 주의를 이야기되고 있는 줄거리로부터 돌리게 하고, 따라서 컨텐츠로부터 주의를 돌리게 한다.

본 발명은 텔레비전 모니터, 셋톱박스, DVD 플레이어, 비디오 레코더, 개인용 컴퓨터, 비디오 플레이어 또는 스마트폰 상에 있는 것과 같은 휴대용 디스플레이 및 다른 모바일 또는 휴대용 장비를 포함하는, 소비자측 장비뿐 아니라 헤드엔드(head-end) 방송 또는 스트리밍 시스템과 같은, 디지털 영화관 장비 및 비디오 장비에 사용될 수 있다.

본 발명의 실시예는 디스플레이의 시청가능한 영역을 줄이고 디스플레이된 영상 내의 깊이 인식상의 상충과 같은 바람직하지 않은 효과를 야기하는 특정한 디스플레이 환경 또는 장비에 대한 침입을 고려하는 플로팅 에지의 자동 적용 및/또는 조정을 제공한다. 따라서, 주어진 영상 디스플레이 영역 또는 시스템 설정 (예컨대, 마스킹, 영상 크기조정 또는 시스템 관련 사항에 의해 획정된 대로) 본 발명은 미적으로 향상된 디스플레이를 제공하도록 적절한 플로팅 에지가 제 위치에 자동적으로 더해지고 그리고/또는 조정되도록 허용한다. 이에 더하여, 만일 전경의 물체가 침입에 의해 완전히 가려지면, 그 물체와의 깊이 단서 상충을 피하기 위하여 이전에 나타난 어떤 플로팅 에지도 제거되거나 축소될 수 있다.

적절한 입체 디스플레이와 간섭할 수 있는 침입 또는 시스템 설정의 가능한 소스는 많이 있다. 예컨대, 극장에서는, 스크린의 곡률, 영사의 각도, 이상적이지 않은 렌즈 크기나 조정의 결과로 영사기가 스크린의 한도를 넘어 영사되어, 이미지 공간이 실질적으로 줄어들 수 있다. 스크린 마스킹이나 커튼이 영사 스크린의 사용가능한 영역에 침입할 수 있고, 또는 쐐기효과가 일어난(keystoned) 영상을 더 미적인 사각형으로 잘라낼 수 있다.

다른 예에서, 대형 화면 텔레비전과 같은, 가정용 모니터가, 예컨대 컨텐츠의 에지를 디스플레이하는 것을 피하거나 리스케일링 없이 고해상도 컨텐츠를 상영하기 위해 (영상의 부분집합을 전체 스크린에 디스플레이하기 위하여) 영상을 오버스캔할 수 있다. 어떤 모드에서는, 개별 모니터가 모니터 자체와 다른 화면비율을 가지는 화상을 확장시킬 수 있는데, 예컨대 만일 화면비 16:9의 HD(고해상도) 모니터가 화면비 4:3의 SD(표준 해상도) 프로그램을 수신하면, 영상의 특정 일부가 잘려나가는 결과를 야기한다. 이러한 플로팅 에지의 적절한 적용에의 간섭 또는 방해는 본 발명의 실시예에 따라 플로팅 에지의 위치를 조정함으로써 회피될 수 있다. 이에 더하여, 영상이 오버스캔되지 않더라도 플로팅 에지의 본 발명에 따른 사용이 여전히 바람직한 (예, 영상이 수평방향만으로 늘어나거나 확장되거나, 수직방향 늘어남이 모니터 높이를 초과하지 않는) 특정한 상황이 있다.

플로팅 에지는 입체 영상 쌍의 대응하는 좌안 또는 우안 영상의, 꼭대기에서 바닥까지 좌측 또는 우측 수직 에지 전체에 걸치는 사각형 박스로 특정될 수 있다. 사각형은 영상 자장자리에서, 예를 들어 측면 마스킹에 의해 잘려나가는 가장 앞의 전경 물체의 디스패리티의 크기만큼 적어도 넓어야 한다. 이에 더하여, 만일 영상 내의 전경 물체가 에지와 겹치는 것으로 나타난다면 (예, 물체의 일부분만이 영상 내에 실제로 나타날 때), 본 발명에 의한 플로팅 에지는 또한 가능한 깊이 단서 상충을 피하기 위해 사용될 수 있다. 예컨대, 입체 영상 쌍의 좌측 에지에서, 디스패리티가 전경 물체 상의 점을 나타내는 우안 영상 내의 최좌측 픽셀과 좌안 영상 내의 같은 물체 상의 같은 점을 나타내는 픽셀 사이의 수평 디스패리티 또는 오프셋이다.

대안적으로, 플로팅 에지는, 아마도 전경 물체가 영상의 에지를 가로지르거나 겹치는 것으로 나타나는 에지를 따라 수직 지역만큼 적게 지정하는, 일부 다른 규칙적인 또는 임의의 형상일 수 있다. 이러한 플로팅 에지의 너비는 수직 방향을 따라 상수일 수 있거나, 각 행(row)의 플로팅 에지의 너비가 언제나 픽셀의 각 행의 에지에서 에지의 대응하는 전경 물체의 디스패리티와 적어도 같도록, 각 픽셀의 각 행마다 달라질 수 있다. 따라서, 플로팅 에지는 예컨대, 너비 0의 픽셀 행을 하나 또는 그 이상 가질 수 있다는 점에서, 불연속적일 수 있다.

입체 영상 쌍은 플로팅 에지 없이 상영될 수 있거나, 적어도 하나의 플로팅 에지, 예컨대, 좌측 플로팅 에지, 우측 플로팅 에지, 또는 양쪽 모두에 의해서 향상되거나 보완될 수 있다. (플로팅 에지에 의해 "향상" 또는 "보완"되는 영상은 플로팅 에지가 영상과 함께 결합되거나 표시된다는 것을 의미한다.) 플로팅 에지는 전경 물체의 등장 또는 이동을 반영하여, 점진적으로 나타나고 사라질 수 있으며, 또는 미학적인 결정에 기반하는 특정한 선택을 수반하여, 갑자기 등장하고 사라질 수 있다.

이후 도면들의 맥락을 설정하기 위하여, 도 1은 상영에서 대표적인 장면, 예컨대, 이하 논의되는 이어지는 쇼트들이 만들어진 정원에서의 장면을 도시한다. 정원 장면(100)은 전경에 하나의 특정한 체스 기물, 룩(rook)(101)을 포함하는 정원 크기의 체스 기물들(102)의 세트 사이에 서있는 배우(103)를 도시한다. 배우(103) 뒤에는 나무(104)가 있다. 뒤쪽으로 대략 같은 거리에, 그러나 오른쪽 옆으로 떨어져 램프(105)가 있고, 더 나아가 건물(106)이 있다. 도 2-13에 도시된 정원 장면(100)의 쇼트는 도 1에 표시된 시점의 약간 오른쪽으로부터 촬영된 것이다.

도 2 및 도 3은 정원 장면(100)으로부터의 쇼트 또는 구성의 입체 영상 쌍을 표시하며, 도 2는 좌안 영상(200)을 도시하며, 도 3은 우안 영상(300)을 도시한다. 각 영상(200 또는 300)은 정원 장면(100)으로부터의 개별 물체의 기록된 영상을 포함하여 정원 장면의 각 물체가 대응하는 기록된 영상을 우안 및 좌안 영상(200 및 300) 내에 갖게 한다. 장면(100)으로부터의 물체들의 영상과 입체 영상(200 및 300) 사이의 잠재적 혼동을 피하기 위해, 입체 영상은 또한 좌안 및 우안 구성(200 및 300)으로 지칭될 수 있다. 따라서, 배우(103)는 대응하는 영상(103L 및 103R)을 가지고, 룩(101)은 대응하는 영상(101L 및 101R)을 가지며, 나무(104)는 대응하는 영상(104L 및 104R)을 가지고, 램프(105)는 대응하는 영상(105L 및 105R)을 가지며, 그리고 건물(106)은 대응하는 영상(106L 및 106R)을 가진다.

도 4는 좌안 영상(200)이 점선으로 표시되어 우안 및 좌안 영상(200, 300) 사이의 입체 디스패리티 또는 위치 오프셋이 도시될 수 있게 한, 영상(200 및 300)의 중첩이다.

몇 가지 디스패리티가 도 4에서 설명된다. 예컨대, 룩(101)과 결부된 (예, 우측 및 좌측 룩 영상(101R 및 101L)의 대응하는 수직 에지 사이의 분리로 측정된) 룩 디스패리티(401)는 우안 영상이 좌안 영상의 우측에 있으면 측정이 양일 때, 수평으로 약 -40 픽셀이다. 룩(101)의 경우, 우안 영상(101R)이 좌안 영상(101L)의 왼쪽에 위치해 있으므로, 룩(101)에 초점을 맞추는 시청자의 눈은 이 입체 쌍을 보여주면서 디스플레이(또는 스크린 또는 모니터)의 전방에 수렴할 것이다, 즉, 룩(101)은 디스플레이의 전방에 나타날 것이다.

배우 디스패리티(403)는 그의 소매에서 측정된 경우, 약 -5 픽셀이며, 스크린 평면의 약간 전방에 해당한다. 나무 영상(104L 및 104R)은 우안 영상(104R)이 좌안 영상(104L)보다 우측에 있으므로, 약 +40 픽셀의 디스패리티(404)를 보여준다. 따라서, 나무(104)는 시청자에게 디스플레이 또는 스크린의 뒤에 있는 것으로 나타난다. 램프(105)는 영상들(105L 및 105R) 사이에 약 +45 픽셀의 디스패리티(405)를 가진 것으로 나타나며, 건물(106)은 106L 및 106R 사이에 약 +60 픽셀의 디스패리티(406)를 가진 것으로 나타나서, 각각은 나무(104)보다도 더 멀리 나타난다.

도 5는 입체 영상(400)을 보여주는 좌안(511) 및 우안(512)을 가지는 시청자(510)가 인식한 3D 효과의 가상적 뷰(500)이다. (이 뷰는 이 시점으로부터 실제로 관찰될 수 없기 때문에 도 5는 가상적 뷰라고 지칭된다.) 시청자(510)에게, 입체 룩 디스패리티(401)는 입체 영상(400)을 보여주는 스크린 전방에 있는 룩 영상(501)의 인식을 야기한다. (오프셋 또는 디스패리티(403)를 가지는) 배우 영상(503)은 스크린보다 약간 앞에 있다. 나무 디스패리티(404), 램프 디스패리티(405) 및 건물 디스패리티(406)는 각각 대응하는 영상(504, 505 및 506)이 스크린 뒤로 점점 증가하는 거리에 있다는 인식을 생성한다.

서로 다른 물체에 대응하는 영상이 도 5에 평면으로 도시되었더라도, 실제로는, 시청자(510)는 물체 영상(501, 503, 504, 505 및 506)을 각자의 디스패리티에 대응하는 다양한 거리에 있는 3D로 인식할 것이다. 도 5는 각자 디스패리티(401, 403, 404, 405 및 406)(또한 도 4 참조)를 가지는 물체에 대한 인식된 3D 위치를 도시한다. 각 물체의 인식된 위치는 (주어진 물체에 대한 디스패리티가 측정되는) 기준점을 통해 좌안(511) 및 우안(512)으로부터 추적된 대응하는 광선의 교차점에 의해 식별된다.

본 발명의 실시예에 따라 입체 상영을 위해 플로팅 윈도우 또는 에지를 사용하는 데에 대한 서로 다른 시나리오와 접근방법이 도 6-17을 참조하여 논의된다.

도 6은 시각적 상충을 도시하기 위해 추가된 좌안 및 우안 시야선(611 및 612)을 구비한 가상적 뷰(500)의 확대도이다. 우안(512)에 대하여, 스크린의 수직 에지(610)는 폐색선(occlusion line)(613)의 왼쪽으로 룩 영상(501)의 가시성을 폐색한다. 이는 룩 영상(501)이 스크린(610) 에지의 뒤에 있다는 인식을 준다. 그러나, (음의 양인) 디스패리티(401) 때문에, 룩 영상(501)은 입체 수렴점(601)에서 스크린의 전방에 있는 것으로 나타난다.

도 7에서, 플로팅 에지가 입체 영상(700)의 좌안 영상에만 흑색 지역(702L)을 포함하는, 입체 영상(700)의 왼쪽 에지에 더해졌다. 흑색 지역(702L)은 전경 물체(룩)(101)의 디스패리티(401)와 적어도 같은, 너비(701)를 가진다. 실제 실무에서는, 좌측 에지 플로팅 윈도우에 대해, (여기서 룩의 보루중 하나의 우안 및 좌안 영상(101R 및 101L) 사이에서 측정된) 전경 물체의 디스패리티(401)가 바람직하게는 물체의 좌측 에지에 더 가깝게 측정되나, 명료함을 위해, 룩(101)의 가장 전경의 측정점 (즉, 스크린의 전경으로 가장 먼 점)이 여기 도시되었다.

도 8은 좌측 플로팅 에지(702L)를 갖는 결과적인 가상 뷰(800)를 도시한다. 이제, 스크린 에지(610)에 나타나는 영상(700)의 좌측 에지 대신, {룩 영상(501)은 에지 선(813) 좌측으로 보이지는 않을 것이라는 데 주의하면} 시청자(510)는 입체 영상(700)의 좌측 에지가 룩 영상(501)에 또는 그 앞에 깊이를 가지는, 에지 선(813)에 위치하는 것으로 인식한다. 에지 선(813)에서 영상의 인식된 에지가 엄폐된 룩 영상(501)에 양쪽 모두 나타나고 룩 영상(501)보다 크지 않은 입체 디스패리티를 가지므로 (그리고 따라서 룩 영상(501)위치에 또는 시청자(510)로 더 가까이 있으므로), 깊이 단서 상충이 해소되었다.

하나 또는 그 이상의 플로팅 에지 또는 윈도우의 추가, 예컨대, 흑색 지역(702L)을 구비하는 것은, 영화관(필름으로나 디지털 파일로나)으로 전달될 때, 또는 방송되거나 다른 방법으로 예컨대, 스트리밍 비디오를 통해서 또는 DVD상에서, 시청자의 가정용 디스플레이로 전달될 때, 플로팅 윈도우가 이미 제공되도록, 입체 영상(500)을 포함하는 컨텐츠를 위한 컨텐츠 준비 시점에 이루어질 수 있다.

다른 실시예에서, 컨텐츠 준비 시점에, 플로팅 에지는 렌더링되지 않으나 (예컨대, 흑색 지역(702L)이 없는 도 4의 입체영상(400)처럼), 대신, 메타데이터가 좌안 영상의 좌측 에지에 동적으로 더해질 흑색 지역(702L)의 너비(701)를 특정하기 위해 제공된다. 좌측 및/또는 우측 플로팅 에지(존재한다면)를 형성하는 흑색 지역(들)의 동적 제공은 예컨대, 디지털 영화 서버, 대응하는 디지털 영화 프로젝터, DVD 플레이어, 셋톱박스, 컴퓨터, 또는 3D-인식 비디오 디스플레이에 의해 이루어질 수 있다. 변경은 실시간에 이루어질 수도 있고 미리 컨텐츠가 바뀔 수도 있다.

또 다른 실시예에서, 메타데이터가 적어도, 만일 있다면, 가장 앞의 전경 물체(예, 룩(101))의 디스패리티(예컨대 (401))를, 좌측 및 우측 에지 각각에 대해서, 기술하기 위해 사용된다. 추가적인 메타데이터가 이 정보를 정교화하기 위해 포함될 수 있다, 예컨대, 우측 및 좌측 에지 부근에서 디스패리티를 제공하는 부분적 디스패리티 맵; 또는 적어도 우측 및 좌측 에지에 가까운 지역을 포함하는 저해상도 그리드 내에서 최소한의 디스패리티를 제공하는, 단순화된 디스패리티 맵 등이다.

대부분의 극장에서, 영사 스크린을 둘러싸는 좌측 및 우측 측면 마스킹은 영사 스크린의 영사가능한 또는 시청가능한 영역의 적어도 일부를 폐색한다. 이 상황에서 플로팅 에지의 성공적인 제공을 허용하기 위하여, 컨텐츠는 영상 전체가 마스킹 내에 영사되도록 특별하게 준비되어야한다. 그렇지 않다면, (예시의 (702L)과 같은) 제공된 흑색 지역이 극장의 마스킹에 기인하는 겉보기에 감소한 너비를 가지거나, 완전히 사라져, 부적절하게 이동한 겉보기 영상 에지를 야기할 것이다(반면 겉보기 영상 에지(613)는 도 6에서처럼 적절하게 앞으로 이동되었다).

유사한 해로운 효과가 모니터 (또는 DVD 플레이어, 또는 셋톱박스)가 전체 입체 영상을 디스플레이하는 데 실패하는 반면, 대신, 일부만을 디스플레이하는 소비자 비디오 디스플레이에서 발견된다. 이는 만일 컨텐츠의 화면비가 디스플레이의 화면비와 일치하지 않는다면, 그리고 디스플레이가 채워지도록 영상이 잘리고 그리고/또는 스케일링된다면 자주 발생한다. 예컨대, 고해상도 16:9 화면비를 위하여 제작된 컨텐츠가 표준 해상도 4:3 화면비 모니터에서 표시될 수 있다. 이를 행하는 ("레터박스"라고 알려진) 한가지 방법은 스크린의 상단과 하단에 수평 흑색 영역을 남기고, 축소된 16:9 화면비 영상을 4:3 디스플레이 영역으로 삽입하는 것이다. 그러나, 어떤 소비자는 흑색 영역을 선호하지 않으며 흑색 영역과 그에 대응하는 저하된 해상도가 불쾌하다고 생각한다. 이러한 불쾌감에 대응하여, 스크린을 단순히 상단에서 하단까지 채우는 반면, 좌측 및 우측면을 크로핑하여 4:3 화면비에 맞추는 것이 고해상도가 덜 축소된다. 이 경우, 입체 영상의 좌측 및 우측 에지 모두가 크로핑된다. 어떤 소비자 디스플레이에서는, ("안전 영역"으로 알려진) 영상 영역의 내부 부분집합만이, 예컨대 내부 90%만이, 디스플레이되는 일부이며, 따라서 각 에지 (측면, 상단 및 하단)에서 5%까지 누락된다.

도 9는 예컨대, 극장의 측면 마스킹 또는 소비자 비디오 시스템에 의한 누락에 의해 감춰지는 입체 영상(700)(또는 도 4의 영상(400))의 일부에 대응하는 엄폐 지역(900)을 도시한다. 이전에 적용된 플로팅 에지, 즉, 컨텐츠에 구워져서 스튜디오로부터 제공되거나 또는 동적으로 적용될 수 있는, 도 7에 도시된 흑색 지역(702L)은, 이제 엄폐 지역(900)에 의해 전부 또는 일부가 엄폐된다. 따라서, (이제 시작적 상충이, 도 6의 영상(400)의 좌측 에지가 아니라, 엄폐된 지역(900)의 우측 에지에서 일어남에도 불구하고) 도 6의 룩 영상(501)과 관련된 시각적 상충이 본질적으로 회복된다.

이 문제에 대한 한가지 해결책이, 변경된 입체 상영(1000)이 흑색 영역(1002L)이 가시 너비(1001)로 도시된, 엄폐된 지역(900)의 우측 에지에 위치하고 확장된 플로팅 에지를 포함하는, 도 10에 도시된다. 너비(1001)는 이 예에서는, 보루 영상(101R 및 101L)에서의 룩(101)의 가장 전방 부분의 디스패리티의 크기와 적어도 같은, 엄폐된 지역(900)의 우측 에지와 교차하는 가장 앞의 전경 물체(존재한다면)의 디스패리티의 크기와 적어도 같다. 다른 실시예에서, 적어도 전경 물체의 일부가 또한 차단되는 영상의 지역과 겹치는 플로팅 에지 또는 차단된 일부를 가지는 것이 가능하다. 만일 플로팅 에지가 전경 물체를 시야로부터 완전히 가리기에 충분하다면, 더 이상 시각적 깊이 상충은 없을 것이다.

도 11은 에지 선(1113) 좌측의 룩 영상(501)의 일부가 양 눈(511, 512) 모두에 보이지 않을 것이므로, 시청자(501)에게 겉보기에 보이는 영상(1000)의 좌측 에지의 위치가 에지 선(1113)에 의해 식별되는 결과적인 가상적 뷰(1100)를 도시한다. 이 경우, 시각적 상충은 겉보기 에지 선(1113)에서 영상(1000)의 겉보기 에지가 룩 영상(501)을 엄폐하고 룩 영상(501)의 그것보다 더 깊지 않은 깊이 위치를 가지도록 보이는, 플로팅 에지(1002L)의 존재에 의해 해소된다.

도 12는 좌측 에지에서 겉보기 깊이 상충을 가지는 전경 물체(룩(101))가 엄폐 영역(1200)에 의해 스크린 하단에서 가려질 때 입체 영상(700)의 좌안 영상 내의 흑색 영역(702L)에 의해 생성된 좌측 플로팅 에지가 남아 도는 다른 시나리오를 도시한다. 그러한 경우, 플로팅 좌측 에지가 시각적 상충을 불러일으키지 않음에도 불구하고, 입체 쌍(700)의 좌안 영상의 잘림을 저감하거나 제거하는 것이 바람직하다. 예컨대, 만일 플로팅 에지를 형성하는 흑색 지역(702L)의 적용이, 입체 영상(700)의 컨텐츠에 구워지는 것이 아니라, 메타데이터에 의해 지시된다면, 도 13에서, 좌측 플로팅 에지를 비플로팅화하거나 제거하는 것이, 실질적으로 입체 영상(400)과 같으나, 엄폐된 지역(1200)을 가지는 입체 영상(1300)을 생성할 수 있다.

대안적으로, 다른 시나리오에서, 만일 엄폐된 지역(1200)과 지역(900)이 모두 도 9(도시되지 않음)에 나타난다면, 이미 자리한 (예, 흑색 지역(702L)) 플로팅 에지에 더 이상 아무것도 행해질 필요가 없을 것이다. 룩 영상(501)이 엄폐된 지역(1200)에 의해 가려질 것이기 때문에, 스크린의 좌측 에지 가까이에서 더 이상 깊이 상충이 없을 것이며, 따라서, 좌측 플로팅 에지, 즉, 흑색 지역(702L)(도 12)가 잉여가 될 것이다. 좌측 플로팅 에지(702L)는 엄폐된 지역(900)에 의해 가려질 것이기 때문에 여기에는 더 이상 아무 것도 행해질 필요가 없다.

도 14는 만일 필요하다면 필요에 따라, 도 7 및 도 8의 예에서 도시된 바와 같이, 좌측 및/또는 우측 플로팅 에지를 대응되는 입체 쌍의 좌안 및 우안 영상에서 위치시키기 위한 자동 플로팅 에지 위치 절차(1400)를 위한 흐름도이다. 일반적으로 서로 다른 디스플레이 시스템 상에서 어떤 입체 상영에 대해서도 적용될 수 있는 절차(1400)는, 플로팅 에지 없는 입체 쌍이 제공되는 단계(1401)에서 시작한다. 플로팅 에지의 (아래에서 논의되는) 준비 또는 적용에 사용되는 메타데이터가 또한 필요에 따라 제공되거나 유도될 수 있다.

단계(1402)에서, 좌안 입체 영상의 좌측 에지, 또는 더 일반적으로 두 반대방향 에지중 하나(즉, 좌측 또는 우측 에지)에 적합한 최소 디스패리티가 자동적으로 결정된다. 최소 디스패리티는 시청자에게 가장 가깝게 보이는, 또는 스크린 전방으로 가장 멀리 떨어진 좌측 에지의 부근에 있는 물체에 대해 결정된다. 이 맥락에서, 만일 물체가 스크린의 에지가 물체의 겉보기 깊이에 해로운 효과(예, 깊이 단서 상충을 야기)를 가지기 시작할 수 있도록 스크린의 에지로부터 주어진 또는 미리 결정된 거리 범위 내에 위치해 있다면 물체는 부근에 있는 것으로 간주된다. 거리의 범위는 정책 결정에 기반하여 선택될 수 있으며, 적절한 대로 스크린의 에지로부터의 픽셀의 특정 수 예컨대, 10개의 픽셀이나 다른 수의 픽셀로 특정될 수 있다. 이 에지의 "부근" 지역 내의 물체에 대해 최소 디스패리티를 결정하는 절차는 플로팅 에지에 대한 필요가 에지에 의해 잘리거나 줄어드는 물체에 기반한 이전 시나리오와 다르다. 플로팅 윈도우를 적용할 정책 또는 미적 결정은 절대적으로 필수적이지 않더라도, 즉, 덜 엄격한 범주를 사용하여, 플로팅 윈도우가 사용되어야 할 때 플로팅 윈도우를 갖지 않는 것에 비해 바람직할 수 있다. 플로팅 에지의 너비를 결정하는데, 에지로부터 물체까지의 거리를 고려하는 것은 보통 필수적이지 않음에 주의하라.

이 디스패리티는 서로 다른 방법으로 획득될 수 있다. 예컨대, 메타데이터로서 (예, 좌측 에지의 부근의 물체의 최소 디스패리티로서) 제공될 수 있거나, 메타데이터로부터 (예, 좌측 에지의 부근의 가장 전경의 물체의 겉보기 깊이에 대응하는 디스패리티를 계산하는 함수로), 또는 (단계(1402)에서 최소값을 찾기 위해 검색될 수 있는) 좌측 에지에 인접한 지역에 대한 디스패리티 또는 깊이 맵으로부터, 또는 좌안 및 우안 영상의 디스패리티 분석에 의해서 유도될 수 있다. 디스패리티 분석은 양자 모두 본 출원과 공동 양도된 Zhang 등에 의한 국제출원 WO2009/145749호(발명의 명칭: "System and Method for Depth Extraction of Images with Foward and Backward Depth Prediction")에서 교시된, 또는 Zhang 등에 의한 국제출원 WO2009/061305호(발명의 명칭: "System and Method for Depth Map Extraction Using Region-Based Filtering")에서 교시된 바와 같은 기법을 사용하여 수행될 수 있다. 양 PCT 출원의 내용은 여기에 참조에 의하여 전체로서 포함된다.

좌측 측면 에지에 대한 최소 디스패리티가 상단부터 하단까지 전체 좌측 에지에 대해 적합한 단일한 최소값(즉, 전체 좌측 에지에 대해 상수)을 지칭할 수 있거나 또는 에지를 따라 변화하는 하나 또는 그 이상의 값을 지칭할 수 있다는 점에 주의하라. 최소 디스패리티의 크기가 적용될 플로팅 에지의 너비의 기반을 형성하기 때문에, 이는 또한 플로팅 에지가 단일한 최소 디스패리티 값에 기반한 전체 에지를 따라 상수 너비를 가지는 것으로 제공될 수 있거나, 또는 좌측 에지를 따라 서로 다른 위치에서 변화하는 너비를 가질 수 있음을 의미한다. 이에 더하여, 좌측 에지에 대한 최소 디스패리티는, 플로팅 에지에 의한 공백이나 차단이 영상 픽셀 행 단위로, 또는 그 사이의 임의의 거칠기(coarseness)로 수행되는 정도로까지 (예, 어떤 점에서는 영의 너비를 가지고 따라서 좌측 에지를 따라 엄폐되지 않은 범위를 남기면서) 불연속적일 수 있다.

단계(1403)에서, 단계(1402)에서 결정된 최소 디스패리티, 즉, 전체 좌측 에지를 따라 상수인 최소 디스패리티 또는 에지를 따라 다양한 위치에서 변화하는 최소 디스패리티가 영보다 작은지 여부가 확인된다. 작지 않다면, 즉, 단계(1402)에서 구한 최소 디스패리티가 0보다 크거나 같다면, 단계(1404)를 건너뛴다. 그렇지 않다면, 단계(1404)에서, 좌측 플로팅 에지가 좌측 에지에서 좌안 영상을 적어도 단계(1402)에서 결정된 최소 디스패리티의 크기의 너비만큼 차단하는 흑색 지역을 제공함으로써 생성된다. 이 차단은 좌안 이미지의 컨텐츠에 예컨대, 좌안 이미지 내로 흑색 영역(702L)을 구워 넣음에 의해서, 직접 도입되거나, 또는 예컨대, 디지털 영화 서버, 프로젝터, 또는 비디오 셋톱박스, DVD 플레이어, 개인용 컴퓨터, 또는 예컨대 스마트폰이나 다른 모바일 장비와 같은 휴대용 비디오 플레이어에 의하여 나중에 적용되도록 메타데이터 내에 명시될 수 있다.

단계(1405)에서, 우측 에지(또는 단계(1402)의 반대편 에지)에서의 최소 디스패리티가 유사한 방법으로 결정된다. 단계(1406)에서, 만일 발견된 최소 디스패리티가 0보다 크거나 같다면, 단계(1407)을 건너뛴다. 그렇지 않다면, 단계(1407)에서, 좌안 영상에 대해 단계(1404)에서 앞서 기술한 바와 같이 우안 영상이 우측 에지에서 차단되는 우측 플로팅 에지가 생성된다.

단계(1400)는 단계(1408)에서, 입체 쌍에 영(0), 하나, 또는 두 개의 플로팅 에지가 컨텐츠 내에 구워지거나 또는 디스플레이 전에 공백이 되거나 차단될 지역을 정의하는 메타데이터로서 도입되면서 종결한다.

요약하면, 3D 상영은 입체 영상 내에 적어도 하나의 플로팅 에지를 제공함으로써 구현될 수 있다. 절차는 적어도 하나의 입체 영상의 일 에지(예, 좌안 영상에 대해 좌측 에지와 우안 영상에 대해 우측 에지)와 결부된 최소 디스패리티를 결정하는 단계, 및 그 영상의 결정된 최소 디스패리티의 크기와 적어도 같은 (영상의 대응하는 에지로부터 특정된) 너비를 가지는 지역을 차단하는 단계를 포함한다. 에지와 결부된 최소 디스패리티는 영상 내의 시청자에게 가장 가까운 (또는 디스플레이 전경에서 가장 먼) 물체의 디스패리티에 의해 주어지는데, 여기서 물체는 (정책 문제로서 확립된) 예컨대 분수일 수 있는 -1, 0, 10픽셀의, 픽셀 수로서 표현되는, 미리 정해진 거리 범위에 의해 정의되는 에지의 부근에 있고, 여기서 마이너스 기호는 스크린 전방에 나타나는 물체에 대한 디스패리티를 나타낸다. 본 발명의 맥락에서, (스크린 앞의) 전방 물체의 최소 디스패리티만이 플로팅 에지의 적용에 관계된다.

공백이 되거나 차단될 지역(들)의 내측 에지(또는 디스플레이 중심에 더 가까운, 안측 에지)가 (톱니모양이거나 뾰족한 모양에 반하여) 매끈해질 수 있으며, 지역은 비네팅(vignetted appearance)된 것으로 보이기 위해 페더링(feathered)될수 있다. 그러나, 매끈하게 하는 것과 페더링의 경우 모두에서, 단계(1402)와 단계(1405)에서 결정된 진척 상의 추가적인 공백만이 있어야 한다, 즉, 매끈하게 하는 것과 페더링은 어떤 공백이 될 지역의 상당한 부분이 공백 해제되는 것을 야기해서는 안 된다, 이는 절차가 제거하려 하는 시각적 상충을 다시 불러올 것이기 때문이다. 페더링의 사용, 뾰족한 모양의 내측 에지 또는 다른 유사한 플로팅 에지에 대한 변화는 그 주된 목적이 같다는 점 - 스크린 평면 에지에 의해 가려진 전경 물체의 깊이 단서의 상충을 피하는 것이라는 점에도 불구하고, 서로 다른 양식적 또는 미적 효과를 얻는 것을 지향한다.

도 15는 도 10 및 도 11의 예에서 도시된 대로, 자동 또는 동적 플로팅 에지 위치설정을 제공하는 절차(1500)의 흐름도이다. 전체 영상이 가시적이라는 가정 하의 플로팅 에지를 구현하는 절차(1400)와 달리, 절차(1500)는 디스플레이 시스템에 의한 어떤 영상 마스킹이나 잘라내기도 고려하는 것에 의해 플로팅 에지를 제공한다. 절차(1500)는, 입체 영상 쌍이 제공되는 단계(1501)에서 시작한다. 입체 쌍은 선택적으로 메타데이터로 제공되거나 또는 구워진 플로팅 에지를 이미 가질 수 있다. 부가적인 메타데이터(예컨대, 상술한 대로 디스패리티 정보를 포함하는)는 또한 필요에 따라 제공되거나 유도될 수 있다.

단계(1502)에서, 에컨대, 명칭이 "디스플레이를 위한 자막 마련을 위한 방법 및 장치(Method and Apparatus for Preparing Subtitles for Display"인 공개된 특허출원, WO 2010/096030호에서 Redmann에 의해 교시된 바와 같이, 상영 스크린의 시계 양호 영역(clear area)이 결정된다. "시계 양호 영역"은 영상 공간 내의 대응하는 부분, 즉, 모니터 전자회로에 의한 마스킹이나 잘라내기에 의해 엄폐되지 않고 스크린 상에서 보일 수 있는 부분을 가진다. 도 10의 예에서, 스크린의 시계 양호 영역은 부분 ABCD이다. 시계 양호 영역을 결정하기 위한 보정 절차의 예는 스크린 상에 좌표 그리드를 투영하는 단계와 스크린의 모퉁이에 가장 가까운 관찰가능한 최외곽의 좌표를 기록하는 단계를 포함한다. 이러한 모퉁이 좌표의 내부 지역이 시계 양호한 투영된 영상 영역의 지역을 정의할 것인 반면, 이러한 모퉁이 좌표의 외부 지역은 시야에서 엄폐될 것이다. 일반적으로, 보정은 작동의 입체 모드에서 어느 쪽 눈에 대해서도, 또는 입체 작동을 끔으로서, 2D에서 행해질 수 있다.

어떤 경우, 미리 행해진 측정에 의해서나 또는 하나 또는 그 이상의 공통 엄폐의 식별에 의해서, 시계 양호 영역은 미리 결정될 수 있다. 이는 프로용 또는 소비자용 비디오 모니터에 있어서 특히 참이나, 영사 시스템에 있어서는 별로 그렇지 않다. 예컨대, 레터박스 형식을 사용하지 않고, 중심에 놓이며, 수직 방향으로 추가적인 잘라내기가 없는 16:9 고해상도 컨텐츠를 표시하는 4:3 화면비를 가지는 어떤 모니터도 잘 정의된 엄폐된 영역을 좌측 및 우측 에지에 가질 것이다. 이러한 디스플레이가 공통된 등급을 가진다고 정의된다면, 그 등급의 모든 디스플레이는 공통된, 잘 정의된 시계 양호 영역을 보여줄 것이다. 이러한 경우에, 시계 양호 영역은 디스플레이의 어떤 특정 등급 또는 형식의 일원인 디스플레이에 기반하여, 또는 디스플레이의 모델 번호에 의해 색인되는 검색표를 참조하여, 또는 디스플레이에 의해 메타데이터로서 자동 보고되거나 제공된 다른 메타데이터 (예컨대 비디오 전자 표준 협회(Video Electronics Standards Assosiation)에 의해 표준화된 향상 확장 디스플레이 특정 데이터(Enhanced Extended Display Identification Data) 내에서 제공된 바와 같은, 네이티브 해상도)로부터 유도가능한 시계 양호 영역을 가짐으로써 결정될 수 있다. 어떤 실시에서, 영상을 디스플레이를 위해 스케일링 및/또는 크로핑할 것인지의 결정은 그리고 나서 모니터에 컨텐츠와는 다를 수 있는 네이티브 비디오 전송율과 네이티브 화면비로 신호를 보내는 셋톱박스 또는 다른 비디오 소스에서 이루어질 수 있다. 이 경우, 이러한 시계 양호 영역의 미리 이루어진 결정은 비디오 소스의 정책이나 환경 설정으로부터 이루어진다.

단계(1503)에서, 예컨대, 좌측 에지의 부근에서 가장 작은 디스패리티를 가지는 (즉, 디스플레이 전방에서 가장 먼) 물체에 기반하여, 시계 양호 영역의 좌측 에지를 따라서 최소 디스패리티가 결정된다. 절차(1400)의 단계(1402)와 유사하게, 최소 디스패리티는 시계 양호 영역의 좌측 에지를 따라 상단에서 하단까지 결정된 단일한 최소값으로 결정될 수 있거나, 또는 영상의 각 픽셀 행만큼 세밀한 간격으로, 시계 양호 영역의 좌측 에지를 따라서 복수의 지역 또는 지점에서 결정될 수 있다.

단계(1504)에서, 만일 발견된 모든 디스패리티가 영보다 크거나 같다면, 단계(1505)가 건너뛰어진다. 그렇지 않다면 단계(1505)에서, 특정 너비를 가지는 플로팅 에지 또는 윈도우가 좌안 영상에 적용되어 영상의 일부가 차단된다. 플로팅 윈도우의 너비는 시계 양호 영역의 좌측 에지(예컨대, 도 10의 마스크 지역(900)의 우측 에지 AB) 에 대응하는 점으로부터 발견된 최소 디스패리티의 크기와 적어도 같은 너비로 측정된다. 도 10을 참조하여, 플로팅 윈도우(흑색 지역)(1002L)는 적어도 디스패리티(401)와 같은 너비(1001)를 가진다. 플로팅 윈도우의 너비가 좌안 영상의 좌측 에지까지 계속 확장될 수 있음에도 불구하고, 마스크 지역(900)에 의해 가려진 플로팅 윈도우의 그 부분은 필수적이지 않다.

다른 말로, 만일 단계(1504)에서, 좌측 에지 부근의 물체의 최소 디스패리티가 음수로 나타나면, 단계(1505)에서, 좌안 영상이 시계 양호 영역의 좌측 에지에 적용된 플로팅 에지에 의해 차단되거나 공백이 된다. 이 차단된 영역(도 10-11의 (1002L))의 내측 경계 또는 내부 한계는 최소 디스패리티에 기반하여 결정되며, 이 경우, 시계 양호 영역의 좌측 에지의 우측에, 최소 디스패리티의 크기와 같은 거리만큼 떨어져 위치한다. 좌안 영상은 지역(1002L)에 의해 차단될 수 있고 지역(900)을 통해 좌측으로 계속될 가능성도 있다. 지역(900)이 엄폐되었기 때문에 (도 10의 예에서) 흑색 지역(1002L)이 충분함에도 불구하고, 엄폐된 지역의 측정이 충분히 정밀하지 않은 경우에, 지역(900)을 더 흑색으로 지우는 것이 바람직할 수 있다. 대안적으로, 이 공백으로 만들기는 메타데이터로 인코드될 수 있다, 이 공백으로 만들기가 시계 양호 영역이 단계(1502)에서 그에 대해 결정된 특정 디스플레이에 국한됨을 전제하더라도, 그 적용을 지연하는 데 좋은 이유가 없을 수 있다.

유사하게, 시계 양호 영역의 우측 에지의 부근의 물체에 대한 최소 디스패리티가 단계(1506)에서 결정된다. 단계(1507)에서, 만일 발견된 최소 디스패리티가 영보다 크거나 같다면, 단계(1508)가 건너뛰어지고, 절차는 단계(1509)에서 종료한다. 그렇지 않다면 단계(1508)에서, 좌안 영상이 시계 양호 영역의 우측 에지에 대응하는 점으로부터 영상의 중심 부분을 향하여, 단계(1506)에서 발견된 최소 디스패리티(디스패리티들)의 크기만큼 까지, 그리고 선택적으로, (도 10의 엄폐된 지역(900)에 대한 시나리오와 유사하게) 우안 영상의 우측 에지까지 공백이 된다. 단계(1505)에서처럼, 플로팅 에지의 이 차단 또는 추가는 대안적으로 메타데이터로 인코드될 수도 있다. 단계(1506, 1507 및 1508)는 단계(1506, 1507 및 1508)가 다른 입체 영상 (좌안 대 우안 영상)에 적용된 공백 지역을 갖는 시계 양호 영역의 다른 에지(좌측 대 우측 에지)에 수행된다는 점을 제외하고, 본질적으로 단계(1503, 1504 및 1505)와 같은 동작을 반복한다는 데 주의하라.

절차(1500)는 단계(1509)에서, 입체 쌍에 영, 하나, 또는 두 개의 플로팅 에지가 컨텐츠 내에 구워지거나 또는 디스플레이 전방에서 공백이 될 지역을 정의하는 메타데이터로서 단계(1502)에서 결정된 시계 양호 영역 내에 도입되면서 종결한다.

구분된 절차(1400 및 1500)를 가지는 이점은 절차(1500)를 수행하도록 또는 영상의 일부를 엄폐하도록 설정되지 않은 단순한 디스플레이 또는 시스템에 대해서 절차(1400)에 의해 제공된 컨텐츠가 사용되도록 (특히 흑색 지역 예컨대(702L)이 컨텐츠 내에 구워졌을 때) 준비된다는 점이다. 그러나, 상영 시스템(예, 다른 것들 중, 셋톱박스 및/또는 모니터, 또는 디지털 영화 서버 및/또는 디지털 영화 영사기)은, 그 자신의 시계 양호 영역을 잘 알므로, 절차(1500)를 더 적용하여, 절차(1400)에 의해 컨텐츠 내에(또는 메타데이터로서 컨텐츠와 함께) 제공된 플로팅 에지가 영사 시스템에 알려진 엄폐된 영역(예, (900))에 의해 절충되었을 경우 자동 보상을 제공할 수 있다.

도 16은 도 12 및 도 13의 예에서 도시된 바와 같이 동적 플로팅 에지 축소를 구현하는, 자동 플로팅 에지 조정 절차(1600)에 대한 흐름도이다. 여기서, 절차(1600)는, 입체 쌍이 플로팅 에지의 위치선정에 관련된 메타데이터를 구비하는 이미 단계(1601)에서 시작한다. 부가적인 메타데이터(상술된 바와 같이)가 또한 필요에 따라 제공되거나 유도될 수 있다.

단계(1602)에서, 디스플레이에 대한 시계 양호 영역이 절차(1500)의 단계(1502)에 대해 기술된 것처럼, 결정된다. 단계(1603)에서, 시계 양호 영역의 좌측 에지와 결부된 최소 디스패리티가, 상술된 바와 같이 결정된다. 엄폐된 영역(예, 도 12 및 13의 영역(1200))이 전경 물체(예, 도 10의 룩(101))의 전부 또는 일부가 디스플레이의 가시 부분으로부터 가려지는 것을 야기할 수 있다는 것을 주지해야 한다.

단계(1604)에서, 단계(1603)에서 결정된 최소 디스패리티(그러나 배경 물체에 대해 영으로 압축된 디스패리티를 지님)와 메타데이터에 의해 처방된 좌측 에지의 공백 부분의 너비 사이의 비교가 이루어진다. 만일 최소 디스패리티와 영 사이에 더 작은 쪽의 크기가 메타데이터에 의해 좌측 에지에 대해 처방된 공백이 된 부분의 너비보다 크거나 같다면, 단계(1605)가 건너뛰어져, 메타데이터에 의해 제공된 공백이 된 부분이 축소되지 않을 것이다. 그렇지 않다면, 만일 최소 디스패리티와 영 사이에 더 작은 쪽의 크기가 좌측 에지에서 처방된 차단된 부분의 너비보다 작다면, 단계(1605)에서, 좌측 에지에 대해 차단된 부분의 너비가 축소될 수 있으나, 최소 디스패리티와 영 중 더 작은 쪽의 절대값보다 크거나 같은 양으로만 가능하다. 영의 디스패리티는 스크린 표면에서 나타나며, 그보다 '큰' 어떤 디스패리티도 스크린 뒤에 - 플로팅 윈도우의 범위를 넘어서 있다는 점을 상기하라. 영보다 '작은' 디스패리티(음수)는 스크린 전방에 있으며, 플로팅 윈도우와 잠재적으로 상호작용할 수 있다. 결과는 만일 영상 내에서 에지 부근의 가장 가까운 물체가 스크린 뒤에 있다면, 플로팅 윈도우는 영(영과 양의 디스패리티 중 더 작은 쪽)으로 축소되나, 만일 에지의 가장 가까운 것이 스크린 전경에 있다면, 플로팅 에지는 그 디스패리티 (또는 그 절대값) 또는 약간 더 넓게 설정된다는 것이다.

단계(1603, 1604 및 1605)의 절차는 반대쪽 눈의 영상에 대해 반복된다. 따라서 단계(1606)에서 시계 양호 영역의 우측 에지와 결부된 최소 디스패리티가 결정되고, 단계(1607)에서, 메타데이터에 의해 처방된 값과 비교된다. 만일 적절하다면, 우측 에지에서 우안 영상에 대해 처방된 공백으로 만들기가 단계(1608)에서 축소된다.

절차(1600)는 단계(1609)에서 종결는데, 여기서 각각 입체 컨텐츠의 좌안 및 우안 영상의 한 쪽 또는 다른 한 쪽에 적용되는, 공백으로 만들기가 컨텐츠 내에 영(즉, 공백이 될 필요가 있는 지역이 없음) 또는 더 많은 흑색 지역으로 구워지거나, 디스플레이(예, 모니터 또는 영사기)를 향하여 메타데이터의 기술로서 전방으로 전달될 수 있는, 좌측 및 우측 에지 공백으로 만들기를 위한 잠재적으로 축소된 처방을 낳는다.

도 14 내지 도 16이 최소 디스패리티가 우측 에지 전에 입체 영상 또는 시계 양호 영역의 좌측 에지에 대해 결정됨(예, 단계(1405) 전에 수행된 단계(1402))을 도시하더라도, 이러한 절차의 단계는 먼저 우측 에지에 대해 수행되고 그 후 좌측 에지에 대해 수행될 수도 있다.

플로팅 에지 축소 절차(1600)는 절차(1400)로부터 플로팅 에지를 제공하기 위해 메타데이터를 사용하는 것이 상응하는 흑색 지역(들)을 입체 컨텐츠 내에 굽는 것에 비교하여 더 이로울 수 있음을 암시한다. 메타데이터 접근방법은 만일 플로팅 에지가 너무 크거나, 전체가 불필요한 것으로 결정되면 (예컨대, (1200)과 같은 엄폐된 지역의 존재로) 지식을 갖추거나 스마트한 디스플레이 시스템이 플로팅 에지와 결부된 잘라내기를 축소하거나 제거하는 것을 허용하므로, 더 높은 유연성을 제공한다. 이러한 잘라내기의 축소 또는 제거는 전제된 컨텐츠가 구워진 흑색 지역을 가진다면 쉽게 수행되지 않는다.

설명의 명료함을 위하여, 이하의 세부사항이 단계(1604, 1605, 1607 및 1608)에서 및 도 12 내지 도 13으로부터의 상술한 기술로부터 누락되었음에 주의하라. 만일 시계 양호 영역이 엄폐된 지역, 예컨대 지역(900)에 의하여 한 측면에서 가로막힌다면, 단계(1604 또는 1607)에서의 처방된 공백으로 만드는 너비와의 비교 및 단계(1605 또는 1608)에서의 조건부 축소 전에 그 엄폐된 지역의 너비가 최소 디스패리티와 영 중 작은 쪽에 더해져야 한다. 다른 말로, 만일 "공백으로 만들기"가 영상의 에지로부터 지역의 반대쪽 에지까지로 (도 11의 (1002L)처럼) 정의된다면, 공백으로 만드는 너비는 (1002L)의 너비에 지역(900)의 너비를 더한 것이다.

단계(1400, 1500 및 1600)는 입체 영상 시퀀스에 가장 흔하게 적용되도록 기대된다. 그러한 시나리오에서, 양 에지에 가까운 전경 물체의 위치와 디스패리티는, 예컨대, 캐릭터 또는 물체가 장면에 등장하거나 떠날 때 프레임 마다 변화할 수 있다. 플로팅 에지가 (장면 전환시 외에) 갑자기 확장되거나 줄어드는 것을 또는 연속적으로 흔들리거나 진동하는 것을 피하기 위해서, 단계(1402, 1405, 1503, 1506, 1603, 1606) 내의 최소 디스패리티의 폭 또는 단계(1404, 1407, 1505, 1508, 1605 또는 1608) 내의 메타데이터로 기록되거나 컨텐츠에 구워진 결과적인 공백으로 만드는 너비는 그러한 변화를 예상하고 그렇지 않다면 변화하는 플로팅 에지(들)로 주의를 끌 불필요한 변화를 최소화하기 위해서 매끄러워지거나 다른 방법으로 필터링(시퀀스 내의 이후의 입체 영상을 미리 보는 것을 포함하여)될 수 있다.

요약하면, 본 실시예는 영상 공간의 에지에서 깊이 상충을 야기할 수 있는 전경 물체를 가지는 3D 입체 영상의 플로팅 에지(들)를 자동적으로 적용하거나 변경하는데 적용될 수 있도록 제시되었다. 이러한 방법의 일부는 상영을 위해 플로팅 에지를 초기에 생성하기 위해 적용될 수 있으며 다른 일부는 예컨대, 부분적으로 엄폐된 디스플레이 스크린의 존재에 기인하여, 컨텐츠와 함께 (메타데이터에 의해 처방되어) 제공된 플로팅 에지를 수정하거나 조정하는데 사용된다.

도 17은 본 발명의 일 실시예를 설명하는 블록도를 도시한다. 디지털 영화 시스템(1700)은 입체 영상을 상영하기에 적합한 디지털 영화 서버(1710)와 디지털 영화 영사기(1720)를 포함한다. 적어도 저장 장치(1712)에 대한 읽기 권한을 가지는 디지털 영화 서버(1710)는 저장 장치(1712)로부터 구성을 읽고 입체 화상과 오디오 내용을 디코드하도록 설정된다. (하나 또는 그 이상의 구워진 플로팅 에지를 가질 수 있는) 화상 내용은, 그리고 적용가능하다면, 플로팅 에지에 관련된 메타데이터는 디지털 영화 영사기(1720)로, 단방향 또는 양방향 통신 경로일 수 있는 연결(1714)을 통해 제공된다. 디지털 영화 영사기(1720)는 입체 영상을 입체 화상 내용으로부터 생성하고 결과적인 영상을 렌즈(1722)를 통해 극장 내의 스크린(도시되지 않음)으로 영사한다. 오디오 내용은 디지털 영화 서버(1710)에 의해, 극장의 관객에게 입체 화상과 결부된 또는 그에 수반하는 오디오 요소를 전달하는 오디오 재생 체인(도시되지 않음)으로 제공된다.

본 발명에서, 만일 스크린이 예컨대 마스킹에 의한, 엄폐된 지역을 가진다면, 프로세서 (예, 영사기(1720) 내의)가 절차(1500 또는 1600)와 같은 절차를 구현하기 위해 프로그램 지시(예, 저장장치(1726)에 저장됨)를 수행하여, 입체 영상 중 하나 또는 둘 모두에 대해, 플로팅 에지가 적용되어야 하는지, 또는 메타데이터에 의한 처방으로부터 조정되어야 하는지 결정할 수 있다.

대안적인 실시예에서, 입체 영상에 대한 플로팅 에지의 조정은 디지털 영화 서버(1710)에 의해 수행되어 영사기(1720)로 제공되어, 디스플레이할 준비가 된다. 대안적으로, 입체 영상에 대한 플로팅 에지의 조정은 3D 기능을 갖춘 모니터에 구비된 컴퓨터에 의해 전적으로 수행될 수 있다.

가정용 사용에 적합한, 또 다른 (도시되지 않은), 실시예에서 셋톱박스 또는 DVD 플레이어가 3D 가능한 모니터(즉, 입체 영상을 디스플레이할 수 있는 모니터) 상에서 디스플레이를 위해 입체 영상과 플로팅 에지의 조정을 수행할 수 있다.

비록 특정 예가 위에서 제시되었어도, 다른 변화가 본 발명의 하나의 또는 그 이상의 기능을 구현하기 위해 사용될 수 있다. 예컨대, 디스플레이의 에지 인접 지역의 최소 디스패리티에 기반한 플로팅 에지를 정의하는 대신, 최소 디스패리티 자리에 겉보기 깊이가 사용될 수 있다. 따라서 방법은 영상 디스플레이 영역의 부근에 있는 입체 영상의 지역 내의 물체의 겉보기 깊이를 결정하는 단계와, 차단되는 일부의 너비가 물체의 겉보기 깊이에 기반하여 선택되는 입체 영상의 일부가 디스플레이로부터 차단되는 단계를 포함할 수 있다.

다른 실시예에서, 플로팅 에지에 관련된 정보가 디스플레이 시스템의 메모리에 저장될 수 있으며, 입체 상영에 앞서 회수될 수 있다. 플로팅 에지는 이후 입체 영상의 특정 지점을 차단하기 위해 회수된 정보에 기반하여 적용될 수 있다.

다른 실시예가 입체 영상의 지역 내의 복수의 픽셀을 식별함으로써, 그리고 입체 영상의 지역 내의 복수의 픽셀과 결부된 디스패리티를 비교함으로써 그 지역에 대해 최소 디스패리티를 결정함으로써 최소 디스패리티 정보가 획득되도록 제공할 수 있다.

본 발명의 일 측면은 또한 하나 또는 그 이상의 프로세서에 의해 명령이 실행되었을 때, 본 발명의 실시예에 의해 상술된 것처럼 방법이 구현되도록 야기하는 특정한 프로그램 명령이 저장된 컴퓨터로 읽을 수 있는 매체(예, 메모리, 저장 장치, 분리형 매체, 등)를 제공할 수 있다.

앞서 기술한 사항들이 본 발명의 다양한 실시를 지시하고 있으나, 기타 및 추가의 본 발명의 실시형태가 본 발명의 기본 범위로부터 벗어나지 않으면서 창안될 수 있다. 그러한, 본 발명의 적절한 범위는 이하 기술되는 특허청구범위에 의해 결정될 것이다.

Claims (18)

1. 제1입체 영상의 일 지역과 결부된 최소 디스패리티(disparity)를 획득하는 단계;
   상기 최소 디스패리티에 부합하여 상기 지역에 인접한 상기 제1입체 영상의 일부를 획정(define)하는 단계; 및
   상기 획정된 일부를 디스플레이되는 것으로부터 차단하면서 상기 제1입체 영상을 디스플레이하는 단계를 포함하는, 입체 컨텐츠의 표시에 사용되는 방법.
2. 제1항에 있어서, 상기 최소 디스패리티는, 입체 컨텐츠와 함께 제공된 메타데이터, 상기 지역의 디스패리티 맵으로부터의 유도, 및 상기 제1입체 영상과 상기 제2입체 영상의 디스패리티 분석 중 하나에 기반되어 얻어지되, 상기 제1 및 제2입체 영상이 입체 영상 쌍을 형성하는 것인, 입체 컨텐츠의 표시에 사용되는 방법.
3. 제2항에 있어서, 각 디스패리티는 상기 제1입체 영상의 픽셀 및 그와 대응하는 상기 제2입체 영상의 픽셀 사이의 오프셋을 나타내는 것인, 입체 컨텐츠의 표시에 사용되는 방법.
4. 제1항에 있어서, 상기 제1입체 영상의 상기 지역은 상기 제1입체 영상의 수직 에지 및 상기 제1입체 영상을 디스플레이하기 위한 영역의 수직 에지 중 하나에 인접한 것인, 입체 컨텐츠의 표시에 사용되는 방법.
5. 제1항에 있어서, 상기 차단된 일부는 상기 최소 디스패리티의 크기와 적어도 같은 너비를 가지는 것인, 입체 컨텐츠의 표시에 사용되는 방법.
6. 제1항에 있어서, 상기 제1입체 영상의 상기 차단된 일부는 좌안 영상의 좌측 일부 및 우안 영상의 우측 일부 중 적어도 하나인 것인, 입체 컨텐츠의 표시에 사용되는 방법.
7. 제6항에 있어서, 상기 좌측 일부는 상기 좌안 영상의 수직 좌측 에지 및 영상 디스플레이 영역의 수직 좌측 에지 중 적어도 하나로부터 상기 좌안 영상의 중심을 향하여 확장하는 것인, 입체 컨텐츠의 표시에 사용되는 방법.
8. 제6항에 있어서, 상기 우측 일부는 상기 우안 영상의 수직 우측 에지 및 영상 디스플레이 영역의 수직 우측 에지 중 적어도 하나로부터 상기 우안 영상의 중심을 향하여 확장하는 것인, 입체 컨텐츠의 표시에 사용되는 방법.
9. 제1항에 있어서,
   상기 제1입체 영상의 디스플에이에 앞서, 상기 획정된 일부에 관련된 정보를 저장하는 단계;
   상기 저장된 정보를 회수하는 단계; 및
   상기 제1입체 영상의 디스플레이 도중 상기 회수된 정보에 기반하여 상기 제1입체 영상의 상기 획정된 일부를 차단하는 단계를 더 포함하는, 입체 컨텐츠의 표시에 사용되는 방법.
10. 제1항에 있어서,
    상기 제1입체 영상의 상기 지역 내의 복수의 픽셀을 특정하는 단계; 및
    상기 제1입체 영상의 상기 지역 내의 상기 복수의 픽셀과 결부된 디스패리티를 비교함으로써 최소 디스패리티를 결정하는 단계를 더 포함하는, 입체 컨텐츠의 표시에 사용되는 방법.
11. 영상 디스플레이 영역의 에지에 인접한 입체 영상의 일 지역 내의 물체의 겉보기 깊이를 결정하는 단계; 및
    상기 입체 영상의 일부를 디스플레이되는 것으로부터 차단하는 단계로서, 상기 일부가 상기 물체의 상기 겉보기 깊이에 기반하여 선택된 너비를 가지는 것인 단계를 포함하는, 입체 영상의 디스플레이에 사용되는 방법.
12. 제1입체 영상의 일 지역과 결부된 최소 디스패리티를 결정하고, 상기 최소 디스패리티에 따라 상기 지역에 인접한 제1입체 영상의 일부를 획정하며, 그리고 상기 제1입체 영상의 디스플레이 도중 상기 획정된 일부를 차단하도록 구성된 적어도 하나의 프로세서를 포함하는, 입체 컨텐츠를 상영하기 위한 시스템.
13. 제12항에 있어서, 상기 적어도 하나의 프로세서는, 입체 컨텐츠와 함께 제공된 메타데이터, 영역의 디스패리티 맵으로부터의 유도, 및 상기 제1입체 영상 및 제2입체 영상의 디스패리티 분석 중 하나에 기반하여 상기 최소 디스패리티를 결정하도록 더 구성되되, 상기 제1입체 영상과 제2입체 영상은 입체 영상 쌍을 형성하는 것인 시스템.
14. 제12항에 있어서, 상기 제1입체 영상의 상기 지역은 상기 제1입체 영상의 수직 에지 및 상기 제1영상을 디스플레이하기 위한 영역의 수직 에지 중 하나에 인접한 것인 시스템.
15. 제12항에 있어서, 상기 차단된 일부는 사익 최소 디스패리티의 크기와 적어도 같은 너비를 가지는 것인 시스템.
16. 제12항에 있어서, 상기 제1입체 영상의 차단된 일부는 좌안 영상의 좌측 일부 및 우안 영상의 우측 일부 중 적어도 하나인 것인 시스템.
17. 제12항에 있어서, 상기 적어도 하나의 프로세서는 디지털 영화 디스플레이 시스템 및 소비자용 비디오 디스플레이 시스템 중 적어도 하나 내에 제공되는 것인 시스템.
18. 제12항에 있어서, 상기 적어도 하나의 프로세서는 디지털 비디오 플레이어, 셋톱박스 및 모바일 장비 중 적어도 하나 내에 제공되는 것인 시스템.

Images