KR20140040151A

KR20140040151A - 3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치

Info

Publication number: KR20140040151A
Application number: KR1020137032649A
Authority: KR
Inventors: 최지현; 서종열
Original assignee: 엘지전자 주식회사
Priority date: 2011-06-21
Filing date: 2012-06-20
Publication date: 2014-04-02
Also published as: US9445077B2; US20140375764A1; WO2012177049A3; CA2839256A1; CN107105212A; CN103621074A; CA2839256C; EP2538683A3; EP2538683A2; WO2012177049A2

Abstract

본 발명의 일 실시예에 따른 삼차원 콘텐츠를 포함하는 방송 신호를 수신하는 장치는 삼차원 콘텐츠를 위한 비디오 데이터를 포함하는 방송 신호를 수신하는 수신 유닛, 상기 수신된 방송 신호로부터, 상기 삼차원 콘텐츠를 위한 상기 비디오 데이터를 디코딩하는 디코더, 상기 디코딩된 비디오 데이터로부터, 깊이 정보를 파싱하는 시그널링 프로세서, 수신기의 OSD (On Screen Display)를 디스플레이하기 위한 깊이를 결정하는 그래픽 엔진, 상기 삼차원 콘텐츠를 위한 상기 깊이에 위치하는 OSD 를 포함하는 이미지들을 형성하는 포맷터 및 상기 이미지들을 디스플레이하는 디스플레이 유닛을 포함하고, 여기서 상기 깊이 정보는 하나의 이미지의 분할 패턴을 가리키는 분할 정보를 포함하고, 상기 분할 정보에 의하여, 상기 이미지의 복수의 영역들이 정의되고, 여기서 상기 깊이 정보는 상기 이미지 내의 최대 디스패리티 값을 식별하는 최대 디스패리티 정보 및 상기 복수의 영역 중 하나의 영역 내의 최소 디스패리티 값을 식별하는 최소 디스패리티 정보를 더 포함하는 것을 특징으로 한다.

Description

3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치 {METHOD AND APPARATUS FOR PROCESSING BROADCAST SIGNAL FOR 3 DIMENSIONAL BROADCAST SERVICE}

본 발명은 3D (3-Dimntional; 3D) 방송 서비스를 제공하고 이를 수신 처리하기 위한 방법 및 장치에 관한 것이다. 보다 상세하게는, 본 발명은 방송 수신기 내부의 기능을 사용하는 경우에도 3D 방송 서비스에 대한 영향을 줄이는 방법 및 장치에 관한 것이다.

3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.

일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.

이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 좌영상 (left view; 레프트 뷰) 이미지와 우안에서 시청되기 위한 우영상 (right view; 라이트 뷰) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 우측 이미지를 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.

한편, 전술한 바와 같이, 3D 방송은 좌영상과 우영상을 각각 전달하고, 이를 방송 수신기에서 적절히 처리하여 3D 영상을 만들어야 하므로, 3D 방송 신호 처리를 위한 시그널링 정보가 추가되어야 한다.

3D 방송 신호는 방송국에서 생성되어 전송되는 것이나, 방송 수신기에서 사용되는 On Screen Display (OSD)의 경우, 수신기 자체적으로 생성되는 것으로, 3D 방송 서비스에 대한 고려는 되지 않는 것이 일반적이다. 3D 방송 컨텐츠가 디스플레이되는 도중에 수신기 자체의 OSD가 디스플레이되는 경우, 3D 방송 컨텐츠의 깊이 (depth) 정보를 고려하지 않으므로, 3D 방송 컨텐츠 시청에 방해가 될 수 있다.

또한, 3D 방송 컨텐츠에 임베디드 (embedded) 된 오버레이 (Overlay) 의 경우, 3D 방송 컨텐츠와 별도의 depth를 가지면서 디스플레이될 수 있는데, 수신기에서 OSD를 디스플레이 하는 경우, 이에 대한 고려가 필요하다.

본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 3D 방송 수신기가 OSD를 디스플레이하는 경우에도 3D 방송 컨텐츠를 방해하지 않는도록 방송 신호를 처리하는 것에 있다.

전술한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 삼차원 콘텐츠를 포함하는 방송 신호를 수신하는 장치는 삼차원 콘텐츠를 위한 비디오 데이터를 포함하는 방송 신호를 수신하는 수신 유닛, 상기 수신된 방송 신호로부터, 상기 삼차원 콘텐츠를 위한 상기 비디오 데이터를 디코딩하는 디코더, 상기 디코딩된 비디오 데이터로부터, 깊이 정보를 파싱하는 시그널링 프로세서, 수신기의 OSD (On Screen Display)를 디스플레이하기 위한 깊이를 결정하는 그래픽 엔진, 상기 삼차원 콘텐츠를 위한 상기 깊이에 위치하는 OSD 를 포함하는 이미지들을 형성하는 포맷터 및 상기 이미지들을 디스플레이하는 디스플레이 유닛을 포함하고, 여기서 상기 깊이 정보는 하나의 이미지의 분할 패턴을 가리키는 분할 정보를 포함하고, 상기 분할 정보에 의하여, 상기 이미지의 복수의 영역들이 정의되고, 여기서 상기 깊이 정보는 상기 이미지 내의 최대 디스패리티 값을 식별하는 최대 디스패리티 정보 및 상기 복수의 영역 중 하나의 영역 내의 최소 디스패리티 값을 식별하는 최소 디스패리티 정보를 더 포함하는 것을 특징으로 한다.

바람직하게는, 상기 깊이 정보는 상기 복수의 영역들의 각각의 영역을 식별하는 영역 식별 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함한다.

바람직하게는, 상기 깊이 정보는 상기 OSD 가 상기 삼차원 콘텐츠 위에 오버레이되는 동안, 상기 삼차원 콘텐츠를 이차원 콘텐츠로 스위치할 것인지 여부를 가리키는 스위치 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함한다.

바람직하게는, 상기 깊이 정보는 상기 이미지의 수평 방향 또는 수직 방향으로 존재하는 영역들의 수를 나타내는 넘버 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함한다.

바람직하게는, 상기 깊이 정보는 SEI 메시지에 포함되는 것을 특징으로 하는 삼차원 콘텐츠를 포함한다.

바람직하게는, 상기 깊이 정보는 상기 영역 식별 정보에 의하여 식별되는 영역의 디스플레이를 위한 우선 순위를 식별하는 우선순위 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함한다.

바람직하게는, 상기 그래픽 엔진은, 상기 우선순위 정보의 값이 임계값을 초과하는 경우, 상기 영역에서 상기 OSD 가 상기 삼차원 콘텐츠 위로 오버레이되지 않도록 결정하는 것을 특징으로 한다.

전술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 삼차원 콘텐츠를 포함하는 방송 신호를 송신하는 방법은 깊이 정보를 인코딩하는 단계, 삼차원 콘텐츠를 위한 상기 깊이 정보를 포함하는 비디오 데이터를 인코딩하는 단계 및 상기 비디오 데이터를 포함하는 방송 신호를 송신하는 단계를 포함하고, 여기서 상기 깊이 정보는 하나의 이미지의 분할 패턴을 가리키는 분할 정보를 포함하고, 상기 분할 정보에 의하여, 상기 이미지의 복수의 영역들이 정의되고, 여기서 상기 깊이 정보는 상기 이미지 내의 최대 디스패리티 값을 식별하는 최대 디스패리티 정보 및 상기 복수의 영역 중 하나의 영역 내의 최소 디스패리티 값을 식별하는 최소 디스패리티 정보를 더 포함한다.

바람직하게는, 상기 깊이 정보는 상기 복수의 영역들의 각각의 영역을 식별하는 영역 식별 정보를 더 포함한다.

바람직하게는, 상기 깊이 정보는 상기 OSD 가 상기 삼차원 콘텐츠 위에 오버레이되는 동안, 상기 삼차원 콘텐츠를 이차원 콘텐츠로 스위치할 것인지 여부를 가리키는 스위치 정보를 더 포함한다.

바람직하게는, 상기 깊이 정보는 상기 이미지의 수평 방향 또는 수직 방향으로 존재하는 영역들의 수를 나타내는 넘버 정보를 더 포함한다.

바람직하게는, 상기 깊이 정보는 SEI 메시지에 포함되는 것을 특징으로 한다.

바람직하게는, 상기 깊이 정보는 상기 영역 식별 정보에 의하여 식별되는 영역의 디스플레이를 위한 우선 순위를 식별하는 우선순위 정보를 더 포함한다.

본 발명에 따르면, 방송 수신기에서, 3D 방송 컨텐츠를 왜곡시키지 않도록 OSD를 디스플레이 할 수 있다.

본 발명에 따르면, 방송 수신기의 capacity를 고려한 OSD 디스플레이가 가능하다.

본 발명에 따르면, 3D 방송 컨텐츠에 임베디드된 오버레이 영역을 왜곡시키지 않도록 OSD를 디스플레이 할 수 있다.

도 1은 본 발명의 일 실시예에 따른, 3D 방송 수신기를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에따른, 수신기에서의 OSD 출력 방법을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 시스템 레벨에서 3D 모드를 시그널링하는 경우에 있어서 extended video depth range descriptor를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른, range_type 필드와 production_disparity_hint_info 필드를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, video_with_open_overlay_disparity_info 디스크립터를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른, open_overlay_area_info () 디스크립터를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른, 버츄어 채널 테이블 (Virtual Channel Table; VCT)를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른, 이벤트 정보 테이블 (Event Information Table; EIT)를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른, SEI massage를 이용한 임베디드 오버레이를 위한 정보의 시그널링을 나타낸 도면이다.
도 10 은 본 발명의 일 실시예에 따른, embedded_overlay_depth_data 디스크립터를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른, 임베디드 오버레이를 고려한 수신기에서 native ODS의 디스플레이를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른, 3D_scene_depth_info_descriptor 를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른, scene_format_type 필드의 정의와 scene_dispatiry_info 디스크립터를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른, 임베디드 오버레이를 위한 깊이 정보의 전송을 위한 프로그램의 구성을 나타낸 것이다.
도 15는 본 발명의 일 실시예에 따른, 수신기의 기능 블록을 나타낸 도면이다.
도 16은 본 발명의 다른 실시예에 따른, 수신기의 기능 블록을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른, PES packet의 구조를 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른, depth_information_data ()를 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른, region_depth_data () 를 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른, SEI massage를 통한 깊이 정보 제공 방법을 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른, depth_data () 를 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른, 영역별 시그널링을 위한 영역이 표시된 화면을 나타낸다.
도 23은 본 발명의 다른 실시예에 따른, 3D 수신기의 기능 블록을 나타낸 도면이다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

3DTV 방송은, 오버레이 (overlay) 띄울 때 필요한 정보로 비디오 컨텐츠의 최소 및 최대 disparity 값을 전송할 수 있다. 방송 수신기는 위 정보를 이용하여, 해당 컨텐츠가 방송되는 동안 OSD와 같은 오버레이에 대한 디스플레이가 필요한 경우, 적절한 depth에 해당 오버레이를 디스플레이하여, 방송 컨텐츠의 3D 효과에 대한 왜곡을 최소화할 수 있다.

Embedded overlay (또는 open overlay)는 방송국 로고, open caption 등과 같이 비디오 데이터는 아니지만 이미 비디오 신호 내에 포함되어 전송되는 그래픽 화면 등을 의미하며, closed caption, subtitle 과는 달리 수신기가 비디오 스트림을 디코딩하면 선택의 여지없이 출력해야 하는 데이터이다. 즉, content 내에 embedded 된 caption or graphic (e.g. 스포츠 경기 점수 현황, 예능 프로 자막, 속보 등)을 의미하며, closed caption / closed graphic은 별도 스트림으로 오는 caption 또는 graphic을 의미한다.

특히 3D 방송의 경우 원래 3D 비디오의 depth range와 embedded overlay가 위치한 depth range에 차이가 존재할 가능성이 크다. 즉 embedded overlay는 방송 컨텐츠와는 별도로 생성된 것일 수 있으므로, 양자의 depth range가 동일하게 설정되지 않는 경우가 발생한다. 그러므로 3D 시청 중에 사용자 interaction 등에 의해 3D 화면에 menu 등의 UI, graphic을 띄울 경우, embedded overlay 영역에 대한 정보 및 각 해당 영역의 depth 정보를 제공할 필요가 있다. 즉, Embedded overlay 영역에 대한 정보를 제공받는 경우, 수신기는 해당 영역의 데이터의 중요성에 따라 이 영역을 피하는 방법을 사용할 수도 있고, 실제 background video data의 depth에 근거한 UI/graphic의 depth를 결정할 수 있다.

따라서, embedded overlay만의 disparity range 및 overlay area, 그리고 overlay를 제외한 비디오 부분의 disparity range를 도출해 내는 수신기 동작 메커니즘이 필요하며, 이를 위해 관련 방송 시그널링이 지원되어야 한다. 수신기는 위 방송 시그널링을 적절하게 처리하여 3D 방송 서비스와 조화되는 OSD의 출력을 지원할 수 있다.

도 1은 본 발명의 일 실시예에 따른, 3D 방송 수신기를 나타낸 도면이다.

이하 설명에서는 방송 수신기를 기초로 설명하나, 본 발명의 방송 수신기는 방송 신호를 디코딩하여 디스플레이하는 기기는 물론, 블루레이, 비디오 CD, 게임 컨텐츠 등을 디코딩 및 디스플레이하는 기기를 지칭하는 명칭이 될 수 있다.

도 1에 도시된 바와 같이, 3D 방송 수신기는 3D depth information 디코더 (1010), PSI/PSIP/SI 프로세서 (1020), 3D OSD 엔진 (1030), left 믹서 (1040), right 믹서 (1050) 및/또는 3D 출력 포맷터 (1060)을 포함할 수 있다.

Stereo 3D 방송을 지원하는 수신기는 SI (service information)을 처리하는 모듈을 포함할 수 있다. SI는 PSI/PSIP/SI, DVB 시그널링 정보, 또는 이들에 포함될 수 있는 3D Video/Depth information을 포함한다.

3D depth information 디코더 (1010)는 3D depth information을 파싱하는 역할을 수행한다.

PSI/PSIP/SI 프로세서 (1020)는 PSI (Program Specific Information), PSIP (Program and System Information Protocol) 및/또는 SI (service information) 을 처리한다. 본 발명의 일 실시예에 따르면, 3D depth information 디코더 (1010) 와 PSI/PSIP/SI 프로세서 (1020)는 하나의 유닛으로 취급될 수 있다.

3D OSD 엔진 (1030)은 프로그램/채널/서비스 단위의 disparity range 또는 event 별 disparity range에 국한된 기본적인 disparity range 정보만을 참고하여 OSD의 디스플레이 위치를 처리할 수 있다. 이러한 disparity range와 관련한 정보는 전술한 SI에 포함되어 수신기로 전송될 수 있다.

또한, 3D OSD 엔진 (1030) 비디오 내에 포함된 임베디드 오버레이와 같이 특정 영역에서만 고유의 disparity range 특성을 보이는 부분을 고려하여, 해당 부분에서 효과적인 OSD를 띄울 수 있게 처리할 수 있다. 이 경우, 3D OSD 엔진 (1030)은 새로운 수신기 동작 메커니즘 제어 할 수 있다. 3D OSD 엔진 (1030)은 PSI/SI/PSIP를 통한 system layer에서의 signaling 정보 또는 video header 영역을 이용한 signaling 정보를 이용할 수 있다. 임베디드 오버레이는 예를 들면, 로고, 점수판, 및/또는 재난 자막 등을 포함할 수 있다. 즉, 본 발명은 3DTV 비디오 스트림 내에 embedded overlay 가 포함되는 경우, 이의 depth range 및 위치 등을 고려한 추가 overlay 의 적절한 출력 방안을 제시한다. 이를 위해 Depth range information의 시그널링 및 해당 시그널링을 기반으로 그에 맞는 3D overlay 출력을 제어하기 위한 방법 등을 이하에서 설명하기로 한다.

left 믹서 (1040)는 좌영상을 믹싱하는 역할을 수행한다.

right 믹서 (1050)는 우영상을 믹싱하는 역할을 수행한다.

3D 출력 포맷터 (1060)는 3D 영상을 출력하기 위한 처리를 수행한다.

도 2는 본 발명의 일 실시예에따른, 수신기에서의 OSD 출력 방법을 나타낸 도면이다.

Open OSD는 비디오에 임베디드된 상태로 전송되는 오버레이라고 정의될 수 있다. Native OSD는 방송 수신기에서 생산하는 OSD로 정의될 수 있다. Native OSD가 디스플레이되는 깊이는 3D 방송 서비스/컨텐츠의 disparity 범위에 의하여 결정될 수 있다. 나아가, open OSD가 디스플레이될 수 있는 disparity 범위까지 고려하여 Native OSD를 디스플레이 할 수 있다.

즉, A 영역에 디스플레이되는 임베디드 오버레이는 3D 방송 서비스/컨텐츠와는 다른 범위의 disparity를 가질 수 있고, A 영역에 걸쳐 디스플레이되어야 하는 OSD가 있는 경우, 3D 방송 서비스/컨텐츠의 disparity 범위 이외에 A 영역의 disparity 범위도 고려할 수 있다.

이를 위하여, 다음과 같은 정보가 시그널링 정보에 포함될 수 있다.

Open OSD를 고려하지 않는 경우에 있어서, 방송 서비스/컨텐츠에 대한 disparity 범위를 나타내는 Video disparity range (Minimum disparity / Maximum disparity) 정보가 시그널링 정보에 포함될 수 있다.

Open OSD 관련 정보가 시그널링 정보에 포함될 수 있다. 이때, OSD 개수만큼 for loop 지정을 하여 다수의 Open OSD를 위한 시그널링도 가능한다. Open OSD 관련 정보에는 다음과 같은 정보가 포함될 수 있다.

임베디드된 오버레이의 disparity 범위를 나타내는 정보인 Open overlay disparity range 가 Open OSD 관련 정보에 포함될 수 있다. Open overlay disparity range 는 Open 오버레이의 최소 disparity 값 및/또는 최대 disparity 값에 관한 정보를 포함할 수 있다. 즉, 경우에 따라서 Open 오버레이의 최소 disparity 값만을 포함할 수 있다.

Open overlay disparity range 정보는 해당 open 오버레이가 2D (flat) 또는 3D (volumetric) 중 어느 형태로 디스플레이되는지 정도의 정보만을 포함되도록 변형될 수 있다.

Open OSD 관련 정보에는 Open 오버레이의 종류를 나타내는 정보인 Open Overlay Type를 포함할 수 있다. 예를 들면, 방송사 로고, 스포츠 경기 점수 현황, 예능 프로 자막, 프로그램 안내 자막, 또는 재난방송 메시지가 오픈 오버레이의 하나의 종류가 될 수 있다.

Open OSD 관련 정보에는 오픈 오버레이가 다수 존재하는 경우, 이들 사이의 우선순위를 정하는 정보인 Open Overlay Priority 정보가 포함될 수 있다. 또는 Open Overlay Priority 정보는 오픈 오버레이를 native OSD로 가려도 되는지 아닌지 여부에 대한 정보를 포함할 수 있다. 예를 들면, Open Overlay Priority 정보가 특정 값 이하의 우선순위 값을 가지는 경우, 해당 오픈 오버레이는 native 오버레이에 의하여 가려져도 괜찮음을 나타낼 수 있다. 경우에 따라서는 Open Overlay Type 필드 만으로도 이 역할 수행이 가능하다. 예를 들면, 재난 방송 메시지의 경우 기본 우선 순위를 높게 측정할 수 있고, Open Overlay Type 가 오픈 오버레이가 재난 방송 메시지임을 가리키는 경우, native OSD가 위 오픈 오버레이를 가려서는 안되는 것으로 설정될 수 있다.

Open OSD 관련 정보에는 오픈 오버레이가 존재하는 영역의 (x, y) 좌표 값 및/또는 넓이, 높이 (width, height) 박스 크기를 나타내는 Open Overlay Area 정보가 포함될 수 있다.

또는, Open Overlay Area 정보는 영상 전체에서 각 영역들을 지정 후, 특정 영역의 인덱스 번호를 나타내는 정보가 될 수도 있다.

Open OSD 관련 정보에는 Native OSD를 띄울 시, 배경에 깔릴 3D 비디오 영상을 2D 전환이 가능한지 여부를 나타내는 2D extraction method 정보를 포함할 수 있다. 즉, native OSD를 디스플레이하는 경우, 일반적으로 3D 비디오 영상은 시청자들의 관심의 대상이 아니게 되므로, 3D 효과를 유지할 필요가 없는 경우가 발생할 수 있으므로, 해당 영상에 대한 3D 렌더링을 수행하지 않고, 2D 비디오 영상으로 디스플레이할 수 있다. 2D extraction method 정보는 component descriptor에 포함될 수 있지만, 이에 한정되지 않는다. 2D extraction method 정보는 native OSD가 디스플레이되는 경우, 배경 영상으로 3D 비디오 영상을 구성하는 영상 중 좌영상만을 디스플레이하거나, 우영상만을 디스플레이하거나, 좌영상이나 우영상 중 랜덤으로 선택된 영상을 디스플레이하거나, 다른 스트림으로 전송되는 영상을 디스플레이하거나, 또는 3D 비디오 영상을 유지하여 디스플레이하도록 하는 옵션을 나타내는 정보를 포함할 수 있다.

Open OSD 관련 정보에는 3D 효과에 영향을 주는 화면 가장자리에 여백 이미지 (Floating window)를 포함시킬 것인지 포함시키지 않을 것인지 나타내는 정보 및/또는 이러한 여백 이미지의 위치 정보가 포함될 수 있다.

Open OSD 관련 정보는 system level의 signaling 을 통하여 전송될 수 있고, 또는 video level의 signaling 을 통해 전달될 수 있다.

시스템 레벨에서 3D 모드를 시그널링 할 경우, Video depth range descriptor 확장을 통하여 Open OSD 관련 정보를 전송할 수 있다. 또는 새로운 descriptor를 정의하여 Open OSD 관련 정보를 전송할 수 있다.

비디오 레벨에서 3D 모드를 시그널링 하는 경우, 기존의 SEI (Supplemental Enhancement Information) message 확장을 통하여 Open OSD 관련 정보를 전송할 수 있다. 또는 새로운 SEI message 지정하여 Open OSD 관련 정보를 전송할 수 있다.

도 3은 본 발명의 일 실시예에 따른, 시스템 레벨에서 3D 모드를 시그널링하는 경우에 있어서 extended video depth range descriptor를 나타낸 도면이다.

이 디스크립터는 3D 비디오의 depth range 정보를 전송하며, 주요 목적은 3D 비디오 스트림을 출력 중에 각종 OSD를 함께 출력해야 하는 경우, 서로 간에 depth 겹침 현상이 발생하지 않도록 참조할 수 있는 정보를 시그널링 하는 것에 있다. 본 발명의 일 실시예에 따르면, Open overlay 관련 depth range 정보를 별도로 시그널링 하기 위해, range_type을 확장하여 Open OSD 관련 정보를 포함시킬 수 있다.

도 4는 본 발명의 일 실시예에 따른, range_type 필드와 production_disparity_hint_info 필드를 나타낸 도면이다.

range_type의 값이 0x01인 경우, 오픈 오버레이에 대한 disparity 범위 값을 Video depth range descriptor를 통하여 시그널링 할 수 있음을 나타낸다. 이 경우, 이때 오픈 overlay의 개수에 따라, for loop 을 통해 여러 개의 오픈 오버레이에 대한 정보를 시그널링 할 수 있다. 경우에 따라서는 open overlay가 아니더라도 특정 영역의 depth range가 다른 곳에 비하여 차이가 심하면, 해당 영역에 적용되는 정보를 video 자체의 disparity 정보에서 제외시키고, 별도의 open overlay 영역으로 지정하여 따로 disparity 정보를 시그널링 할 수 있다.

range_type의 값이 0x00인 경우, production_disparity_hint_info 필드가 사용될 수 있다. production_disparity_hint_info 필드는 3D 서비스, 3D 컨텐츠, 또는 3D scene 단위로 최대 disparity 값 및/또는 최소 disparity 값을 시그널링할 수 있다. production_disparity_hint_info 필드는 3D picture 또는 이미지 단위의 최대 disparity 값을 시그널링할 수도 있다.

도 5는 본 발명의 일 실시예에 따른, video_with_open_overlay_disparity_info 디스크립터를 나타낸 도면이다.

range_type 의 값이 0x01인 경우, 오픈 오버레이를 위한 깊이 정보가 시그널링 될 수 있다. 이때 overlay의 개수만큼 for loop 을 통해, 다수의 오픈 오버레이를 위한 깊이 정보를 시그널링 할 수 있다. 경우에 따라서는 오픈 오버레이가 아니더라도 특정 영역의 depth range가 다른 곳에 비하여 차이가 심하면, video 자체의 disparity에서 제외시키되, 별도의 open overlay 영역으로 지정하여 따로 시그널링 해 주는 것도 가능하다.

disparity_for_video_only () 는 production disparity hint info() 와 유사한 정보를 시그널링 할 수 있다. disparity_for_video_only () 는 각종 오픈 오버레이 부분을 제외한 video 자체만의 최대 및 최소 disparity 값을 시그널링 할 수 있다. 그러므로, disparity_for_video_only ()는 production disparity hint info() 와 동일하게 Video_max_disparity 및 video_min_disparity 값을 포함할 수 있다. 이 disparity 값은 영상의 가로 사이즈가 11520 pixel인 경우를 기준으로 하나, 경우에 따라 다른 값을 기준으로 하도록 설정 가능하다. 이 경우, 기준이 된 값을 따로 시그널링 할 수 있다.

2D_extraction_method 필드는 수신기에서 OSD를 띄우는 경우, 주변 3D 영상을 2D로 전환시킬 것이지 여부에 대한 정보를 제공할 수 있다. 따라서, 수신기는 native graphic의 배경에 나올 영상을 2D로 전환하고자 할 때, 위 정보를 참고 가능하다. 경우에 따라서는 3D 비디오 시청 중에 graphic 화면을 띄울 때 비디오를 2D 모드로 전환할 수도 있다. 2D_extraction_method 필드는 2D 영상으로의 전환을 가리킬 수 있다. 2D_extraction_method 필드는 좌영상을 2D 영상으로 사용하여 배경 영상을 디스플레이 할 것을 가리킬 수 있다. 2D_extraction_method 필드는 우영상을 2D 영상으로 사용하여 배경 영상을 디스플레이 할 것을 가리킬 수 있다. 2D_extraction_method 필드는 OSD을 디스플레이하는 경우, 배경 영상에 대한 처리에 대하여 정해진 방법이 없다는 내용을 가리킬 수 있다. 2D_extraction_method 필드는 OSD를 디스플레이 하는 경우에도, 배경 영상을 2D 영상으로 전환할 필요가 없다는 내용을 가리킬 수 있다. 2D_extraction_method 필드는 OSD를 디스플레이하는 경우, 배경 영상은 다른 스트림에서 가져올 수 있음을 가리킬 수 있다. 즉, 2D_extraction_method 필드는 배경 영상을 전송하는 별도의 방송 스트림의 데이터를 디스플레이 하도록 하는 내용을 가리킬 수 있다. 2D_extraction_method 필드와 관련한 정보는 필드 형식으로 보내줄 수도 있고, 혹은 component descriptor와 같은 elementary stream 마다 붙는 descriptor의 필드에서 시그널링하는 것도 가능하다.

floating_window_present 필드는 비디오에 floating window (FW)처리가 되어 있는지 여부를 알려주는 정보를 포함할 수 있다. 여기서 floating window는 디스플레이 패널 가장자리에서 나타나는 3D 효과 왜곡 현상을 줄이기 위하여, 디스플레이되는 영상의 가장자리의 일부를 빈 화면으로 처리된 것을 가리킬 수 있다. floating_window_present 필드는 FW 처리 안 되었다는 정보, FW 처리가 되었다는 정보, 또는 FW 여부에 대하여 알 수 없다는 정보를 시그널링 할 수 있다. 수신기는 native OSD를 띄울 시, 이 정보를 참고하여 OSD 위치를 조정할 수 있다. Floating window로 처리된 영역이 어디에 해당하는지에 대한 상세 정보는 본 descriptor에 포함될 수도 있고, 혹은 별도 descriptor 를 통한 시그널링도 가능하다.

open_overlay_type 필드는 해당 open overlay의 종류가 무엇인지를 나타내는 필드이다. 예를 들면, 방송사 로고, 스포츠 경기 점수 현황, 예능 프로 자막, 프로그램 안내 자막, 또는 재난방송 메시지 등이 오픈 오버레이로 디스플레이 될 수 있고, open_overlay_type 필드는 이들 중 어느 종류의 오픈 오버레이에 대한 정보를 시그널링하는지 나타낼 수 있다. 일 실시예로, 수신기는 open_overlay_type이 해당 오픈 오버레이가 재난방송 메시지인 경우, native OSD 로 가려지지 않도록 조정하는 등의 방법으로 활용할 수 있다.

open_overlay_priority 필드는 해당 open overlay의 우선순위를 나타내는 필드이다. 일 실시 예로 ‘0’ 이면, 우선순위가 매우 높으므로 native OSD로 가리지 말 것을 의미하고, ‘1’이면, 그렇지 않음을 나타낼 수 있다. 또는 현 비디오에서 서술되는 모든 overlay에 대해 각각 0, 1, 2, 3, …의 값을 할당하여 숫자가 낮을 수록 우선순위가 높음을 나타낼 수도 있다. 이 필드는 open_overlay_type 필드로 역할이 일부 대체될 수 있다.

disparity_for_open_overlay () 디스크립터는 해당 open overlay의 disparity range 정보를 포함한다. 두 값이 동일할 경우, 해당 overlay는 flat한 이미지임을 의미할 수 있다. 이 경우, 값 자체는 flat overlay image가 자리할 depth offset이 될 수 있다. disparity_for_open_overlay () 디스크립터는 production disparity hint info() 와 유사한 역할을 하나, 차이점은 해당 open overlay 자체만의 최대 및 최소 disparity 값을 시그널링 한다는 점이다. disparity_for_open_overlay () 디스크립터는 max_disparity 및 min_disparity 값을 포함할 수 있다. disparity_for_open_overlay () 디스크립터는 특정 영역의 최소 디스패리티 값 만을 나타낼 수 있다. 이 disparity 값은 영상의 가로 사이즈가 11520 pixel인 경우를 기준으로 한다. 경우에 따라 다른 값을 기준으로 하도록 설정 가능하고, 이 경우 다른 값으로 설정된 내용을 별도로 시그널링 할 수 있다.

도 6은 본 발명의 일 실시예에 따른, open_overlay_area_info () 디스크립터를 나타낸 도면이다.

open_overlay_area_info () 디스크립터는 open overlay 의 영역 정보를 나타낼 수 있다. 정보를 나타내는 일 실시예는, 픽셀 단위의 box 영역 정보를 주는 방법이 있으며, box 가장 왼쪽 위 픽셀의 x, y 위치 값 및 box width, box height 값을 모두 픽셀 단위로 전송 가능하다. 또는 영상에 가상 grid를 두어, 영역을 포함하는 grid의 x, y index 및/또는 영역의 width, height 값을 전달하는 방법도 가능하다. 이러한 방법을 grid_type 필드를 통해 시그널링 할 수 있다. grid는 전체 화면을 일정한 크기로 나누는 분할 단위이다.

grid_type 필드는 grid의 타입을 나타내는 정보를 포함할 수 있다. 일 실시예로, grid_type 필드 의 값이 ‘0’이면 pixel 단위의 grid 가 정의 될 수 있음을 나타내고, grid_type 필드의 값이 ‘1’이면 별도로 정의한 grid 단위를 의미할 수 있다. 이 때, grid는 픽셀들의 그룹으로 정의될 수 있다. 이 경우, 하나의 화면을 다수 개로 분할한 영역을 하나의 grid로 정의할 수 있다.

본 발명의 일 실시예는, grid_type 필드의 값이 ‘0’인 경우, open_overlay_area_info () 디스크립터에 포함되는 grid_x 필드는 영역 맨 왼쪽 위의 x 좌표값으로 픽셀 단위를 나타낼 수 있다. grid_y 필드는 영역 맨 왼쪽 위의 y 좌표값으로 픽셀 단위를 나타낼 수 있다. grid_width 필드는 영역을 표현하는 box의 width 값으로 픽셀 단위로 나타낼 수 있다. grid_height 필드는 영역을 표현하는 box의 height 값으로 픽셀 단위로 나타낼 수 있다.

본 발명의 일 실시예는, grid_type 필드의 값이 ‘1’인 경우, open_overlay_area_info () 디스크립터에 포함되는 grid_num_horizontal_pixels 필드는 영상의 가로축 방향 grid 개수를 의미를 나타낼 수 있다. 일 실시예로, grid_num_horizontal_pixels 필드의 값이 ‘2’ 인 경우, 하나의 화면이 가로축 방향으로 2개의 영역을 포함하고 있음을 나타낼 수 있다. grid_num_vertical_pixels 필드는 영상의 세로축 방향 grid 개수를 의미한다. 일 실시예로, grid_num_vertical_pixels 필드의 값이 ‘2’인 경우, 하나의 화면이 세로축 방향으로 2개의 영역을 포함하고 있음을 나타낼 수 있다. ref_resolution_width 필드는 grid 지정 시 기준으로 한 ref_resolution의 width 값을 의미할 수 있다. 영상의 resolution은 16픽셀의 배수이므로, ref_resolution_width 필드의 값은 16에 대한 배수로 나타내어 표현 비트 수를 줄일 수 있다. ref_resolution_height 필드는 grid 지정 시 기준으로 한 ref_resolution의 height 값을 의미할 수 있다. 영상의 resolution은 16픽셀의 배수이므로, ref_resolution의 height 필드의 값은 16에 대한 배수로 나타내어 표현 비트 수를 줄일 수 있다. grid_x필드는 영역 맨 왼쪽 위의 x 좌표값으로 grid 단위이다. 이 값이 임의의 ‘k’ 일 경우, 이를 픽셀 단위로 변환 시, ref_resolution_width / A * k 로 계산된다. 여기서, ‘A’는 grid_num_horizontal_pixels 필드의 값이다. grid_y 필드는 영역 맨 왼쪽 위의 y 좌표값으로 grid 단위이다. 이 값이 임의의 ‘m’일 경우, 이를 픽셀 단위로 변환 시, ref_resolution_height / B * m로 계산된다. 여기서, ‘B’는 grid_num_vertical_pixels 필드의 값이다. grid_width 필드는 영역을 표현하는 box의 width 값으로 grid 단위로 나타낼 수 있다. grid_height 필드는 영역을 표현하는 box의 height 값으로 grid 단위로 나타낼 수 있다.

grid_base_view_flag 필드는 정의된 영역이 L-view와 R-view 중 어느 쪽을 기준으로 하였는지 여부를 나타내는 필드이다. 본 발명의 일 실시예로, grid_base_view_flag 필드의 값이 ‘0’ 이면 Left-view를 기준으로 overlay의 영역이 표현되었음을 의미하고, grid_base_view_flag 필드의 값이 ‘1’ 이면 Right-view를 기준으로 overlay의 영역이 표현되었음을 의미할 수 있다.

open_overlay_area_info () 디스크립터에 포함되는 각 필드는 생략되거나, 하나의 필드가 다른 필드의 정보를 함께 나타내도록 통합될 수도 있다.

도 7은 본 발명의 일 실시예에 따른, 버츄어 채널 테이블 (Virtual Channel Table; VCT)를 나타낸 도면이다.

VCT에 포함되는 각 필드의 정의는 종래 기술에 의하여 유추될 수 있다.

전술한 extended video depth range descriptor는 도 7에 표시된 위치에서 정의될 수 있다. 이 경우, extended video depth range descriptor는 채널 레벨에서 정의된 것으로 볼 수 있다.

도 8은 본 발명의 일 실시예에 따른, 이벤트 정보 테이블 (Event Information Table; EIT)를 나타낸 도면이다.

EIT에 포함되는 각 필드의 정의는 종래 기술에 의하여 유추될 수 있다.

전술한 extended video depth range descriptor는 도 8에 표시된 위치에서 정의될 수 있다. 이 경우, extended video depth range descriptor는 이벤트 레벨에서 정의된 것으로 볼 수 있다.

도 9는 본 발명의 일 실시예에 따른, SEI massage를 이용한 임베디드 오버레이를 위한 정보의 시그널링을 나타낸 도면이다.

임베디드 오버레이에 대한 깊이 및/또는 위치 정보는 비디오 레벨에서 시그널링이 가능하다. 이 경우, SEI massage를 이용한 시그널링이 가능하다.

임베디드 오버레이에 대한 시그널링 정보를 포함하는 embedded_overlay_depth_data의 파싱 순서는 다음과 같다.

EH_data ()는 SEI RBSP (raw byte sequence payload)를 통해 수신된다. EH_data ()는 Video element stream에 포함될 수 있다. AVC (advanced video coding) NAL (Network Abstraction Layer) unit을 parsing 하여 nal_unit_type 값이 6이면 SEI 데이터이며 payloadType이 4인 user_data_registered_itu_t_t35 SEI message를 읽어 user_identifier 값을 확인한다. user_identifier 값이 0x4741 3934에 해당하는 user_structure ()를 읽어서 user_data_type_code가 0x20인 data를 추출한다. 수신기는 embedded_overlay_depth_data ()를 디코딩 하여 현재 비디오 스트림에 포함된 graphic overlay에 대한 depth 정보를 획득한다. 이 정보를 이용해 실제 비디오와 graphic overlay의 depth range를 구분할 수 있으며 수신기가 native graphic (예를 들면, OSD) 화면을 출력할 때, embedded graphic 요소를 배제한 실제 비디오의 range를 고려한 출력 위치를 결정할 수 있다.

도 10 은 본 발명의 일 실시예에 따른, embedded_overlay_depth_data 디스크립터를 나타낸 도면이다.

embedded_overlay_depth_data 디스크립터에 포함될 내용 중 동일한 명칭을 가진 필드 또는 디스크립터들은, 앞서 정의한 video_with_open_overlay_disparity_info 디스크립터의 해당 필드 또는 디스크립터의 내용과 동일할 수 있다..

비디오 레벨에서 시그널링 시에는 각 프레임마다 정보가 전달되어야 하므로, 시그널링하는 정보량을 최소화 하기 위해 기본적인 정보만 전송할 수도 있다.

예를 들어, embedded overlay 의 위치 정보 및 embedded overlay 를 제외한 경우의 video depth range 정보 두 가지만 알더라도, 해당 overlay 위치를 피하여 native OSD를 띄우는 것이 가능하므로, 이 경우 disparity_for_video_only () 및 각 embedded overlay에 대한 open_overlay_area_info() 정보만 시그널링 할 수도 있다. 따라서, 각 정보가 포함되었는지 여부를 알려주기 위한 1-bit flag가 추가될 수 있다. 예를 들면, disparity_for_video_only_flag에 따라 disparity_for_video_only ()가 포함되었는지 여부를 시그널링 할 수 있다.

도 11은 본 발명의 일 실시예에 따른, 임베디드 오버레이를 고려한 수신기에서 native ODS의 디스플레이를 나타낸 도면이다.

수신기에서 임베디드 오버레이에 대한 depth range를 획득하는 방법은 아래와 같이 두 가지 방법을 고려할 수 있다. 제 1 실시예로, 수신기는 DVB SI 의 SDT (Service Description Table) / EIT 등에 포함된 Video depth range descriptor를 통해 video depth range 값을 수신할 수 있다. 임베디드 오버레이 관련 정보도 상세히 제공되는 경우, 수신기는 전술한 정보를 모두 수신할 수 있다. 제 2 실시예로, Video header 의 Video depth range descriptor를 통해 video depth range 값을 수신할 수 있다..

전술한 range_type 의 값이 0x00이며, production_disparity_hint 의 정보만을 이용할 경우, 수신기는 비디오 전체적인 depth range 정보인 production_disparity_hint_info 만을 토대로 native OSD를 디스플레이 할 수 있다. 비디오 내부에 포함된 방송국 로고나 스포츠 방송의 점수판 등이 영상 모퉁이의 작은 영역을 차지하더라도, 수신기는 native OSD를 이 모든 최소 depth 값보다 앞쪽에 위치시키도록 디스플레이 할 수 있다.

전술한 range_type 의 값이 0x01 이며, ‘video with open (embedded) overlay disparity hint’ 의 정보를 이용하는 경우, 수신기는 overlay를 제외한 비디오 자체만의 depth range 정보를 disparity_for_video_only()에 포함된 video_max_disparity 및 video_min_disparity 값을 통해 얻을 수 있다. 수신기는 비디오에 포함된 각종 embedded overlay 별 depth range 정보를 descriptor 내 loop 내에서 disparity_for_open_overlay()에 포함된 필드를 통해 얻을 수 있으며, 해당 overlay의 위치 정보는 open_overlay_area_info() 내에 포함된 필드를 통해 얻을 수 있다. 이때, 수신기는 비디오 자체 및 기술된 모든 overlay 의 depth range 정보를 이용하면 range_type 의 값이 0x00인 경우에 얻는 production disparity hint info() 의 정보를 도출할 수도 있다.

open_overlay_type 또는 open_overlay_priority 필드의 정보를 활용하여, 우선순위가 높은 임베디드 오버레이 (예를 들면, 재난 방송 등) 는 native OSD로 가리지 않는 것이 가능하다.

예를 들면, 3D 방송을 보는 도중, 재난 방송 자막만 가리지 않는 native OSD를 띄우고자 할 경우를 고려해 보면, 다음과 같은 과정이 필요하다. 수신기는 disparity_for_video_only() 필드를 통해 임베디드 오버레이를 제외했을 때의 비디오 depth range 정보를 파악한다. 수신기는 각 overlay 별 정보를 파악한다. 우선, 수신기는 overlay_type 정보를 보고, 0x00 (예를 들면, 재난방송 자막 가리키는 값) 이면, 해당 overlay에 대한 open_overlay_area_info()를 파악한다. 그 외의 overlay_type에 대해서는 disparity_for_open_overlay() 값을 파악한다. 수신기는 파악된 disparity_for_video_only()와 disparity_for_open_overlay() 두가지 정보를 토대로 native OSD를 띄울 depth 위치를 선정한다. 예를 들어, 만약 임베디드 오버레이를 고려하지 않은 비디오 영상의 disparity_min 값이 -3 이고, overlay (1)의 disparity_min 값이 -4, overlay(2)의 disparity_min 값이 -5였다면, native OSD가 overlay와 겹치는 경우, native OSD의 depth 위치는 -5보다 앞쪽의 위치로 선정하는 것이 안전하다. 또는 native OSD 가 임베디드 오버레이와 겹치는 영역이 없는 경우, disparity 값을 -3을 기준으로 앞쪽의 위치를 선정하면 된다. 수신기는 파악된 최우선순위의 임베디드 오버레이의 open_overlay_area_info()를 토대로 native OSD를 위치시킬 영역을 선정한다. 예를 들어, overlay (3) 인 재난 방송 자막의 영역 정보가 grid_type == 0, grid_x == 0, grid_y == 900, grid_width == 1920, grid_height == 180 라고 한다면, native OSD 는 이 영역을 제외한 부분에 위치시킨다.

수신기는 2D_extraction_method 필드의 값을 고려한 native OSD 디스플레이가 가능하다. 수신기는 native OSD를 띄우기 전에 video disparity range를 확인하여, OSD를 띄우기에 적당한 disparity 영역을 도출한다. 이때, video disparity range 범위가 너무 넓거나, 기타 등등의 이유로 native OSD를 위치시키기가 적당치 않으면, native OSD 를 띄우는 동안 배경에 깔릴 3D 영상은 2D 영상으로 출력할 수 있다. 수신기는 이 경우, 2D_extraction_method 필드 값을 참고하여 3D 영상의 2D 영상으로의 전환이 필요한지 판단할 수 있다. 예를 들면, 2D_extraction_method 필드의 값이 ‘000’ 인 경우, Left 영상을 추출하여 2D 영상으로 사용하고 그 위에 native OSD를 띄운다. 수신기는 native OSD 출력이 끝나면, 영상을 다시 3D 영상으로 전환한다.

수신기는 Floating Window (FW)를 고려한 native OSD 디스플레이가 가능하다. 수신기는 비디오에 FW처리가 포함되었는지 여부를 참고하여 OSD를 띄우기에 적당한 위치를 도출한다. 예를 들면, floating_window_present 필드의 값이 ‘01’, 즉, FW 처리된 경우를 나타내면, OSD module 에서는 이 정보를 native OSD의 위치를 조정하는데 활용할 수 있다. FW 의 bar 영역으로 처리된 영역을 식별하는 방법은 수신기에서 영상분석을 하여 추출해 낼 수도 있고, 혹은 FW 관련 상세 정보를 PSI/PSIP/SI 또는 Video header 를 이용한 별도의 시그널링을 통해 추출해 낼 수도 있다. 이러한 정보를 토대로 native OSD의 위치는 FW의 bar 영역과 비디오 영역 경계에 걸치지 않도록 처리하거나, FW의 bar 영역에 native OSD를 띄울 수도 있으며, OSD가 비디오 영역 내에만 위치하도록 할 수도 있다.

도 12는 본 발명의 일 실시예에 따른, 3D_scene_depth_info_descriptor 를 나타낸 도면이다.

수신기는 scene 별로 변화하는 depth range 정보에 따라 native OSD를 디스플레이 할 수 있다. 비디오 레벨에서의 시그널링은 frame 별로 정보가 전송되므로 frame 단위의 변화에 맞출 수 있으나, 시스템 레벨로 시그널링을 수행하는 경우, program/channel/service 단위 도는 event 단위의 depth range info 전송이 가능하다. 그러므로 시간에 따른 상세 정보 전송을 위해 scene 단위 정보를 추가하여 보내주는 방안이 가능하다. 해당 descriptor는 SDT의 service level, TVCT의 channel level, PMT의 program 또는 ES level, EIT의 event level에 위치할 수 있다.

본 발명에서 scene은 context에 기반한 내용적인 segment일 수도 있으나, 기본적으로 시작 시간(start time)과 구간 길이(duration)로 정의된 time segment이다. 즉, 본 실시예와 같이 PMT, VCT, 또는 EIT를 통해 signaling 되는 경우 프로그램이나 이벤트와의 연관성이 없이 절대적인 시작시간, 구간 크기로 정의된다. 이는 EIT를 통해 signaling 되는 event가 현재 시간을 기준으로 무조건 3시간 단위로 signaling 되는 개념과 비슷하다. 결과적으로 동일한 scene으로 분류되더라도 경우에 따라 내용이 서로 다른 program 또는 event가 섞여 있을 수도 있다. 만약 비디오의 내용 또는 context에 기반한 장면 분할을 실시한 경우에는 scene_format_type을 “11”로 설정하고 각 구간에 대한 정보를 전송할 수 있다. 아울러 생방송의 경우와 같이 미리 depth 정보를 알 수 없는 경우에는 min_disparity와 max_disparity의 값을 모두 0으로 설정할 수 있다.

number_of_scenes 필드는 현재 전송되는 3D Scene-level Depth Information descriptor를 통해 depth 정보를 파악할 수 있는 장면의 개수를 나타낸다.

first_scene_start_time 필드는 이 descriptor에서 signaling 하는 scene들에 대한 base time을 알려주는 필드이다. 첫 scene의 시작 시간을 의미하며 hour 단위로 표시하며 값의 범위는 0 ~ 23이다. 즉, first_scene_start_time 필드는 scene_id, scene_start_time 등에 의해 각 scene에 대한 시간 정보를 알 수 있는데 그 기준 시간을 알려주는 필드이다.

scene_start_time 필드는 각 장면의 시작 시간을 의미한다. 시작 시간을 나타내는 실시 예는 여러 가지 방법이 가능하며 1980년 1월6일 0시 기준으로 GPS 초 단위로 표현할 수 있으며 (이 경우 32 bit 필요), 또 다른 방법으로 first_scene_start_time을 기준으로 경과된 초 단위로 표현할 수도 있다. 예를 들어, 7시 30분에 이 descriptor를 수신하는 경우, first_scene_start_time이 7의 값을 갖는다면 7시 40분은 2400 초로 표현되며 이 값을 scene_start_time 값으로 사용한다.

scene_id 필드는 각 장면에 대한 식별자이며 scene_start_time 필드가 없는 경우 시작 시간을 implicit 하게 signaling 할 수 있다. 이 필드는 0부터 시작하며 scene의 time span에 대한 명확한 적용시점은 first_scene_start_time을 이용해 파악한다.

scene_duration 필드는 scene의 길이를 나타내며 초 단위로 표현한다.

도 13은 본 발명의 일 실시예에 따른, scene_format_type 필드의 정의와 scene_dispatiry_info 디스크립터를 나타낸 도면이다.

수신기가 임의의 시간에 menu 또는 기타 graphic data를 입체 영상 위에 overlay 해야 하는 상황이 발생할 때, 해당 시간의 min_disparity 값을 알면 3D video의 object와 graphic, menu, icon 등의 depth 충돌을 방지할 수 있다. 예를 들어, scene_format_type = “10”인 경우, 수신기는 scene_id 필드를 사용해 depth 정보가 적용되는 시점을 파악한다. 3D scene-level depth information descriptor는 각 scene에 대한 3D 비디오의 depth range 정보를 제공한다. 같은 descriptor 또는 동일한 PMT/TVCT/EIT section instance 내에서 scene_duration은 고정될 수 있다. 즉, 모든 scene은 동일한 길이를 갖도록 할 수 있다. 각 scene의 길이는 scene_duration 필드에 의해 정의된다. 즉, 3D scene-level depth information descriptor는 scene_duration에서 명시한 시간 단위로 3D 비디오의 depth range 정보를 제공한다. 예를 들어 scene_duration=1200 (20분)일 때, scene_id=0는 first_scene_start_time에 의해 명시된 시간부터 20분 사이의 time segment를 의미한다. 이 때, first_scene_start_time=19이고 수신기가 오후 7시 30분에 OSD를 출력하고자 한다면 적절한 depth range를 파악하기 위해 scene_id=1에 해당되는 정보를 이용한다. scene_format_type = “11”인 경우, 각 scene은 scene_start_time에서 명시한 시각부터 scene_duration 만큼의 길이를 갖도록 명확하게 정의된다. 이 경우 각 scene은 같은 descriptor에 있더라도 서로 다른 길이를 가질 수 있다. 수신기는 특정 시점에 3D 비디오 재생 중에 OSD를 출력하는 경우 현재 시각이 속한 scene을 파악하고 해당되는 depth range 정보를 이용한다.

scene_dispatiry_info 디스크립터에 포함된 각 필드는 전술한 동일한 명칭을 가지는 필드에 대한 설명과 동일하므로, 전술한 설명으로 대체한다.

도 14는 본 발명의 일 실시예에 따른, 임베디드 오버레이를 위한 깊이 정보의 전송을 위한 프로그램의 구성을 나타낸 것이다.

앞서 설명한 descriptor에 포함되는 내용은 도 14와 같이 별도의 스트림으로 구성하여 전송하는 것도 가능하다. 이 경우 해당 스트림에 대한 별도 signaling이 PMT, SDT, EIT, TVCT 등에서 이루어져야 하며 추가적으로 필요한 사항은 해당 스트림을 지정하기 위해 stream_type, componet_type, stream_content 등의 필드들을 사용할 수 있다.

도 15는 본 발명의 일 실시예에 따른, 수신기의 기능 블록을 나타낸 도면이다.

본 발명의 일실시예에 따른 수신기는 튜너 및 복조부 (15010), VSB 디코더 (15020), 트랜스포트 패킷 역다중화부 (15030), PSI/PSIP/SI 프로세서 (15040), 3D 비디오 디코더 (15050), 프라이머리 비디오 디코더 (15052), 세컨더리 비디오 디코더 (15054), 3D OSD 엔진 (15060), 좌영상 믹서 (15070), 우영상 믹서 (15080) 및/또는 3D 출력 포맷터 (15090)을 포함할 수 있다.

튜너 및 복조부 (15010)는 3D 방송 채널로 튜닝을 수행하고, 수신한 신호를 복조한다.

VSB 디코더 (15020)는 VSB 가 적용된 신호를 디코딩한다. 본 블록의 명칭은 VSB 디코더로 명명하였으나, OFDM 적용된 신호를 디코딩하는 블록으로 볼 수도 있다.

트랜스포트 패킷 역다중화부 (15030)는 방송 신호에서 트랜스포트 패킷을 분리한다. 특히, 패킷식별자를 필터링하는 역할을 한다.

PSI/PSIP/SI 프로세서 (15040)는 시그널링 신호에 대한 처리를 수행한다. 예를 들면, PSIP 또는 DVB SI에 포함된 여러 테이블을 처리하거나, 시그널링 패킷, 시그널링 세그먼트 등을 처리하는 역할을 한다. PSI/PSIP/SI 프로세서 (15040)는 전술한 임베디드 오버레이에 관한 정보를 처리하는 역할을 수행할 수 있다.

3D 비디오 디코더 (15050)는 프라이머리 비디오 디코더 (15052) 및/또는 세컨더리 비디오 디코더 (15054)를 포함한다.

3D 비디오 디코더 (15050)는 3D 비디오 데이터를 디코딩한다.

프라이머리 비디오 디코더 (15052)는 프라이머리 비디오 데이터를 디코딩한다. 예를 들면, 비디오 데이터에 MVC 방식의 코딩이 적용된 경우, 프라이머리 비디오 데이터는 base 또는 enhanced layer의 신호가 될 수 있다. 또 다른 예로, 프라이머리 비디오 디코더 (15052)는 좌영상 비디오 데이터를 디코딩하는 역할을 수행할 수도 있다.

세컨더리 비디오 디코더 (15054)는 세컨더리 비디오 데이터를 디코딩한다. 예를 들면, 비디오 데이터에 MVC 방식의 코딩이 적용된 경우, 세컨더리 비디오 데이터는 enhance 또는 base layer의 신호가 될 수 있다. 또 다른 예로, 세컨더리 비디오 디코더 (15054)는 우영상 비디오 데이터를 디코딩하는 역할을 수행할 수도 있다.

3D OSD 엔진 (15060)은 OSD를 디스플레이하기 위한 처리를 수행한다. 예를 들면, 3D depth 정보를 해석하여, 특정 서비스, 프로그램, 이벤트 및/또는 scene 단위에서의 OSD가 어느 depth에서 디스플레이되어야 하는지를 처리하고, OSD에 대한 디스플레이를 제어한다. 전술한 임베디드 오버레이에 관한 정보가 3D OSD 엔진 (15060)에 의하여 사용될 수 있다. 3D OSD 엔진 (15060)는 전술한 임베디드 오버레이에 관한 정보를 이용하여 적절한 위치에 수신기의 OSD를 디스플레이하도록 제어한다.

좌영상 믹서 (15070)는 3D 비디오 영상을 구성하는 영상 중 좌영상에 대한 처리를 수행한다.

우영상 믹서 (15080)는 3D 비디오 영상을 구성하는 영상 중 우영상에 대한 처리를 수행한다.

3D 출력 포맷터 (15090)는 3D 비디오 영상을 구성하는 좌영상 및 우영상을 화면에 표출시키는 역할을 수행한다. 이때, OSD 디스플레이도 함께 표출시키는 처리를 수행할 수 있다.

수신기는 PMT, TVCT 및/또는 SDT에 포함된 전술한 3D Scene-level Depth Information Descriptor를 이용해 현재 시청 중인 program, channel, service에 대한 scene 단위 또는 시간대 별 depth range 정보를 파악할 수 있다.

수신기는 EIT를 통해 임베디드 오버레이에 관한 정보를 수신하는 경우, 해당 descriptor는 EIT의 time span에 해당하는 시간대 별 depth range 정보를 파악할 수 있다.

수신기는 사용자의 interaction 또는 메시지, 알람 기능 수행에 의한 graphic, OSD 화면의 출력 시 전술한 비디오 depth range 정보 및/또는 임베디드 오버레이에 관한 정보를 이용한다. 수신기는 min_disparity 값을 이용해 OSD 화면이 3D 비디오와 겹쳐지지 않는 범위 내에서 OSD 화면을 위치할 disparity를 결정한다. 이 경우, min_disparity에서 지정하는 값보다 앞 쪽으로 위치하도록 결정 또는 각 overlay 의 type, area 및 min_disparity 정보를 토대로 우선순위가 높은 embedded overlay의 디스플레이를 가리지 않으면서, 그 외의 영역에서는 min_disparity 값보다 앞쪽으로 위치하도록 결정할 수 있다.

수신기는 OSD 화면을 출력할 시점이 scene boundary 인 경우에는 current 와 next scene의 min_disparity 값 중에 가장 앞 쪽에 해당하는 (예를 들면, 더 작은 min_disparity) 값을 기준으로 OSD를 출력할 수 있다. 예를 들어, OSD의 timeout 길이 및 통상적인 user interaction 등을 고려해 1분 정도의 OSD 출력 기간을 가정할 때 이 1분 내에 scene change가 발생하는지를 check 하여, scene change가 발생하는 경우, 양자의 scene의 min_disparity를 비교하여 적절한 min_disparity 만을 적용하여 OSD의 출력에 이용할 수 있다.

도 16은 본 발명의 다른 실시예에 따른, 수신기의 기능 블록을 나타낸 도면이다.

본 발명의 일실시예에 따른 수신기는 튜너 및 복조부 (16010), VSB 디코더 (16020), 트랜스포트 패킷 역다중화부 (16030), PSI/PSIP/SI 프로세서 (16040), 3D scene depth information 디코더 (16050), 3D 비디오 디코더 (16060), 프라이머리 비디오 디코더 (16062), 세컨더리 비디오 디코더 (16064), 3D OSD 엔진 (16070), 좌영상 믹서 (16080), 우영상 믹서 (16090) 및/또는 3D 출력 포맷터 (16100)을 포함할 수 있다.

본 도면에서 도시된 블록들은, 각 블록의 명칭과 동일한 명칭을 가지는 도 15의 블록과 각각 유사한 기능을 수행한다. 따라서, 동일한 명칭의 블록에 대한 설명은 도 15의 설명으로 대체한다.

3D scene depth information 디코더 (16050)은 임베디드 오버레이와 관련한 정보를 디코딩한다. 임베디드 오버레이와 관련한 정보가 PES로 전달되는 경우에 있어서, 임베디드 오버레이와 관련한 정보를 포함하는 PES를 디코딩한다. 또는 3D scene depth information 디코더 (16050)는 임베디드 오버레이와 관련한 정보를 포함하는 SEI massage를 처리할 수 있다.

이 경우, 전술한 3D depth range descriptor는 PMT, TVCT, EIT 및/또는 SDT에 포함되어 전송될 수 있다.

도 17은 본 발명의 일 실시예에 따른, PES packet의 구조를 나타낸 도면이다.

전술한 바와 같이, 3D 영상 수신기에서의 OSD 디스플레이를 위한 시그널링은 하나 이상의 layer에서 정의될 수 있다. 첫 번째 레이어에서는 프레임 별 하나의 영역에 대한 depth range 정보를 제공할 수 있다. 이 경우, SI 레벨에서 이벤트/서비스를 위한 깊이 범위 정보가 제공될 수 있다. 두 번째 레이터에서는 하나의 프레임에서 다수의 영역을 나누고, 각각의 영역에 대한 깊이 범위 정보를 제공할 수 있다. 또는 3D 영상의 디스플레이를 scene과 같은 짧은 시간으로 구분하고, 해당 시간 동안의 깊이 범위 정보를 제공할 수 있다. 이 경우, 각 영역별 깊이 범위 정보 또는 각 scene 에 대한 깊이 범위 정보는 비디오 레벨에서 메타데이터 형식으로 제공될 수 있다. 예를 들면, SEI massage에 해당 정보가 포함될 수 있다. 전술한 각 레이어에서의 시그널링 방식은 독자적으로 제공될 수 있고, 두 가지 레이어가 함께 제공될 수 있다.

이하에서는 두 번째 레이어에 관한 보다 상세한 설명을 하기로 한다.

정보 전송 방법과 관련하여, 임베디드 오버레이와 관련한 정보를 개별적인 섹션 (예를 들면, 분리된 PES 스트림) 을 통하여 시그널링될 수 있다. 또 다른 예로, 임베디드 오버레이와 관련한 정보는 SEI massage에 포함되어져 전송될 수 있다.

Scene 별 시그널링이 이루어 지는 경우, 각 이벤트/서비스의 scene의 시작 및/또는 종료를 알 수 있는 정보가 전송될 수 있다.

영역 별 시그널링이 이루어 지는 경우, 각 영역에 대한 정보를 제공하고, 각 영역에서의 디스플레이 대상을 고려한 깊이 범위 정보가 시그널링 될 수 있다. 또는 각 영역은 단순히 사각형의 영역으로 일정한 방식으로 분할되고 각 분할된 영역에 대한 식별 정보를 부가하여 각 영역에 대한 깊이 범위 정보를 제공할 수 있다.

도 17은 PES packet의 구조를 나타낸 syntax이다. PES packet에 포함되는 각 syntax의 내용은 도 17에 나타난 바와 같다. PES packet에서 depth_information_data () 부분에 전술한 임베디드 오버레이과 관련한 정보가 일부 또는 전부 포함될 수 있다. 이때, PTS 필드는 depth_information_data()에서 signaling 하는 scene들에 대한 base time을 알려줄 수 있다. 즉, PTS 필드는 첫 scene의 시작 시간을 시그널링 할 수 있이며, 이후 발생하는 각 scene에 대해서는 별도의 필드를 통해 시간정보가 시그널링 될 수 있다. 이들에 의한 값은 다음에 update 되는 값이 오기 전까지 유효한 것으로 정의될 수 있다. 경우에 따라, 종료 시점의 PTS를 알려주는 시나리오도 가능할 것이다.

도 18은 본 발명의 일 실시예에 따른, depth_information_data ()를 나타낸 도면이다.

depth_update_flag 는 depth_information_data 에 의하여 전송되는 정보가 바뀌거나 업데이트 되는 경우, '1'로 표시될 수 있다. 수신기는 이 정보를 이용하여, 동일한 깊이 정보 (depth information) 를 파싱하는 불필요한 작업으로 부터 해방될 수 있다. 수신기는 이 플래그의 값에 따라, 깊이 정보 데이터를 파싱할지 말지를 결정할 수 있다.

event_min_disparity 와 event_max_disparity 는 이벤트의 최소 디스패리티 및 푀대 디스패리티를 각각 나타낸다. 디스패리티는 좌영상과 우영상에서, 스트레오스코픽 비디오의 페어 내에 동일한 지점을 나타내는 픽셀의 수평 위치의 차이를 나타낸다. event_min_disparity 와 event_max_disparity의 값은, video_depth_range_descriptor 내의 video_min_disparity_hint 와 video_min_disparity_hint 의 값과 동일할 수 있다. 영역 및 scene 단위로 세분화된 disparity (depth)를 구현하기 힘든 수신기의 경우 이 필드를 이용해 event 단위로 균일한 depth 정보를 적용할 수 있다.

num_of_scenes 팔드는 현재 전송되는 depth_information_data()를 통해 depth 정보를 파악할 수 있는 scene의 개수를 나타낸다.

scene_id 필드는 각 장면에 대한 식별자이며 scene_start_time 필드가 없는 경우 시작 시간을 implicit 하게 signaling 할 수 있으며, 경우에 따라 생략 가능하다.

scene_start_time 필드는 각 scene의 시작 시간을 의미한다. 시작 시간을 나타내는 실시 예는 여러 가지 방법이 가능하며 1980년 1월6일 0시 기준으로 GPS 초 단위로 표현할 수 있으며 (이 경우 32 bit 필요), 또 다른 방법으로 시작 PTS 값 (PES packet header에 있는 PTS 값 - 첫번째 scene의 start time을 지정)을 기준으로 PTS offset을 나타낼 수 있으며 또는 경과된 초 단위로 표현할 수도 있다.

scene_duration 필드는 scene의 길이를 나타내며 90 KHz 기준으로 count 값을 사용할 수도 있고 GPS time 단위로 표현한다.

scene_min_disparity 와 scene_max_disparity 는 각각 하나의 씬 (scene) ㄴ내에서의 최소 디스패리티 및 최대 디스패리티를 나타낸다. 이 정보는 디스패리티 값으로 표현될 수도 있고, 또는 event_min_disparity 와 event_max_disparity 의 값과의 차이값으로 표현될 수도 있다. 영역 단위로 세분화된 disparity (depth)를 구현하기 힘든 수신기의 경우 이 필드를 이용해 scene에 속한 모든 frame 내에 균일한 depth 정보를 적용할 수 있다.

도 19는 본 발명의 일 실시예에 따른, region_depth_data () 를 나타낸 도면이다.

region_depth_data는 해당 scene에 포함된 frame의 영역에 대한 depth 정보를 전송한다. 이 때, 경우에 따라 일부 region에 대한 depth 정보를 생략할 수도 있으며, 수신기는 생략된 region에 대해서는 scene_min_disparity / scene_max_disparity를 적용할 수 있다. 또는 수신기는 인접한 영역 중 (depth 값이 signaling 된 영역) 가장 값이 적은 scene region_min_disparity 및 가장 값이 큰 scene region_max_disparity를 적용할 수 있다. 이 경우, 수신기가 위 자체적으로 내용을 구현할 수도 있고, 방송 시그널링을 통해 사용할 값 지정을 원하는 경우, 이를 위한 필드를 추가할 수 있다. 예를 들면, Default_value_mode 라는 필드를 추가하고, 이 필드의 값이 ‘00’ 인 경우, scene의 깊이 값을 사용하도록 설정하고, 이 필드의 값이 ‘01’인 경우, 좌측 영역의 깊이 값을 사용하도록 설정하고, 이 필드의 값이 ‘10’ 인 경우, 이웃 영역의 깊이 값의 평균 값을 사용하도록 설정하고, 이 필드의 값이 ‘11’ 인 경우, 인접하는 영역의 최대 또는 최소 깊이 값을 사용하도록 설정할 수 있다.

num_of_regions 필드는 영역의 개수를 나타낸다.

grid_base_view_flag 필드는 정의된 영역이 L-view와 R-view 중 어느 쪽을 기준으로 하였는지 여부를 나타내는 필드이다. ‘0’ 이면 Left-view를 기준으로 overlay의 영역이 표현되었음을 의미하고, ‘1’ 이면 Right-view를 기준으로 overlay의 영역이 표현되었음을 의미할 수 있고, 반대로 정의될 수도 있다.

grid_type 필드는 ‘0’이면 pixel 단위의 grid 임을 의미하고, ‘1’이면 별도로 정의한 grid 단위를 의미할 수 있다. 즉, grid_type 필드의 값이 ‘1’이면, 영역을 group of pixels로 구성할 수 있고, 이는 화면을 특정 방법으로 분할하고 분할된 각각을 영역으로 설정할 수 있다. grid_type이 ‘0’인 경우, 기본적으로 scene / event 단위의 depth range를 적용하되, stereoscopic 3D 비디오 영상 내에 포함된 특정 영역의 depth range가 scene / event 단위의 depth range에 비해 확연히 차이가 나는 경우에만, 이 영역에 대한 depth range 를 따로 signaling 해주는 방법이 적용될 수 있다. 이때 define 되는 각 region 은 서로 겹치는 부분이 없도록 한다.

grid_num_hor_pixels 필드는 영상의 가로축 방향 grid 개수를 의미한다. grid_num_hor_pixels 필드는 하나의 프레임에 가로축으로 몇 개의 영역이 포함되는지를 나타낼 수 있다.

grid_num_ver_pixels 필드는 영상의 세로축 방향 grid 개수를 의미한다. grid_num_ver_pixels 필드는 하나의 프레임에 세로축으로 몇 개의 영역이 포함되는지를 나타낼 수 있다.

ref_resolution_width 필드는 grid 지정 시, 기준으로 한 ref_resolution의 width 값을 의미하며, 영상의 resolution은 16픽셀의 배수이므로 16에 대한 배수로 나타내어 표현 비트 수를 줄일 수 있다.

ref_resolution_height 필드는 grid 지정 시, 기준으로 한 ref_resolution의 height 값을 의미하며, 영상의 resolution은 16픽셀의 배수이므로 16에 대한 배수로 나타내어 표현 비트 수를 줄일 수 있다.

region_id 필드는 비디오 프레임 내의 영역을 식별한다. grid_type의 값이 ‘1’인 경우, 좌/우 및 상/하 와 같이 각 영역의 순서를 정하는 규칙만 있으면, 이 값은 생략 가능하다.

region_min_disparity 와 region_max_disparity는 각각 region 내의 최소 디스패리티 및 최대 디스패리티 값을 나타낸다.

num_of_regions 필드는, grid_type이 ‘1’인 경우, grid_num_hor_pixels 와 grid_num_ver_pixels를 곱한 값과 동일하게 설정할 수 있으며, 이때, 각 region에 대한 각각의 좌표를 따로 보내지 않고, 왼쪽/오른쪽 및 위/아래의 순서대로 순차적으로 시그널링할 수 있다.

x_coordinate 필드는 영역 맨 왼쪽 위의 x 좌표값으로 픽셀 단위이다.

y_coordinate 필드는 영역 맨 왼쪽 위의 y 좌표값으로 픽셀 단위이다.

region_width 필드는 영역을 표현하는 box의 width 값으로 픽셀 단위이다. The value zero is used to signal special region type.

region_height 필드는 영역을 표현하는 box의 height 값으로 픽셀 단위이다. The value zero is used to signal special region type.

도 20은 본 발명의 일 실시예에 따른, SEI massage를 통한 깊이 정보 제공 방법을 나타낸 도면이다.

user_data_registered_itu_t_t35 () 의 user_identifier의 값으로 user_structure () 의 종류를 식별한다. user_structure () 가 DVB1_data () 인 경우, DVB1_data ()는 user_data_type_code 필드와 user_data_type_structure ()를 포함할 수 있다. user_data_type_code 필드는 그 값에 따라 user_data_type_structure () 의 종류를 식별할 수 있다.

도 21은 본 발명의 일 실시예에 따른, depth_data () 를 나타낸 도면이다.

user_data_type_structure () 가 depth_data () 인 것으로 식별되면, depth_data는 각 영역에 대한 정보 및/또는 각 영역에 대한 깊이 정보를 포함할 수 있다.

depth_data ()에 포함되는 각 필드의 정의는 전술한, 동일한 명칭을 가지는 필드에 대한 정의로 대체하기로 한다.

scene_min_disparity / scene_max_disparity 값은 해당 시그널링이 포함된 프레임부터 적용이 되며 새로운 시그널링 (depth data) 정보가 수신될 때까지 이 값이 계속 적용될 수 있다.

scene_min_disparity / scene_max_disparity 역시 새로운 scene 정보로 대체될 때까지 시그널링 된 값을 유지될 수 있다. 만약 scene_end 값이 명시된 경우에는 scene_end의 timing 까지 scene_min_disparity / scene_max_disparity 의 값이 유지될 수 있다.

region 단위의 depth range 정보는 해당 region이 속한 frame 또는 scene 단위의 depth range를 벗어나지 않도록 할 수 있다.

scene 단위의 depth range 정보는 해당 scene이 속한 event에 대한 depth range를 벗어나지 않도록 할 수 있다.

depth range signaling 정보에 대한 change의 주기는 최소한 GOP 단위로 한다. 예를 들어, P(M)과 P(N)이 video sequence에서 연속적인 두 개의 IDR picture (또는 I picture)라고 한다면 이 사이에 위치한 picture들, 예를 들면, P(M+1) 부터 P(N-1)에서는, depth range signaling 정보가 변화할 수 없도록 할 수 있다.

도 22는 본 발명의 일 실시예에 따른, 영역별 시그널링을 위한 영역이 표시된 화면을 나타낸다.

위와 같이 화면 내에서 서로 다른 depth range 특성을 갖는 영역이 두 개가 있다고 할 때, Region 0과 Region 1을 시그널링하는 실시예는 다음과 같다.

grid_type 의 값이 “0” 인 경우,

Region 0에 대하여,

x_coordinate = region 0에 속하는 좌측 끝 픽셀의 수평 좌표;

y_coordinate = region 0에 속하는 위쪽 끝 픽셀의 수직 좌표;

region_width = region 0의 넓이;

region_height = region 0의 높이;

Region 1에 대하여,

x_coordinate = 0xFFF 으로 설정; (region_width 와 region_height 가 '0' 인 경우, 무시될 것이다.)

y_coordinate = 0xFFF 으로 설정; (region_width 와 region_height 가 '0' 인 경우, 무시될 것이다.)

region_width = 0;

region_height = 0;

region_width 와 region_height의 값이 모두 '0'으로 셋팅된 경우, 연관된 region 은 “num_of_regions” 루프 (loop) 내의 다른 region 들에 의하여 커버되지 않는 남은 영역을 커버할 것이다. depth_data 또는 region_depth_data 의 싱글 인스턴스 (instance) 내에는, region_width 와 region_height 이 '0' 으로 셋팅된, 많아도 하나의 region 이 존재할 것이다.

region_width and region_height

도 23은 본 발명의 다른 실시예에 따른, 3D 수신기의 기능 블록을 나타낸 도면이다.

본 발명의 다른 실시예에 따른 3D 수신기는, TP 디먹스 (23010), Depth Range Descriptor 프로세서 (23020), Depth information Signaling Information 프로세서 (23030), Video Input 버퍼 및 컨트롤 유닛 (23040), 비디오 디코더 (23050), 우영상 프로세서 (23060), Depth Information Signaling SEI 프로세서 (23070), Graphic Engine (23080), 좌영상 프로세서 (23090) 및/또는 3D 포맷터 (23100) 을 포함할 수 있다.

TP 디먹스 (23010)는 3D 영상을 포함하는 데이터를 수신한다.

Depth Range Descriptor 프로세서 (23020)는 depth range와 관련한 정보를 포함하는 descriptor를 파싱한다. 여기서의 depth range와 관련한 정보를 포함하는 descriptor는 SDT 또는 EIT에 포함되어 전송되는 것일 수 있다.

Depth information Signaling Information 프로세서 (23030)는 Private PES를 통하여 전송되는 depth와 관련한 정보를 포함하는 시그널링 세그먼트를 파싱한다.

Video Input 버퍼 및 컨트롤 유닛 (23040)는 기본 영상 스트림을 포함하는 PES 패킷과 종속 영상 스트림을 포함하는 PES 패킷의 비디오 입력을 버퍼링하거나, 출력을 조절하는 역할을 수행한다.

비디오 디코더 (23050)는 입력된 비디오 데이터를 디코딩한다. 비디오 디코더 (23050)는 AVC 레이터의 디코더 (23052) 및/또는 MVC 확장 레이터의 디코더 (23054)를 포함할 수 있다. AVC 레이터의 디코더 (23052)는 기본 영상 데이터를 디코딩하고, 영상 사이의 추정을 위한 정보를 MVC 확장 레이터의 디코더 (23054)에 전달할 수 있다. MVC 확장 레이터의 디코더 (23054)는 종속 영상 데이터를 디코딩할 수 있다. 이때, 입력된 영상 사이의 추정을 위한 정보를 사용할 수 있다.

우영상 프로세서 (23060)는 우영상 비디오와 우영상 그래픽을 결합한다. 우영상 그래픽은 우영상 비디오 상에서 표시되는 OSD가 될 수 있다.

Depth Information Signaling SEI 프로세서 (23070)는 비디오 데이터에 포함되어 있는 시그널링 정보를 파싱한다. 예를 들면, SEI massage로 전달되는 전술한 정보를 파싱할 수 있다.

Graphic Engine (23080)는 OSD 와 같은 그래픽 출력을 위한 처리를 수행한다.

좌영상 프로세서 (23090)는 좌영상 비디오와 좌영상 그래픽을 결합한다. 좌영상 그래픽은 좌영상 비디오 상에서 표시되는 OSD가 될 수 있다.

3D 포맷터 (23100)는 3D 영상 출력을 위한 렌더링을 수행한다.

수신기는 본 발명의 전술한 특징의 극히 일부를 수행하기 위한 최소한의 capability를 가지는 수신기 (이하, ‘타입 A 수신기’ 라 칭한다.), 본 발명의 전술한 특징을 일부 수행할 수 있는 수신기 (이하, ‘타입 B2 수신기’라 칭한다.) 와 본 발명의 전술한 특징을 전부 수행할 수 있는 full capability를 갖춘 수신기 (이하, ‘타입 B1 수신기’라 칭한다.)가 존재할 수 있다.

타입 A 수신기는 3차우너 비디오의 변화하는 깊이에 따라 그래픽 깊이를 변경하거나 조절할 수 없는 수신기 일 수 있고, 또는 하나의 그래픽 평면위에 다른 깊이를 적용할 수 없는 수신기일 수 있다.

사용자의 요청에 따라, 타입 A 수신기는 EIT 또는 SDT에 포함되는 depth range descriptor 내의 최소 디스패리티 값에 의하여 식별되는 깊이 값에 적절한 그래픽 엘레먼트를 위치시킬 수 있다. 이벤트의 경계에서 (연속되는 이벤트들을 위하여 EIT 내에서 다른 디스패리티 값이 시그널링되는 경우), 타입 A 수신기는 OSD 를 디스플레이하는 경우 다음 이벤트의 디스패리티 값을 고려할 것이다. 마지막 최소 디스패리티 값은 현재 이벤트를 위한 디스패리티 및 다음 이벤트를 위한 디스패리티 중 적은 값이 될 것이다.

타입 A 수신기는 SDT/EIT의 depth range descriptor에 포함된 depth (또는 disparity) 정보를 Depth Range Descriptor processing 블록 (23020) 에서 읽은 다음, 해당 depth 정보를 Graphic Engine 블록 (23080)으로 전달한다.

Graphic Engine (23080) 은 전달받은 depth 정보를 이용해 만들어진 OSD (graphic) data에 대한 우영상에서의 좌표를 결정한다. 즉, 기존 2D 화면을 좌영상이라고 가정할 때, 좌영상 좌표는 2D 화면의 그래픽 화면 구성 시 사용한 좌표값을 그대로 사용하며, 우영상에 대해서는 depth (disparity) 만큼 이동된 좌표에 동일한 그래픽 또는 우영상에 디스플레이할 대응되는 그래픽을 출력한다.

타입 B1 수신기는 프레임에서 다른 프레임으로 적응적으로 OSD 엘레먼트의 깊이를 변경할 수 있고, 동일한 프레임 위에서 다른 깊이 값을 가지는 복수의 OSD 엘레먼트들을 위치시킬 수 있다.

사용자의 요청에 따라, 타입 B1 수신기는 적절한 위치에 적절한 그래픽 엘레먼트를 준비할 수 있다. 타입 B1 수신기는 상응하는 영역을 매칭하고, 디스패리티 시그널링 정보에 의하여 설명된 타이밍으로 디스플레이할 그래픽 엘레먼트를 위한 디스패리티 값을 결정할 수 있다.

타입 B2 수신기는 전술한 디스패리티 시그널링 정보에 의하여 식별되는 디스패리티 값 시그널링을 전체적으로 적용하지 못할 수 있다.

사용자의 요청에 따라, 타입 B2 수신기는 적절한 위치에 적절한 그래픽 엘레먼트를 준비할 수 있다. 타입 B2 수신기는 전술한 디스패리티 시그널링 정보 내의 전체 프레임을 위한 디스패리티로 식별된 값의 위치에 그래픽 엘레먼트를 위치시킬 수 있다. (그러나, 일시적인 수정은 가능하다.) 수신기는 전술한 디스패리티 시그널링 정보 내의 이벤트를 위한 디스패리티로 식별된 값의 위치에 그래픽 엘레먼트를 위치시킬 수 있다. (공간적 수정은 가능하다.)

타입 B1 수신기는 Depth Information Segment (PES stream) 또는 Depth Information Signaling SEI에 포함된 disparity 정보를 읽는다. 수신기가 disparity 정보를 이미 읽은 경우에는 depth_update_flag를 이용해 해당 필드가 ‘0’이면 기존에 저장한 disparity 정보를 그대로 사용하고 ‘1’이면 Depth Information Segment 또는 Depth Information Signaling SEI에 포함된 새로운 disparity 정보를 읽는다. 위에서 언급한 disparity 정보는 scene 및 region 단위로 세분화 된 depth information을 포함한다. 읽어 낸 disparity 정보는 Graphic Engine으로 전달된다. Graphic Engine은 전달 받은 disparity 정보로부터 사용자의 request 또는 기타 정보 전달 등의 목적으로 graphic (OSD) 화면을 출력할 좌표 및 해당 시점에 대응되는 정보를 매칭시킨다. 매칭된 정보를 이용해 해당 graphic 화면의 disparity 값을 결정하며 좌영상에 출력할 그래픽 화면의 좌표는 2D 화면에서의 위치와 동일한 값을 사용한다. 우영상에 출력할 그래픽 화면의 좌표는 위에서 파악한 disparity 값을 이용해 해당 좌표만큼 이동된 위치를 사용한다.

위에서 언급된 좌/우 영상은 서로 바뀌어 구현될 수 있다. Disparity를 적용할 때, 좌/우 영상을 균일하게 shift 하는 방법을 사용할 수 있다. 즉, 좌영상에 출력하는 그래픽 화면의 좌표는 대응되는 2D 화면 좌표로부터 disparity/2 만큼 좌로 shift 하고, 우영상에 대해서는 disparity/2 만큼 우로 shift한 좌표 값을 사용할 수 있다. 어떤 식으로 구현하던지 좌/우 영상의 대응되는 그래픽 데이터의 출력 좌표의 차이는 disparity 값과 동일하다.

본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.

상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

삼차원 콘텐츠를 위한 비디오 데이터를 포함하는 방송 신호를 수신하는 수신 유닛;
상기 수신된 방송 신호로부터, 상기 삼차원 콘텐츠를 위한 상기 비디오 데이터를 디코딩하는 디코더;
상기 디코딩된 비디오 데이터로부터, 깊이 정보를 파싱하는 시그널링 프로세서;
수신기의 OSD (On Screen Display)를 디스플레이하기 위한 깊이를 결정하는 그래픽 엔진;
상기 삼차원 콘텐츠를 위한 상기 깊이에 위치하는 OSD 를 포함하는 이미지들을 형성하는 포맷터; 및
상기 이미지들을 디스플레이하는 디스플레이 유닛;
을 포함하고,
여기서 상기 깊이 정보는 하나의 이미지의 분할 패턴을 가리키는 분할 정보를 포함하고, 상기 분할 정보에 의하여, 상기 이미지의 복수의 영역들이 정의되고,
여기서 상기 깊이 정보는 상기 이미지 내의 최대 디스패리티 값을 식별하는 최대 디스패리티 정보 및 상기 복수의 영역 중 하나의 영역 내의 최소 디스패리티 값을 식별하는 최소 디스패리티 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 수신하는 장치.
제 1 항에 있어서, 상기 깊이 정보는 상기 복수의 영역들의 각각의 영역을 식별하는 영역 식별 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 수신하는 장치.
제 1 항에 있어서, 상기 깊이 정보는 상기 OSD 가 상기 삼차원 콘텐츠 위에 오버레이되는 동안, 상기 삼차원 콘텐츠를 이차원 콘텐츠로 스위치할 것인지 여부를 가리키는 스위치 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 수신하는 장치.
제 1 항에 있어서, 상기 깊이 정보는 상기 이미지의 수평 방향 또는 수직 방향으로 존재하는 영역들의 수를 나타내는 넘버 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 수신하는 장치.
제 1 항에 있어서, 상기 깊이 정보는 SEI 메시지에 포함되는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 수신하는 장치.
제 2 항에 있어서, 상기 깊이 정보는 상기 영역 식별 정보에 의하여 식별되는 영역의 디스플레이를 위한 우선 순위를 식별하는 우선순위 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 수신하는 장치.
제 6 항에 있어서, 상기 그래픽 엔진은,
상기 우선순위 정보의 값이 임계값을 초과하는 경우, 상기 영역에서 상기 OSD 가 상기 삼차원 콘텐츠 위로 오버레이되지 않도록 결정하는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 수신하는 장치.
깊이 정보를 인코딩하는 단계;
삼차원 콘텐츠를 위한 상기 깊이 정보를 포함하는 비디오 데이터를 인코딩하는 단계; 및
상기 비디오 데이터를 포함하는 방송 신호를 송신하는 단계;
를 포함하고,
여기서 상기 깊이 정보는 하나의 이미지의 분할 패턴을 가리키는 분할 정보를 포함하고, 상기 분할 정보에 의하여, 상기 이미지의 복수의 영역들이 정의되고,
여기서 상기 깊이 정보는 상기 이미지 내의 최대 디스패리티 값을 식별하는 최대 디스패리티 정보 및 상기 복수의 영역 중 하나의 영역 내의 최소 디스패리티 값을 식별하는 최소 디스패리티 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 송신하는 방법.
제 8 항에 있어서, 상기 깊이 정보는 상기 복수의 영역들의 각각의 영역을 식별하는 영역 식별 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 송신하는 방법.
제 8 항에 있어서, 상기 깊이 정보는 OSD 가 상기 삼차원 콘텐츠 위에 오버레이되는 동안, 상기 삼차원 콘텐츠를 이차원 콘텐츠로 스위치할 것인지 여부를 가리키는 스위치 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 송신하는 방법.
제 8 항에 있어서, 상기 깊이 정보는 상기 이미지의 수평 방향 또는 수직 방향으로 존재하는 영역들의 수를 나타내는 넘버 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 송신하는 방법.
제 8 항에 있어서, 상기 깊이 정보는 SEI 메시지에 포함되는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 송신하는 방법.
제 9 항에 있어서, 상기 깊이 정보는 상기 영역 식별 정보에 의하여 식별되는 영역의 디스플레이를 위한 우선 순위를 식별하는 우선순위 정보를 더 포함하는 것을 특징으로 하는 삼차원 콘텐츠를 포함하는 방송 신호를 송신하는 방법.