KR20110139189A

KR20110139189A - 3ｄ 비디오 신호 처리 방법 및 이와 같은 기능을 수행하는 디지털 방송 수신기

Info

Publication number: KR20110139189A
Application number: KR1020117014990A
Authority: KR
Inventors: 서종열; 양정휴
Original assignee: 엘지전자 주식회사
Priority date: 2009-03-19
Filing date: 2009-12-18
Publication date: 2011-12-28
Also published as: US20150042754A1; EP2409494A4; WO2010107174A3; EP2409494A2; US8854428B2; CA2750211A1; KR101672283B1; US9215446B2; CA2750211C; US20120007948A1; EP2775724A3; CN104506839B; CN102484727A; CN102484727B; EP2775724A2; WO2010107174A2; US20160065935A1; CN104506839A; US9491434B2

Abstract

본 발명은 3D 방송에 관한 것으로서, 보다 상세하게는 3D 비디오 신호 처리 방법 및 이와 같은 기능을 수행하는 디지털 방송 수신기에 관한 것이다. 본 발명의 일실시예는, 3DTV(3-Dimension TeleVision) 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보 및 2D 비디오 스트림을 수신하는 단계와, 상기 시그널링 정보에 기초하여, 상기 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및2D 비디오 스트림을 디멀티플렉싱 하는 단계와, 상기 디멀티플렉싱된 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 상기 디멀티플렉싱된 2D 비디오 스트림을 각각 디코딩 하는 단계와, 그리고 상기 디코딩된 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 상기 디코딩된 2D 비디오 스트림을 포맷팅 하여 3D 비디오를 출력하는 단계를 포함한다.

Description

3Ｄ 비디오 신호 처리 방법 및 이와 같은 기능을 수행하는 디지털 방송 수신기{METHOD FOR PROCESSING THREE DIMENSIONAL (3D) VIDEO SIGNAL AND DIGITAL BROADCAST RECEIVER FOR PERFORMING THE PROCESSING METHOD}

본 발명은 3D 방송에 관한 것으로서, 보다 상세하게는 3D 비디오 신호 처리 방법 및 이와 같은 기능을 수행하는 디지털 방송 수신기에 관한 것이다.

일반적으로 3차원 (3 dimensions ; 3D) 영상 또는 입체 영상은, 예를 들어 두 눈의 스테레오(stereo) 시각 원리에 의한다. 두 눈의 시차, 다시 말해 약 65mm 정도 떨어져 존재하는 두 눈 사이의 간격에 의한 양안 시차 (binocular parallax)는 입체감을 느끼게 하는 중요한 요인으로 좌우 눈이 각각 연관된 평면 영상을 볼 경우, 뇌는 이들 서로 다른 두 영상을 융합하여 3D 영상 본래의 깊이감과 실재감을 구현할 수가 있다.

이와 같은 3D 영상 표시 방법은, 예를 들어 스테레오스코픽(stereoscopic) 방법, 부피 표현(volumetric) 방법, 홀로그래픽(holographic) 방법 등이 있다. 또한, 3D 영상 디스플레이 장치는, 예컨대 2D 영상에 깊이 (depth) 정보를 부가하거나 또는 left 영상 및 right 영상 정보를 이용함으로써, 상기 3D 영상 디스플레이 장치의 사용자가 3D 비디오의 생동감과 현실감을 느낄 수 있게 하는 디스플레이 장치이다.

또한, 이와 같은 3D 영상을 시청하는 방식으로는, 예를 들어 안경을 착용하는 방식과 안경을 착용하지 않는 방식 등이 있다.

한편, 종래 기술에 의한 텔레비전은 2D 영상만을 디스플레이 하는 기능을 구비하고 있음에 불과하였으나, 최근에 있어서는 디지털 방송 분야에 있어서도 3D 비디오를 구현하기 위한 기술에 대하여 많은 논의가 이루어 지고 있다. 그러나, 3D 방송 신호 처리에 대한 구체적인 프로토콜이 정의되어 있지 않아서, 방송 컨텐츠 제공자, 방송국, DTV 생산업체 입장에서 모두 상당히 혼란스러운 문제점이 있었다.

본 발명의 일실시예는 전술한 배경 기술의 문제점을 해결하기 위한 것으로서, 3D 방송 신호를 처리하기 위한 프로토콜을 새롭게 정의하고자 한다.

또한, 본 발명의 다른 일실시예는, 3DTV 방송 서비스를 위해 필요한 시그널링 정보를 전송하는 보다 효율적인 방법을 제공하고자 한다.

그리고, 본 발명의 또 다른 일실시예는, 방송국이 카메라 파라미터 정보를 전송하는지 여부와 관계없이, 3DTV 방송 서비스를 용이하게 구현하는 방법을 제공하고자 한다.

전술한 기술적 과제를 달성하기 위하여, 본 발명의 일실시예에 의한 디지털 방송 수신기의 제어 방법은, 3DTV(3-Dimension TeleVision) 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보 및 2D 비디오 스트림을 수신하는 단계와, 상기 시그널링 정보에 기초하여, 상기 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및2D 비디오 스트림을 디멀티플렉싱 하는 단계와, 상기 디멀티플렉싱된 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 상기 디멀티플렉싱된 2D 비디오 스트림을 각각 디코딩 하는 단계와, 그리고 상기 디코딩된 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 상기 디코딩된 2D 비디오 스트림을 포맷팅 하여 3D 비디오를 출력하는 단계를 포함한다.

또한, 본 발명의 일실시예에 의한 디지털 방송 송신기의 제어 방법은, 적어도 2개 이상의 카메라로부터 촬영된 멀티플 비디오 정보를 획득하는 단계와, 상기 획득된 멀티플 비디오 정보로부터 추출된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 포맷팅 하는 단계와, 상기 포맷팅된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 인코딩 하는 단계와, 그리고 상기 인코딩된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 전송하는 단계를 포함한다.

본 발명의 일실시예에 의하면, 3D 방송 신호를 처리하기 위한 프로토콜을 새롭게 정의한다.

또한, 본 발명의 다른 일실시예에 의하면, 3DTV 방송 서비스를 위해 필요한 시그널링 정보를 전송하는 보다 효율적인 방법을 제공한다.

그리고, 본 발명의 또 다른 일실시예는, 방송국이 카메라 파라미터 정보를 전송하는지 여부와 관계없이, 3DTV 방송 서비스를 용이하게 구현하는 방법을 제공한다.

이하, 첨부된 도면을 참조하여 본 발명의 특징과 바람직한 실시예를 구체적으로 설명한다.
도 1은 본 발명의 일실시예에 따른 3DTV 서비스를 위한 다수의 스트림을 도시한 도면이다.
도 2는 본 발명의 일실시예 의한 VCT를 도시한 도면이다.
도 3은 도 2에 도시된 VCT의 필드 중, 추가된 값을 가지는 service type 필드를 예시한 도면이다.
도 4는 본 발명의 일실시예에 따라 도 2의 VCT에 추가된 3D service location 디스크립터를 예시한 도면이다.
도 5는 본 발명의 일실시예에 의한 PMT를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 도 5의 PMT에 추가된 3D service location 디스크립터를 예시한 도면이다.
도 7은 본 발명의 일실시예에 따른 3D service location 디스크립터를 포함하는 3D 방송 신호를 처리하는 디지털 방송 수신기의 구성요소들을 도시한 도면이다.
도 8은 디지털 방송 송신기가 camera parameter를 전송하는 경우, 3DTV 서비스를 제공하는 디지털 방송 송신기 및 디지털 방송 수신기의 제어방법을 도시한 플로우 차트이다.
도 9는 도 8의 디지털 방송 송신기의 동작 중 일부를 설명하기 위한 도면이다.
도 10은 도 8의 디지털 방송 수신기의 동작 중 일부를 설명하기 위한 도면이다.
도 11은 본 발명의 일실시예에 따른 3DTV 서비스의 화면을 구현하는 과정 중, occlusion data가 없는 경우와 상기 occlusion data가 있는 경우의 process를 도시한 도면이다.
도 12는 디지털 방송 송신기가 camera parameter를 전송하지 않는 경우, 3DTV 서비스를 제공하는 디지털 방송 송신기 및 디지털 방송 수신기의 제어방법을 도시한 플로우 차트이다.
도 13은 도 12의 디지털 방송 송신기의 동작 중 일부를 설명하기 위한 도면이다.
도 14는 도 12의 디지털 방송 수신기의 동작 중 일부를 설명하기 위한 도면이다.
도 15는 디지털 방송 송신기가 camera parameter를 전송하지 않는 경우, viewing geometry 에 대한 가정을 이용하여, 3DTV 서비스를 위해 필요한 추가 시점 영상을 구하는 과정을 설명하기 위한 도면이다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

본 발명은 3D 비디오를 처리하기 위한 정보가 시스템 정보에 포함되어 전송되는 것을 일실시예로 한다. 상기 시스템 정보는 예컨대, 서비스 정보라고도 불리운다. 상기 시스템 정보는, 예를 들어 채널 정보, 프로그램 정보, 이벤트 정보 등을 포함한다. 본 발명의 일실시예는, 상기 시스템 정보를 PSI/PSIP (Program Specific Information/Program and System Information Protocol)에 새롭게 추가할 수도 있다. 다만, 본 발명은 이에 한정되는 것은 아니며, 시스템 정보를 테이블 포맷으로 전송하는 프로토콜이라면, 그 명칭에 상관없이 본 발명이 적용될 수가 있다.

상기 PSI 는 일실시예로서, PAT(Program Assoication Table), CAT(Conditional Access Table), PMT(Program Map Table), NIT (Network Information Table) 등을 포함할 수가 있다.

상기 PAT는 PID가 ‘0’인 패킷에 의해 전송되는 특수 정보로서, 각 프로그램 마다 해당 PMT의 PID 정보와 NIT의 PID 정보를 전송한다. 상기 CAT는 방송 송신 시스템이 사용하고 있는 유료 방송 서비스에 대한 정보를 전송한다. 상기 PMT 는 프로그램 식별 번호와 프로그램을 구성하는 비디오, 오디오 등의 개별 비트 스트림이 전송되는 트랜스포트 스트림 패킷의 PID 정보 및 PCR이 전달되는 PID 정보를 전송한다. 상기 NIT는 실제 전송망의 정보를 전송한다. 예를 들어, PID가 0인 PAT를 파싱함으로써, 프로그램 번호(program number)와 PMT의 PID를 획득한다. 그리고, 상기 PAT 로부터 획득한 PMT를 파싱하면, 프로그램을 구성하는 구성 요소들간의 상관관계에 대한 정보를 획득한다.

상기 PSIP은 일실시예로서, VCT(Virtual Channel Table), STT(System Time Table), RRT(Rating Region Table), ETT(Extended Text Table), DCCT(Direct Channel Table), DDCSCT(Direct Channel Change Selection Code Table), EIT(Event Information Table), MGT(Master Guide Table) 등을 포함할 수가 있다.

상기 VCT는 가상 채널에 대한 정보, 예를 들어 채널 선택을 위한 채널 정보와 오디오 및/또는 비디오의 수신을 위한 PID(Packet Identifier) 등의 정보를 전송한다. 즉, 상기 VCT를 파싱하면, 채널 이름, 채널 번호 등과 함께 채널 내에 실려 오는 방송 프로그램의 오디오와 비디오의 PID를 획득할 수가 있다. 상기 STT는 현재의 날짜와 시간 정보를 전송하고, 상기 RRT 는 프로그램 등급을 위한 지역 및 심의 기관 등에 대한 정보를 전송한다. 상기 ETT는 채널 및 방송 프로그램에 대한 부가 설명을 전송하고, 상기 EIT는 가상 채널의 이벤트에 대한 정보를 전송한다. 상기 DCCT/DCCSCT는 자동 채널 변경과 관련된 정보를 전송하고, 상기 MGT는 상기 PSIP 내 각 테이블의 버전 및 PID 정보를 전송한다.

한편, 종래 기술에 의하면, 2D(Dimension) 방송 서비스만 제공하였기 때문에, 3DTV 서비스를 구현하기 위해 필요한 시그널링 정보를 구체적으로 정의하지 않았다.

따라서, 본 발명의 일실시예에 의하면, 3DTV 서비스를 위한 시그널링 정보를 정의하고, 이와 같이 정의된 정보를 전송, 수신 및 처리하는 과정을 상세히 정의한다. 이하, 도면을 참조하여 보다 구체적으로 설명하도록 하겠다.

도 1은 본 발명의 일실시예에 따른 3DTV 서비스를 위한 다수의 스트림을 도시한 도면이다. 도 1에 도시된 바와 같이, 3DTV 서비스를 제공하기 위해서는 2D 비디오 스트림 뿐만 아니라, Depth stream, Occlusion stream, Transparency stream 등이 필요하다. 다만, 상기 Occlusion stream, Transparency stream 등은 optional 로 이용될 수도 있으며, 상기 스트림들에 대한 시그널링 정보를 정의하는 방법은 도 2 이하에서 설명하도록 하겠다.

도 2는 본 발명의 일실시예 의한 VCT를 도시한 도면이다. 도 3은 도 2에 도시된 VCT의 필드 중, 추가된 값을 가지는 service type 필드를 예시한 도면이다.

도 2에 도시된 필드들을 간단히 설명하면 다음과 같다.

"table_id" 필드의 값은 여기서 정의된 테이블 섹션의 타입을 가리킨다. terrestrial_virtual_channel_table_section() 을 위하여는, "table_id" 는 0xC8 이 될 것이다.

"section_syntax_indicator" 필드는 1 비트로서, terrestrial_virtual_channel_table_section()을 위하여 1 로 셋팅될 수 있다.

"private_indicator" 는 1 로 셋팅될 수 있다.

"section_length" 필드는 12 비트의 필드로서, 처음 두 비트는 '00' 으로 셋팅 될 수 있다. 그것은 "section_length" 를 따라 시작되는 섹션의 바이트 넘버와 CRC 를 포함한다. 이 필드에서의 값은 1021를 넘지 않을 것이다.

"transport_stream_id" 필드는 이 멀티플레서를 위한 제로의 PID 값에 의하여 식별되는 Program Association Table (PAT) 내에서 나타나는 16 비트의 MPEG-2 트랜스포트 스트림 ID 이다. "transport_stream_id" 는 이 Terrestrial Virtual Channel Table을 다른 PTC 들에서 브로드캐스트 될 수 있는 다른 것들과 구분한다.

"version_number" 필드는 Virtual Channel Table의 버전 넘버이다. 현재 VCT (current_next_indicator = ‘1’)를 위하여, 버전 넘버는 현재 VCT의 정의의 변화가 있을 때마다, 1 씩 증가할 것이다. 31 에 다다르면, 이것은 0 으로 돌아갈 것이다. 다음 VCT (current_next_indicator = ‘0’)를 위하여, 버전 넘버는 현재 VCT (modulo 32 연산이 적용되는 내에서) 보다 하나의 유닛이 더 될 것이다. 어느 경우에서도, "version_number" 는 MGT 내의 대응되는 엔트리들의 그것들과 동일할 것이다.

"current_next_indicator" 는 1 비트 인디케이터로서, 1 로 셋팅된 경우, 현재 보내진 VCT가 적용 가능함을 가리킨다. 이 비트가 0 으로 셋팅된 경우, 보내진 테이블은 아직 적용 가능하지 않고, 다음 테이블이 유효함을 가리킨다.

현재 적용 가능한 테이블에 대한 업데이트는 version_number 필드의 증가로 시그널링 될 수 있다.

"section_number" 는 이 섹션의 넘버를 준다. Terrestrial Virtual Channel Table의 처음 섹션의 "section_number" 는 0x00 일 것이다. 그것은 Terrestrial Virtual Channel Table에서의 각각의 추가적인 섹션과 함께 하나씩 증가할 것이다.

"last_section_number" 는 완전한 Terrestrial Virtual Channel Table 의 마지막 섹션 (가장 높은 section_number를 가지는 섹션) 의 넘버를 특정한다.

"protocol_version" 의 기능은, 미래에, 현재 프로토콜에서 정의된 것과 달리 구성된 파라미터를 운반하는 테이블 타입을 허용하는 것이다. 현재는, protocol_version을 위하여 유효한 값은 0 이다. protocol_version가 0이 아닌 경우에는 구조적으로 다른 테이블을 가리키기 위하여 미래에 사용될 것이다.

"num_channels_in_section" 필드는 이 VCT 섹션의 버추어 채널의 수를 특정한다. 이 수는 섹션 길이에 의하여 제한될 수 있다.

"short_name" 필드는 버추어 채널의 이름을 특정한다.

"major_channel_number" 필드는 "for" 루프의 반복에서 정의된 버추어 채널과 연관된 메이저 채널 넘버를 나타내는 10 비트의 넘버이다. 각각의 버추어 채널은 메이저 및 마이너 채널 넘버와 연관되어 있다. 마이너 채널 넘버와 함께 있는 메이저 채널 넘버는 버추어 채널을 위한 사용자의 참조 넘버와 같은 역할을 한다. "major_channel_number" 는 1 부터 99 까지가 될 수 있다. "major_channel_number"는 TVCT 내에서 메이저 채널 넘버/마이너 채널 넘버의 조합이 중복되지 않을 수 있도록 세팅될 것이다.

"minor_channel_number" 필드는 마이너 또는 서브 채널 넘버를 나타내는 0부터 999까지의 10 비트 넘버이다. 이 필드는 메이저 채널 넘버와 함께 two-part 채널 넘버를 수행한다.마이너 채널 넘버는 채널 넘버의 두 번째 혹은 오른쪽 편 넘버를 나타낸다. "service_type" 이 아날로그 텔레비전인 경우, 마이너 채널 넘버는 0으로 셋팅 될 것이다. "service_type" 이 ATSC_digital_television 혹은 ATSC_audio_only 인 서비스들의 경우, 마이너 넘버를 1부터 99까지 사용할 것이다. "minor_channel_number"의 값은 메이저 채널 넘버/마이너 채널 넘버의 조합이 TVCT 안에서 중복되지 않도록 셋팅될 것이다. 데이터 방송과 같은 다른 타입의 서비스들을 위하여, 유효한 마이너 버추어 채널 넘버는 1부터 999까지 이다.

"modulation_mode" 필드는 이 버추어 채널과 연관된 전송된 캐리어를 위한 변조 모드를 가리킨다.

"carrier_frequency" 필드의 값은 0 이다. 이 필드는 캐리어 주파수를 식별하기 위하여 사용될 수도 있다.

"channel_TSID" 필드는 이 버추어 채널에 의하여 참조되는 MPEG-2 프로그램을 운반하는 트랜스포트 스트림과 연관된 MPEG-2 트랜스포트 스트림 ID를 나타내는 0x0000부터 0xFFFF 까지의 값을 가진다. 비활성화된 채널을 위하여, "channel_TSID" 는 그것이 활성화되면 서비스를 운반할 트랜스포트 스트림의 ID를 나타낸다. 수신기는 수신한 트랜스포트 스트림이 실질적으로 원하던 멀티플렉스인지 판단하기 위하여 "channel_TSID"를 사용할 수 있다. 아날로스 채널 (service_type 0x01) 을 위하여, "channel_TSID"는 NTSC 신호의 VBI에 포함된 아날로그 TSID의 값을 가리킬 것이다.

"program_number" 필드는 여기서 정의된 버추어 채널을 MPEG-2 PROGRAM ASSOCIATION 과 TS PROGRAM MAP 테이블과 연관시킨다. 아날로그 서비스를 대표하는 버추어 채널을 위하여, 0xFFFF의 값이 "program_number" 로 특정될 수 있다.

"ETM_location" 필드는 Extended Text Message (ETM)의 위치와 존재를 특정한다.

"access_controlled" 필드는, 1 비트의 불 플래그 (Boolean flag) 로서, 설정된 경우, 버추어 채널과 연관된 이벤트가 접근 제어되고 있음을 가리킨다. 위 플래그가 0 으로 셋팅된 경우, 이벤트 접근은 제한되지 않는다.

"hidden field" 는 1 비트의 불 플래그로서, 설정된 경우, 버추어 채널이 버추어 채널 넘버의 직접 엔트리에 의하여 접근되지 않았음을 가리킨다. 숨겨진 버추어 채널은 사용자가 채널 서핑을 할 때, 스킵 (skip) 되고, 만약 직접 채널 엔트리에 의하여 접근되는 경우, 정의되지 않은 것처럼 나타난다. 숨겨진 채널을 위한 일반적인 어플리케이션은 테스트 신호와 NVOD 서비스이다. 숨겨진 채널과 그것의 이벤트가 EPG 화면에서 나타나는지 여부는 "hide_guide" 비트의 상태에 의존한다.

"hide_guide" 필드는 불 플래그로서, 그것이 히든 채널을 위하여 0 으로 셋팅된 경우, 버추어 채널과 이벤트는 EPG 화면에 나타남을 가리킨다. 이 비트는 숨겨진 비트가 설정되지 않은 채널을 위하여는 무시될 것이다. 그래서, 숨겨지지 않은 채널과 그것의 이벤트는 "hide_guide" 비트의 상태와 관계없이 항상 EPG 화면에 포함되어질 것이다. "hide_guide" 비트가 1로 셋팅된 숨겨진 채널을 위한 일반적인 어플리케이션은 테스트 신호와 어플리케이션 레벨 포인터를 통하여 접속가능한 서비스이다.

"service_type" 필드는 이 버추어 채널에서 운반되는 서비스의 타입을 식별한다. 특히, 도 3에 도시된 바와 같이, 도 2의 service type 필드의 값이 예를 들어 0x10 인 경우, 가상 채널이 3D television programming 을 전송(carry) 하는 경우를 의미할 수 있다. 물론, 상기 수치는 일예에 불과하며, 상기 수치로 본 발명의 권리범위가 한정되는 것은 아니다.

"source_id" 필드는 버추어 채널과 연관된 프로그래밍 소스를 식별한다. 이 상황에서, 소스는 비디오, 텍스트, 데이터 또는 오디오 프로그래밍의 하나의 특정 소스이다. "Source ID" 의 값이 0 인 것은 예약이 되어있다. "Source ID" 값은 0x0001부터 0x0FFF 까지의 값을 가지고, VCT를 운반하는 트랜스포트 스트림 내에서 고유한 것이고, 0x1000부터 0xFFFF까지의 값은 지역의 레벨에서 고유한 것일 것이다. "source_id" 의 값이 0x1000 과 그 이상인 것이 ATSC 에 의하여 지정된 Registration Authority에 의하여 배포되고 관리될 수 있다.

"CRC_32" 필드는 디코더 내의 레지스터로 부터 제로 출력이 나올수 있도록 하는 값을 가지고 있다.

나아가, 상기 service type 필드의 값이 3DTV service에 대응하는 경우, 도 2에 도시된 디스크립터는 3DTV 서비스를 구성하는 depth, occlusion, transparency에 대한 정보를 포함하도록 새롭게 정의한다. 다만, 이에 대해서는 도 4를 참조하여 설명하도록 하겠다.

도 4는 본 발명의 일실시예에 따라 도 2의 VCT에 추가된 3D service location 디스크립터를 예시한 도면이다. 도 4에 도시된 디스크립터는 도 2의 VCT 내에 위치하며, 해당 virtual channel 을 구성하는 3D component 들에 대한 정보를 signaling 한다. 각 필드에 대하여 설명하면 다음과 같다.

"PCR_PID"는 13 비트 필드로서, "program_number" 에 의하여 특정되는 ㅍ프프로그램을 위하여 유효한 PCR 필드를 포함하는 트랜스포트 스트림의 PID를 가리킨다.

Number_elements 필드는, 상기 VCT에 대응하는 elements의 숫자를 식별한다. 상기 elements는 예를 들어, 3DTV 서비스들에 대한 elements를 의미할 수 있다.

Data_type 필드는, 상기 element가 depth와 관련된 데이터인지, occlusion에 대한 데이터인지, 또는 transparency에 대한 데이터인지 여부를 알려 준다.

Elementary_PID 필드 is a 13-bit field specifying the PID of the Transport Stream packets which carry the associated program element.

Codec_type 필드는, 상기 element의 encoding type 을 식별하며, 상기 encoding type은 예를 들어, MPEG-2 video, H.264/AVC video 등이 될 수 있다.

Bit_depth_minus_1 필드의 값에 1을 더한 값은, 각 pixel을 표현할 때 사용되는 비트수를 나타낸다. 예를 들어, 상기 비트수는 8-bits, 10-bits 등이 될 수 있다.

Same_resolution_flag 필드는, 3DTV 서비스와 관련된 element의 해상도 크기와 2D 비디오의 해상도 크기가 동일한지 여부를 나타낸다. 만약 다른 경우, horizontal_size 필드 및 vertical_size 필드를 이용하여, 해상도의 horizontal size 및 vertical size를 알려 준다.

전술하여 설명한 본 발명의 일실시예를 설명하면 다음과 같다.

본 발명의 일실시예에 의한 디지털 방송 수신기는, 3DTV(3-Dimension TeleVision) 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보 및 2D 비디오 스트림을 수신한다. 상기 방송 수신기는 상기 시그널링 정보에 기초하여, 상기 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 2D 비디오 스트림을 디멀티플렉싱 한다.

상기 방송 수신기는, 상기 디멀티플렉싱된 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 상기 디멀티플렉싱된 2D 비디오 스트림을 각각 디코딩 한다. 그리고, 상기 방송 수신기는, 상기 디코딩된 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 상기 디코딩된 2D 비디오 스트림을 포맷팅하여 3D 비디오를 출력한다.

전술하여 설명한 바와 같이, 상기 시그널링 정보는 예를 들어 도 2에 도시된 VCT의 디스크립터에서 정의될 수 있으며, 상기 디스크립터는 예를 들어 도 4에 도시된 형태의 신택스가 될 수 있다. 한편, 본 발명의 다른 일실시예에 의하면, 상기 시그널링 정보는 후술할 도 5에 도시된 PMT의 디스크립터에서 정의될 수도 있으며, 상기 디스크립터는 예를 들어 후술할 도 6에 도시된 형태의 신택스가 될 수 있다.

상기 시그널링 정보는, 상기 2D 비디오 스트림에 대응하는 depth 정보, occlustion 정보 또는 transparency 정보 중 적어도 하나 이상을 식별하는 제1필드(예를 들어, 도 4에 도시된 data type 필드)와, 그리고 상기 depth 정보, occlusion 정보 또는 transparency 정보의 coding type 을 식별하는 제2필드(예를 들어, 도 4에 도시된 codec type 필드)를 포함한다.

상기 시그널링 정보는, 나아가 상기 3DTV 서비스를 위한 적어도 하나 이상의 스트림의 resolution의 size와 상기 2D 비디오 스트림의 resolution의 size가 동일한지 여부를 식별하는 제3필드(예를 들어, 도 4에 도시된 same resolution flag 필드)를 더 포함할 수도 있다.

한편, 전술하여 설명한 본 발명의 일실시예를 보다 구체적으로 설명하면 다음과 같다.

상기 방송 수신기는, 도 2에 도시된 VCT의 service type 필드를 이용하여, 해당 virtual channel 을 통해 3DTV 서비스가 제공되는지 여부를 판단한다. 만약 3DTV 서비스가 제공되는 경우, 상기 방송 수신기는 service location descriptor를 이용하여, 2D 비디오 스트림의 elementary_PID 정보를 디텍트한다. 상기 2D 비디오 스트림의 PID를 PID_V라고 명명할 수도 있다.

상기 방송 수신기는, 도 4에 도시된 3D service location descriptor의 data_type 필드를 이용하여, 해당 elementary stream 이 depth, occlusion, transparency 중 어느 것에 대한 데이터인지를 판단한다. 이어서, 상기 방송 수신기는 상기 해당 elementary stream에 대한 elementary_PID 를 획득한다. Depth 관련 스트림의 PID를 PID_D로 명명할 수 있으며, Occlusion 관련 스트림의 PID를 PID_O로 명명할 수 있으며, Transparency 관련 스트림의 PID를 PID_T로 명명할 수도 있다. 물론, 전술한 3가지 스트림 중 일부만 수신될 수도 있고, 모두 수신될 수도 있다. 어떤 스트림이 이용가능한 지 여부(availability) 는 전술한 data_type 필드를 이용하여 판단한다.

상기 방송 수신기는, 도 4에 도시된 3D service location descriptor의 codec_type 필드 및 bit_depth_minus_1 필드를 이용하여, 코딩 정보 및 비트 정보를 결정한다.

상기 방송 수신기는 수신된 스트림들을 demultiplexing 하여, PID_V에 해당하는 스트림을 video decoder 로 전송되도록 제어하고, 상기 video decoder 는 수신된 스트림을 디코딩 한다.

또한, 상기 방송 수신기는 PID_D, PID_O, PID_T에 해당하는 스트림들은, 각각 depth 정보를 처리하는 제1디코더, occlusion 정보를 처리하는 제2디코더, transparency 정보를 처리하는 제3디코더로 전송한다. 상기 제1디코더, 제2디코더 및 제3디코더를 하나의 3D metadata decoder 로 명명할 수도 있다.

마지막으로, 상기 방송 수신기는 2D 비디오 스트림과 상기 2D 비디오 스트림에 대응하는 3DTV 서비스를 위한 적어도 하나 이상의 스트림들(예를 들어, depth, occlusion, transparency 등의 정보를 포함)을 함께 처리함으로써, 3D 비디오를 rendering 또는 포맷팅 (formatting) 한다.

도 5는 본 발명의 일실시예에 의한 PMT를 도시한 도면이다.

도 5에 도시된 필드들을 간단히 설명하면 다음과 같다.

"table_id"는 8 비트의 필드로서, TS_program_map_section 인 경우, 0x02로 셋팅될 수 있다.

"section_syntax_indicator"는 1 비트의 필드로서, 1로 셋팅될 수 있다.

"section_length"는 12 비트의 필드로서, 처음 2 비트는 '00'으로 셋팅될 수 있다. 남은 10 비트는 "section_length"를 이어 시작되고, CRC를 포함하는 섹션의 바이트의 넘버를 특정한다. 이 필드의 값은 1021 (0x3FD)을 넘지 않을 것이다.

"program_number"는 16 비트의 필드이다. 이것은 "program_map_PID" 가 적용 가능한 프로그램을 식별한다. 하나의 프로그램 정의는 하나의 TS_program_map_section 내에서 운반될 수 있다.이것은 프로그램 정의가 1016 (0x3F8) 보다 길지 않다는 것을 내포한다. "program_number"은 예를 들면, 방송 채널을 위한 지칭으로 사용될 수 있다. 프로그램에 속하는 다른 프로그램 엘레먼트들을 묘사함으로서, 다른 소스로부터의 데이터 (예를 들면, 시퀀셜 이벤트)는 program_number을 사용하는 스트림들의 연속적인 세트를 형성하기 위하여 함께 결합될 수 있다.

"version_number" 는 TS_program_map_section 의 버전 넘버이다. 버전 넘버는 섹션 내에서 운반되는 정보의 변화가 발생한 경우 1 (modulo 32) 만큼 증가한다. 버전 넘버는 하나의 프로그램의 정의를 참조하고, 그래서 하나의 섹션을 참조한다. "current_next_indicator" 가 1 로 셋팅된 경우, "version_number" 는 TS_program_map_section에 현재에 적용가능한 것일 수 있다. "current_next_indicator" 가 0 으로 셋팅된 경우, "version_number" 는 TS_program_map_section에 다음에 적용가능한 것일 수 있다.

"current_next_indicator" 필드가 1 로 셋팅된 경우, 보내지는 TS_program_map_section 이 현재 적용 가능함을 가리킨다. 위 비트가 0 으로 셋팅된 경우, 보내지는 TS_program_map_section 이 현재에 적용 가능하지는 않고, 다음 TS_program_map_section 이 유효함을 가리킨다.

"section_number" 필드의 값은 0x00 일 것이다.

"last_section_number" 필드의 값은 0x00 일 것이다.

"PCR_PID" 필드는 13 비트의 필드로서, "program_number" 에 의하여 특정되는 프로그램을 위하여 유효한 PCR 필드를 포함할 수 있는 트랜스포트 스트림 패킷들의 PID를 가리킨다. 프라이빗 스트림을 위한 프로그램 정의와 연관된 PCR이 없는 경우, 이 필드는 0x1FFF 값을 가질 것이다.

"program_info_length" 는 12 비트의 필드로서, 처음 두 비트는 '00'으로 셋팅될 수 있다.남은 10 비트는 "program_info_length 필드를 따르는 디스크립터들의 바이트 넘버를 특정한다.

"stream_type" 는 8 비트의 필드로서, "elementary_PID" 에 의하여 특정되는 값을 가지는 PID를 가진 패킷들에 의하여 운반되는 프로그램 엘레먼트의 타입을 식별한다.

"elementary_PID" 는 13 비트의 필드로서, 프로그램 엘레먼트와 연관된 트랜스포트 스트림 패킷들의 PID 를 특정한다.

"ES_info_length" 는 12 비트의 필드로서, 처음 두 비트는 '00' 일 것이다. 남은 10 비트는 "ES_info_length" 필드를 따르는 연관된 프로그램 엘레먼트의 디스크립터 들의 바이트 넘버를 특정한다.

"CRC_32" 는 32 비트의 필드로서, 디코더 내의 레지스터의 제로 출력을 주는 CRC 값을 포함한다.

나아가, 상기 도 5에 도시된 PMT의 stream_type 필드는, 예를 들어 도 4에 도시된 data_type 필드와 동일한 목적으로 사용된다. 그리고, 도 5에 도시된 디스크립터는, ES_info_length 필드 아래에 위치할 수도 있으며, 3DTV 서비스를 위한 elementary stream에 대한 정보를 포함한다. 상기 도 5에 도시된 디스크립터는 도 6과 같은 3D service location descriptor 의 형태로 설계 가능하며, 도 6에 도시된 필드의 기능은, 도 4에 도시된 필드와 동일한 기능을 담당하도록 설계한다. 따라서, 본 발명에 의하면, 3DTV 서비스를 위한 시그널링 정보를 VCT 뿐만 아니라 PMT에 삽입하는 것도 가능하다.

한편, 전술하여 설명한 본 발명의 다른 일실시예를 보다 구체적으로 설명하면 다음과 같다.

상기 방송 수신기는, 도 5에 도시된 PMT의 stream_type 필드를 이용하여, 해당 element stream의 depth, occlusion, transparency 중 어느 것에 대한 데이터인지를 판단한다. 이어서, 상기 방송 수신기는 상기 해당 elementary stream 에 대한 elementary_PID 를 획득한다. Depth 관련 elementary stream의 PID를 PID_D로 명명할 수 있으며, Occlusion 관련 elementary stream의 PID를 PID_O로 명명할 수 있으며, Transparency 관련 elementary stream의 PID를 PID_T로 명명할 수도 있다. 물론, 전술한 3가지 스트림 중 일부만 수신될 수도 있고, 모두 수신될 수도 있다. 어떤 component 내지는 스트림이 이용가능한 지 여부(availability) 는 전술한 stream_type 필드를 이용하여 판단한다.

상기 방송 수신기는, 도 6에 도시된 3D service location descriptor의 codec_type 필드 및 bit_depth_minus_1 필드를 이용하여, 코딩 정보 및 비트 정보를 결정한다.

상기 방송 수신기는 도 5에 도시된 program number 필드를 이용하여, VCT에서 제공되는 정보와의 맵핑을 수행한다. 즉, 이를 통하여, 어떤 virtual channel에서 해당 3DTV 서비스사 제공되는지 여부를 알 수 있다.

상기 방송 수신기는 수신된 스트림들을 demultiplexing 하여, PID_V(2D 비디오 스트림에 대응하는 PID)에 해당하는 스트림을 video decoder 로 전송되도록 제어하고, 상기 video decoder 는 수신된 스트림을 디코딩 한다.

도 7은 본 발명의 일실시예에 따른 3D service location 디스크립터를 포함하는 3D 방송 신호를 처리하는 디지털 방송 수신기의 구성요소들을 도시한 도면이다.

도 7에 도시된 바와 같이, 본 발명의 일실시예에 따라 3D 방송 신호를 처리하는 디지털 방송 수신기(700)는, Tuner & Demodulator (710), VSB Decoder (720), TP Demultiplexer (730), PSI/PSIP/SI processor (740), 3D video decoder (750), Output formatter (760) 등을 포함하여 이루어 진다. 상기 TP demultiplexer (730) 는, PID filter 의 기능을 할 수 있으며, 상기 3D video decoder (750) 는, Primary Video Decoder (750) 및 3D Metadta Decoder (752) 를 포함한다.

상기 Tuner & Demodulator(710) 는, 디지털 방송 송신기로부터 디지털 방송 신호를 수신하고, 수신된 신호를 demodulating 한다. 상기 디지털 방송 신호는, 예컨대 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보 및 2D 비디오 스트림 등을 포함할 수가 있다.

상기 VSB Decoder (720) 는, 상기 demodulating 된 신호를 디코딩하고, 상기 TP demultiplexer (730)는, PID를 이용하여 2D 비디오 스트림은 상기 Primary Video Decoder (751) 로 전송하고 3DTV 서비스를 위한 적어도 하나 이상의 스트림은 3D Metadata Decoder (752)로 전송하고 상기 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보는 PSI/PSIP/SI processor (740)에 전송한다.

상기 Primary Video Decoder (751) 는 디멀티플렉싱된 2D 비디오 스트림을 디코딩 하고, 상기 3D Metadata Decoder (752) 는 상기 PSI/PSIP/SI 프로세서(740) 로부터 도 4 또는 도 6의 3D 서비스를 위한 시그널링 정보를 수신하여, 디멀티플렉싱된 3DTV 서비스를 위한 적어도 하나 이상의 스트림(예컨대, Depth 스트림, Occlusion 스트림, Transparency 스트림 등, DOT 스트림)을 디코딩 한다.

그리고, 상기 Output formatter (760) 는, 상기 디코딩된 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 상기 디코딩된 2D 비디오 스트림을 포맷팅하여 3D 비디오를 출력한다. 상기 3D 비디오는, 예를 들어 stereoscopic video 가 될 수도 있다.

도 8은 디지털 방송 송신기가 camera parameter를 전송하는 경우, 3DTV 서비스를 제공하는 디지털 방송 송신기 및 디지털 방송 수신기의 제어방법을 도시한 플로우 차트이다. 이하, 도 8을 참조하여 디지털 방송 전송기(transmitter)가 카메라 파라미터를 포함한 영상신호를 전송하고 디지털 방송 수신기는 카메라 파라미터를 토대로 영상을 생성하고 복원하는 과정을 전체적으로 설명하면 다음과 같다.

디지털 방송 전송기는, 복수의 카메라, 예컨대, 스테레오스코픽 카메라 쌍을 사용하여 영상을 촬영하여, 멀티플 비디오 정보를 획득한다(S810). 상기 복수의 카메라 중 적어도 하나는 실제 카메라이고, 나머지는 가상 카메라이다. 여기서 실제 카메라는 촬영된 영상의 스트림이 디지털 방송 수신기에 송신되는 카메라를 말한다. 가상 카메라는 영상 스트림이 디지털 방송 수신기에 송신되지는 않고 디지털 방송 수신기가 해당 스트림을 복원할 수 있도록 아래에서 설명하는 바와 같이 카메라 파라미터가 디지털 방송 수신기측에 송신되는 카메라를 말한다. 이와 같은 가상 카메라가 실제로 존재하지는 않으면서, 후술하는 카메라 파라미터가 가상 카메라에 대해서는 방송 제작자 내지 엔지니어에 의해 임의로 결정될 수도 있다.

한편, 실제 카메라 각각에 대응하여, 영상 내에 포함되는 각 주시점에 대한 깊이(Range 또는 Depth) 정보를 획득하기 위한 깊이 카메라가 배치되어 디지털 방송 수신기가 상기 영상과 함께 깊이 정보를 함께 획득할 수도 있다. 나아가, 디지털 방송 송신기는 카메라에 의해 촬영된 영상으로부터 디지털 방송 수신기에 전송할 부가 정보를 추출한다. 부가 정보는 앞에 있는 물체에 의해 가려져 있어 안보이는 부분을 추정하기 위한 정보, 예컨대, 객체 윤곽선 등 기하학적 정보, 객체 투명도 정보 및 색상 정보 등을 포함한다. 바람직한 실시예에 있어서, 부가 정보는 실제 카메라에 의해 촬영된 영상으로부터 획득된다. 그러나, 변형된 실시예에 있어서는, 부가 정보가 가상 카메라에 의해 촬영된 영상 또는 실제 카메라 영상과 가상 카메라 영상의 조합으로부터 획득될 수도 있다. 깊이 정보 및/또는 부가 정보가 반드시 필요한 것은 아니고, 디지털 방송 수신기가 가상 이미지를 생성할 때 도움이 될 수 있도록 선택적으로 추출되어 전송될 수도 있다.

상기 디지털 방송 송신기는, 상기 카메라에 의해 촬영된 멀티플 비디오 정보를 이용하여, 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 포맷팅한다(S820). 즉, 상기 디지털 방송 송신기는, 예를 들어 상기 영상과 깊이 정보, 그리고 부가 정보가 결합된 형태로 영상신호를 멀티플렉싱한다.

상기 디지털 방송 송신기는, 상기 포맷팅된 2D 비디오 스트림과, 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보와, 그리고 카메라 파라미터를 인코딩 한다(S830). 그리고, 상기 인코딩된 2D 비디오 스트림과, 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보 및 카메라 파라미터를 전송한다(S840).

다만, 도 8에서는 상기 S820, 830, 840 단계가 상기 2D 비디오 스트림과, 상기 시그널링 정보, 상기 카메라 파라미터 등을 처리하는 것으로 도시되어 있지만, 경우에 따라 상기 시그널링 정보에 대응하는 Depth 스트림, Occlusion 스트림, Transparency 스트림도 추가적으로 함께 처리되어 디지털 방송 수신기에 전송되도록 설계된다.

디지털 방송 수신기가 인코딩된 2D 비디오 스트림, 시그널링 정보, 카메라 파라미터를 수신하면(S850), 2D 비디오 스트림과 상기 시그널링 정보에 따른 영상을 복원한다. 또한, 본 발명의 다른 일실시예에 의하면, 상기 시그널링 정보에 대응하는 Depth 스트림, Occlusion 스트림, Transparency 스트림도 추가적으로 함께 수신된다.

우선, 상기 디지털 방송 수신기는 카메라 파라미터를 이용하여 3D warping 동작이 이루어 지고, 상기 가상 카메라 위치에서의 depth 정보를 복원한다(S860). 이어서, 상기 디지털 방송 수신기는 상기 가상 카메라 위치에서의 영상을 3D 포맷에 맞게 합성하고 복원한다(S870). 그리고, 상기 디지털 방송 수신기는 3D 비디오를 출력한다(S880). 상기 3D 비디오는 예를 들어, Stereoscopic 비디오 등에 해당한다.

도 9는 도 8의 디지털 방송 송신기의 동작 중 일부를 설명하기 위한 도면이다. 도 10은 도 8의 디지털 방송 수신기의 동작 중 일부를 설명하기 위한 도면이다.

도 9 및 도 10을 참조하여, 디지털 방송 송신기가 부호화된 영상정보와 깊이 정보 및 부가 정보를 전송하고, 디지털 방송 수신기가영상 정보와 깊이 정보 및 부가 정보를 복호화하여 이를 토대로 영상을 생성, 복원하는 과정의 일 예를 설명한다.

도 9에는 설명의 편의상 실제 카메라가 1개, 그리고 가상 카메라가 1개 마련되는 것으로 도시되어 있다. 그렇지만, 이 도면은 예시적인 것으로서, 보다 많은 수의 실제 카메라와 가상 카메라가 마련될 수 있음은 물론이다.

도 9에서, 실제 카메라에 의해 촬영된 영상을 img[0], 가상 카메라에 의해 촬영되거나 촬영될 수 있는 영상을 img[1]로 나타내기로 한다. 영상 img[0] 상에서 3차원 실제 세계에서의 점(P)에 대응하는 점을 p[0], 그리고 영상 img[1] 상에서 점(P)에 대응하는 점을 p[1]로 나타내기로 한다. 한편, 각 카메라에 대하여 카메라 파라미터가 추출되는데, 상기 카메라 파라미터는 내적 파라미터(Intrinsic Camera Parameter)와 외적 파라미터(Extrinsic Camera Parameter)로 구분된다. 내적 파라미터는 카메라 렌즈의 초점거리 및 주점과 같은 광학적 특징과, 스큐 계수(skew factor) 등 카메라 자체의 특성을 나타낸다. 외적 파라미터는 실제 카메라 또는 가상 카메라의 기하적적 위치와 방향을 나타내는 것으로서, 실제 세상의 기준좌표계에 대한 각 카메라 기준좌표계의 변위(translation)와 회전량 등을 포함한다. 도 9의 예에서, 제1 카메라 즉, 실제 카메라에 대한 내적 파라미터를 Α라고 나타내기로 한다. 제2 카메라 즉, 가상 카메라가 제1 카메라와 동일한 종류의 카메라로서, 제1 카메라와 충분히 영점조정(calibration)이 되어 있다고 가정하면, 그 내적 파라미터는 제1 카메라와 마찬가지로 Α가 된다. 한편, 제1 카메라의 회전량은 r[0], 변위는 t[0]라고 가정한다. 제2 카메라의 회전량은 r[1], 변위는 t[1]이라고 가정한다.

본 발명의 바람직한 실시예에 따르면, 영상과 깊이 정보는 모든 실제 카메라에 대하여 디지털 방송 수신기에 전송된다. 그리고 부가 정보는 1개의 영상을 기준으로 작성하여 디지털 방송 수신기에 전송된다. 따라서, 1대의 실제 카메라와 1대의 가상 카메라가 마련되는 도 9의 예에 있어서, 실제 카메라인 제1 카메라에 대한 영상 img[0]과 깊이 정보 depth[0]가 디지털 방송 수신기에 전송되며, 디지털 방송 수신기에서 제2 카메라에 대한 영상 img[1]과 깊이 정보 depth[1]를 생성하는데 사용할 수 있도록 부가 정보가 추가적으로 전송된다.

디지털 방송 수신기는 부호화된 영상신호를 복호화하여, 실제 카메라인 제1 카메라에 대한 영상 img[0]과 깊이 정보 depth[0], 그리고 부가 정보를 복원한다. 아울러, 디지털 방송 수신기는 복호화 과정에서, 모든 카메라에 대한 카메라 파라미터들 Α, r[0], t[0], r[1], t[1]를 복원한다. 도 10을 참조하면, 디지털 방송 수신기는 카메라 파라미터들 Α, r[0], t[0], r[1], t[1]과, 제1 카메라에 대한 영상 img[0]과 깊이 정보 depth[0], 그리고 부가 정보를 사용하여, 제2 카메라 위치에서의 깊이 정보 depth[1]을 생성하게 된다. 이어서, 디지털 방송 수신기는 3D Warping을 수행함으로써 제2 가상 카메라 위치에서의 영상 img[1]을 생성하게 된다. 이와 같이 제1 카메라가 촬영한 영상 img[0] 이외에 제2 카메라 위치에서의 영상 img[1]을 확보하게 됨에 따라, 디지털 방송 수신기는 두 영상 즉, 실제 이미지 img[0] 및 가상 이미지 img[1]을 포맷팅하여 3D 영상이 표시되도록 할 수 있다. 예컨대, 실제 이미지와 가상 이미지 중 하나를 좌영상으로 그리고 다른 하나를 우영상으로 설정해서 3D 포맷에 맞게 스테레오스코픽 방식으로 디스플레이한다.

한편, 3DTV 서비스를 구현하기 위해서는 추가 시점 영상을 구해야 하는데, 특히 도 8에 도시된 바와 같이 camara parameter가 전송되는 경우 상기 추가 시점 영상을 구하는 방법은 다음과 같다.

3차원 공간의 한 포인트, P 는 0번째 카메라에서는 p[0], 1번째 카메라에서는 p[1] 로 매핑이 된다. 또한, 디지털 방송 전송기로부터 전송된 카메라 파라미터를 이용해서, p[i], s[i], A[i], r[i], t[i] 사이의 관계식을 나타내면 다음 수학식[1] 과 같다.

단, 상기 s[i]는 i번째 카메라에서의 scaling factor, A[i]는 i번째 카메라에서의 intrinsic parameter, r[i]는 i번째 카메라에서의 extrinsic parameter 중 rotation 값, t[i] 는 i번째 카메라에서의 extricsic parameter 중 translation 값을 의미한다.

i번째 카메라에 매핑된 포인트에 대해서, 0번째 카메라에 매핑된 포인트에 대한 식이 소거되도록 정리하면, 다음 수학식 [2]와 같다.

단, 여기서 z 는 depth 값을 의미한다.

2D 비디오를 취득한 0번째 카메라의 parameter를 이용해서, 해당 depth map에 대해 homographic transform 등의 3D warping 을 수행하면, 가상의 i번째 카메라의 depth map 을 구할 수가 있다. 따라서, 수학식 [2]의 depth 값인 z를 구할 수 있으므로, i번째 카메라에 매핑되어 있는 이미지 값 p[i]를 계산할 수가 있다.

전술한 수학식 [1] 과 수학식 [2]를 다시 정리하여 설명하면 다음과 같다.

s[i]p[i] = A[i]r[i]P + A[i]t[i] (수학식 a)

s[0]p[0] = A[0]r[0]P + A[0]t[0] (수학식 b)

상기 (수학식 b) 를 정리하면,

A[0]r[0]P = s[0]p[0] - A[0]t[0]

(수학식 c)

상기 (수학식 c) 를, 상기 (수학식 a) 에 대입하면,

(수학식 d)

상기 (수학식 d)에서 s[i]를 depth, z[i]로 치환하고 양변에 를 곱하면, 다음과 같은 최종 s[i] 관련 수식인 (수학식 e)를 얻을 수 있다.

(수학식 e)

나아가, 상기 depth map 은, 예컨대 하나의 2D picture에 대응하는 화소에 대한 3D 좌표로 구성된 depth image 이다. 따라서, 상기 depth map 의 각 좌표값은 2D picture에 대응하는 (x,y) 위치에 대한 depth value 값에 해당한다. 즉, 상기 depth value 는, 예를 들어 카메라와 물체와의 거리를 의미한다.

나아가, 전술한 방법을 응용하여, 디지털 방송 수신기가 임의의 가상 카메라를 설졍하여, 즉 camera parameter를 설정하면, 새로운 시점의 3D 비디오 영상을 구현할 수가 있다.

도 11은 본 발명의 일실시예에 따른 3DTV 서비스의 화면을 구현하는 과정 중, occlusion data가 없는 경우와 상기 occlusion data가 있는 경우의 process를 도시한 도면이다.

전술하여 설명한 바와 같이, depth 정보를 이용하여 2D 비디오를 3D 비디오로 구현하기 위해 새로운 시점 영상을 구하는 경우, 상기 새로운 시점에서 새롭게 보이는 부분, 즉 occlusion 영역에 대해서는 후처리를 통해 주변값(예컨대 픽셀값)으로 hole-filling 작업을 해야 한다. 예를 들어, 도 11의 상단에 도시된 바와 같이, occlusion data가 없는 경우에도 hole filling 은 가능하다.

그러나, 전송 채널을 통해 occlusion 정보가 전송되는 경우에는, 도 11의 하단에 도시된 바와 같이, 상기 새로운 시점에서도 보다 완벽한 3D 영상 구현이 가능하다. 나아가, 상기 전송 채널을 통해 transparency 정보가 전송되는 경우에는, 전경과 배경의 경계에 대해서도 보다 부드러운 처리가 가능하다.

도 12는 디지털 방송 송신기가 camera parameter를 전송하지 않는 경우, 3DTV 서비스를 제공하는 디지털 방송 송신기 및 디지털 방송 수신기의 제어방법을 도시한 플로우 차트이다. 이하, 도 12를 참조하여 디지털 방송 송신기(transmitter)가 카메라 파라미터를 포함하지 않은 영상신호를 전송하는 경우, 디지털 방송 수신기가 영상을 생성하고 복원하는 과정을 전체적으로 설명하면 다음과 같다.

도 12에 도시된 바와 같이, 디지털 방송 전송기는, 복수의 카메라, 예컨대, 스테레오스코픽 카메라 쌍을 사용하여 영상을 촬영하여, 멀티플 비디오 정보를 획득한다(S1210). 상기 복수의 카메라 중 적어도 하나는 실제 카메라이고, 나머지는 가상 카메라이다. 다만, 도 12는 도 8에 대한 설명을 보충적으로 참조하여 해석할 수도 있다.

상기 디지털 방송 송신기는, 상기 카메라에 의해 촬영된 멀티플 비디오 정보를 이용하여, 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 포맷팅한다(S1220).

상기 디지털 방송 송신기는, 상기 포맷팅된 2D 비디오 스트림과, 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 인코딩 한다(S1230). 그리고, 상기 인코딩된 2D 비디오 스트림과, 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 전송한다(S1240).

다만, 도 12에서는 상기 S1220, 1230, 1240 단계가 상기 2D 비디오 스트림과, 상기 시그널링 정보 등을 처리하는 것으로 도시되어 있지만, 경우에 따라 상기 시그널링 정보에 대응하는 Depth 스트림, Occlusion 스트림, Transparency 스트림도 추가적으로 함께 처리되어 디지털 방송 수신기에 전송되도록 설계된다.

디지털 방송 수신기가 인코딩된 2D 비디오 스트림, 시그널링 정보를 수신하면(S1250), 2D 비디오 스트림과 상기 시그널링 정보에 따른 영상을 복원한다. 또한, 본 발명의 다른 일실시예에 의하면, 상기 시그널링 정보에 대응하는 Depth 스트림, Occlusion 스트림, Transparency 스트림도 추가적으로 함께 수신된다.

우선, 상기 디지털 방송 수신기는 viewing geometry 에 대한 가정을 이용하여, 새로운 시점에서의 영상을 합성하고 복원한다(S1260). 이에 대한 설명은 도 15에 대한 설명에서 상세히 설명하도록 하겠다. 나아가, 상기 디지털 방송 수신기는 3D 비디오를 출력한다(S1270). 상기 3D 비디오는 예를 들어, Stereoscopic 비디오 등에 해당한다.

도 13은 도 12의 디지털 방송 송신기의 동작 중 일부를 설명하기 위한 도면이다. 도 14는 도 12의 디지털 방송 수신기의 동작 중 일부를 설명하기 위한 도면이다.

도 13에 도시된 바와 같이, 도 9와 달리 카메라 파라미터(예컨대, A, r, t 등)가 전송되지 않는 경우에는 도 10과 같이 카메라 파라미터를 이용하여 3D 합성을 위한 새로운 시점을 계산할 수가 없다. 이와 같은 경우, 도 14 또는 도 15 에 도시된 바와 같이, view geometry에 대한 가정을 이용하여 상기 새로운 시점을 계산할 필요가 있다.

도 15에서 B 는 사람의 좌우 눈사이의 거리, D 는 디스플레이 panel 로부터 상기 사람 까지의 거리이다. 상기 거리값들에 대하여 미리 정해진 평균값을 대입하면, 도 15에 도시된 바와 같이 삼각법의 원리를 이용하여 disparity 값, p 를 계산할 수가 있다. 3D 영상을 구현하기 위한 새로운 시점으로부터 상기 display panel 까지의 거리인 z 는, depth map 을 이용하여 계산할 수 있다.

따라서, 2D 비디오의 각 픽셀에 대해서, depth map의 각 픽셀에 대응하는 depth 값으로부터 z를 계산한다. 그리고, 하기 수학식 [3]으로부터 p 를 계산하고, p 만큼 픽셀 위치를 shift 한다. 2D 비디오의 모든 픽셀에 대하여 전술한 과정을 수행하면, 새로운 3D 합성 영상을 구현할 수가 있다.

한편, 전술하여 설명한 바와 같이, depth 정보를 이용하여 2D 비디오를 3D 비디오로 구현하기 위해 새로운 시점 영상을 구하는 경우, 상기 새로운 시점에서 새롭게 보이는 부분, 즉 occlusion 영역에 대해서는 후처리를 통해 주변값(예컨대 픽셀값)으로 hole-filling 작업을 해야 한다. 예를 들어, 도 11의 상단에 도시된 바와 같이, occlusion data가 없는 경우에도 hole filling 은 가능하다.

이와 같이 본 발명의 일실시예에 의하면, 3DTV 서비스를 위한 시그널링 정보를 전송하는 프로세스, 수신하는 프로세스 및 처리 프로세스를 명확히 정의함으로써, 기존 DTV가 2D 방송 뿐만 아니라 3DTV 서비스를 제공할 수가 있다.

나아가, 본 발명의 다른 일실시예에 의하면, 상기 시그널링 정보와 함께 카메라 파라미터가 전송되는 경우 및 전송되지 않는 경우도, 3DTV 서비스를 구현할 수 있는 장점도 있다.

본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

3DTV(3-Dimension TeleVision) 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보 및 2D 비디오 스트림을 수신하는 단계;
상기 시그널링 정보에 기초하여, 상기 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 2D 비디오 스트림을 디멀티플렉싱 하는 단계;
상기 디멀티플렉싱된 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 상기 디멀티플렉싱된 2D 비디오 스트림을 각각 디코딩 하는 단계; 그리고
상기 디코딩된 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 상기 디코딩된 2D 비디오 스트림을 포맷팅 하여 3D 비디오를 출력하는 단계
를 포함하여 이루어지는 3D 방송 신호 수신 방법.
제1항에 있어서,
상기 시그널링 정보는,
VCT (Virtual Channel Table) 또는 PMT (Program Map Table)의 디스크립터에서 정의되는 3D 방송 신호 수신 방법.
제2항에 있어서,
상기 시그널링 정보는,
상기 2D 비디오 스트림에 대응하는 depth 정보, occlusion 정보 또는 transparency 정보 중 적어도 하나 이상을 식별하는 제1필드와, 그리고
상기 depth 정보, occlusion 정보 또는 transparency 정보의 coding type 을 식별하는 제2필드를 포함하는 3D 방송 신호 수신 방법.
제3항에 있어서,
상기 시그널링 정보는,
상기 3DTV 서비스를 위한 적어도 하나 이상의 스트림의 resolution(해상도)과 상기 2D 비디오 스트림의 resolution(해상도)이 동일한지 여부를 식별하는 제3필드를 더 포함하는 3D 방송 신호 수신 방법.
적어도 2개 이상의 카메라로부터 촬영된 멀티플 비디오 정보를 획득하는 단계;
상기 획득된 멀티플 비디오 정보로부터 추출된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 포맷팅 하는 단계;
상기 포맷팅된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 인코딩 하는 단계; 그리고
상기 인코딩된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 전송하는 단계
를 포함하여 이루어 지는 3D 방송 신호 전송 방법.
제5항에 있어서,
상기 인코딩하는 단계는,
상기 포맷팅된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보, 그리고 카메라 파라미터를 인코딩 하는 단계를 더 포함하여 이루어 지는 3D 방송 신호 전송 방법.
제6항에 있어서,
상기 전송하는 단계는,
상기 인코딩된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보, 그리고 카메라 파라미터를 전송하는 단계를 더 포함하여 이루어 지는 3D 방송 신호 전송 방법.
제5항에 있어서,
상기 3DTV 서비스를 위한 적어도 하나 이상의 스트림은,
상기 2D 비디오 스트림에 대응하는 depth 정보를 포함하는 스트림, occlusion 정보를 포함하는 스트림 또는 transparency 정보를 포함하는 스트림에 대응하는 3D 방송 신호 전송 방법.
3DTV(3-Dimension TeleVision) 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보 및 2D 비디오 스트림을 수신하는 튜너 (tuner);
상기 시그널링 정보에 기초하여, 상기 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및2D 비디오 스트림을 디멀티플렉싱 하는 디멀티플렉서 (demultiplexer);
상기 디멀티플렉싱된 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 상기 디멀티플렉싱된 2D 비디오 스트림을 각각 디코딩 하는 디코더 (decoder); 그리고
상기 디코딩된 3DTV 서비스를 위한 적어도 하나 이상의 스트림 및 상기 디코딩된 2D 비디오 스트림을 포맷팅 하여 3D 비디오를 출력하는 포맷터 (formatter);
를 포함하는 3DTV 방송 신호를 처리하는 방송 수신기.
제9항에 있어서,
상기 시그널링 정보는,
상기 2D 비디오 스트림에 대응하는 depth 정보, occlusion 정보 또는 transparency 정보 중 적어도 하나 이상을 식별하는 제1필드와, 그리고
상기 depth 정보, occlusion 정보 또는 transparency 정보의 coding type 을 식별하는 제2필드를 포함하는 3DTV 방송 신호를 처리하는 방송 수신기.
적어도 2개 이상의 카메라로부터 촬영된 멀티플 비디오 정보를 획득하는 디텍터 (detector);
상기 획득된 멀티플 비디오 정보로부터 추출된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 포맷팅 하는 포맷터 (formatter);
상기 포맷팅된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 인코딩 하는 인코더 (encoder); 그리고
상기 인코딩된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보를 전송하는 트랜스미터 (transmitter);
를 포함하는 3DTV 방송 신호를 전송하는 디지털 방송 송신기.
제11항에 있어서,
상기 인코더는,
상기 포맷팅된 2D 비디오 스트림과 3DTV 서비스를 위한 적어도 하나 이상의 스트림에 대한 시그널링 정보, 그리고 카메라 파라미터를 인코딩하는 것을 특징으로 하는 3DTV 방송 신호를 전송하는 디지털 방송 송신기.