KR20130129212A - 디지털 방송 신호 수신 장치 및 방법 - Google Patents

디지털 방송 신호 수신 장치 및 방법 Download PDF

Info

Publication number
KR20130129212A
KR20130129212A KR1020137014107A KR20137014107A KR20130129212A KR 20130129212 A KR20130129212 A KR 20130129212A KR 1020137014107 A KR1020137014107 A KR 1020137014107A KR 20137014107 A KR20137014107 A KR 20137014107A KR 20130129212 A KR20130129212 A KR 20130129212A
Authority
KR
South Korea
Prior art keywords
video
service
information
channel
additional
Prior art date
Application number
KR1020137014107A
Other languages
English (en)
Other versions
KR101915130B1 (ko
Inventor
서종열
최지현
김진필
김관석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20130129212A publication Critical patent/KR20130129212A/ko
Application granted granted Critical
Publication of KR101915130B1 publication Critical patent/KR101915130B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 3차원 영상을 포함하는 디지털 방송 신호를 수신하는 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 제1 수신부, 시그널링 데이터에 포함되고, 기준 시점의 비디오 스트림과 연동되어 3차원 영상을 구현하는 부가 시점의 비디오 스트림에 대한 정보를 디코딩하는 시그널링 데이터 프로세서, 부가 시점의 비디오 스트림에 대한 정보를 이용하여 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 제2 수신부, 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 기준 영상 디코더, 수신된 부가 시점의 비디오 스트림을 디코딩하여 부가 영상을 생성하는 부가 영상 디코더 및 기준 영상과 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 출력 포맷터를 포함한다.

Description

디지털 방송 신호 수신 장치 및 방법{DEVICE AND METHOD FOR RECEIVING DIGITAL BROADCAST SIGNAL}
본 발명은 3차원 영상을 포함하는 디지털 방송 신호를 수신하는 장치 및 방법에 관한 것이다. 더욱 상세하게는, 3차원 영상을 포함하는 디지털 방송 신호를 복수의 채널 또는 복수의 프로그램을 통해 수신하여 3차원 영상으로 디스플레이하기 위한 수신 장치 및 방법에 관한 것이다.
3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 레프트 뷰(left view) 이미지와 우안에서 시청되기 위한 라이트 뷰(right view) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 우측 이미지를 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
스테레오스코픽 3차원 영상 컨텐츠의 경우, 서로 다른 시점의 유사한 두 개의 영상을 송신하면 수신기가 두 개의 영상을 이용하여 3차원 영상으로 디스플레이하는 방식을 사용한다. 이 때 서로 다른 시점의 유사한 두 개의 영상을 기존의 방송 채널로 함께 보내는 방식과 기존 방송 채널 및 별도의 전송 채널로 나누어서 보내는 방식을 사용할 수 있다. 이러한 경우 수신기가 두 개의 영상을 하나의 3차원 영상으로 디스플레이하기 위해서는 쌍을 이루는 두 개의 영상에 대한 신호 정보(signal information)를 함께 수신해야 한다. 이러한 정보가 함께 수신되지 않는 경우 하나의 3차원 영상을 이루는 레프트 뷰 이미지와 라이트 뷰 이미지를 구별할 수 없어 3차원 영상을 복원하지 못하는 문제점이 발생한다. 또한 레프트 뷰 이미지와 라이트 뷰 이미지의 동기 시점 및 어느 시점에 3차원 영상 디스플레이가 가능한 것인지를 파악하지 못하는 문제점이 발생한다.
본 발명은 위와 같은 문제점을 해결하기 위한 것으로써, 본 발명이 이루고자 하는 기술적 과제는 디지털 방송 신호를 수신하는 장치 및 방법에서, 전술한 문제점을 겪지 않으면서, 3차원 영상을 디스플레이하기 위한 신호 정보를 포함하는 디지털 방송 신호를 수신하여 3차원 영상으로 디스플레이 가능하도록 하는 것이다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 제1 수신부, 시그널링 데이터에 포함되고, 기준 시점의 비디오 스트림과 연동되어 3차원 영상을 구현하는 부가 시점의 비디오 스트림에 대한 정보를 디코딩하는 시그널링 데이터 프로세서, 부가 시점의 비디오 스트림에 대한 정보를 이용하여 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 제2 수신부, 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 기준 영상 디코더, 수신된 부가 시점의 비디오 스트림을 디코딩하여 부가 영상을 생성하는 부가 영상 디코더, 및 기준 영상과 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 출력 포맷터를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 제2 수신부는 부가 시점의 비디오 스트림에 대한 정보를 이용하여, 무선 방송 채널을 통해 부가 시점의 비디오 스트림을 수신하는 튜너, 또는 인터넷 접속을 통해 부가 시점의 비디오 스트림을 수신하는 인터넷 접속부인 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 부가 시점의 비디오 스트림에 대한 정보는 부가 시점의 비디오 스트림의 트랜스포트 아이디를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 부가 시점의 비디오 스트림에 대한 정보는 부가 시점의 비디오 스트림이 수신되는 시점에 대한 정보를 포함한다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 제1 수신부, 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 기준 영상 디코더, 부가 시점의 깊이 정보(depth data)를 수신하는 제2 수신부, 수신된 깊이 정보를 디코딩하는 depth data 디코더, 기준 영상과 디코딩된 깊이 정보를 동기화하는 동기화부, 동기화부의 출력을 이용하여 부가 영상을 렌더링하는 렌더링부 및 기준 영상 및 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 출력 포맷터를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 수신된 깊이 정보를 저장하고 필요시에 제공하는 컨텐츠 및 메타데이터 저장부를 더 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 다양한 깊이 범위(depth range)를 갖는 3차원 영상을 제공하기 위해 복수의 깊이 정보를 수신하는 것을 특징으로 한다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 단계, 시그널링 데이터에 포함되고, 기준 시점의 비디오 스트림과 연동되어 3차원 영상을 구현하는 부가 시점의 비디오 스트림에 대한 정보를 디코딩하는 단계, 부가 시점의 비디오 스트림에 대한 정보를 이용하여 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 단계, 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 단계, 수신된 부가 시점의 비디오 스트림을 디코딩하여 부가 영상을 생성하는 단계 및 기준 영상과 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 단계를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 단계는 부가 시점의 비디오 스트림에 대한 정보를 이용하여, 무선 방송 채널 또는 인터넷 접속을 통해 부가 시점의 비디오 스트림을 수신하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 부가 시점의 비디오 스트림에 대한 정보는 부가 시점의 비디오 스트림의 트랜스포트 아이디를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 부가 시점의 비디오 스트림에 대한 정보는 부가 시점의 비디오 스트림이 수신되는 시점에 대한 정보를 포함한다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 단계, 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 단계, 부가 시점의 깊이 정보(depth data)를 수신하는 단계, 수신된 깊이 정보를 디코딩하는 단계, 기준 영상과 디코딩된 깊이 정보를 동기화하는 단계, 동기화부의 출력을 이용하여 부가 영상을 렌더링하는 단계 및 기준 영상 및 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 단계를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 수신된 깊이 정보를 저장하고 필요시에 제공하는 단계를 더 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 다양한 깊이 범위(depth range)를 갖는 3차원 영상을 제공하기 위해 복수의 깊이 정보를 수신하는 것을 특징으로 한다.
본 발명에 따른 디지털 방송 신호 수신 장치 및 방법는 다음과 같은 효과를 가지고 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 3차원 영상 신호로 디스플레이할 수 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 어느 시점에 3차원 영상 신호 디스플레이가 가능한지 여부를 알 수 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 정확한 동기화정보를 얻을 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 단일 채널에서 듀얼 스트림을 이용한 3차원 영상 서비스를 제공하는 채널에 대한 신호 정보를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 component_list_descriptor를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 stream_info_details()을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 단일 채널, 듀얼 스트림 환경에서 TVCT를 이용한 3차원 영상 서비스를 제공하는 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 단일 서비스, 듀얼 스트림 환경에서 SDT를 이용한 3차원 영상 서비스를 제공하는 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 stream_info_details()을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 복수의 채널을 이용하여 3차원 영상을 수신하고 디스플레이하는 디지털 방송 수신 장치를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 3D_service_descriptor()를 포함하는 PMT의 신택스 구조를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 PMT에 포함되는 3D_service_descriptor()의 신택스를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 program_combine_type을 나타낸다.
도 11은 본 발명의 일 실시예에 따른 PMT에 포함되는 3D_service_descriptor()의 신택스를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 event_sync_type을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 PMT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
도 14는 본 발명의 일 실시예에 따른 channel_combine_descriptor()를 포함하는 TVCT의 신택스 구조를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 TVCT에 포함되는 channel_combine_descriptor()의 신택스를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 channel_combine_type을 나타낸다.
도 17은 본 발명의 일 실시예에 따른 channel_combine_descriptor()의 신택스를 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 channel_sync_type을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 TVCT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
도 20은 본 발명의 일 실시예에 따른 event_combine_descriptor()를 포함하는 EIT의 신택스 구조를 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 event_combine_descriptor()의 신택스를 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 event_combine_type을나타낸다.
도 23은 본 발명의 일 실시예에 따른 EIT에 포함되는 event_combine_descriptor()의 신택스를 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 오디오 스트림에 대한 stream_info_detail()의 신택스 구조, audio type을 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 EIT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
도 26은 본 발명의 일 실시예에 따른 service_combine_descriptor를 포함하는 SDT의 신택스 구조를 나타낸 도면이다.
도 27은 본 발명의 일 실시예에 따른 service_combine_descriptor의 신택스 구조를 나타낸 도면이다.
도 28은 본 발명의 일 실시예에 따른 service_combine_type을 나타낸다.
도 29는 본 발명의 일 실시예에 따른 service_sync_type을 나타낸 도면이다.
도 30은 본 발명의 일 실시예에 따른 SDT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
도 31은 본 발명의 일 실시예에 따른 event_combine_descriptor를 포함하는 DVB-SI의 EIT 신택스 구조를 나타낸 도면이다.
도 32는 본 발명의 일 실시예에 따른 event_combine_descriptor의 신택스 구조를 나타낸 도면이다.
도 33은 본 발명의 일 실시예에 따른 event_combine_type을나타낸다.
도 34는 본 발명의 일 실시예에 따른 event_sync_type을 나타내는 도면이다.
도 35는 본 발명의 일 실시예에 따른 DVB-SI의 EIT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
도 36은 본 발명의 일 실시예에 따른 linkage_descriptor(), linkage_type을 나타낸 도면이다.
도 37은 본 발명의 일 실시예에 따른 Non-essential service의 서비스 타입을 나타낸 도면이다.
도 38은 본 발명의 일 실시예에 따른 depth data를 이용한 3차원 영상 서비스를 제공하는 디지털 방송 수신 장치를 나타낸 도면이다.
도 39는 본 발명의 일 실시예에 따른 event_enhancement_descriptor()의 신택스를 나타낸 도면이다.
도 40은 본 발명의 일 실시예에 따른 combined_service_type, enhancement_type, sync_type을 나타낸 도면이다.
도 41은 본 발명의 일 실시예에 따른 enhancement_stream_format, enhancement_stream_sampling_factor을 나타낸 도면이다.
도 42는 본 발명의 일 실시예에 따른 program_enhancement_descriptor()의 신택스를 나타낸 도면이다.
도 43은 본 발명의 일 실시예에 따른 channel_enhancement_descriptor()의 신택스를 나타낸 도면이다.
도 44는 본 발명의 일 실시예에 따른 service_enhancement_descriptor()의 신택스를 나타낸 도면이다.
도 45는 본 발명의 일 실시예에 따른 event_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다.
도 46은 본 발명의 일 실시예에 따른 stream_content, component_type을 나타낸 도면이다.
도 47은 본 발명의 일 실시예에 따른 transport_packet()을 나타낸 도면이다.
도 48은 본 발명의 일 실시예에 따른 adaptation_field()를 나타낸 도면이다.
도 49는 본 발명의 일 실시예에 따른 video_frame_info_data_byte의 신택스, video_frame_info를 나타낸 도면이다.
도 50은 본 발명의 일 실시예에 따른 비디오 레벨 동기화 방법을 나타낸 도면이다.
도 51은 본 발명의 일 실시예에 따른 디지털 방송 수신 장치를 나타낸 도면이다.
도 52는 본 발명의 일 실시예에 따른 시점 결합 및 동기화 동작을 나타낸 도면이다.
발명의 실시를 위한 최선의 형태
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3차원 영상 표현 방법은 2개의 시점을 고려하는 스테레오스코픽 방식과 3개 이상의 시점을 고려하는 멀티플 뷰 이미지(multiple view image) 방식(또는 다시점 방식)을 포함할 수 있다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 레프트 뷰 이미지(이하 좌 영상)와 라이브 뷰 이미지(이하 우 영상)의 한 쌍의 이미지를 사용한다. 또는 기준 영상과 부가 영상의 한 쌍의 이미지를 사용한다. 이하 좌, 우 영상과 기준, 부가 영상은 스테레오스코픽 방식의 3차원 영상에 포함되는 요소로써 동일한 의미로 사용될 수 있다. 다시점 방식은 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다. 이하에서 스테레오스코픽 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 방식에도 적용될 수 있을 것이다.
본 발명에 따른 스테레오스코픽 방식은 Side-by-Side 방식, Top-Bottom 방식, checker board 방식 등이 있다. Side-by-Side 방식은 좌 영상과 우 영상을 각각 수평방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 left 영역에, 샘플링한 나머지 하나의 영상을 right 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이며, Top-Bottom 방식은 좌 영상과 우 영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 Top 영역에, 샘플링한 나머지 하나의 영상을 bottom 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이다. 체커보드 방식은 좌 영상과 우 영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 방식이다. 하지만 본 발명에 따른 스테레오스코픽 방식은 위의 예에 한정되거나 제한되는 것은 아니다. 일 예로 본 발명에서 설명하는 복수의 채널을 통한 3차원 영상 서비스를 제공하는 방법은 복수의 채널을 통해 위에서 언급한 다운샘플링 작업을 거치지 아니하고 온전한 해상도를 갖는 두 개의 영상을 송수신하여 이를 3차원 영상 서비스로 제공하는 것도 가능하다.
스테레오스코픽 방식은 동일한 3차원 영상에 포함되는 좌 영상과 우 영상 또는 기준 영상과 부가 영상을 커플링하기 위한 부가적인 신호 정보(signal information)가 필요하다.
도 1은 본 발명의 일 실시예에 따른 단일 채널에서 듀얼 스트림을 이용한 3차원 영상 서비스를 제공하는 채널에 대한 신호 정보를 나타낸 도면이다.
3차원 영상 서비스는 MPEG-2 비디오 스트림과 AVC(Advanced Video Coding) 비디오 스트림 및 AC-3 오디오 스트림을 포함하며 이는 PMT(Program Map Table)에서 MPEG-2 비디오 스트림을 나타내는 stream_type 0x02와 AVC 비디오 스트림을 나타내는 stream_type 0x1B 및 AC-3 오디오 스트림을 나타내는 stream_type 0x81로 표현된다. 또한 3차원 영상 서비스는 TVCT(Terrestrial Virtual Channel Table)에서 service_type 0x07(parameterized service) 또는 0x09의 reserved 값을 이용해 stereoscopic 3DTV service임을 명확하게 지정한다.
도 2는 본 발명의 일 실시예에 따른 component_list_descriptor를 나타낸 도면이다.
위에서 설명한 듀얼 스트림을 기반으로 한 3D 스테레오스코픽 서비스를 구성하는 비디오 스트림에 대한 상세 정보는 component_list_descriptor를 확장한 형태를 사용한다. 이 디스크립터는 기준영상 또는 부가영상에 대한 시그널링이 모두 가능하다. 이 디스크립터의 위치는 TVCT의 virtual channel level이다. TVCT에 포함된component_list_descriptor는 해당 채널에 포함된 컴포넌트 스트림에 대한 정보를 포함하며 본 발명의 신호 정보에 대한 내용을 stream_info_details() 내에 포함한다.
도 3은 본 발명의 일 실시예에 따른 stream_info_details()을 나타낸 도면이다. stream_info_details()는 3차원 영상 서비스를 위해 필요한 정보인 stream_info_type, elementary_PID, SLD_element_index, base_video_flag, leftview_flag 및/또는 upsampling_factor를 포함한다.
stream_info_type은 스트림 정보의 타입을 나타내며 기준영상의 경우 0x02로 설정하고, 부가영상의 경우 0x03으로 설정한다.
SLD_element_index는 부가 영상 채널에 대한 TVCT 내의 SLD(service location descriptor)에 포함된 ES(elementary stream)의 인덱스 넘버 또는 SLD 내에서의 순서를 의미한다. 이 영역은 component_list_descriptor의 정보와 SLD에서 가리키는 ES를 맵핑할 수 있다. 따라서 현재 부가영상 채널을 시그널링하는 TVCT의 SLD에서 대응되는 ES를 찾는 것이 가능하다.
본 발명의 디지털 방송 수신 장치는 stream_info_details()에 포함된 elementary_PID 및 SLD_element_index 중 적어도 하나를 사용하여 component_list_descriptor의 정보와 매칭되는 스트림을 찾아내는 것이 가능하다.
base_video_flag는 해당 부호화 스트림이 기준영상인지 부가영상인지를 나타낸다. 비디오 스트림이 기준영상인 경우 이 필드는 '1'로 설정되며 부가영상인 경우 이 필드는 '0'으로 설정할 수 있다.
leftview_flag는 해당 부호화 스트림이 좌 영상인지 우 영상인지를 나타낸다. 이 필드의 값이 '1'이면 해당 비디오 스트림이 좌 영상임을 나타내며 '0'이면 해당 비디오 스트림이 우 영상임을 의미할 수 있다.
upsampling_factor는 부가영상 스트림의 해상도에 대한 정보를 제공하며 도 3과 같이 정의된다. 기준영상(base_video_flag=='1')의 경우 이 필드는 무시할 수 있다. upsampling_factor의 값이 001인 경우 기준영상과 부가영상은 동일한 해상도를 갖는다. 010인 경우 부가영상의 해상도는 기준영상 대비 수평 방향으로 1/2 크기를, 011인 경우 부가영상의 해상도는 기준영상 대비 수직 방향으로 1/2 크기를, 100인 경우 부가영상의 해상도는 기준영상 대비 수직 및 수평 방향으로 각각 1/2크기를 갖는다.
본 발명에 의한 디지털 방송 수신 장치는 위에서 언급한 component_list_descriptor 및 그 안에 포함된 stream_info_details()를 이용하여 단일 채널로 수신되는 MPEG-2 비디오 스트림 및 AVC 비디오 스트림을 이용하여 3차원 영상 신호를 디스플레이 할 수 있다. 이에 대한 상세 과정은 다음과 같다.
도 4는 본 발명의 일 실시예에 따른 단일 채널, 듀얼 스트림 환경에서 TVCT를 이용한 3차원 영상 서비스를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널을 튜닝한 후 선택한 3차원 채널(service_type=0x07 or 0x09)에 대한 TVCT 정보를 수신한다(S41). 이후 수신된 TVCT에 포함된 해당 채널에 대한 SLD를 이용해 두 개의 비디오 스트림에 대한 정보를 파악한다(S42). 여기서 해당 정보는 elementary_PID 등이 될 수 있다. 비디오 스트림들에 대한 정보가 파악되면 해당 채널에 대한 component_list_descriptor를 이용해 두 비디오 스트림에 대한 3D 관련 추가 정보를 파악한다(S43). 추가 정보는 base_video_flag, leftview_flag, upsampling_factor 등이 될 수 있다. component_list_descriptor에서 파악한 좌/우영상 정보와 SLD의 elementary stream을 매칭하기 위해 elementary_PID 또는 SLD_element_index 필드를 사용한다. 매칭된 두 비디오 스트림을 디코딩하여 3차원 영상 서비스를 출력하는 것이 가능하다(S44).
도 5는 본 발명의 일 실시예에 따른 단일 서비스, 듀얼 스트림 환경에서 SDT를 이용한 3차원 영상 서비스를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널을 튜닝한 후 선택한 3차원 서비스(service_type=0x19 or 0x20)에 대한 SDT 정보를 수신한다(S51). 이후 수신된 SDT에 포함된 해당 서비스에 대한 component descriptor를 이용해 두 개의 비디오 스트림에 대한 정보를 파악한다(S52). 여기서 해당 정보는 stream_content, component_type, component_tag 또는 elementary_PID 등이 될 수 있다. 해당 서비스에 대한 추가적인 descriptor를 이용하여 두 비디오 스트림에 대한 3D 관련 추가 정보를 파악한다(S53). 추가 정보는 base_video_flag, leftview_flag, upsampling_factor 등이 될 수 있다. 두 비디오 스트림을 디코딩하여 3차원 영상 서비스를 출력하는 것이 가능하다(S54).
다음은 전용 채널에서 Frame-compatible 3차원 영상 서비스를 제공하는 경우에 대해 설명한다. 3차원 영상 서비스를 제공하는 채널은 해당 채널에 대한 신호 정보 테이블에서 service_type을 0x07(parameterized service) 또는 0x09의 reserved 값을 이용해 stereoscopic 3DTV service임을 명확하게 지정한다. Frame-compatible 3차원 스테레오스코픽 서비스를 구성하는 비디오 스트림에 대한 상세 정보는 component_list_descriptor를 확장한 형태를 사용한다. 이 descriptor는 기본적으로 비디오 내에서 좌우 영상의 결합 형태에 대한 시그널링 정보를 포함하며 이에 포함된 필드는 도 2와 동일하다. 이 descriptor의 위치는 TVCT의 virtual channel level이다.
component_list_descriptor에 포함된 필드 중 stream_type은 H.264/AVC를 이용하여 frame-compatible 3차원 영상 서비스를 제공하는 경우 해당 필드는 0x1B 또는 다른 지정된 값을 사용할 수 있다. component_list_descriptor는 해당 채널에 포함된 컴포넌트 스트림에 대한 정보를 포함하며 본 발명의 신호 정보에 대한 내용을 stream_info_details() 내에 포함한다.
도 6은 본 발명의 일 실시예에 따른 stream_info_details()을 나타낸 도면이다. stream_info_details()는 3차원 영상 서비스를 위해 필요한 정보인 stream_info_type, elementary_PID, SLD_element_index 및/또는 streo_video_format을 포함한다.
stream_info_type은 frame-compatible stereoscopic video를 의미하고 0x05로 설정될 수 있다.
SLD_element_index는 부가 영상 채널에 대한 TVCT 내의 SLD(service location descriptor)에 포함된 ES(elementary stream)의 인덱스 넘버 또는 SLD 내에서의 순서를 의미한다. 이 영역은 component_list_descriptor의 정보와 SLD에서 가리키는 ES를 맵핑할 수 있다. 따라서 현재 부가영상 채널을 시그널링하는 TVCT의 SLD에서 대응되는 ES를 찾는 것이 가능하다.
본 발명의 디지털 방송 수신 장치는 stream_info_details()에 포함된 elementary_PID 및 SLD_element_index 중 적어도 하나를 사용하여 component_list_descriptor의 정보와 매칭되는 스트림을 찾아내는 것이 가능하다.
stereo_video_format은 video 내에 포함된 좌영상 및 우영상의 결합 형태를 나타내며 그 값에 따른 의미는 도 6(b)와 같다. stereo_video_format이 0000011인 경우 side by side 방식을 의미하며, 0000100인 경우 top and bottom 방식, 0001000인 경우 2차원 비디오임을 의미한다. 그 외의 값들은 정의되지 않았다.
본 발명에 의한 디지털 방송 수신 장치는 위에서 언급한 component_list_descriptor 및 그 안에 포함된 stream_info_details()를 이용하여 전용 채널로 수신되는 MPEG-2 비디오 스트림 및 AVC 비디오 스트림을 이용하여 3차원 영상 신호를 디스플레이 할 수 있다. 이에 대한 상세 과정은 다음과 같다.
디지털 방송 수신 장치는 채널을 튜닝한 후 선택한 3차원 채널(service_type=0x07 or 0x09)에 대한 TVCT 정보를 수신한다. 이후 수신된 TVCT에 포함된 해당 채널에 대한 SLD를 이용해 두 개의 비디오 스트림에 대한 정보를 파악한다. 여기서 해당 정보는 elementary_PID 등이 될 수 있다. 비디오 스트림들에 대한 정보가 파악되면 해당 채널에 대한 component_list_descriptor를 이용해 두 비디오 스트림에 대한 3D 관련 추가 정보를 파악한다. 추가 정보는 stereo_video_format 등이 될 수 있다. component_list_descriptor에서 파악한 좌/우영상 정보와 SLD의 elementary stream을 매칭하기 위해 elementary_PID 또는 SLD_element_index 필드를 사용한다. 매칭된 두 비디오 스트림을 decoding 해 3차원 영상 서비스를 출력하는 것이 가능하다.
다음은 3차원 영상 신호에 포함된 기준 영상과 부가 영상이 복수의 채널을 통해 각각 수신되는 경우에 대해 설명한다. 단일 물리 채널 또는 매체는 대역폭이 한정되어 있으므로 기준 영상과 부가 영상을 동시에 전송하는 것이 불가능할 수 있다. 이러한 경우를 가정할 때 복수의 물리 채널 또는 매체를 통해 수신되는 기준 영상과 부가 영상을 이용하여 3차원 영상 서비스를 제공하기 위한 장치 및 방법에 대해 설명한다. 이 때 복수의 물리 매체는 지상파 또는 인터넷 망이 될 수 있다.
도 7은 본 발명의 일 실시예에 따른 복수의 채널을 이용하여 3차원 영상을 수신하고 디스플레이하는 디지털 방송 수신 장치를 나타낸 도면이다. 본 발명의 디지털 방송 수신 장치는 복수 개의 튜너 및 복조부(1a,1b), 복수 개의 디코더(3a,3b), 복수 개의 역다중화부(5a,5b), 복수 개의 PSIP/PSI/SI 프로세서(7a,7b), 인터넷 접속부(9), 3차원 비디오 디코더(11) 및/또는 출력 포맷터(17)를 포함할 수 있다. 또한 3차원 비디오 디코더(11)는 기준 영상 디코더(13)와 부가 영상 디코더(15)를 포함할 수 있다.
여기서, 위의 디지털 방송 수신 장치는 실시예에 따라 한 개의 튜너 및 복조부(1b), 한 개의 디코더(3b), 한 개의 역다중화부(5b), 한 개의 PSIP/PSI/SI 프로세서(7b), 인터넷 접속부(9), 3차원 비디오 디코더(11) 및/또는 출력 포맷터(17)를 포함할 수 있다. 또한 3차원 비디오 디코더(11)는 기준 영상 디코더(13)와 부가 영상 디코더(15)를 포함할 수 있다.
복수 개의 튜너 및 복조부(1a,1b)에 의해 각각 수신된 기준 영상과 부가 영상의 디지털 방송 신호는 복조되어 디코더(3a,3b)에 입력된다. 입력된 방송 신호는 복수 개의 디코더(3a,3b)에 의해 각각 복호되며 복호된 신호는 각각 역 다중화부(5a,5b)에 의해 역다중화된다. 그 결과 기준 영상 및 부가 영상의 신호 정보는 각각 PSIP/PSI/SI 프로세서(7a,7b)로 입력되고 기준 영상 및 부가 영상의 비디오 스트림은 기준 영상 디코더(13)와 부가 영상 디코더(15)로 각각 입력된다. 기준 영상 및 부가 영상은 출력 포맷터(17)에 의해 하나의 3차원 영상으로 디스플레이 될 수 있다. 위에서 각각의 PSIP/PSI/SI 프로세서(7a,7b)에 의해 얻어진 기준 영상 및 부가 영상에 대한 신호 정보는 하나의 3차원 영상에 포함되는 기준 영상 및 부가 영상 또는 좌 영상 및 우 영상을 커플링하는 정보를 포함할 수 있다. 복수 개의 튜너는 이 정보를 이용하여 하나의 3차원 영상에 포함되어 쌍을 이루는 기준 영상 및 부가 영상을 수신하는 것이 가능하다. 이러한 신호 정보는 신호정보 테이블에 디스크립터의 형식으로 포함되어 수신될 수 있으며 여기서, 신호정보 테이블은 PMT(program map table), TVCT(terrestrial virtual channel table), EIT(event information table) 또는 SDT(service description table)가 될 수 있다. 아래에서는 이러한 각 테이블에 의해 전송되는 신호 정보에 대해 상세히 설명한다.
도 8은 본 발명의 일 실시예에 따른 3D_service_descriptor()를 포함하는 PMT의 신택스 구조를 나타낸 도면이다.
PMT(program map table)는 프로그램 넘버와 프로그램 엘리먼트 간에 맵핑을 제공하는 테이블이다. 3차원 영상 서비스를 시그널링하기 위해 3D_service_descriptor()는 PMT에 포함되어 전송될 수 있다. 이 때 PMT의 첫 번째 또는 두 번째 descriptor loop에 포함되어 전송될 수 있다.
PMT는 다음을 포함한다.
table_id 필드는 8 비트 필드로써, TS_program_map_section은 항상 0x02의 값으로 설정된다.
section_syntax_indicator 필드는 1 비트로써, 1로 설정된다.
section_length field는 12 비트로 구성되며, 처음 두 비트는 00이다. 이 필드는 섹션의 바이트 수를 나타내며, 이 필드 이후부터 CRC까지의 길이를 나타낸다. 이 필드의 값은 1021를 넘지 않는다.
program_number 필드는 16 비트로 구성된다. 이는 어느 프로그램에 program_map_PID가 적용가능한지 나타낸다. 하나의 프로그램 정의는 오직 하나의 TS_program_map_section에 의해서만 전송된다. 이는 프로그램 정의는 1016을 넘을 수 없을을 내포한다.
version_number 필드는 Virtual Channel의 버전을 나타낸다. VCT에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다. 이 필드의 값은 MGT의 동일 필드값과 반드시 동일한 값이어야 한다.
current_next_indicator 필드는 1 비트로 구성되며 VCT가 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number 필드의 값은 0x00으로 설정된다.
last_section_number 필드의 값은 0x00으로 설정된다.
PCR_PID 필드는 13 비트로 구성되며, 프로그램 번호에 의해 상술되는 프로그램에 대해 유효한 PCR 필드를 포함하는 TS의 PID를 의미한다.
program_info_length 필드는 12 비트로 구성되며, 처음 두 비트는 00의 값을 갖는다. 나머지 10 비트는 이 필드 이후에 따라오는 디스크립터를 바이트 수로 나타낸다.
stream_type 필드는 8 비트로 구성되며, 기본 PID의 PID 값을 갖는 패킷에 의해 전송되는 프로그램 엘리먼트의 타입을 나타낸다.
elementary_PID 는 13 비트로 구성되며 관련된 프로그램 엘리먼트를 포함하는 TS의 PID를 나타낸다.
ES_info_length 필드는 12 비트로 구성되며, 첫 두 비트는 00이다. 나머지 10 비트는 이 필드 이후에 따라오는 관련 프로그램 엘리먼트의 디스크립터를 바이트 수로 나타낸다.
CRC_32 필드는 디코더 내의 레지스터의 zero output이 되도록 하는 CRC value를 나타낸다.
본 발명은 PMT에 3D_service_descriptor()를 포함시켜 송수신하여, 3차원 영상 서비스에 대해 신호 정보가 일관되게 유지될 때 유용하게 이용될 수 있다. 즉, 3차원 영상 서비스에 대해 시간에 따라 변하지 않고 동일한 신호 정보가 송수신되는 경우, 신호 정보를 동일 서비스에 대해 갱신할 필요 없이 유지할 수 있으므로 데이터 전송 효율면에서 유리한 효과를 가진다.
도 9는 본 발명의 일 실시예에 따른 PMT에 포함되는 3D_service_descriptor()의 신택스를 나타낸 도면이다. 3D_service_descriptor() 신택스는 descriptor_tag, descriptor_length, program_combine_type, linked_TSID, linked_program_number 및/또는 internet_linkage_information()을 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 하며 0xTBD의 값을 할당할 수 있다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
program_combine_type은 3 비트의 크기를 가지며, PMT 섹션에 의해 시그널링된 프로그램의 컴바인 타입을 가리킨다. 도 10은 본 발명의 일 실시예에 따른 program_combine_type을 나타낸다. program_combine_type이 000인 경우 해당 프로그램은 3차원 영상 서비스에 필요한 모든 컴포넌트를 포함함을 의미한다. 예를 들면, 기준 영상 및 부가 영상, 좌 영상 및 우 영상을 모두 포함하고 있음을 의미한다.
program_combine_type이 001인 경우는 해당 프로그램이 3차원 영상 서비스를 위한 컴포넌트 중 부분을 포함하고 있으며 그 부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 해당 프로그램과 동일한 타입의 매체에 의해 수신됨을 의미하며, 나머지 컴포넌트는 3D_service_descriptor()에 포함된 linked_TSID, linked_program_number를 이용하여 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
program_combine_type이 010인 경우는 해당 프로그램이 3차원 영상 서비스를 위한 컴포넌트 중 부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 프로그램 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 해당 프로그램은 3D_service_descriptor()의 linked_TSID, linked_program_number에 의해 식별되는 다른 프로그램에 포함된 필수 엘리먼트과 컴바인되어야만 영상 서비스를 제공하는 것이 가능하다. 필수 엘리먼트는 해당 프로그램과 동일한 타입의 매체에 의해 수신됨을 의미한다.
program_combine_type이 011인 경우는 해당 프로그램이 3차원 영상 서비스를 위한 컴포넌트 중 부분을 포함하고 있으며 그 부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 인터넷을 통해 수신됨을 의미하며, 나머지 컴포넌트의 위치를 가리키는 URL은 3D_service_descriptor()에 포함된 internet_linkage_information을 통해 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
program_combine_type이 100인 경우는 해당 프로그램이 3차원 영상 서비스를 위한 컴포넌트 중 부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 프로그램 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 필수 엘리먼트는 인터넷을 통해 수신됨을 의미하며 해당 프로그램은 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공할 수 있다. 위의 필수 엘리먼트에 대한 접속 정보는 3D_service_descriptor()의 internet_linkage_information을 통해 얻을 수 있다.
linked_TSID는 16 비트이며 해당 프로그램과 연계된 3차원 영상 서비스를 제공하기 위한 별도의 트랜스포트 스트림이 존재하는 경우 해당 트랜스포트 스트림의 transport_stream_ID를 가리킨다.
linked_program_number는 16 비트이며 3차원 영상 서비스를 제공하기 위한 별도의 트랜스포트 스트림을 포함하는 프로그램의 program_number를 가리킨다.
internet_linkage_information은 IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버 및 부가 정보(예를 들면, 해당 스트림의 URI)를 포함할 수 있다.
위에서 설명한 PMT를 이용한 디지털 방송 수신 방법의 실시예는 다음과 같다.
기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 프로그램1과 부가 시점 비디오 엘리먼트인 프로그램2가 모두 지상파를 통해 수신되는 경우를 살펴보면, 프로그램1에 대한 PMT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 프로그램1에 대한 PMT의 첫번째 또는 두번째 descriptor loop에 포함된 3D_service_descriptor 내의 program_combine_type은 001로 설정되고 linked_TSID는 프로그램2에 대한 PMT를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한 linked_program_number는 프로그램2의 program_number를 가리킨다.
프로그램2에 대한 PMT는 부가 시점 비디오 엘리먼트에 대한 시그널링 정보를 포함한다. 프로그램2에 대한 PMT의 첫번째 또는 두번째 descriptor loop에 포함된 3D_service_descriptor 내의 program_combine_type은 010으로 설정되고 linked_TSID는 프로그램1에 대한 PMT를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다.
다음은 기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 프로그램1은 지상파 채널로 수신되고, 부가 시점 비디오 엘리먼트는 인터넷을 통해 수신되는 경우를 살펴본다. 프로그램1에 대한 PMT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 프로그램1에 대한 PMT의 첫번째 또는 두번째 descriptor loop에 포함된 3D_service_descriptor 내의 program_combine_type은 011로 설정되고 internet_linkage_information()은 부가 시점의 비디오 엘리먼트의 접속 정보를 제공한다.
본 발명의 디지털 방송 수신기는 위에서 설명한 3D_service_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
도 11은 본 발명의 일 실시예에 따른 PMT에 포함되는 3D_service_descriptor()의 신택스를 나타낸 도면이다. 3D_service_descriptor() 신택스는 descriptor_tag, descriptor_length, program_combine_type, event_sync_type, linked_TSID, linked_program_number 및/또는 internet_linkage_information()을 포함할 수 있다.
각 필드에 대한 설명은 도 9에서의 설명과 동일하며 새롭게 추가된 event_sync_type에 대해 설명한다.
event_sync_type은 3 비트의 크기를 갖고, 3차원 영상 서비스의 컴포넌트들이 어떻게 얻어지고 동기화되는지에 대한 내용을 포함한다. 상세한 내용은 도 12와 같다.
event_sync_type이 000인 경우, 3차원 영상 서비스는 오직 동기식 3D 전송에 의해서만 제공될 수 있다.
event_sync_type이 001인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 차후에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_TSID, linked_program_number 등의 연결 정보를 이용할 수 있다.
event_sync_type이 010인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 사전에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_TSID, linked_program_number 등의 연결 정보를 이용할 수 있다.
event_sync_type이 011인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 차후에 재전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_TSID, linked_program_number 등의 연결 정보를 이용할 수 있다.
event_sync_type이 100인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 사전에 전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_TSID, linked_program_number 등의 연결 정보를 이용할 수 있다.
도 13은 본 발명의 일 실시예에 따른 PMT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널 튜닝 후 선택한 프로그램 A에 대한 PMT 정보를 수신한다(S131). 프로그램A의 정보를 포함한 PMT에 존재하는 3D_service_descriptor의 program_combine_type 정보를 이용해 해당 프로그램이 자체적으로 모든 엘리먼트를 포함하는지(program_combine_type==000), 그렇지 않은 경우 해당 프로그램이 필수 엘리먼트인지 부가적인 엘리먼트인지 파악한다(S132). 아울러 program_combine_type 필드를 이용해 다른 complementary 컴포넌트를 수신할 수 있는 경로가 동일한 지상파 채널인지 아니면 인터넷인지를 파악한다(S133). 이어서 프로그램A에 해당하는 컴포넌트(elementary stream)를 수신한다. event_sync_type 필드를 이용하여 연동 프로그램에 대한 이용 가능한 시점을 파악한다. 이를 통해 현재 동시 수신이 가능한지 추후 수신해야 하는지 여부를 파악할 수 있다.
3D_service_descriptor를 통해 파악한 linked_TSID 및 linked_program_number에 해당하는 PMT를 수신한다(S134). 이 때, 경우에 따라 다른 채널을 추가로 튜닝하는 과정 발생할 수 있다.
부가적인 스트림을 수신해야 하는 필요가 발생하면 앞 단계에서 수신한 PMT를 통해 프로그램B에 대한 정보를 수신하고 프로그램B에 해당하는 컴포넌트(elementary stream)를 수신한다(S135).
프로그램A 및 프로그램B에 포함되는 elementary stream을 모두 디코딩하여 완전한 3차원 영상 서비스를 디스플레이할 수 있다(S136). 또는 필요한 부분만 선택적으로 디코딩할 수 있다.
만약 프로그램B가 현재 이용가능하지 않고 추후 이용가능한 경우라면 프로그램A를 수신 후 저장(녹화)한 후 나중에 프로그램B가 수신되는 시점에 저장된 프로그램A의 스트림을 재생하고 수신되는 프로그램B와 컴바인 하는 방식으로 3차원 영상을 제공할 수 있다.
도 14는 본 발명의 일 실시예에 따른 channel_combine_descriptor()를 포함하는 TVCT의 신택스 구조를 나타낸 도면이다.
TVCT(terrestrial virtual channel table)는 ATSC의 PSIP에서 트랜스포트 스트림에 포함된 virtual channel들의 속성을 포함하고 있는 테이블이다. 3차원 영상 서비스를 시그널링하기 위해 3D_service_descriptor()는 TVCT에 포함되어 전송될 수 있다. 이 때 TVCT의 첫 번째 descriptor loop에 포함되어 전송될 수 있다. TVCT에 포함된 3D_service_descriptor()는 현재 방송되는 스트림에 대한 2D 디스플레이 윈도우 영역 정보를 제공한다.
TVCT에 포함된 내용은 다음과 같다.
table_id 필드의 값은 해당 테이블 섹션의 타입을 가리킨다. TVCT를 가리키기 위해 그 값은 0xC8이어야 한다.
section_syntax_indicator 필드는 1 비트로 구성되며 그 값은 1로 고정된다.
private_indicator 필드는 1로 설정된다.
section_length 필드는 12 비트로 구성되며, 처음 두 비트는 00이다. 이 필드는 섹션의 바이트 수를 나타내며, 이 필드 이후부터 CRC까지의 길이를 나타낸다. 이 필드의 값은 1021를 넘지 않는다.
transport_stream_id 필드는 16 비트로 구성되며, MPEG-2 전송 스트림(Transport stream, TS) ID 이다. 이 필드에 의해 다른 TVCT와 구분이 가능하다.
version_number 필드는 Virtual Channel의 버전을 나타낸다. VCT에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다. 이 필드의 값은 MGT의 동일 필드값과 반드시 동일한 값이어야 한다.
current_next_indicator 필드는 1 비트로 구성되며 VCT가 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number 필드는 섹션의 개수를 나타낸다. TVCT의 첫번째 섹션의 값은 0x00이고 추가적인 섹션마다 값은 1 씩 증가한다.
last_section_number 필드는 마지막 섹션의 숫자를 의미한다. 즉, 전체 TVCT에서 가장 높은 section_number를 갖는 섹션의 숫자를 의미한다.
protocol_version 필드는 미래에 현재 프로토콜에서 정의된 것과 다른 테이블 종류를 허락하는 기능을 한다. 현재 프로토콜에서는 0만이 유효한 값이다. 0이 아닌 값은 구조적으로 다른 테이블을 위해 후 버전에서 사용될 것이다.
num_channels_in_section 필드는 VCT 섹션에서 virtual channel의 개수를 나타낸다. 그 값은 섹션 길이에 의해 제한된다.
short_name 필드는 virtual channel의 이름을 나타낸다.
major_channel_number 필드는 10 비트로 구성되고, for 반복문 내에서 해당 차례에 정의되는 virtual channel의 major 채널 번호를 나타낸다. 각 virtual channel은 major 채널 번호와 minor 채널 번호로 이루어진다. major 채널 번호는 minor 채널 번호와 함께 해당 virtual channel에 대해 사용자에게 참조 번호로 ㄷ동작한다. major 채널 번호는 1 부터 99까지의 값을 갖고, major/minor 채널 번호 쌍은 TVCT 내에서 중복된 값을 갖지 않는다.
minor_channel_number 필드는 10 비트로 구성되고, 0부터 999까지의 값을 ㄱ갖는다. minor 채널 번호는 major 채널 번호와 함께 two-part 채널 번호로 동작한다. 서비스 타입이 ATSC_digital_television 또는 ATSC_audio_only 인 경우에는 minor 채널 번호는 1부터 99까지의 값을 갖는다. major/minor 채널 번호 쌍은 TVCT 내에서 중복된 값을 갖지 않는다.
modulation_mode 필드는 해당 virtual channel과 관련된 전송 캐리어의 ㅂ벼변조 모드를 나타낸다.
carrier_frequency 필드의 값은 0 이다. 이 필드를 사용하여 캐리어 주파수를 확인하는 것이 허락되었지만, 반대된다.
channel_TSID 필드는 0x0000으로부터 0xFFFF의 값을 가지며, 이 virtual channel에 의해 참조되는 MPEG-2 프로그램을 전달하는 TS와 관련된 MPEG-2 TSID이다.
program_number 필드는 TVCT에서 정의된 virtual channel과 MPEG-2 PROGRAM ASSOCIATION 및 TS PROGRAM MAP 테이블을 연관짓는다.
ETM_location 필드는 Extended Text Message (ETM)의 존재와 위치를 나타낸다.
access_controlled 필드는 1 비트 불리안 플래그로써, 1인 경우 해당 virtual channel과 관련된 이벤트가 접근 제어됨을 나타낼 수 있다. 0인 경우 접근이 제한되지 않음을 나타낸다.
hidden 필드는 1 비트 불리안 플래그로써, 1인 경우 사용자에 의해 해당 번호가 직접 입력되더라도 접근이 허용되지 않는다. hidden virtual channel은 사용자가 채널 서핑을 하는 경우 스킵되며, 정의되지 않은 것처럼 보여진다.
hide_guide 필드는 불리안 플래그로써, hidden channel에 대해 0으로 설정되면 EPG 디스플레이에 그 virtual channel과 event가 보여질 수 있다. hidden 비트가 설정되지 않으면 이 필드는 무시된다. 따라서 non-hidden 채널과 그 이벤트는 hide_guide 비트의 상태와 관계없이 EPG 디스플레이에 속하게된다.
service_type 필드는 해당 virtual channel에 의해 전달되는 서비스의 타입을 확인한다.
source_id 필드는 virtual channel과 관련된 프로그래밍 소스를 확인한다. 여기서, 소스는 비디오, 텍스트, 데이터, 또는 오디오 프로그래밍을 중 어느 하나 일 수 있다. source id 0은 예약된 값이며, 0x0001로부터 0x0FFF까지는 VCT를 전달하는 TS 내에서 유일한 값을 갖는다. 또한 0x1000로부터 0xFFFF까지는 지역 레벨에서 유일한 값을 갖는다.
descriptors_length 필드는 해당 virtual channel을 위한 뒤따르는 디스크립터의 길이를 바이트 단위로 나타낸다.
descriptor() 내에는 디스크립터가 포함되어 있지 않거나 또는 1개 이상의 디스크립터가 포함될 수 있다.
additional_descriptors_length 필드는 뒤따르는 VCT 디스크립터 리스트의 총 길이를 바이트 단위로 나타낸다.
CRC_32 필드는 디코더 내의 레지스터의 zero output이 되도록 하는 CRC value를 나타낸다.
본 발명은 TVCT에 channel_combine_descriptor()를 포함시켜 송수신하여, 3차원 영상 서비스를 제공하는데 필요한 기준 영상 또는 부가 영상에 대한 정보를 제공하는 것이 가능하다. 즉, 현재의 채널과 쌍을 이루어 3차원 영상 서비스를 제공할 수 있는 채널에 대한 정보를 제공하고 이를 근거로 두 채널을 컴바인함으로써 사용자에게 3차원 영상 서비스를 제공할 수 있다.
도 15는 본 발명의 일 실시예에 따른 TVCT에 포함되는 channel_combine_descriptor()의 신택스를 나타낸 도면이다.
channel_combine_descriptor()는 descriptor_tag, descriptor_length, channel_combine_type, associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, 및/또는 internet_linkage_information()을 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 하며 0xTBD의 값을 할당할 수 있다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
channel_combine_type은 3 비트의 크기를 가지며, TVCT 섹션에 의해 시그널링된 채널의 타입을 가리킨다. 도 16은 본 발명의 일 실시예에 따른 channel_combine_type을 나타낸다. channel_combine_type이 000인 경우 해당 채널은 3차원 영상 서비스에 필요한 모든 컴포넌트를 포함함을 의미한다. 예를 들면, 기준 영상 및 부가 영상, 좌 영상 및 우 영상을 모두 포함하고 있음을 의미한다.
channel_combine_type이 001인 경우는 해당 채널이 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 해당 채널은 기준 영상 채널이 될 수 있다. 완벽한 3차원 영상을 서비스하기 위한 나머지 부분의 컴포넌트는 해당 채널과 동일한 타입의 매체에 의해 수신됨을 의미하며, 나머지 컴포넌트는 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id를 이용하여 얻을 수 있다. 최악의 경우, 예를 들면 나머지 부분의 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
channel_combine_type이 010인 경우는 해당 채널이 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 채널은 부가 영상 채널이 될 수 있다. 해당 채널 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 해당 채널은 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id에 의해 식별되는 다른 채널에 포함된 필수 엘리먼트과 컴바인되어야만 영상 서비스를 제공하는 것이 가능하다. 필수 엘리먼트는 해당 채널과 동일한 타입의 매체에 의해 수신됨을 의미한다.
channel_combine_type이 011인 경우는 해당 채널이 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 인터넷을 통해 수신됨을 의미하며, 나머지 컴포넌트(부가적 스트림)의 위치를 가리키는 URL은 internet_linkage_information을 통해 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
channel_combine_type이 100인 경우는 해당 채널이 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 채널 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 필수 엘리먼트는 인터넷을 통해 수신됨을 의미하며 해당 채널은 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공할 수 있다. 위의 필수 엘리먼트에 대한 접속 정보는 internet_linkage_information을 통해 얻을 수 있다.
associated_channel_TSID는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림의 transport_stream_id 값을 나타낸다.
associated_channel_program_number는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림을 포함한 프로그램/채널의 program_number 값을 나타낸다.
associated_major_channel_number는 10 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림을 포함한 채널의 major_channel_number 값을 나타낸다.
associated_minor_channel_number는 10 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림을 포함한 채널의 minor_channel_number 값을 나타낸다.
associated_source_id는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림을 포함한 채널/프로그램의 source_id 값을 나타낸다.
internet_linkage_information은 IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버 및 부가 정보(예를 들면, 해당 스트림의 URI)를 포함할 수 있다.
본 발명의 디지털 방송 수신 장치는 위에서 설명한 channel_combine_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
위에서 설명한 TVCT를 이용한 디지털 방송 수신 방법의 실시예는 다음과 같다.
기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 채널1과 부가 시점 비디오 엘리먼트인 채널2가 모두 지상파를 통해 수신되는 경우를 살펴보면, 채널1에 대한 TVCT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 채널1에 대한 TVCT의 descriptor loop에 포함된 channel_combine_descriptor 내의 channel_combine_type은 001로 설정되고 associated_channel_TSID는 채널2의 엘리먼트를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한 associated_channel_program_number는 채널2의 program_number를 가리킨다.
여기서, 연동 채널(채널2)에 대한 정보를 얻기 위해 associated_major_channel_number, associated_minor_channel_number 및 associated_source_id를 이용할 수 있다.
수신기가 2D 모드인 경우에는 채널1의 엘리먼트만을 이용하는 것이 가능하다. 채널2에 대한 TVCT 및 PMT는 부가 시점 비디오 엘리먼트에 대한 시그널링 정보를 포함한다.
채널2에 대한 TVCT의 channel_combine_descriptor에 포함된 channel_combine_type은 010으로 설정되고 associated_channel_TSID는 채널1의 엘리먼트를 포함하는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한 associated_channel_program_number는 채널1의 program_number를 가리킨다.
여기서, 연동 채널(채널1)에 대한 정보를 얻기 위해 associated_major_channel_number, associated_minor_channel_number 및 associated_source_id를 이용할 수 있다.
수신장치는 채널1과 채널 2의 엘리먼트를 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공한다.
다음은 기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 채널1은 지상파 채널로 수신되고, 부가 시점 비디오 엘리먼트는 인터넷을 통해 수신되는 경우를 살펴본다. 채널1에 대한 TVCT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 채널1에 대한 TVCT의 channel_combine_descriptor에 포함된 channel_combine_type은 011로 설정되고 internet_linkage_information()은 부가 시점의 비디오 엘리먼트의 접속 정보를 제공한다.
수신장치는 채널1의 엘리먼트와 인터넷을 통해 접속한 엘리먼트들을 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공한다.
본 발명의 디지털 방송 수신기는 위에서 설명한 channel_combine_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
도 17은 본 발명의 일 실시예에 따른 channel_combine_descriptor()의 신택스를 나타낸 도면이다. channel_combine_descriptor() 신택스는 descriptor_tag, descriptor_length, channel_combine_type, channel_sync_type, associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, 및/또는 internet_linkage_information()을 포함할 수 있다.
각 필드에 대한 설명은 도 15에서의 설명과 동일하며 새롭게 추가된 event_sync_type에 대해 설명한다.
channel_sync_type은 3 비트의 필드로써, 3차원 영상 서비스의 컴포넌트들이 어떻게 얻어지고 동기화되는지에 대한 내용을 포함한다.
도 18은 본 발명의 일 실시예에 따른 channel_sync_type을 나타낸 도면이다.
channel_sync_type이 000인 경우, 3차원 영상 서비스는 오직 동기식 3D 전송에 의해서만 제공될 수 있다.
channel_sync_type이 001인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 차후에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information 등의 연결 정보를 이용할 수 있다.
channel_sync_type이 010인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 사전에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information 등의 연결 정보를 이용할 수 있다.
channel_sync_type이 011인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 차후에 재전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information 등의 연결 정보를 이용할 수 있다.
channel_sync_type이 100인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 사전에 전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information 등의 연결 정보를 이용할 수 있다.
도 19는 본 발명의 일 실시예에 따른 TVCT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널 튜닝 후 선택한 채널 A에 대한 TVCT 정보를 수신한다(S191). 채널A의 정보를 포함한 TVCT에 존재하는 channel_combine_descriptor의 channel_combine_type 정보를 이용해 해당 프로그램이 자체적으로 모든 엘리먼트를 포함하는지(channel_combine_type ==000), 그렇지 않은 경우 해당 프로그램이 필수 엘리먼트인지 부가적인 엘리먼트인지 파악한다(S192). 아울러 channel_combine_type 필드를 이용해 다른 complementary 컴포넌트를 수신할 수 있는 경로가 동일한 지상파 채널인지 아니면 인터넷인지를 파악한다(S193). 이어서 채널A에 해당하는 컴포넌트(elementary stream)를 수신한다. channel_sync_type 필드를 이용하여 연동 채널에 대한 이용 가능한 시점을 파악한다. 이를 통해 현재 동시 수신이 가능한지 추후 수신해야 하는지 여부를 파악할 수 있다.
channel_combine_descriptor를 통해 파악한 associated_channel_TSID, associated_channel_program_number에 해당하는 TVCT(또는 PMT)를 수신한다(S194). 이 때, 경우에 따라 다른 채널을 추가로 튜닝하는 과정 발생할 수 있다.
부가적인 스트림을 수신해야 하는 필요가 발생하면 앞 단계에서 수신한 TVCT를 통해 채널B에 대한 정보를 수신하고 채널B에 해당하는 컴포넌트(elementary stream)를 수신한다(S195).
채널A 및 채널B에 포함되는 elementary stream을 모두 디코딩하여 완전한 3차원 영상 서비스를 디스플레이할 수 있다(S196). 또는 필요한 부분만 선택적으로 디코딩할 수 있다.
만약 채널B가 현재 이용가능하지 않고 추후 이용가능한 경우라면 채널A의 스트림을 수신 후 저장(녹화)한 후 나중에 채널B가 수신되는 시점에 저장된 채널A의 스트림을 재생하고 수신되는 채널B와 컴바인 하는 방식으로 3차원 영상을 제공할 수 있다.
도 20은 본 발명의 일 실시예에 따른 event_combine_descriptor()를 포함하는 EIT의 신택스 구조를 나타낸 도면이다.
table_id는 8 비트 필드로써, 0xCB로 설정되고, 해당 섹션이 EIT에 속함을 나타낸다.
section_syntax_indicator는 1비트 필드로써 1로 설정된다. 이는 section length 필드 이후에 섹션이 generic section syntax를 따름을 의미한다.
private_indicator는 1 비트 필드로써 1로 설정된다.
section_length는 12 비트 필드로써, 이 필드 이후로부터 CRC_32 필드를 포함하는 섹션 끝까지 남아있는 바이트 수를 나타낸다. 이 필드의 값은 4093을 넘지 못한다.
source_id는 16 비트 필드로써 이 섹션에서 묘사되는 이벤트를 전달하는 virtual channel의 source_id를 나타낸다.
version_number는 5-bit 필드로써, EIT-i의 버전 번호를 나타낸다. 버전 번호는 EIT-i 내의 어떤 필드라도 변화가 있으면 1씩(modulo 32) 증가한다. i와 j가 다를 경우, EIT-i의 버전 번호와 EIT-j의 버전 번호는 무관하다. 이 필드의 값은 MGT에 기재 내용과 동일한 값을 갖는다.
current_next_indicator는 1 비트 인디케이터로써, EIT 섹션에 대해 항상 1로 설정된다. EIT는 항상 현재 적용 가능하다.
section_number는 8 비트 필드로써, 이 섹션의 번호를 나타낸다.
last_section_number는 8 비트 필드로써, 마지막 섹션의 번호를 나타낸다.
protocol_version 필드는 8비트로써, 미래에 현재 프로토콜에서 정의된 것과 다른 테이블 종류를 허락하는 기능을 한다. 현재 프로토콜에서는 0만이 유효한 값이다. 0이 아닌 값은 구조적으로 다른 테이블을 위해 후 버전에서 사용될 것이다.
num_events_in_section 필드는 8 비트로써, 이 EIT 섹션 내의 이벤트의 숫자를 나타낸다. 0인 경우 이 섹션에는 정의된 이벤트가 없음을 나타낸다.
event_id 필드는 14 비트로써 묘사되는 이벤트의 ID를 나타낸다. 이는 ETM_id의 일부로써 사용된다.
start_time은 32 비트 필드로써, 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 이 이벤트의 시작시간을 나타낸다. 어떤 virtual channel에서도, start_time의 값은 이전 이벤트의 종료시간(end_time)보다 작을 수 없다. 여기서 종료시간은 이벤트의 시작시간(start_time)에 이벤트의 길이(length_in_seconds)를 더한 값으로 정의된다.
ETM_location은 2 비트 필드로써, Extended Text Message (ETM)의 존재와 위치를 나타낸다.
length_in_seconds 필드는 이 이벤트의 지속시간을 초단위로 나타낸다.
title_length 필드는 title_text()의 길이를 바이트 단위로 나타낸다. 0의 값은 해당 이벤트에 제목이 존재하지 않음을 나타낸다.
title_text()는 multiple string structure 포맷의 이벤트의 이름을 나타낸다.
descriptors_length 필드는 따라오는 이벤트 디스크립터의 총 길이를 바이트로 나타낸다. 0개 혹은 그 이상의 디스크립터가 descriptor()가 포함된 for loop의 반복문에 의해 EIT 내에 포함된다. EIT 내에서 사용되기 위해 정의된 디스크립터의 타입은 content_advisory_descriptor(), the caption_service_descriptor() 및 the AC-3 audio_stream_descriptor()등이 포함될 수 있다. 본 발명의 event_combine_descriptor()는 descriptor() 내에 포함될 수 있다.
CRC_32는 32 비트 필드로써, 디코더에서 레지스터의 zero output을 위한 CRC value를 나타낸다.
EIT를 이용하여 3차원 영상 서비스를 위한 신호 정보를 전송하는 방법은 위에서 설명한 channel_combine_descriptor를 포함시켜 전송하는 방법과 아래에서 설명할 event_combine_descriptor를 포함시켜 전송하는 방법이 있다.
channel_combine_descriptor를 이용하는 방법은 channel_combine_descriptor가 기준 영상 스트림이 전송되는 채널의 EIT에 포함되어 전송될 수 있다. EIT에 channel_combine_descriptor가 존재하는 경우 해당 event에 대해서만 추가스트림 채널이 존재한다. 따라서, 추가스트림 채널은 해당 event의 방송 기간 동안에만 유효하다. channel_combine_descriptor를 이용해 event에 대한 연동 채널 정보를 시그널링 할 경우, associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id 등을 이용하여 해당 event에 대한 연동 채널을 파악한다.
event_combine_descriptor를 이용하는 방법은 아래와 같다.
도 21은 본 발명의 일 실시예에 따른 event_combine_descriptor()의 신택스를 나타낸 도면이다.
event_combine_descriptor()는 descriptor_tag, descriptor_length, event_combine_type, linked_TSID, linked_program_number 및/또는 internet_linkage_information()을 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 하며 0xTBD의 값을 할당할 수 있다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
event_combine_type은 3 비트의 크기를 가지며 EIT 섹션에 의해 시그널링된 이벤트의 컴바인 타입을 가리킨다. 도 22는 본 발명의 일 실시예에 따른 event_combine_type을나타낸다. event_combine_type이 000인 경우 해당 이벤트는 3차원 영상 서비스에 필요한 모든 컴포넌트를 포함함을 의미한다. 예를 들면, 기준 영상 및 부가 영상, 좌 영상 및 우 영상을 모두 포함하고 있음을 의미한다.
event_combine_type이 001인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 부분의 컴포넌트는 해당 이벤트와 동일한 타입의 매체에 의해 수신됨을 의미하며, 나머지 컴포넌트는 linked_TSID, linked_program_number를 이용하여 얻을 수 있다. 최악의 경우, 예를 들면 나머지 부분의 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
event_combine_type이 010인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 이벤트 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 해당 이벤트는 linked_TSID, linked_program_number에 의해 식별되는 다른 이벤트에 포함된 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공하는 것이 가능하다. 필수 엘리먼트는 해당 이벤트와 동일한 타입의 매체에 의해 수신됨을 의미한다.
event_combine_type이 011인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 인터넷을 통해 수신됨을 의미하며, 나머지 컴포넌트의 위치를 가리키는 URL은 internet_linkage_information을 통해 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
event_combine_type이 100인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 이벤트 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 필수 엘리먼트는 인터넷을 통해 수신됨을 의미하며 해당 이벤트는 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공할 수 있다. 위의 필수 엘리먼트에 대한 접속 정보는 internet_linkage_information을 통해 얻을 수 있다.
linked_TSID는 16 비트이며 해당 프로그램과 연계된 3차원 영상 서비스를 제공하기 위한 별도의 트랜스포트 스트림이 존재하는 경우 해당 트랜스포트 스트림의 transport_stream_ID를 가리킨다.
linked_program_number는 16 비트이며 3차원 영상 서비스를 제공하기 위한 별도의 트랜스포트 스트림을 포함하는 프로그램의 program_number를 가리킨다.
internet_linkage_information은 IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버 및 부가 정보(예를 들면, 해당 스트림의 URI)를 포함할 수 있다.
위에서 설명한 EIT를 이용한 디지털 방송 수신 방법의 실시예는 다음과 같다.
기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 이벤트A와 부가 시점 비디오 엘리먼트의 채널B가 모두 지상파를 통해 수신되는 경우를 살펴보면, 이벤트A에 대한 EIT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 이벤트에 대한 EIT의 event_combine_descriptor 내의 event_combine_type은 001로 설정되고 linked_TSID는 채널B의 엘리먼트를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한 linked_program_number는 채널B의 program_number를 가리킨다.
여기서, 연동 채널(채널B)에 대한 정보를 얻기 위해 channel_combine_descriptor()을 이용하는 경우 해당 디스크립터 내에 포함되어 있는 associated_major_channel_number, associated_minor_channel_number 및 associated_source_id를 이용할 수 있다.
수신장치가 2D 모드인 경우에는 이벤트A의 엘리먼트만을 이용하는 것이 가능하다. 채널B에 대한 TVCT 및 PMT는 부가 시점 비디오 엘리먼트에 대한 시그널링 정보를 포함한다.
수신장치는 채널1과 채널 2의 엘리먼트를 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공한다.
다음은 기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 이벤트A는 지상파 채널로 수신되고, 부가 시점 비디오 엘리먼트는 인터넷을 통해 수신되는 경우를 살펴본다. 이벤트A에 대한 EIT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 이벤트A에 대한 EIT의 channel_combine_descriptor 또는 event_combine_descriptor에 포함된 channel_combine_type 또는 event_combine_type은 011로 설정되고 internet_linkage_information()은 부가 시점의 비디오 엘리먼트의 접속 정보를 제공한다. 수신장치는 이벤트A의 엘리먼트와 인터넷을 통해 접속한 엘리먼트들을 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공한다.
도 23은 본 발명의 일 실시예에 따른 EIT에 포함되는 event_combine_descriptor()의 신택스를 나타낸 도면이다.
event_combine_descriptor()는 descriptor_tag, descriptor_length, event_combine_type, event_sync_type, avail_time_start, linked_TSID, linked_program_number 및/또는 internet_linkage_information()을 포함할 수 있다.
각 필드에 대한 설명은 도 21에서의 설명과 동일하며 새롭게 추가된 event_sync_type는 도 12에서 설명한 PMT의 event_sync_type과 동일하다.
avail_time_start는 32 비트 필드로써, 현재 서비스의 스트림과 함께 컴바인되어 하나의 3차원 영상 서비스를 제공할 수 있는 별도의 스트림이 전송되는 시작 시간을 의미한다. avail_time_start는 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 해당 이벤트의 시작시간을 나타낸다. 이 필드는 event_sync_type 필드의 값이 '001' 또는 '011'일 때에만 의미가 있다.
본 발명의 디지털 방송 수신기는 위에서 설명한 event_combine_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
이상 PMT, TVCT, EIT에 각각 포함된 3D_service_descriptor(), channel_combine_descriptor(), event_combine_descriptor()에서 언급된 필수 엘리먼트(기준 영상)은 essential channel로 정의된 채널로 전송되며 이 채널은 단독으로 2차원 영상 서비스를 제공할 수 있는 채널이다. 해당 채널의 service_type은 기존 수신 장치와의 호환성을 위해 0x02의 값을 갖는다.
또한 필수 엘리먼트가 아닌 영상(부가 영상)은 Non-essential channel로 정의된 채널로 전송되며 이 채널은 단독으로는 사용자에게 어떠한 의미있는 서비스도 제공하지 못하는 채널이다. 해당 채널의 service_type은 0x07(parameterized service) 또는 0x0A(dependent service or non-stand-alone service)의 값을 갖는다.
기준 영상 및 부가 영상의 dual 스트림을 기반으로 한 3차원 스테레오스코픽 서비스 중 non-essential channel을 통해 전송되는 스트림에 대한 상세 정보는 component_list_descriptor를 확장한 형태를 사용하며 이는 도 2에서 설명한 바와 같다. component_list_descriptor의 위치는 TVCT의 virtual channel level이다.
component_list_descriptor 내에 포함되는 컴포넌트 중 non-essential channel을 통해 전송되는 비디오 스트림에 대한 component_list_descriptor()는 stream_type이 0x1B 또는 0x24로 설정된다. 이는 H.264/AVC 비디오를 나타낸다. 또한 component_list_descriptor()에 포함된 stream_info_detail()은 도 3의 신택스 구조와 동일한 구조를 갖으며 각 필드에 대한 설명은 동일하다.
component_list_descriptor 내에 포함되는 컴포넌트 중 non-essential channel을 통해 전송되는 오디오 스트림에 대한 component_list_descriptor()는 오디오가 AC-3 오디오인 경우 stream_type이 0x81로 설정되며 기타 오디오 스트림은 그에 대응되는 stream_type 값으로 설정된다.
도 24(a)는 본 발명의 일 실시예에 따른 오디오 스트림에 대한 stream_info_detail()의 신택스 구조를 나타낸 도면이다. 오디오 스트림에 대한 stream_info_detail()는 stream_info_type, elementary_PID, SLD_element_index, audio_type 및/또는 ISO_639_language_code를 포함한다.
stream_info_type은 8비트 필드로써, 0x04로 설정되며 이 설정 값은 3차원 영상 서비스를 위한 enhancement 오디오 스트림임을 의미한다.
audio_type은 Non-essential channel을 통해 전송되는 별도의 오디오 스트림이 존재하는 경우 이 스트림의 활용 방법을 나타낸다. 도 24(b)는 본 발명의 일 실시예에 따른 audio_type을 나타낸 도면이다.
audio_type이 001인 경우, Non-essential channel을 통해 전송되는 오디오 스트림을 3차원 영상 서비스에서 사용하며 essential channel을 통해 전송되는 오디오 스트림은 사용하지 않는다.
audio_type이 010인 경우, essential channel을 통해 전송되는 오디오 스트림을 기준 스트림으로 사용하되 Non-essential channel을 통해 전송되는 오디오 스트림을 enhancement 스트림으로 사용한다. 이는 MPEG Surround와 같은 경우 적용될 수 있다.
audio_type이 011인 경우, Non-essential channel을 통해 다른 언어를 갖는 오디오 스트림이 전송되며 언어 정보는 audio_type 필드 이후에 나타나는 ISO_639_language_code를 참고한다.
이상과 같이 본 발명에 의한 디지털 방송 수신 장치는 Non-essential channel을 통해 전송되는 비디오, 오디오 스트림에 대한 component_list_descriptor를 통해 부가 영상 및 부가 오디오에 대한 정보를 수신하고 이를 3차원 영상 서비스를 제공하는데 이용할 수 있다.
도 25는 본 발명의 일 실시예에 따른 EIT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널 튜닝 후 선택한 채널에 대한 EIT 정보를 수신한다(S251). 이벤트A의 정보를 포함한 EIT에 존재하는 event_combine_descriptor의 event_combine_type 정보를 이용해 해당 프로그램이 자체적으로 모든 엘리먼트를 포함하는지(event_combine_type ==000), 그렇지 않은 경우 해당 프로그램이 필수 엘리먼트인지 부가적인 엘리먼트인지 파악한다(S252). 아울러 event_combine_type 필드를 이용해 다른 complementary 컴포넌트를 수신할 수 있는 경로가 동일한 지상파 채널인지 아니면 인터넷인지를 파악한다(S253). 이어서 이벤트A에 해당하는 컴포넌트(elementary stream)를 수신한다. event_sync_type 필드를 이용하여 연동 채널에 대한 이용 가능한 시점을 파악한다. 이를 통해 현재 동시 수신이 가능한지 추후 수신해야 하는지 여부를 파악할 수 있다.
이벤트A에 대한 event_combine_descriptor를 통해 파악한 linked_TSID, linked_program_number에 해당하는 TVCT(또는 PMT)를 수신한다(S254). 이 때, 경우에 따라 다른 채널을 추가로 튜닝하는 과정 발생할 수 있다.
부가적인 스트림을 수신해야 하는 필요가 발생하면 앞 단계에서 수신한 TVCT를 통해 채널B에 대한 정보를 수신하고 채널B에 해당하는 컴포넌트(elementary stream)를 수신한다(S255).
이벤트A 및 채널B에 포함되는 elementary stream을 모두 디코딩하여 완전한 3차원 영상 서비스를 디스플레이할 수 있다(S256). 또는 필요한 부분만 선택적으로 디코딩할 수 있다.
만약 채널B가 현재 이용가능하지 않고 추후 이용가능한 경우라면 이벤트A를 수신 후 저장(녹화)한 후 나중에 채널B가 수신되는 시점에 저장된 이벤트A의 스트림을 재생하고 수신되는 채널B와 컴바인 하는 방식으로 3차원 영상을 제공할 수 있다.
도 26은 본 발명의 일 실시예에 따른 service_combine_descriptor를 포함하는 SDT의 신택스 구조를 나타낸 도면이다.
SDT(service description table)는 DVB-SI에서 특정 트랜스포트 스트림에 포함된 서비스들을 설명하는 테이블이다. 3차원 영상 서비스를 제공하기 위한 신호 정보를 시그널링하기 위해 service_combine_descriptor()는 SDT에 포함되어 전송될 수 있다. 서비스 A가 기준 영상에 대한 서비스이고 서비스 B가 부가 영상에 대한 서비스인 경우 SDT section 내의 서비스 A에 대한 descriptor loop에서 서비스 B에 대한 연동정보를 포함한 service_combine_descriptor가 위치한다.
table_id 필드는 8 비트 필드로써, 이 섹션이 Service Description Table에 속한다는 것을 나타낸다..
section_syntax_indicator는 1 비트 필드로써, 1로 설정된다.
section_length는 12 비트 필드로써, 첫 두 비트는 00으로 설정된다. 이 필드 이후부터 CRC를 포함하는 섹션의 바이트 수를 나타낸다. 이 필드는 1021를 넘지 못하며 전체 섹션 길이는 최대 1024 bytes가 된다.
transport_stream_id는 16 비트 필드로써, TS를 구별하는 레이블 역할을 한다.
version_number는 5 비트 필드로써 sub_table의 버전 번호를 나타낸다. sub_table에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다.
current_next_indicator는 1 비트로 구성되며 sub_table이 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number는 8 비트로 구성되며 섹션의 수를 나타낸다. 첫 번째 섹션은 0x00의 값을 가지며, 동일 table_id, 동일 transport_stream_id 및 동일original_network_id를 갖는 추가 섹션마다 값이 1씩 증가한다.
last_section_number는 8 비트로 구성되며 이 섹션이 일부분인 해당 sub_table의 마지막 섹션(즉 가장 높은 section_number)의 번호를 나타낸다.
original_network_id는 16 비트 필드로써, 전송 시스템의 network_id를 확인하는 레이블이다.
service_id는 16 비트 필드로써, TS 내에 포함된 다른 서비스와 구별 짓는 레이블 역할을 한다. 이는 program_map_section의 program_number와 동일하다.
EIT_schedule_flag는 1 비트 필드로써 1로 설정되면 현재 TS 내에 해당 서비스를 위한 EIT 스케쥴 정보가 포함되어 있음을 나타낸다. 0이면 포함되어 있지 않음을 나타낸다.
EIT_present_following_flag는 1 비트 필드로써, 1로 설정되면 현재 TS 내에 해당 서비스를 위한 EIT_present_following 정보가 포함되어 있음을 나타낸다. 0이면 EIT present/following 정보가 현재 TS에 포함되어 있지 않음을 나타낸다.
running_status는 3 비트 필드로써 서비스의 상태를 나타낸다.
free_CA_mode는 1 비트 필드로써, 0으로 설정되면 해당 서비스의 모든 요소 스트림들이 스크램블되지 않음을 나타낸다. 1로 설정되면, 하나 또는 그 이상의 스트림이 CA 시스템에 의해 제어되고 있음을 의미한다.
descriptors_loop_length는 12 비트 필드로써 따라오는 디스크립터의 전체 길이를 바이트 단위로 나타낸다.
CRC_32는 32 비트 필드로써, 디코더에서 레지스터의 zero output을 위한 CRC value를 나타낸다.
본 발명은 SDT에 3차원 영상 서비스의 일부분인 부가 영상 서비스에 대한 service_combine_descriptor를 포함시켜 송수신하여, 3차원 영상 서비스에 대한 정보가 서비스에 대해 일관되게 유지될 때 유용하게 이용될 수 있다. 즉, 3차원 영상 서비스에 대한 정보가 시간에 따라 변하지 않는 경우, 신호 정보를 갱신할 필요없이 동일 서비스에 대해 유지할 수 있으므로 데이터 전송 효율면에서 유리한 효과를 갖는다.
도 27은 본 발명의 일 실시예에 따른 service_combine_descriptor의 신택스 구조를 나타낸 도면이다.
service_combine_descriptor() 신택스는 descriptor_tag, descriptor_length, service_combine_type, service_sync_type, associated_service_TSID, associated_service_original_network_id, associated_service_id, 및/또는 internet_linkage_information()을 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 하며 0xTBD의 값을 할당할 수 있다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
service_combine_type은 3 비트의 크기를 가지며, SDT 섹션에 의해 시그널링된 서비스의 컴바인 타입을 가리킨다. 도 28은 본 발명의 일 실시예에 따른 service_combine_type을 나타낸다. service_combine_type이 000인 경우 해당 서비스는 3차원 영상 서비스에 필요한 모든 컴포넌트를 포함함을 의미한다. 예를 들면, 기준 영상 및 부가 영상, 좌 영상 및 우 영상을 모두 포함하고 있음을 의미한다.
service_combine_type이 001인 경우는 해당 서비스가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 부분의 컴포넌트는 해당 서비스와 동일한 타입의 매체에 의해 수신됨을 의미하며, 나머지 컴포넌트는 associated_service_TSID, associated_service_original_network_id, associated_service_id를 이용하여 얻을 수 있다. 최악의 경우, 예를 들면 나머지 부분의 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
service_combine_type이 010인 경우는 해당 서비스가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 서비스 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 해당 서비스는 associated_service_TSID, associated_service_original_network_id, associated_service_id에 의해 식별되는 다른 서비스에 포함된 필수 엘리먼트과 컴바인되어야만 영상 서비스를 제공하는 것이 가능하다. 필수 엘리먼트는 해당 서비스와 동일한 타입의 매체에 의해 수신됨을 의미한다.
service_combine_type이 011인 경우는 해당 서비스가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 인터넷을 통해 수신됨을 의미하며, 나머지 컴포넌트의 위치를 가리키는 URL은 internet_linkage_information을 통해 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
service_combine_type이 100인 경우는 해당 서비스가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 서비스 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 필수 엘리먼트는 인터넷을 통해 수신됨을 의미하며 해당 서비스는 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공할 수 있다. 위의 필수 엘리먼트에 대한 접속 정보는 internet_linkage_information을 통해 얻을 수 있다.
service_sync_type은 3 비트의 필드로써, 3차원 영상 서비스의 컴포넌트들이 어떻게 얻어지고 동기화되는지에 대한 내용을 포함한다.
도 29는 본 발명의 일 실시예에 따른 service_sync_type을 나타낸 도면이다.
service_sync_type이 000인 경우, 3차원 영상 서비스는 오직 동기식 3D 전송에 의해서만 제공될 수 있다.
service_sync_type이 001인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 차후에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_service_TSID, associated_service_original_network_id, associated_service_id, 또는 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
service_sync_type이 010인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 사전에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_service_TSID, associated_service_original_network_id, associated_service_id, 또는 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
service_sync_type이 011인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 차후에 재전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_service_TSID, associated_service_original_network_id, associated_service_id, 또는 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
service_sync_type이 100인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 사전에 전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_service_TSID, associated_service_original_network_id, associated_service_id, 또는 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
associated_service_TSID는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/서비스와 결합될 트랜스포트 스트림의 transport_stream_id 값을 나타낸다.
associated_service_original_network_id는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림을 포함한 서비스의 original_network_id 값을 나타낸다.
associated_service_id는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/서비스와 결합될 트랜스포트 스트림을 포함한 서비스의 service_id 값을 나타낸다.
본 실시 예에서는 service_id와 program_number 필드의 값을 동일하게 설정하므로 linked_program_number 필드를 생략하지만 경우에 따라 service_combine_descriptor에 linked_program_number 필드를 포함하는 실시 예가 있을 수 있다.
internet_linkage_information은 IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버, 부가 정보(예를 들면, 해당 스트림의 URI) 및 available time slot(시작시간, 만료 시간) 정보를 포함할 수 있다.
여기서, 연동되는 서비스 내에 포함되는 비디오 스트림의 상세 정보는 해당 서비스의 component descriptor를 참고하여 알아낼 수도 있고, 혹은 위에서 설명한 service_combine_descriptor 내에 해당 컴포넌트의 component_tag 값이나 혹은 elementary_PID 값을 추가하여 그 필드 값만 보고 바로 찾게 할 수도 있다. 즉, 실시 예에 따라 service_combine_descriptor에 연동되는 비디오/오디오 스트림에 대한 component_tag 또는 elementary_PID 필드를 포함할 수 있으며 stream_content 및 component_type과 같은 스트림 관련 정보도 포함 할 수도 있다.
본 발명의 디지털 방송 수신 장치는 위에서 설명한 service_combine_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
위에서 설명한 SDT를 이용한 디지털 방송 수신 방법의 실시예는 다음과 같다.
기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 서비스1과 부가 시점 비디오 엘리먼트인 서비스2가 모두 지상파를 통해 수신되는 경우를 살펴보면, 서비스1에 대한 SDT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 서비스1에 대한 SDT의 descriptor loop에 포함된 service_combine_descriptor 내의 service_combine_type은 001로 설정되고 associated_service_TSID는 서비스2의 엘리먼트를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 여기서, 연동 서비스(서비스2)에 대한 정보를 얻기 위해 associated_service_original_network_id, associated_service_id을 이용할 수 있다.
수신기가 2D 모드인 경우에는 서비스1의 엘리먼트만을 이용하는 것이 가능하다. 서비스2에 대한 SDT 및 PMT는 부가 시점 비디오 엘리먼트에 대한 시그널링 정보를 포함한다. 서비스2에 대한 SDT의 service_combine_descriptor에 포함된 service_combine_type은 010으로 설정되고 associated_service_TSID는 서비스1의 엘리먼트를 포함하는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 여기서, 연동 서비스(서비스1)에 대한 정보를 얻기 위해 associated_service_original_network_id, associated_service_id를 이용할 수 있다.
수신장치는 서비스1과 서비스2의 엘리먼트를 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공할 수 있다.
도 30은 본 발명의 일 실시예에 따른 SDT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널 튜닝 후 선택한 서비스A에 대한 SDT 정보를 수신한다(S301). 서비스A의 정보를 포함한 SDT에 존재하는 service_combine_descriptor의 service_combine_type 정보를 이용해 해당 프로그램이 자체적으로 모든 엘리먼트를 포함하는지(service_combine_type ==000), 그렇지 않은 경우 해당 프로그램이 필수 엘리먼트인지 부가적인 엘리먼트인지 파악한다(S302). 아울러 service_combine_type 필드를 이용해 다른 complementary 컴포넌트를 수신할 수 있는 경로가 동일한 지상파 채널인지 아니면 인터넷인지를 파악한다(S303). 이어서 서비스A에 해당하는 컴포넌트(elementary stream)를 수신한다.
service_sync_type 필드를 이용하여 서비스B에 대한 이용 가능한 시점을 파악한다. 이를 통해 현재 동시 수신이 가능한지 추후 수신해야 하는지 여부를 파악할 수 있다. service_combine_descriptor를 통해 파악한 associated_service_TSID, associated_service_id에 해당하는 SDT(또는 PMT)를 수신한다(S304). 이 때, 경우에 따라 다른 채널을 추가로 튜닝하는 과정 발생할 수 있다.
부가적인 스트림을 수신해야 하는 필요가 발생하면 앞 단계에서 수신한 SDT를 통해 서비스B에 대한 정보를 수신하고 서비스B에 해당하는 컴포넌트(elementary stream)를 수신한다(S305).
서비스A 및 서비스B에 포함되는 elementary stream을 모두 디코딩하여 완전한 3차원 영상 서비스를 디스플레이할 수 있다(S306). 또는 필요한 부분만 선택적으로 디코딩할 수 있다.
만약 서비스B가 현재 이용가능하지 않고 추후 이용가능한 경우라면 서비스A를 수신 후 저장(녹화)한 후 나중에 서비스B가 수신되는 시점에 저장된 서비스A의 스트림을 재생하고 수신되는 서비스B와 컴바인 하는 방식으로 3차원 영상을 제공할 수 있다.
도 31은 본 발명의 일 실시예에 따른 event_combine_descriptor를 포함하는 DVB-SI의 EIT 신택스 구조를 나타낸 도면이다.
본 발명의 디지털 방송 수신 장치는 DVB-SI의 EIT 내 descriptor에 위에서 설명한 service_combine_descriptor() 또는 event_combine_descriptor()을 포함시키거나, 또는 linkage_descriptor()를 확장하여 포함시켜 전송함으로써 3차원 영상 서비스에 대한 정보를 제공하는 것이 가능하다.
table_id 필드는 8 비트 필드로써, 이 섹션이 Service Description Table에 속한다는 것을 나타낸다..
section_syntax_indicator는 1 비트 필드로써, 1로 설정된다.
section_length는 12 비트 필드로써, 이 필드 이후부터 CRC를 포함하는 섹션의 바이트 수를 나타낸다. 이 필드는 4093를 넘지 못하며 전체 섹션 길이는 최대 4096 bytes가 된다.
service_id는 16 비트 필드로써, TS 내의 다른 서비스와 구분하는 레이블 역할을 한다. service_id는 상응하는 program_map_section의 program_number와 동일한 값을 갖는다.
version_number는 5 비트 필드로써 sub_table의 버전 번호를 나타낸다. sub_table에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다.
current_next_indicator는 1 비트로 구성되며 sub_table이 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number는 8 비트로 구성되며 섹션의 수를 나타낸다. 첫 번째 섹션은 0x00의 값을 가지며, 동일 table_id, 동일 transport_stream_id 및 동일original_network_id를 갖는 추가 섹션마다 값이 1씩 증가한다.
last_section_number는 8 비트로 구성되며 이 섹션이 일부분인 해당 sub_table의 마지막 섹션(즉 가장 높은 section_number)의 번호를 나타낸다.
transport_stream_id는 16 비트 필드로써, TS를 구별하는 레이블 역할을 한다.
original_network_id는 16 비트 필드로써, 전송 시스템의 network_id를 확인하는 레이블이다.
segment_last_section_number는 8 비트 필드로써, sub_table의 세그먼트 마지막 섹션의 숫자를 나타낸다. 세그먼트로 나누어지지 않은 sub_table에 대해서는 이 필드는 last_section_number 필드와 동일한 값을 갖는다.
last_table_id는 8 비트 필드로써, 마지막에 사용된 table_id를 나타낸다.
event_id는 16 비트 필드로써, 이벤트를 나타내는 id number를 포함한다(서비스 정의 내에서 유일하게 배정된다).
start_time은 40 비트 필드로써, Universal Time, Co-ordinated (UTC) 형식, Modified Julian Date (MJD) 형식의 이벤트 시작시간을 포함한다. 이 필드는 MJD의 16 LSBs에 의해 코딩된 16 비트와 4비트 Binary Coded Decimal (BCD)의 6자리로 코딩된 24비트로 이루어진다. 만약 시작시간이 정의되지 않으면(예를 들어, NVOD 서비스) 모든 비트는 1로 설정된다.
Duration은 24 비트 필드로써 이벤트의 지속 시간을 시간, 분, 초 단위로 포함한다. 따라서 6자리 4-bit BCD로 표현되어 24 비트를 갖는다.
running_status은 3 비트 필드로써 이벤트의 상태를 나타낸다. NVOD 이벤트의 경우 0으로 설정된다.
free_CA_mode는 1 비트 필드로써, 0으로 설정되면 해당 서비스의 모든 요소 스트림들이 스크램블되지 않음을 나타낸다. 1로 설정되면, 하나 또는 그 이상의 스트림이 CA 시스템에 의해 제어되고 있음을 의미한다.
descriptors_loop_length는 12 비트 필드로써 따라오는 디스크립터의 전체 길이를 바이트 단위로 나타낸다.
CRC_32는 32 비트 필드로써, 디코더에서 레지스터의 zero output을 위한 CRC value를 나타낸다.
먼저 DVB-SI의 EIT 내 descriptor에 service_combine_descriptor()를 포함시켜 전송하는 경우를 설명하면, 위에서 설명한 service_combine_descriptor()가 기준 영상 스트림이 전송되는 서비스의 EIT에 포함되어 전송될 수 있다. 이 경우 해당 event에 대해서만 추가스트림 채널이 존재한다. 따라서, 추가스트림 채널은 해당 event의 방송 기간 동안에만 유효하다.
Service_combine_descriptor()를 이용해 event에 대한 연동채널 정보를 시그널링 할 경우 associated_service_TSID, associated_service_original_network_id, associated_service_id 등을 이용해 해당 event에 대한 연동채널을 파악한다.
다음으로 DVB-SI의 EIT 내 descriptor에 event_combine_descriptor()를 포함시키는 경우를 설명하면, event A가 기준 영상 이벤트이고 event B가 부가 영상 이벤트인 경우 EIT 내의 event A에 대한 descriptor loop에서 event B에 대한 연동정보를 포함한 event_combine_descriptor()가 위치한다.
도 32는 본 발명의 일 실시예에 따른 event_combine_descriptor의 신택스 구조를 나타낸 도면이다.
event_combine_descriptor()는 descriptor_tag, descriptor_length, event_combine_type, linked_event_id, linked_TSID, linked_original_netrowk_id, linked_service_id, internet_linkage_information(), event_sync_type 및/또는 avail_time_start를 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 하며 0xTBD의 값을 할당할 수 있다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
event_combine_type은 3 비트의 크기를 가지며 EIT 섹션에 의해 시그널링된 이벤트의 컴바인 타입을 가리킨다.
도 33은 본 발명의 일 실시예에 따른 event_combine_type을나타낸다. event_combine_type이 000인 경우 해당 이벤트는 3차원 영상 서비스에 필요한 모든 컴포넌트를 포함함을 의미한다. 예를 들면, 기준 영상 및 부가 영상, 좌 영상 및 우 영상을 모두 포함하고 있음을 의미한다.
event_combine_type이 001인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 부분의 컴포넌트는 해당 이벤트와 동일한 타입의 매체에 의해 수신됨을 의미하며, 나머지 컴포넌트는 linked_TSID, linked_service_id를 이용하여 얻을 수 있다. 최악의 경우, 예를 들면 나머지 부분의 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
event_combine_type이 010인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 이벤트 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 해당 이벤트는 linked_TSID, linked_service_id에 의해 식별되는 다른 이벤트에 포함된 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공하는 것이 가능하다. 필수 엘리먼트는 해당 이벤트와 동일한 타입의 매체에 의해 수신됨을 의미한다.
event_combine_type이 011인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 인터넷을 통해 수신됨을 의미하며, 나머지 컴포넌트의 위치를 가리키는 URL은 internet_linkage_information을 통해 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
event_combine_type이 100인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 이벤트 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 필수 엘리먼트는 인터넷을 통해 수신됨을 의미하며 해당 이벤트는 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공할 수 있다. 위의 필수 엘리먼트에 대한 접속 정보는 internet_linkage_information을 통해 얻을 수 있다.
linked_event_id는 16비트 필드로써 완전한 3차원 영상 서비스를 제공하기 위해 본 이벤트와 결합될 이벤트의 evnet_id 값을 나타낸다.
linked_TSID는 16 비트 필드로써 부가적인 스트림에 대한 정보를 시그널링하는 PMT가 전송되는 트랜스포트 스트림의 transport_stream_id를 나타낸다.
linked_original_network_id는 16 비트 필드로써 완전한 3차원 영상 서비스를 제공하기 위해 본 event와 결합될 스트림을 포함한 서비스 또는 프로그램의 original_network_id 값을 나타낸다.
linked_service_id는 16 비트 필드로써 완전한 3차원 영상 서비스를 제공하기 위해 본 event와 결합될 스트림을 포함한 서비스 또는 프로그램의 service_id 값을 나타낸다. 이 service_id는 PMT 섹션의 program_number와 동일한 값이며 따라서 linked_service_id는 linked_program_number로 표현되는 것이 가능하다.
internet_linkage_information은 IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버, 부가 정보(예를 들면, 해당 스트림의 URI) 및 available time slot(시작시간, 만료 시간) 정보를 포함할 수 있다.
event_sync_type은 3 비트 필드로써 3차원 영상 서비스의 컴포넌트들이 어떻게 얻어지고 동기화되는지에 대한 내용을 포함한다.
도 34는 본 발명의 일 실시예에 따른 event_sync_type을 나타내는 도면이다.
event_sync_type이 000인 경우, 3차원 영상 서비스는 오직 동기식 3D 전송에 의해서만 제공될 수 있다.
event_sync_type이 001인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 차후에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_event_id, linked_TSID, linked_service_id, linked_original_network_id 및 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
event_sync_type이 010인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 사전에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_event_id, linked_TSID, linked_service_id, linked_original_network_id 및 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
event_sync_type이 011인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 차후에 재전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_event_id, linked_TSID, linked_service_id, linked_original_network_id 및 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
event_sync_type이 100인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 사전에 전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_event_id, linked_TSID, linked_service_id, linked_original_network_id 및 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
avail_time_start는 32 비트 필드로써, 현재 서비스의 스트림과 함께 컴바인되어 하나의 3차원 영상 서비스를 제공할 수 있는 별도의 스트림이 전송되는 시작 시간을 의미한다. avail_time_start는 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 해당 이벤트의 시작시간을 나타낸다. 이 필드는 event_sync_type 필드의 값이 '001' 또는 '011'일 때에만 의미가 있다.
링크된 이벤트 내에 포함되는 비디오 스트림의 상세 정보는 해당 이벤트가 포함된 서비스 내의 component_descriptor를 참고하여 알아낼 수도 있고, 혹은 위에서 설명한 event_combine_descriptor 내에 해당 component의 component_tag 필드나 혹은 elementary PID 필드를 포함시켜 해당 필드 값만 보고 바로 찾게 할 수도 있다. 즉, 실시 예에 따라 event_combine_descriptor에 연동되는 비디오/오디오 스트림에 대한 component_tag 또는 elementary_PID 필드를 포함시킬 수 있으며 stream_content 및 component_type 과 같은 스트림 관련 정보를 포함시킬 수도 있다.
본 발명의 디지털 방송 수신기는 위에서 설명한 event_combine_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
위에서 설명한 DVB-SI의 EIT를 이용한 디지털 방송 수신 방법의 실시예는 다음과 같다.
기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 이벤트A와 부가 시점 비디오 엘리먼트를 포함하는 서비스B가 모두 지상파를 통해 수신되는 경우를 살펴보면, 이벤트A에 대한 EIT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 이벤트A에 대한 EIT의 descriptor loop에 포함된 event_combine_descriptor 내의 event_combine_type은 001로 설정되고 linked_TSID는 서비스B의 엘리먼트를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한 서비스B에 대한 정보를 얻기 위해 linked_service_id를 이용할 수 있다. 수신장치가 2D 모드인 경우에는 이벤트A의 엘리먼트만을 이용하는 것이 가능하다. 서비스 B에 대한 SDT 및 PMT는 부가 시점 비디오 엘리먼트에 대한 시그널링 정보를 포함한다.
서비스B에 대한 SDT의 event_combine_descriptor에 포함된 event_combine_type은 010으로 설정되고 linked_TSID는 이벤트A의 엘리먼트를 포함하는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한, 이벤트A에 대한 정보를 얻기 위해 linked_service_id를 이용할 수 있다. 수신장치는 이벤트A와 서비스B의 엘리먼트를 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공한다.
도 35는 본 발명의 일 실시예에 따른 DVB-SI의 EIT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널 튜닝 후 선택한 서비스에 대한 EIT 정보를 수신한다(S351). 이벤트A의 정보를 포함한 SDT에 존재하는 event_combine_descriptor의 event_combine_type 정보를 이용해 해당 프로그램이 자체적으로 모든 엘리먼트를 포함하는지(service_combine_type ==000), 그렇지 않은 경우 해당 이벤트가 필수 엘리먼트인지 부가적인 엘리먼트인지 파악한다(S352). 아울러 event_combine_type 필드를 이용해 다른 complementary 컴포넌트를 수신할 수 있는 경로가 동일한 지상파 채널인지 아니면 인터넷인지를 파악한다(S353). 이어서 이벤트A에 해당하는 컴포넌트(elementary stream)를 수신한다.
이후 링크된 이벤트의 이용가능한 시점을 event_sync_type 필드 및 avail_time_start 필드를 이용하여 파악한다. 이를 통해 현재 동시 수신이 가능한지 추후 수신해야 하는지 여부를 파악할 수 있다. 이벤트A에 대한 event_combine_descriptor를 통해 파악한 linked_TSID, linked_serivce_id에 해당하는 SDT(또는 PMT)를 수신한다(S354). 이 때, 경우에 따라 다른 채널을 추가로 튜닝하는 과정 발생할 수 있다.
부가적인 스트림을 수신해야 하는 필요가 발생하면 앞 단계에서 수신한 SDT를 통해 서비스B에 대한 정보를 수신하고 서비스B에 해당하는 컴포넌트(elementary stream)를 수신한다(S355).
이벤트A 및 서비스B에 포함되는 elementary stream을 모두 디코딩하여 완전한 3차원 영상 서비스를 디스플레이할 수 있다(S306). 또는 필요한 부분만 선택적으로 디코딩할 수 있다.
만약 서비스B가 현재 이용가능하지 않고 추후 이용가능한 경우라면 이벤트A의 스트림을 수신 후 저장(녹화)한 후 나중에 서비스B의 스트림이 수신되는 시점에 저장된 이벤트A의 스트림을 재생하고 수신되는 서비스B와 컴바인 하는 방식으로 3차원 영상을 제공할 수 있다.
다음으로 DVB-SI의 EIT 내 descriptor에 linkage_descriptor()를 포함시키는 경우를 설명하면, 서로 다른 두 서비스를 결합하거나 서로 다른 두 이벤트를 결합하여 하나의 3차원 영상 서비스를 제공하기 위해 DVB-SI의 linkage_descriptor()를 이용할 수 있으며, 각 케이스에 대해 새로운 linkage_type을 지정한다.
도 36(a)는 본 발명의 일 실시예에 따른 linkage_descriptor()를 나타낸 도면이다.
linkage_descriptor()는 descriptor_tag, descriptor_length, transport_stream_id, original_network_id, service_id, linkage_type, service_combine_info() 및/또는 event_combine_info()를 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 한다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
transport_stream_id는 16 비트 필드로써 정보 서비스(information service)의 트랜스포트 스트림을 식별한다.
original_network_id는 16 비트 필드로써 정보 서비스의 오리지널 전송 시스템의 네트워크 아이디를 식별한다.
service_id는 16비트 필드로써 트랜스포트 스트림 내에서 정보 서비스를 고유하게 식별한다. 이는 대응되는 PMT 섹션의 program_number와 동일하게 설정된다.
linkage_type은 8비트 필드로써 linkage의 종류를 세분화한다. 본 발명에서는 0x0F와 0x10을 새롭게 정의한다. 도 36(b)는 본 발명의 일 실시예에 따른 linkage_type을 나타낸 도면이다. linkage_type 0x0F은 서비스 컴바인 연결(service combine linkage)임을 의미하고, linkage_type 0x10은 이벤트 컴바인 연결(event combine linkage)임을 의미한다.
서비스 컴바인 연결인 경우 linkage_descriptor()는 SDT에 위치해야 하며 수신 장치는 service_combine_info() 정보를 얻게 되며 그 세부 내용은 위에서 설명한 service_combine_descriptor()의 필드 내용을 모두 포함한다. 이벤트 컴바인 연결인 경우에 linkage_descriptor()는 EIT에 위치해야 하며, 수신 장치는 event_combine_info() 정보를 얻게 되며 그 세부 내용은 위에서 설명한 event_combine_descriptor()의 필드 내용을 모두 포함한다.
이상 SDT, EIT에 각각 포함된 service_combine_descriptor(), event_combine_descriptor()에서 언급된 필수 엘리먼트(기준 비디오 스트림)는 essential service로 정의된 서비스로 전송되며 이 서비스는 단독으로 2차원 영상 서비스를 제공할 수 있는 서비스이다. 해당 서비스의 service_type은 기존 수신 장치와의 호환성을 위해 0x19의 값을 갖는다.
또한 필수 엘리먼트가 아닌 영상(부가 비디오 스트림)은 Non-essential service로 정의된 서비스로 전송되며 이 서비스는 단독으로는 사용자에게 어떠한 의미있는 서비스도 제공하지 못하는 서비스이다. 해당 서비스의 service_type은 기존의 HD DTV 서비스 타입을 사용하거나 또는 부가 영상을 포함하는 부가 서비스 타입을 새롭게 정의할 수 있다.
도 37(a)는 본 발명의 일 실시예에 따른 Non-essential service의 서비스 타입을 나타낸 도면이다. service_type 0x19은 Advanced codec HD 디지티러 텔레비젼 서비스를 의미하고 0x1F는 부가 비디오 스트림만을 포함하는 Non-essential 스테레오스코픽 서비스임을 의미한다.
Non-essential service의 stream_content, component_type은 도 37(b)와 같이 기존의 HD 비디오(MPEG-2 또는 H.264/AVC)의 stream_content 및 component_type 조합을 사용하거나 부가 영상만을 위한 조합을 새롭게 정의할 수 있다.
위에서 언급한 기준 비디오 스트림 및 부가 비디오 스트림을 함께 제공하는 서비스는 dual-stream service로 정의된다. 이 서비스를 이용하는 경우 3차원 영상 서비스 뿐만 아니라 기존의 2차원 영상 서비스도 제공하는 것이 가능하다.
service_type은 2차원 HD 서비스와 호환되는 기존의 서비스 타입을 사용할 수도 있고, 또는 새로운 서비스 타입을 사용할 수도 있다. 도 37(c)는 본 발명의 일 실시예에 따른 dual-stream service의 서비스 타입을 나타낸 도면이다. service_type 0x19은 Advanced codec HD 디지티러 텔레비젼 서비스를 의미하고 0x20은 기준 비디오 스트림과 부가 비디오 스트림을 모두 포함하는 dual-stream 스테레오스코픽 서비스임을 의미한다.
Dual-stream service의 stream_content, component_type은 위에서 설명한 도 37(b)와 동일하게 기존의 HD 비디오(MPEG-2 또는 H.264/AVC)의 stream_content 및 component_type 조합을 사용하거나 부가 영상만을 위한 조합을 새롭게 정의할 수 있다.
지금까지는 단일 또는 복수의 채널을 통해 기준 비디오 스트림과 부가 비디오 스트림을 수신, 컴바인하여 하나의 3차원 영상 서비스를 제공하는 장치 및 방법에 대해서 설명하였다. 아래에서는 다른 실시예로써 부가 비디오 스트림 대신 3차원 영상에 대한 깊이 정보(depth data)를 수신하여 부가 비디오 스트림을 렌더링하여 3차원 영상 서비스를 제공하는 장치 및 방법에 대해 설명한다.
3차원 영상 신호가 2차원 비디오 엘리먼트와 Depth map(또는 disparity map)에 대한 depth data을 포함하는 경우, 2차원 비디오 엘리먼트는 기존의 지상파 TV 채널을 통해 전송되고 depth data는 인터넷을 통해 전송되는 형태의 서비스이다. 이 때, 필요에 따라 depth map은 occlusion, transparency 정보 등을 포함할 수 있다. 즉, 2차원 비디오 엘리먼트(기준영상, 좌영상)와 결합하여 스테레오스코픽 비디오의 부가영상(우영상)을 생성하는 데이터를 본 문서에서는 편의상 depth data라고 부른다.
도 38은 본 발명의 일 실시예에 따른 depth data를 이용한 3차원 영상 서비스를 제공하는 디지털 방송 수신 장치를 나타낸 도면이다.
도 38의 디지털 방송 수신 장치는 스트림 역다중화부(21), 시스템 디코더(23), 기준 영상 디코더(24), 인터넷 인터페이스(25), 저장매체 제어부(26), 컨텐츠 및 메타데이터 저장부(27), depth data 디코더(28), 동기화부(29), 렌더링부(30) 및/또는 출력 포맷터(31)를 포함한다.
디지털 방송 수신 장치는 튜너(미도시)를 통해 방송 스트림을 수신하여 스트림 역다중화부(21)를 이용하여 스트림으로부터 2차원 비디오 스트림을 역다중화한다. 2차원 비디오 스트림은 시스템 디코더(23)로 입력되어 비디오 데이터로 복호되고 기준 영상 디코더(24)에 의해 기준 영상(좌 영상) 신호가 생성된다. 이 신호를 이용하여 기존 수신 장치는 2차원 영상 신호를 디스플레이할 수 있다.
depth data는 인터넷 인터페이스(25)를 통해 수신되고 이는 저장 매체 제어부(26)에 의해 컨텐츠 및 메타데이터 저장부(27)에 저장된다. 또한 depth data는 depth data 디코더(28)에 입력되어 복호되고 동기화부(29)에 입력되어 기준 영상 디코더(24)에 의해 복호된 기준 영상 신호와 동기화 된다. 렌더링부(30)은 기준 영상 신호와 depth data를 이용하여 부가 영상 신호를 생성할 수 있다. 생성된 부가 영상 신호는 출력 포맷터(31)에 의해 기준 영상 신호와 결합되어 스테레오스코픽 3차원 영상 신호로 디스플레이된다.
3차원 영상 신호를 출력하는 과정은 이전에 수신된 depth data를 실시간으로 수신되는 2차원 영상 신호와 연동해 부가 영상을 렌더링하는 방식을 사용한다. 이는 실시간 2D-to-3D 변환과 비슷한 과정이나 depth data를 content provider가 제공하며 해당 정보가 2차원 영상 신호를 수신하기 전에 이미 수신기 내에서 사용가능하다는 점에서 3차원 영상의 품질 및 정확도 측면에서 보다 신뢰도 높은 방법이 될 수 있다.
2차원 영상 신호와 depth data를 연동해 안정적인 3차원 영상 신호를 생성하기 위해서는 다음과 같은 고려 사항이 존재한다.
먼저 2차원 영상신호와 depth data의 연동 정보에 대한 시그널링이 필요하다. 그 예로써, 2차원 영상신호와 연동되는 depth data의 존재 여부를 알려주는 정보인 presence signaling, 2차원 영상신호와 연동된 depth data의 경로(위치)에 대한 정보인 Location signaling, 2D 비디오와 연동된 depth data의 동기화 또는 연동 방식에 대한 정보인 Synchronization/ coupling mode signaling, 2차원 영상 신호와 연동된 depth data를 수신할 수 있는 시간에 대한 정보인 Available time signaling, 2차원 영상 신호와 연동된 depth data의 format 또는 codec에 대한 정보인 Format/codec signaling, 다양한 depth range를 갖는 3차원 영상 신호를 제공하기 위해 여러 개의 depth data를 전송하는 방법 및 각 depth data에 대한 depth range 정보를 제공하는 Depth range signaling이 필요하다.
다음으로는 2차원 영상신호와 depth data를 연동하기 위한 frame level 동기화 정보가 필요하다. 그 예로써, Video level signaling, Transport stream level signaling이 필요하다.
또한 수신기 동작과 관련해서는 2차원 영상 신호와 연동된 depth data를 수신 및 저장하는 방법, 다양한 depth mode를 지원할 수 있는 방법, Multiple depth map (depth track)에 대한 고려가 필요하다.
또한 위의 모든 정보가 기존의 2D는 물론 3D 수신기의 정상적인 동작에 영향을 주지 않기 위한 방법과 관련하여, 기본적으로 시그널링은 2차원 영상 신호가 수신되는 채널을 통해 depth data를 포함하는 enhancement data에 대한 접근 정보를 획득하는 방법을 고려하고, Enhancement data(이하 Enhancement data는 depth data를 포함하는 정보이다)가 수신되는 채널은 독립적 서비스가 불가능하며 시그널링 정보 역시 의미가 없도록 송수신하여야 한다.
아래에서는 PSI/PSIP/SI section을 통해 Enhancement Data를 signaling 하기 위한 Descriptor를 정의한다. 편의상 descriptor에는 loop를 포함하지 않았으나 경우에 따라 multiple enhancement data를 전송할 수 있으며 이 때 descriptor는 전송하는 enhancement data stream의 개수만큼 필드를 반복해야 한다. 특히, multiple depth map 전송을 통한 depth control 구현의 경우에 해당한다.
도 39는 본 발명의 일 실시예에 따른 event_enhancement_descriptor()의 신택스를 나타낸 도면이다.
event_enhancement_descriptor()를 도 20의 EIT에 포함시켜 전송하여 해당 이벤트와 연동되는 enhancement data에 대한 시그널링을 할 수 있다.
event_enhancement_descriptor()는 descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, avail_time_start, linked_TSID, linked_program_number, internet_linkage_information, disparity_near, disparity_far를 포함한다.
combined_service_type는 두 개 이상의 별도 경로/채널 등을 통해 수신/전송되는 구성요소들이 합쳐졌을 때 궁극적으로 제공하기 위한 서비스를 나타내는 필드를 나타낸다. 즉, 해당 이벤트와 event_enhancement_descriptor()에서 지정한 위치를 통해 수신된 enhancement data를 합쳐서 제공되는 최종 서비스를 의미한다.
도 40(a)는 본 발명의 일 실시예에 따른 combined_service_type을 나타낸 도면이다. combined_service_type이 0x01의 값으로 설정된 경우, 본 발명에서 설명하는 스테레오스코픽 3차원 영상 서비스임을 의미한다. 이하 본 발명은 combined_service_type가 0x01, 3D stereoscopic service에 대한 내용을 중심으로 서술한다.
enhancement_type은 해당 이벤트에 대한 enhancement data가 전송되는 경로에 대한 type을 알려준다. 예를 들어 지상파 채널 또는 인터넷이 될 수 있다. 도 40(b)는 본 발명의 일 실시예에 따른 enhancement_type를 나타낸 도면이다.
enhancement_type가 0x0으로 설정된 경우, 해당 이벤트는 3차원 영상 서비스를 위해 필요한 모든 컴포넌트를 포함함을 의미한다. 즉, enhancement data 역시 해당 이벤트의 구성 요소로 포함되어 수신된다는 것을 의미한다.
enhancement_type가 0x1으로 설정된 경우, enhancement data는 다른 채널/경로를 통해 수신되며 수신 경로의 종류는 해당 이벤트와 동일하다. 예를 들어, 이벤트가 지상파인 경우 이에 대한 enhancement data 역시 지상파의 다른 채널을 통해 수신된다. Enhancement data에 대한 자세한 경로 정보는 linked_TSID, linked_program_number를 이용한다.
enhancement_type가 0x2로 설정된 경우, 해당 이벤트가 enhancement data만을 포함하고 동일한 타입의 경로를 통해 essential data가 전송되는 경우에 해당한다. 즉, enhancement 및 essential data 모두 지상파를 통해 수신되는 경우이다.essential data에 대한 자세한 경로 정보는 linked_TSID, linked_program_number 필드를 이용한다.
enhancement_type가 0x3으로 설정된 경우, 해당 이벤트에 대한 enhancement data가 인터넷을 통해 수신됨을 의미한다. Enhancement data의 접근을 위한 경로 정보는 internet_linkage_information을 이용한다.
enhancement_right_flag는 enhancement data를 이용해 스테레오스코픽 3차원 영상 서비스의 시점을 렌더링할 때 해당 영상의 좌 시점 / 우 시점 여부를 알려준다. 이 값이 '1'이면 enhancement data 또는 enhancement data를 통해 획득한 시점은 우 영상이다.
sync_type은 해당 이벤트의 구성 요소와 enhancement data의 전송에 대한 동기화 및 결합 방법에 대한 정보를 알려준다. 도 40(c)는 본 발명의 일 실시예에 따른 sync_type을 나타낸 도면이다.
sync_type이 0x0으로 설정된 경우, 해당 이벤트의 구성요소와 enhancement data가 동시에 전송됨을 의미한다. 즉, 동기식 전송임을 나타낸다.
sync_type이 0x1으로 설정된 경우, Enhancement data가 해당 이벤트보다 늦게 전송된다. 정상적인 3차원 영상 시청을 위해서는 해당 이벤트를 녹화한 후 추후 수신되는 enhancement data와의 연동/결합이 요구된다.
sync_type이 0x2으로 설정된 경우, Enhancement data가 이미 이벤트 이전에 전송되었며 정상적인 3차원 영상 시청을 위해서는 실시간으로 수신되는 이벤트 구성요소와 기존에 이미 수신/저장된 enhancement data와의 연동/결합이 요구된다.
sync_type이 0x3으로 설정된 경우, 0x1의 경우와 같으나 enhancement data의 동기식 전송 또한 가능함을 의미한다.
sync_type이 0x4으로 설정된 경우, 0x2의 경우와 같으나 enhancement data의동기식 전송 또한 가능함을 의미한다.
enhancement_stream_format은 해당 이벤트에 대한 enhancement data의 데이터 포맷, 코덱 등에 대한 정보를 알려준다. 도 41(a)는 본 발명의 일 실시예에 따른 enhancement_stream_format을 나타낸 도면이다. 본 발명에서는 depth/disparity data를 전송하는 경우에 대해 상술한다. enhancement_stream_format이 0x25인 경우에는 MPEG-2 비디오로 코딩된 depth/disparity map임을 나타내고, 0x26인 경우에는 H.264/AVC 비디오로 코딩된 depth/disparity map임을 나타낸다.
enhancement_stream_sampling_factor는 enhancement data의 해상도를 의미하며 해당 이벤트의 비디오스트림(기준영상) 대비 가로 및 세로 방향으로의 sampling factor를 의미한다. 도 41(b)는 본 발명의 일 실시예에 따른 enhancement_stream_sampling_factor를 나타낸 도면이다. enhancement_stream_sampling_factor가 0x00인 경우에는 기준 영상과 동일한 해상도임을 나타내고, 0xXY인 경우에는 가로는 기준 영상 대비 1/(X+1), 세로는 기준 영상 대비 1/(Y+1)의 해상도임을 나타낸다. 예를 들어, 가로 1/4, 세로 1/8의 크기를 갖는 depth/disparity map의 경우 이 필드는 0x37의 값을 갖는다.
avail_time_start는 현재 이벤트의 구성요소와 결합되어 3차원 영상 콘텐츠를 구성하는 enhancement data가 전송되는 시작 시간을 의미한다. avail_time_start는 32 비트 필드로써, 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 해당 이벤트의 시작시간을 나타낸다. 이 필드 값이 0인 경우는 enhancement data가 언제든지 available 하다는 의미이다.
linked_TSID는 enhancement data가 포함된 트랜스포트 스트림의 transport_stream_id 값을 의미한다.
linked_program_number는 enhancement data가 포함된 프로그램/채널에 대한 program_number 값을 나타낸다. 즉, linked_TSID와 linked_program_number를 이용해 enhancement data가 포함된 스트림을 유일하게 식별하는 것이 가능하다
internet_linkage_information은 인터넷을 통해 enhancement data를 전송하는 경우 이에 대한 정보를 제공하며 다음과 같은 내용을 포함할 수 있다.
IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버, 부가 정보(예를 들면, 해당 스트림의 URI) 및 available time slot(시작시간, 만료 시간) 정보를 포함할 수 있다. 이 때, available time slot 정보는 avail_time_start 필드와 동일한 내용을 포함할 수 있다.
disparity_near, disparity_far는 enhancement data가 disparity/depth map인 경우 depth의 범위를 나타낸다. 각각 사용자에게 가장 가까운 object point 및 가장 먼 object point에 해당하는 disparity 값을 의미한다.
이상의 event_enhancement_descriptor()에서 복수의 enhancement stream에 대한 시그널링도 가능하다. 이를 위해서 event_enhancement_descriptor() 내에 loop를 이용해 n 개의 enhancement stream을 시그널링 할 수 있다.
도 42는 본 발명의 일 실시예에 따른 program_enhancement_descriptor()의 신택스를 나타낸 도면이다.
program_enhancement_descriptor()를 도 8의 PMT에 포함시켜 프로그램 또는 프로그램 엘리먼트와 연동되는 enhancement data에 대한 시그널링을 할 수 있다. program_enhancement_descriptor()는 해당 프로그램과 연동되어 3차원 영상 서비스를 구현하기 위한 enhancement data에 대한 정보를 제공한다. 이 때, 제공되는 정보는 program과의 연동 여부만을 알려주며 어느 이벤트와 연동되는지 실시간/비실시간 연동 여부에 대한 정보는 제공하지 않는다.
program_enhancement_descriptor()는 descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_program_number, linked_elementary_PID, internet_linkage_information, disparity_near, disparity_far를 포함한다.
program_enhancement_descriptor()에 포함된 필드들은 도 39에서 설명한 event_enhancement_descriptor()의 필드와 동일하며 차이점을 갖는 필드에 대해서만 설명한다.
enhancement_type은 해당 program에 대한 enhancement data가 전송되는 경로에 대한 type을 알려준다. 예를 들어 지상파 채널 또는 인터넷이 될 수 있다. program_enhancement_descriptor()에 포함된 enhancement_type은 event 단위가 아닌 program 단위로 적용된다.
linked_elementary_PID는 program_enhancement_descriptor()에서 반드시 필요한 필드는 아니며 실시 예에 따라 생략 가능하다.
도 43은 본 발명의 일 실시예에 따른 channel_enhancement_descriptor()의 신택스를 나타낸 도면이다.
channel_enhancement_descriptor()를 도 14의 TVCT에 포함시켜 버츄얼 채널 레벨에서 해당 virtual channel의 구성요소와 연동하여 3차원 영상 서비스를 제공하기 위한 enhancement data의 정보를 시그널링한다. 이 정보는 채널과의 연동 여부를 알려주며, 이벤트 단위의 구체적인 정보, 실시간/비실시간 연동 여부의 정보는 제공하지 않는다.
channel_enhancement_descriptor()는 descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_program_number, linked_major_channel_number, linked_minor_channel_number, linked_source_id, linked_elementary_PID, internet_linkage_information, disparity_near, disparity_far를 포함한다.
enhancement_type은 해당 virtual channel에 대한 enhancement data가 전송되는 경로에 대한 타입을 알려준다. 예를 들면 지상파 채널 또는 인터넷이 될 수 있다. 이 필드에 대한 값의 의미는 event_enhancement_descriptor(), program_enhancement_descriptor()에서 정의한 내용과 동일하나 차이점은 event나 program이 아닌 virtual channel 단위로 적용이 된다는 점이다.
linked_channel_TSID는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 프로그램/채널에 대한 transport_stream_id 값을 나타낸다.
linked_channel_program_number는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 프로그램/채널에 대한 program_number 값을 나타낸다.
linked_major_channel_number는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 채널의 major_channel_number를 나타낸다.
linked_minor_channel_number는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 채널의 minor_channel_number를 나타낸다.
linked_source_id는 완전한 3D 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 채널의 source_id 값을 나타낸다.
이외의 필드에 대한 설명은 도 39에서 설명한 event_enhancement_descriptor()의 필드에 대한 설명과 동일하다.
도 44는 본 발명의 일 실시예에 따른 service_enhancement_descriptor()의 신택스를 나타낸 도면이다. service_enhancement_descriptor()를 도 26의 SDT에 포함시켜 서비스 레벨에서 해당 서비스와 연동하여 3차원 영상 서비스를 제공하기 위한 enhancement data의 정보를 시그널링한다. 이 정보는 해당 서비스에 대한 연동 data의 존재 여부를 알려주며, 이벤트 단위의 구체적인 정보, 실시간/비실시간 연동 여부의 정보는 제공하지 않는다.
service_enhancement_descriptor()는 descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_original_network_id, linked_service_id, internet_linkage_information, disparity_near, disparity_far를 포함한다.
enhancement_type은 해당 서비스에 대한 enhancement data가 전송되는 경로에 대한 타입을 알려준다. 예를 들면, 지상파 채널이나 인터넷이 될 수 있다. 이 필드에 대한 값의 의미는 도 39에 대한 설명에서 정의한 내용과 동일하나 차이점은 이벤트가 아닌 서비스 단위로 적용이 된다.
linked_original_network_id는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/서비스와 결합될 스트림을 포함한 서비스의 original_network_id 값을 나타낸다.
linked_service_id는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/서비스와 결합될 스트림을 포함한 서비스의 service_id 값을 나타낸다.
본 실시 예에서는 service_id와 program_number 필드의 값을 동일하게 설정하므로 linked_program_number 필드를 생략하지만 경우에 따라 service_enhancement_descriptor()에 linked_program_number 필드를 포함하는 실시 예가 있을 수 있다.
enhancement data에 해당되는 비디오 스트림의 상세 정보는 해당 서비스의 내의 component_descriptor를 참고하여 알아낼 수도 있고, 혹은 위 service_enhancement_descriptor() 내에 해당 component의 component_tag 값이나 혹은 elementary PID 값을 추가하여 그 필드 값만 보고 바로 찾게 할 수도 있다. 즉, 실시 예에 따라 service_enhancement_descriptor()에 연동 비디오/오디오 스트림에 대한 linked_component_tag 또는 linked_elementary_PID 필드를 포함할 수 있으며 linked_stream_content 및 linked_component_type 과 같은 스트림 관련 정보도 포함 할 수도 있다. 이외의 필드에 대한 설명은 도 39에서 설명한 event_enhancement_descriptor()의 필드에 대한 설명과 동일하다.
위에서 설명한 service_enhancement_descriptor()를 이용하는 방법 외에도 도 36에서 설명한 바와 같이 서비스 레벨의 linkage_descriptor()를 이용해 해당 서비스에 대한 enhancement data의 정보를 시그널링 할 수 있다. 이 경우 linkage_descriptor() 내에 서비스와 연동되는 enhancement data에 대한 정보를 포함하며 내용은 service_enhancement_descriptor()와 동일하다.
도 45는 본 발명의 일 실시예에 따른 event_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다. event_enhancement_descriptor()를 도 31의 DVB-SI의 EIT에 포함시켜 해당 이벤트와 연동하여 3차원 영상 서비스를 제공하기 위한 enhancement data의 정보를 시그널링한다.
DVB-SI의 EIT에 포함되는 event_enhancement_descriptor()는 descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, avail_time_start, linked_event_ID, linked_TSID, linked_original_network_id, linked_service_id, internet_linkage_information, disparity_near, disparity_far를 포함한다.
linked_event_ID는 완전한 3차원 영상 서비스를 제공하기 위해 본 이벤트와 결합될 이벤트의 event_ID 값을 나타낸다.
linked_original_network_id는 완전한 3차원 영상 서비스를 제공하기 위해 본 이벤트와 결합될 스트림을 포함한 서비스의 original_network_id 값을 나타낸다.
linked_service_id는 완전한 3차원 영상 서비스를 제공하기 위해 본 이벤트와 결합될 스트림을 포함한 서비스의 service_id 값을 나타낸다.
이외의 필드에 대한 설명은 도 39에서 설명한 ATSC의 EIT에 포함되는 event_enhancement_descriptor()의 필드에 대한 설명과 동일하다.
위에서 설명한 event_enhancement_descriptor()를 이용하는 방법 외에도 도 36에서 설명한 바와 같이 이벤트 레벨의 linkage_descriptor()를 이용해 해당 이벤트에 대한 enhancement data의 정보를 시그널링 할 수 있다. 이 경우 linkage_descriptor() 내에 이벤트와 연동되는 enhancement data에 대한 정보를 포함하며 event_enhancement_descriptor()와 동일한 내용을 포함한다.
본 발명의 디지털 방송 신호 수신 장치 및 방법은 기존 수신 장치와의 하위호환성(Backward compatibility)을 위해 enhancement (non-essential) channel/service에 대한 제한 요소를 포함한다.
스테레오스코픽 3차원 영상 서비스를 구성하는 요소들은 2차원 영상 신호가 수신되는 essential channel(legacy 호환 채널)을 통해 기본 영상을 수신하고 essential channel의 PSI/PSIP/SI 등을 통해 enhancement data에 대한 정보를 획득한 다음 이 정보를 활용해 enhancement data에 접근한다.
기본적으로 enhancement data를 전송하는 채널은 독립적인 서비스가 불가능하며 기존 수신기의 오동작 방지를 위해 다음과 같은 제한 요소를 설정한다.
ATSC의 TVCT에서는 service_type을 0x07(parameterized service) 또는 0x0A(non-stand-alone type service carrying additional data)로 설정한다. 또한 stream_type은 MPEG-2로 코딩된 depth/disparity data 및 H.264/AVC로 코딩된 depth/disparity data를 나타낼 수 있어야 한다. 새로운 stream_type을 지정할 때에는 MPEG-2 registration_descriptor를 이용한다. 예를 들어, H.264/AVC로 코딩된 depth/disparity data의 stream_type 값을 0x83으로 정한다고 하면 registration_descriptor의 format_identifier field는 'DIS1'-(0x4449 5331)의 값을 갖고 additional_idenfication_info 필드는 0x83의 값을 갖는다.
DVB의 SDT/EIT에서는 service_type을 0x1F (non-essential stereoscopic service carrying only additional/enhancement stream)로 설정한다. 또한 stream_content, component_type은 기존의 HD 비디오(MPEG-2 또는 H.264/AVC)의 stream_content 및 component_type 조합을 쓰거나, 도 46과 같이 부가 영상만을 위한 조합을 새로 정의한다. 도 46은 본 발명의 일 실시예에 따른 stream_content, component_type을 나타낸 도면이다.
본 발명의 디지털 방송 신호 수신 장치 및 방법은 DVB-SI의 component_descripotr에 삽입된 도 46의 stream_content, component_type 정보를 이용하여 해당 컴포넌트가 어느 코덱을 이용하였는지, 부가 영상 또는 depth/disparity map data 인지 여부를 확인하고 이에 대응되도록 해당 컴포넌트를 디코딩하고 3차원 영상 서비스를 제공할 수 있다.
아래에서는 위에서 설명한 3차원 영상 서비스를 제공하기 위한 동기화 방법에 대해 설명한다.
본 발명에 의한 동기화 방법에는 트랜스포트 패킷 레벨 동기화, 비디오 레벨 동기화 및 시스템 레벨 동기화 방법이 있다.
먼저 트랜스포트 패킷 레벨 동기화 방법에 대해 설명한다.
도 47은 본 발명의 일 실시예에 따른 transport_packet()을 나타낸 도면이다. 트랜스포트 패킷 레벨 동기화 방법은 트랜스포트 패킷의 adaptation_field()를 이용해 동기화 정보를 전송하는 방법으로 기존 채널을 통해 수신되는 비디오 컴포넌트를 포함하는 트랜스포트 패킷과 별도 채널을 통해 수신되는 enhancement data를 포함하는 트랜스포트 패킷을 matching 또는 align 함으로써 트랜스포트 스트림 레벨에서 동기화를 수행할 수 있다.
도 48은 본 발명의 일 실시예에 따른 adaptation_field()를 나타낸 도면이다. 동기화를 위해 adaptation_field()의 transport_field_extension_flag를 1로 설정하고, transport_private_data_length를 이용해 private_data_byte가 몇 byte인지를 시그널링한다. 또한 video_frame_info_data_byte를 통해 video/depth에 대한 프레임 넘버 정보를 시그널링한다. 수신 장치는 위의 정보를 이용하여 다중 경로로 수신된 3차원 영상 서비스를 구성하는 엘리먼트들의 동기화를 제어한다.
도 49(a)는 본 발명의 일 실시예에 따른 video_frame_info_data_byte의 신택스를 나타낸 도면이다. video_frame_info_data_byte는 트랜스포트 패킷의 adaptation_field의 private_data_byte에 위치하며 도 49(a)와 같은 구조를 갖는다. 여기서 video_frame_info_data_byte에 포함된 frame_info_type의 설정값에 따라 video_frame_info의 의미가 결정되며 이는 도 49(b)와 같다.
frame_info_type이 0x01인 경우 video_frame_info는 decoding order number를 의미한다. video_frame_info가 decoding order number를 의미하는 경우, 두 개의 컴포넌트에 대한 비디오 디코딩 구조(GOP 구조)가 동일해야 한다.
frame_info_type이 0x02인 경우에 video_frame_info는 display order number를 의미한다. frame_info_type이 0x03인 경우 video_frame_info은 clock 주파수 90KHz의 PTS 값을 의미한다. 여기서 PTS란 presentation time stamp의 약자로써 디코딩된 access unit이 재생되어야 하는 시점을 나타낸다.
frame_info_type이 0x04인 경우 video_frame_info은 디스플레이되는 절대 시간을 나타낸다. 이 필드의 최상위 비트(most significant bit,MSB)는 0으로 설정되며 나머지 비트들은 32비트로써 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 시간을 나타낸다.
frame_info_type이 0x05인 경우 video_frame_info은 수정된 PTS임을 의미한다. 이는 0으로 셋팅되는 비디오 엘리먼트 내 첫번째 픽쳐의 video_frame_info 값에 상대적인 time stamp이다. 즉, 개별 픽쳐의 video_frame_info은, 비디오 엘리먼트의 첫번째 픽쳐의 디스플레이 시간에 따라 상대적인 카운트 값이다. 위의 카운트의 단위는 90KHz 주파수의 시스템 클락의 주기와 동일하다.
다음은 비디오 레벨 동기화 방법에 대해 설명한다.
도 50은 본 발명의 일 실시예에 따른 비디오 레벨 동기화 방법을 나타낸 도면이다. AVC/H.264 video의 경우 SEI 메시지를 이용해 프레임 단위로 video_frame_info_data_byte를 전송한다. 따라서, 2차원 영상 신호 채널을 통해 수신되는 AVC/H.264 비디오 스트림에 포함된 user_data_registered_itu_t_135 SEI 메시지에 포함된 video_frame_info 필드와 enhancement data에 대한 AVC/H.264 비디오 스트림에 포함된 SEI 메시지의 video_frame_info 필드를 매칭시켜 두 스트림에 대한 동기화를 수행할 수 있다. 참고로 itu_t_35_country_code와 itu_t_t35_provider_code 필드는 ITU-T T.35 권고안에 의해 지정된 값을 사용한다. ATSC의 경우 각각 0xB5와 0x0031의 값을 갖는다.
MPEG-2 video인 경우 video_frame_info_data_byte가 Picture User Data에 포함되어 전송된다.
시스템 레벨 동기화 방법은 Essential video stream (2차원 영상 스트림)과 enhancement stream에 대한 PES에 포함된 PTS 값을 이용해 동기화를 수행한다. PTS 값을 사용하는 방법은 기존 스펙을 그대로 유지하면서 이종 경로를 통해 수신된 독립된 엘리먼트들의 동기화를 구현할 수 있다는 장점이 있는 반면, 엘리먼트의 독립적인 특성상 PTS에 대한 common clock (PCR)을 설정하기 어려우며 common clock이 있다 하더라도 서로 매칭되는 프레임의 PTS가 일치한다는 보장이 없다는 단점이 존재한다. 결과적으로 PTS와 관련해 인코더 부분에서도 두 개의 코덱을 세밀하게 동기화시켜야 하는 제어가 필요하다. 아울러 비실시간 연동의 경우 미리 저장된 스트림과 실시간 수신되는 스트림의 PTS를 일치시키는 작업이 상당한 난이도를 요구하게 된다.
다음은 수신 장치의 동작에 대해서 설명한다.
도 51(a),(b)는 본 발명의 일 실시예에 따른 디지털 방송 수신 장치를 나타낸 도면이다. 본 발명에 따른 디지털 방송 수신 장치는 복수의 시스템 디코더(41,45), 복수의 비디오 디코더(42,46), 복수의 입력제어부(43,44,47), 시점 결합부(48), 출력 포맷터(49), 출력제어부(50)를 포함한다.
먼저 도 51(a)의 기준 영상과 부가 영상을 이용하여 3차원 영상 서비스를 제공하기 위한 비디오 디코딩과 동기화 및 시점 결합에 대해서 설명하면, 수신 장치는 시스템 디코더(41,45)에 입력된 기준 영상 신호와 부가 영상 신호로부터 동기화 정보를 추출한다. 동기화 정보는 위에 기술한대로 1) transport packet에 포함된 video_frame_info, 2) video 스트림의 user data 혹은 SEI message에 포함된 video_frame_info, 또는 3) PES packet header에 포함된 PTS 값을 이용할 수 있다. 여기서 획득한 동기화 정보는 비디오 디코더(42,46)에 의해 서로 독립적으로 디코딩된 기준 영상 신호와 부가 영상 신호를 매칭시키는데 사용된다. 1)과 3)의 경우 이 정보가 시스템 디코더(41,45)에서 획득되어 출력 포맷터(49) 직전의 입력제어부(43,44)에 전달되며, 2)의 경우 비디오 디코더(42,46)에서 해당 정보를 획득해 시점 결합부(48) 직전의 입력 제어부(43,44)에 전달된다.
3차원 스테레오스코픽 영상 신호의 구성 요소를 동기화하기 위해 video_frame_info를 이용하는 경우 실제 영상의 출력 타이밍 정보는 기존의 PTS 값을 그대로 활용한다. 즉, 이종 경로를 통해 수신되는 두 개의 엘리먼트의 동기화를 위해 video_frame_info를 활용하되 실제 3차원 시점의 출력 타이밍 및 3차원 시점과 오디오 신호와의 동기화 등에 대한 제어는 PTS를 기반으로 한다.
부가 영상(우 영상, 경우에 따라 좌 영상이 될 수도 있음)과 기준 영상 (좌 영상, 경우에 따라 우 영상이 될 수도 있음)은 출력 포맷터(49)를 거쳐 3차원 디스플레이부에서 3차원 영상으로 출력된다. 3차원 영상의 출력 타이밍은 출력 제어부(50)에 의해 PTS 기반으로 제어된다.
도 51(b)의 Depth/disparity data를 이용한 3차원 영상 서비스를 제공하기 위한 비디오 디코딩과 동기화 및 시점 결합에 대해서 설명하면, 수신 장치는 시스템 디코더(41,45)에 입력된 2차원 영상 신호와 depth/disparity stream으로부터 동기화 정보를 추출한다. 동기화 정보는 위에 기술한대로 1)transport packet에 포함된 video_frame_info, 2)video 스트림의 user data 혹은 SEI message에 포함된 video_frame_info, 또는 3)PES packet header에 포함된 PTS 값을 이용할 수 있다. 여기서 획득한 동기화 정보는 비디오 디코더(42,46)에 의해 서로 독립적으로 디코딩된 2차원 영상 신호와 depth/disparity 데이터를 매칭시키는데 사용된다. 1)과 3)의 경우 이 정보가 시스템 디코더(41,45)에서 획득되어 시점 결합부(view synthesis) 직전의 입력제어부(43,47)에 전달되며, 2)의 경우 비디오 디코더(42,46)에서 해당 정보를 획득해 시점 결합부(48) 직전의 입력 제어부(43,47)에 전달된다.
3차원 스테레오스코픽 영상 신호의 구성 요소를 동기화하기 위해 video_frame_info를 이용하는 경우 실제 영상의 출력 타이밍 정보는 기존의 PTS 값을 그대로 활용한다. 즉, 이종 경로를 통해 수신되는 두 개의 엘리먼트의 동기화를 위해 video_frame_info를 활용하되 실제 3차원 시점 (2차원 + Enhancement Data를 이용한 다른 시점 결합)의 출력 타이밍 및 3차원 시점과 오디오 신호와의 동기화 등에 대한 제어는 PTS를 기반으로 한다.
시점 결합부(48)은 2차원 영상 신호와 이에 대응되는 Depth/Disparity data를 이용해 스테레오스코픽 3차원 영상 신호를 구성하는 또 하나의 시점을 생성한다. 결과적으로 시점 결합부(48) 입력 직전에 2차원 영상 신호와 depth/disparity 스트림의 동기화가 이루어져야 한다.
시점 결합에 의해 생성된 부가 영상(우 영상, 경우에 따라 좌 영상이 될 수도 있음)과 기존 채널을 통해 수신된 기준 영상 (좌 영상, 경우에 따라 우 영상이 될 수도 있음)은 출력 포맷터(49)를 거쳐 3차원 디스플레이부에서 3차원 영상으로 출력된다. 3차원 영상의 출력 타이밍은 출력 제어부(50)에 의해 PTS 기반으로 제어된다.
도 52는 본 발명의 일 실시예에 따른 시점 결합 및 동기화 동작을 나타낸 도면이다. 도 52(a)는 기준 영상과 부가 영상을 이용하여 3차원 영상 신호를 제공하는 경우의 시간 흐름에 따른 3차원 영상신호 생성순서를 나타낸다.
t0에서 기준 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 0과 부가 영상 신호에 대한 디코딩을 통해 부가 시점의 프레임 0을 얻는다. t1에서 기준 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 1과 부가 영상 신호에 대한 디코딩을 통해 부가 시점의 프레임 1을 얻는다. 이와 동시에 출력 포맷터를 통해 기준 시점 및 부가 시점의 프레임 0을 이용하여 3차원 영상 신호인 포맷팅 페어 0을 얻는다. 이러한 과정을 통하여 사용자에게 3차원 영상신호를 제공한다.
도 52(b)는 2차원 영상 신호와 Depth data를 이용하여 3차원 영상 신호를 제공하는 경우의 시간 흐름에 따른 3차원 영상신호 생성순서를 나타낸다.
t0에서 2차원 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 0과 Depth data에 대한 디코딩을 통해 프레임 0에 대한 Depth 정보를 얻는다.
t1에서 2차원 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 1과 부가 Depth data에 대한 디코딩을 통해 프레임 1에 대한 Depth 정보를 얻는다. 이와 동시에 시점 결합부를 통해 기준 시점의 프레임 0과 프레임 0에 대한 Depth 정보를 이용하여 부가 시점의 프레임 0을 얻는다.
t2에서는 2차원 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 2와 부가 Depth data에 대한 디코딩을 통해 프레임 2에 대한 Depth 정보를 얻는다. 또한 시점 결합부를 통해 기준 시점의 프레임 1과 프레임 1에 대한 Depth 정보를 이용하여 부가 시점의 프레임 1을 얻는다. 이와 동시에 출력 포맷터를 통해 기준 시점 및 부가 시점의 프레임 0을 이용하여 3차원 영상 신호인 포맷팅 페어 0을 얻는다. 이러한 과정을 통하여 사용자에게 3차원 영상신호를 제공할 수 있다.
마지막으로 수신장치가 스테레오스코픽 컴포넌트들을 수신하는 방법을 설명하면, 2차원 영상신호는 기존 디지털 TV 채널을 통해 수신되는 영상 신호를 의미하며 MPEG-2 비디오로 부호화되며 경우에 따라 AVC/H.264 또는 다른 코덱을 사용해 부호화된 영상이다. 2차원 영상신호를 수신하는 방식은 기존의 디지털 TV 서비스 수신과 동일하며 아울러 이 채널을 통해 수신되는 PSI/PSIP/SI section을 이용해 Enhancement Data의 존재여부, 결합서비스 형태, 수신 채널/경로, 획득 가능 시간에 대한 정보 등을 파악한다.
Enhancement Data는 본 발명에서는 Depth Map 또는 Disparity Map 데이터를 의미한다. 경우에 따라 Occlusion, Transparency 정보를 포함할 수 있으며 편의상 이하 Depth Map이라고 칭한다. 3차원 영상 신호 수신 장치는 기존 채널을 통해 수신한 2차원 영상 신호와 Enhancement Data를 결합시켜 스테레오스픽 3차원 영상 신호를 구성하는 또 하나의 시점을 만들어낸다. Enhancement Data는 실시간 연동과 비실시간 연동의 두 가지 방식이 존재한다.
먼저 실시간 연동의 경우 기존 채널을 통해 수신되는 2차원 영상 신호와 동시에 인터넷 또는 다른 지상파 채널 등을 통해 Enhancement Data가 수신되는 경우이다. 이 때, 두 component는 실시간 수신 및 실시간 디코딩을 거쳐 시청자에게 실시간 3차원 영상을 제공한다.
비실시간 연동의 경우 2차원 영상 신호의 방송 시간 이전에 인터넷 또는 지상파 채널 등을 통해 Enhancement Data를 미리 수신하고 이를 저장 장치에 저장하는 경우이다. NRT 방식일 수도 있고 live로 수신되는 Enhancement Data를 녹화하는 방식 모두 가능하다. 기존채널을 통해 2차원 영상 신호의 방송을 시작하는 경우, 미리 녹화/저장된 Enhancement Data를 재생하면서 수신되는 2차원 영상 신호와의 동기화를 거쳐 3차원 영상을 출력하는 형태이다. 즉, 실제 방송은 2차원 생방송이지만 미리 Enhancement Data를 저장한 수신기에서는 3차원 영상을 생방송으로 제공할 수 있다.
만약 두 개 이상의 enhancement data stream이 전송되는 경우 각 stream에 대한 disparity_near, disparity_far 필드를 이용해 시청자 취향에 맞는 depth range를 선택할 수 있다. 즉, multiple depth map에 대한 선택적 수신, 그리고 수신된 depth map을 이용한 3차원 렌더링을 통해 depth control을 구현하는 것이 가능하다.
발명의 실시를 위한 형태
전술한 바와 같이 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
산업상 이용가능성
전술한 바와 같이, 본 발명은 디지털 방송 시스템에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (14)

  1. 스테레오스코픽 3차원 영상을 제공하는 디지털 방송 신호 수신 장치에 있어서,
    기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 제1 수신부;
    상기 시그널링 데이터에 포함되고, 상기 기준 시점의 비디오 스트림과 연동되어 3차원 영상을 구현하는 부가 시점의 비디오 스트림에 대한 정보를 디코딩하는 시그널링 데이터 프로세서;
    상기 부가 시점의 비디오 스트림에 대한 정보를 이용하여 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 제2 수신부;
    상기 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 기준 영상 디코더;
    상기 수신된 부가 시점의 비디오 스트림을 디코딩하여 부가 영상을 생성하는 부가 영상 디코더; 및
    상기 기준 영상과 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 출력 포맷터;를 포함하는 디지털 방송 신호 수신 장치.
  2. 제 1항에 있어서, 상기 제2 수신부는
    상기 부가 시점의 비디오 스트림에 대한 정보를 이용하여, 무선 방송 채널을 통해 부가 시점의 비디오 스트림을 수신하는 튜너, 또는 인터넷 접속을 통해 부가 시점의 비디오 스트림을 수신하는 인터넷 접속부인 디지털 방송 신호 수신 장치.
  3. 제 1항에 있어서,
    상기 부가 시점의 비디오 스트림에 대한 정보는
    상기 부가 시점의 비디오 스트림의 트랜스포트 아이디를 포함하는 디지털 방송 신호 수신 장치.
  4. 제 1항에 있어서,
    상기 부가 시점의 비디오 스트림에 대한 정보는
    상기 부가 시점의 비디오 스트림이 수신되는 시점에 대한 정보를 포함하는 디지털 방송 신호 수신 장치.
  5. 스테레오스코픽 3차원 영상을 제공하는 디지털 방송 신호 수신 장치에 있어서,
    기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 제1 수신부;
    상기 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 기준 영상 디코더;
    부가 시점의 깊이 정보(depth data)를 수신하는 제2 수신부;
    상기 수신된 깊이 정보를 디코딩하는 depth data 디코더;
    상기 기준 영상과 상기 디코딩된 깊이 정보를 동기화하는 동기화부;
    상기 동기화부의 출력을 이용하여 부가 영상을 렌더링하는 렌더링부; 및
    상기 기준 영상 및 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 출력 포맷터;를 포함하는 디지털 방송 신호 수신 장치.
  6. 제 5항에 있어서,
    상기 디지털 방송 신호 수신 장치는 상기 수신된 깊이 정보를 저장하고 필요시에 제공하는 컨텐츠 및 메타데이터 저장부를 더 포함하는 디지털 방송 신호 수신 장치.
  7. 제 5항에 있어서,
    상기 디지털 방송 신호 수신 장치는 다양한 깊이 범위(depth range)를 갖는 3차원 영상을 제공하기 위해 복수의 깊이 정보를 수신하는 디지털 방송 신호 수신 장치.
  8. 스테레오스코픽 3차원 영상을 제공하는 디지털 방송 신호 수신 방법에 있어서,
    기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 단계;
    상기 시그널링 데이터에 포함되고, 상기 기준 시점의 비디오 스트림과 연동되어 3차원 영상을 구현하는 부가 시점의 비디오 스트림에 대한 정보를 디코딩하는 단계;
    상기 부가 시점의 비디오 스트림에 대한 정보를 이용하여 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 단계;
    상기 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 단계;
    상기 수신된 부가 시점의 비디오 스트림을 디코딩하여 부가 영상을 생성하는 단계; 및
    상기 기준 영상과 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 단계;를 포함하는 디지털 방송 신호 수신 장치.
  9. 제 8항에 있어서, 상기 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 단계는
    상기 부가 시점의 비디오 스트림에 대한 정보를 이용하여, 무선 방송 채널 또는 인터넷 접속을 통해 부가 시점의 비디오 스트림을 수신하는 디지털 방송 신호 수신 방법.
  10. 제 8항에 있어서,
    상기 부가 시점의 비디오 스트림에 대한 정보는
    상기 부가 시점의 비디오 스트림의 트랜스포트 아이디를 포함하는 디지털 방송 신호 수신 방법.
  11. 제 8항에 있어서,
    상기 부가 시점의 비디오 스트림에 대한 정보는
    상기 부가 시점의 비디오 스트림이 수신되는 시점에 대한 정보를 포함하는 디지털 방송 신호 수신 방법.
  12. 스테레오스코픽 3차원 영상을 제공하는 디지털 방송 신호 수신 방법에 있어서,
    기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 단계;
    상기 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 단계;
    부가 시점의 깊이 정보(depth data)를 수신하는 단계;
    상기 수신된 깊이 정보를 디코딩하는 단계;
    상기 기준 영상과 상기 디코딩된 깊이 정보를 동기화하는 단계;
    상기 동기화부의 출력을 이용하여 부가 영상을 렌더링하는 단계; 및
    상기 기준 영상 및 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 단계;를 포함하는 디지털 방송 신호 수신 방법.
  13. 제 12항에 있어서,
    상기 디지털 방송 신호 수신 방법은 상기 수신된 깊이 정보를 저장하고 필요시에 제공하는 단계를 더 포함하는 디지털 방송 신호 수신 방법.
  14. 제 12항에 있어서,
    상기 디지털 방송 신호 수신 방법은 다양한 깊이 범위(depth range)를 갖는 3차원 영상을 제공하기 위해 복수의 깊이 정보를 수신하는 디지털 방송 신호 수신 방법.
KR1020137014107A 2010-12-08 2011-12-08 디지털 방송 신호 수신 장치 및 방법 KR101915130B1 (ko)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US42119410P 2010-12-08 2010-12-08
US61/421,194 2010-12-08
US201161446504P 2011-02-25 2011-02-25
US61/446,504 2011-02-25
US201161453126P 2011-03-15 2011-03-15
US61/453,126 2011-03-15
US201161453136P 2011-03-16 2011-03-16
US61/453,136 2011-03-16
US201161467368P 2011-03-24 2011-03-24
US61/467,368 2011-03-24
PCT/KR2011/009458 WO2012077987A2 (ko) 2010-12-08 2011-12-08 디지털 방송 신호 수신 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130129212A true KR20130129212A (ko) 2013-11-27
KR101915130B1 KR101915130B1 (ko) 2018-11-05

Family

ID=46207612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137014107A KR101915130B1 (ko) 2010-12-08 2011-12-08 디지털 방송 신호 수신 장치 및 방법

Country Status (5)

Country Link
US (1) US9628780B2 (ko)
KR (1) KR101915130B1 (ko)
CN (1) CN103262549B (ko)
CA (1) CA2820025C (ko)
WO (1) WO2012077987A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015119477A1 (ko) * 2014-02-10 2015-08-13 엘지전자 주식회사 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013025035A2 (ko) * 2011-08-12 2013-02-21 삼성전자 주식회사 송신 장치, 수신 장치 및 그 송수신 방법
US9516086B2 (en) * 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof
CN102595164A (zh) * 2012-02-27 2012-07-18 中兴通讯股份有限公司 一种视频图像发送方法、装置及***
MY177736A (en) 2012-07-12 2020-09-23 Sony Corp Parameterized services descriptor for advanced television services
KR20140029982A (ko) * 2012-08-31 2014-03-11 삼성전자주식회사 디스플레이 장치, 셋톱박스 및 입체 영상 콘텐트 판단 방법
US9215448B2 (en) * 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
KR20150057149A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
JP6358460B2 (ja) * 2014-04-04 2018-07-18 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
US11115622B2 (en) 2015-03-02 2021-09-07 Lg Electronics Inc. Apparatus and method for transceiving broadcast signal
US10721538B2 (en) 2015-03-08 2020-07-21 Lg Electronics Inc. Apparatus and method for transmitting and receiving broadcast signal
WO2016148497A1 (ko) * 2015-03-16 2016-09-22 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
CN106791795A (zh) * 2017-01-03 2017-05-31 京东方科技集团股份有限公司 3d视频流的发送方法及发送装置、接收方法及接收装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US20030146883A1 (en) * 1997-08-28 2003-08-07 Visualabs Inc. 3-D imaging system
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
CN100584017C (zh) * 2006-12-31 2010-01-20 联想(北京)有限公司 基于p2p网络的视频通信方法
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR101506219B1 (ko) * 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
KR101619450B1 (ko) * 2009-01-12 2016-05-10 엘지전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
WO2010120804A1 (en) * 2009-04-13 2010-10-21 Reald Inc. Encoding, decoding, and distributing enhanced resolution stereoscopic video
US9036700B2 (en) * 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015119477A1 (ko) * 2014-02-10 2015-08-13 엘지전자 주식회사 3d (3-dimentional) 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
US9930382B2 (en) 2014-02-10 2018-03-27 Lg Electronics Inc. Method and apparatus for transmitting/receiving broadcast signal for 3-dimensional (3D) broadcast service

Also Published As

Publication number Publication date
CN103262549B (zh) 2017-02-22
US20140125780A1 (en) 2014-05-08
US9628780B2 (en) 2017-04-18
CA2820025C (en) 2017-08-29
WO2012077987A3 (ko) 2012-07-05
KR101915130B1 (ko) 2018-11-05
WO2012077987A2 (ko) 2012-06-14
CA2820025A1 (en) 2012-06-14
CN103262549A (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
KR101915130B1 (ko) 디지털 방송 신호 수신 장치 및 방법
US9712803B2 (en) Receiving system and method of processing data
US9756380B2 (en) Broadcast receiver and 3D video data processing method thereof
KR101838071B1 (ko) 이미지 처리 방법 및 장치
KR102008818B1 (ko) 디지털 방송 신호 처리 방법 및 장치
US20130002819A1 (en) Receiving system and method of processing data
MX2012008816A (es) Metodo y aparato para generar flujo de datos para proporcionar servicio multimedia tridimensional, y metodo y aparato para recibir el flujo de datos.
US9485490B2 (en) Broadcast receiver and 3D video data processing method thereof
KR20150004318A (ko) 3ｄ 서비스를 위한 신호 처리 장치 및 방법
JP2013110540A (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
KR20140000136A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant