KR20110011000A - 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치 - Google Patents

3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치 Download PDF

Info

Publication number
KR20110011000A
KR20110011000A KR1020090068412A KR20090068412A KR20110011000A KR 20110011000 A KR20110011000 A KR 20110011000A KR 1020090068412 A KR1020090068412 A KR 1020090068412A KR 20090068412 A KR20090068412 A KR 20090068412A KR 20110011000 A KR20110011000 A KR 20110011000A
Authority
KR
South Korea
Prior art keywords
image
information
descriptor
section
reproduction
Prior art date
Application number
KR1020090068412A
Other languages
English (en)
Inventor
장문석
이재준
김용태
김재승
주성신
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090068412A priority Critical patent/KR20110011000A/ko
Priority to PCT/KR2010/004941 priority patent/WO2011013995A2/en
Priority to BR112012001200A priority patent/BR112012001200A2/pt
Priority to US12/844,256 priority patent/US9392256B2/en
Priority to JP2012522758A priority patent/JP2013500673A/ja
Priority to MX2011013036A priority patent/MX2011013036A/es
Priority to EP10804708.5A priority patent/EP2460363A4/en
Priority to CN201080032679.2A priority patent/CN102484731B/zh
Publication of KR20110011000A publication Critical patent/KR20110011000A/ko
Priority to JP2015033886A priority patent/JP6034420B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

3차원 영상 데이터의 부호화된 비트열을 포함하는 기초 스트림을 생성하고, 기초 스트림을 패킷화하여 적어도 하나의 기초 스트림 패킷을 생성하여, 3차원 영상 데이터의 서비스 관련 정보를 포함하는 적어도 하나의 섹션을 생성하고, 적어도 하나의 섹션 중 프로그램 안내 정보 섹션에 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 삽입하고, 적어도 하나의 섹션 및 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷을 생성하여, 생성된 전송 스트림 패킷을 다중화하여 전송 스트림을 생성하는 3차원 영상 데이터스트림 생성 방법이 개시된다.
3차원 영상, MPEG-2, 디지털 방송 시스템, EIT

Description

3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치{Method and appratus for generating three-dimensional image datastream including additional information for displaying three-dimensional image, Method and apparatus for receiving the same}
본 발명은, 디지털 방송 시스템 환경에서 3차원 영상 데이터를 포함하는 데이터스트림의 송수신에 관한 것이다.
기존 2차원 디지털 방송 시스템과 호환성을 유지하면서 3차원 영상 데이터를 재생하기 위해서는, 3차원 영상의 특성을 보여주는 부가 정보가 필요하다. 영상 서비스를 제공하는 송신단에서는, 영상의 부호화된 데이터를 전송하고, 부가적인 채널로 3차원 영상에 대한 부가 정보를 송신할 수 있다. 영상 서비스를 제공받고자 하는 수신단에서는, 둘 이상의 채널을 통해 영상 데이터 및 3차원 영상에 대한 부가 정보를 수신받을 수 있다.
부가적인 채널을 점유하지 않기 위해, 영상 데이터와 동일한 채널을 통해, 기존 데이터에 추가적인 메타데이터의 형태로 3차원 영상의 부가 정보가 제공될 수 도 있다.
본 발명은 방송 송수신 시스템에서 프로그램 안내 정보를 이용하여, 3차원 영상의 원활한 재생을 위한 부가 정보를 송수신하는 방법 및 장치에 관한 것이다.
본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 생성 방법은, 3차원 영상 데이터의 부호화된 비트열을 포함하는 기초 스트림을 생성하는 단계; 상기 기초 스트림을 패킷화하여 적어도 하나의 기초 스트림 패킷을 생성하는 단계; 상기 3차원 영상 데이터의 서비스 관련 정보를 포함하는 적어도 하나의 섹션을 생성하는 단계; 상기 적어도 하나의 섹션 중 프로그램 안내 정보 섹션에 상기 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 삽입하는 단계; 상기 적어도 하나의 섹션 및 상기 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷을 생성하는 단계; 및 상기 생성된 전송 스트림 패킷을 다중화하여 전송 스트림을 생성하는 단계를 포함한다.
일 실시예에 따른 상기 3차원 영상 재생 정보 삽입 단계는, 상기 3차원 영상 재생 정보를 포함하는 적어도 하나의 3차원 영상 재생 서술자(descriptor)를 생성하는 단계; 및 상기 프로그램 안내 정보 섹션 중 이벤트 정보 테이블 섹션의 서술자 영역에 상기 3차원 영상 재생 서술자를 삽입하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 데이터스트림 생성 방법은, 상기 전송 스트림을 전송하는 단계를 더 포함할 수 있다. 또한, 일 실시예에 따른 상기 3차원 영상 데이터스트림 생성 방법은, 상기 전송 스트림을 저장하는 단계를 더 포함할 수도 있다.
본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 방법은, 수신된 전송 스트림을 역다중화하여 적어도 하나의 전송 스트림 패킷을 분리하는 단계; 상기 적어도 하나의 전송 스트림 패킷을 역패킷화하여, 3차원 영상 데이터를 포함하는 적어도 하나의 기초 스트림 패킷 및 상기 3차원 영상 데이터의 서비스 관련 정보를 포함하는 적어도 하나의 섹션을 복원하는 단계; 상기 적어도 하나의 기초 스트림 패킷을 역패킷화하여 기초 스트림을 복원하는 단계; 상기 적어도 하나의 섹션 중 프로그램 안내 정보 섹션으로부터 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 추출하는 단계; 및 상기 기초 스트림의 데이터를 복호화하여 상기 3차원 영상 데이터를 복원하는 단계를 포함한다.
일 실시예에 따른 3차원 영상 데이터스트림 수신 방법은, 상기 복원된 3차원 영상을 상기 3차원 영상 재생 정보를 이용하여 재생하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 재생 서술자는, 해당 프로그램 내에 상기 3차원 영상 데이터스트림을 포함한다는 것을 나타내는 3차원 정보 시작 서술자(3d_info_descriptor)를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 재생 서술자는, 상기 전체 영상 데이터 중 3차원으로 재생되는 시간적 구간 또는 공간적 구간을 나타내는 구간 3차원 재생 서술자, 상기 3차원 영상을 획득한 카메라에 관한 3차원 카메라 서술자, 상기 3차원 영상 재생에 의해 발생하는 시청 위화감을 완화하기 위한 저피로도 서술자 및 상기 좌시점 영상 및 상기 우시점 영상의 불일치 상태를 나타내는 좌우 불일치 서 술자 중 적어도 하나를 더 포함할 수 있다.
일 실시예에 따른 상기 3차원 정보 시작 서술자는, 상기 3차원 영상의 원활한 재생을 위한 기초 정보로서, 상기 3차원 영상의 좌시점 영상 및 우시점 영상의 구성 방식을 나타내는 3차원 영상 포맷 정보, 상기 좌시점 영상 및 상기 우시점 영상의 배치 순서를 나타내는 좌우 배치 정보, 상기 3차원 영상을 구성하는 상기 좌시점 영상 및 상기 우시점 영상의 해상도를 나타내는 풀해상도 정보를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 재생 서술자는, 상기 기초 정보 외에 상기 3차원 영상의 원활한 영상을 위한 부가 정보인 상기 3차원 카메라 서술자, 상기 저피로도 서술자 및 상기 좌우 불일치 서술자를 더 포함할 수 있다.
일 실시예에 따른 상기 좌우 불일치 서술자는, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 오프셋, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 선형 함수, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 룩업 테이블(Look-up table) 중 하나를 이용하여 표현될 수 있다.
일 실시예에 따른 상기 부가 서술자는 각각의 부가 서술자의 정의 여부를 나타내는 지시자(indicator)를 포함할 수 있다.
본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치는, 3차원 영상 데이터의 부호화된 비트열을 포함하는 기초 스트림을 기초 스트림 생성부; 상기 기초 스트림을 패킷화하여 적어도 하나의 기초 스트림 패킷을 생성하는 기초 스트림 패킷 생성부; 상기 3차원 영상 데이터의 서비스 관련 정보를 기술하는 적어도 하나의 섹션을 생성하는 섹션 생성부; 상기 적어도 하나의 섹션 중 프로그램 안내 정보 섹션에 상기 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 삽입하는 3차원 영상 재생 정보 삽입부; 상기 적어도 하나의 섹션 및 상기 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷을 생성하는 전송 스트림 패킷 생성부; 및 상기 생성된 전송 스트림 패킷을 다중화하여 전송 스트림을 생성하는 전송 스트림 생성부를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 데이터스트림 생성 장치는, 상기 전송 스트림을 전송하는 전송 스트림 전송부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치는, 수신된 전송 스트림을 역다중화하여 적어도 하나의 전송 스트림 패킷을 분리하는 전송 스트림 역다중화부; 상기 적어도 하나의 전송 스트림 패킷을 역패킷화하여, 3차원 영상 데이터를 포함하는 적어도 하나의 기초 스트림 패킷 및 상기 3차원 영상 데이터의 서비스 관련 정보를 포함하는 적어도 하나의 섹션을 복원하는 전송 스트림 패킷 역패킷화부; 상기 적어도 하나의 기초 스트림 패킷을 역패킷화하여 기초 스트림을 복원하는 기초 스트림 패킷 역패킷화부; 상기 적어도 하나의 섹션 중 프로그램 안내 정보 섹션으로부터 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 추출하는 3차원 영상 재생 정보 추출부; 및 상기 기초 스트림의 데이터를 복호화하여 3차원 영상 데이터를 복원하는 3차원 영상 복원부를 포함한다.
일 실시예에 따른 3차원 영상 데이터스트림 수신 장치는, 상기 복원된 3차원 영상을 상기 3차원 영상 재생 정보를 이용하여 재생하는 3차원 영상 재생부를 더 포함할 수 있다.
본 발명은, 일 실시예에 따른 3차원 영상 데이터스트림 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다. 또한 본 발명은, 일 실시예에 따른 3차원 영상 데이터스트림 수신 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
이하 도 1 내지 도 23을 참조하여 본 발명의 일 실시예에 따라 3차원 영상 재생 정보 및 프로그램 안내 정보 섹션을 이용하여 3차원 영상 재생 정보를 송수신하기 위한 3차원 영상 데이터스트림의 생성 및 송수신에 관해 상술된다.
도 1 은 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치의 블록도를 도시한다.
일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는 기초 스트림 생성부(110), 기초 스트림 패킷 생성부(120), 섹션 생성부(130), 3차원 영상 재생 정보 삽입부(140), 전송 스트림 패킷 생성부(150) 및 전송 스트림 생성부(160)를 포함한다.
기초 스트림 생성부(110)는, 비디오, 오디오 등의 멀티미디어의 부호화된 비트열을 포함하는 기초 스트림(elementary stream)을 생성한다. 특히 기초 스트림 생성부(110)는, 3차원 영상의 부호화된 비트열을 포함하는 기초 스트림을 생성할 수 있다.
기초 스트림 패킷 생성부(120)는, 기초 스트림 생성부(110)로부터 출력된 기 초 스트림을 수신하여 패킷화함으로써, 적어도 하나의 기초 스트림 패킷(packetized elementary stream, PES)을 생성한다. 기초 스트림 패킷은 기초 스트림 패킷 헤더 영역 및 기초 스트림 패킷 페이로드 영역으로 구분될 수 있으며, 적어도 일부의 기초 스트림이 기초 스트림 패킷 페이로드 영역에 저장될 수 있다.
섹션 생성부(130)는, 3차원 영상의 프로그램 관련 정보에 관한 적어도 하나의 섹션을 생성한다. 프로그램은 비디오와 오디오 등의 비트열을 포함하는 기본 단위이다.
디지털방송은 여러 기초 스트림들이 다중화되어 여러 가지 전송매체와 네트워크를 통하여 전달된다. 복수의 기초 스트림들은 한 가지 서비스를 형성하고 복수의 서비스들이 모여서 하나의 전송 스트림을 형성하며, 이렇게 형성된 데이터스트림은 다양한 네트워크를 거쳐 다양한 물리적 매체를 거쳐 전송된다.
이러한 데이터스트림들 가운데 시청자가 원하는 데이터스트림을 찾아내어 수신기가 수신하게 하고, 각 서비스에서 제공하는 개별 프로그램들에 대한 내용과 프로그램의 종류에 대한 정보를 제공하기 위해서는 MPEG-2에서 정의하고 있는 데이터스트림 외의 별도의 정보가 수록된 정보가 전송되어야 한다. 이러한 별도의 정보를 서비스 정보 또는 프로그램 안내 정보라고 말하는데, 이러한 정보를 제공하는 현재 디지털 방송 시스템 규격으로서 현재 공개된 방식으로 유럽의 DVB (Digital Video Broadcasting)방식과 미국의 ATSC(Advanced Television Systems Committee) 방식이 있다.
섹션은 전송 스트림을 통해 전송될 수 있는 데이터 형식의 하나로써, 주로 서비스 정보 및 프로그램 안내 정보와 같은 서비스 관련 정보를 구성한다. 즉, 서비스 관련 정보가 적어도 하나의 섹션으로 구성되며 나뉘어질 수 있다. 섹션으로 구성될 수 있는 서비스 관련 정보로는, 프로그램 통합 테이블(Progrma Association Table, PAT), 프로그램 맵 테이블(PMT) 등의 PSI(Program Specific Infromation) 정보들이 있고, 이벤트 정보 테이블(Event Information Table, EIT) 등과 같은 SI(System Information) 정보들이 있다.
PSI 정보는 MPEG-2 시스템즈에서 규정된 데이터로 TS를 디먹싱(DeMuxing)할 경우에 필요로 하는 정보다. SI 정보는 유럽식 지상파 표준인 DVB에서는 SI(System Information)로, 미국식 ATSC에서는 PSIP(Program and System Information Protocol)로, 서로 다른 이름으로 정의하고 있으나 EPG 와 같은 서비스를 제공하는 유사한 기능을 하고 있다.
섹션 생성부(130)는 부호화된 3차원 영상 데이터에 대한 서비스 관련 정보를 포함하는 섹션을 생성할 수 있다.
3차원 영상 재생 정보 삽입부(140)는, 섹션 생성부(130)에서 생성된 적어도 하나의 섹션 중 프로그램 안내 정보 섹션에, 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 삽입한다. 3차원 영상 재생 정보가 삽입된 프로그램 안내 정보 섹션 및 기타 섹션들은 전송 스트림 패킷 생성부(150)로 출력된다.
프로그램 안내 정보 섹션으로는, EPG(Electric Program Guide) 정보가 수록되는 프로그램 안내 정보 섹션에 3차원 영상 재생 정보를 삽입할 수 있다. EPG 정보는 방송편성표를 의미하며 셋탑박스나 PVR(Personal Video Recoder)에서 사용자 에게 방송편성표를 보여주는 기능을 제공한다.
EPG 정보가 수록된 프로그램 안내 정보 섹션으로는, EIT 섹션이 이용될 수 있다. EIT는 방송편성표의 데이터를 전달하는 테이블로서, 개별 방송의 시간적인 순서와 세부내용을 제공한다. 일 실시예에 따른 3차원 영상 재생 정보는, EIT에 서술자(descriptor) 형식으로 삽입된다. 이 경우, 일 실시예에 따른 3차원 영상 재생 정보 삽입부(140)는, 3차원 영상 재생 정보를 포함하는 적어도 하나의 3차원 영상 재생 서술자를 생성하고, EIT 섹션의 서술자 영역에 3차원 영상 재생 서술자를 삽입할 수 있다.
전송 스트림 패킷 생성부(150)는, 3차원 영상 재생 정보 삽입부(140)에서 생성된 적어도 하나의 섹션 및 기초 스트림 패킷 생성부(120)에서 생성된 적어도 하나의 기초 스트림 패킷에 대해, 적어도 하나의 전송 스트림 패킷(Transport Stream Packet, TS packet)을 생성한다.
전송 스트림 패킷은 고정 길이의 패킷으로써, 4바이트의 전송 스트림 헤더 영역으로 시작된다. 섹션 또는 기초 스트림 패킷의 데이터는 전송 스트림 헤더 영역 뒤에 이어지는 전송 스트림 페이로드 영역에 삽입될 수 있다.
일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는, 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 기초 스트림 패킷, 전송 스트림 패킷 또는 섹션에 삽입한다.
전술한 3차원 영상 데이터스트림 생성 장치(100)는, 섹션 레벨의 프로그램 정보에 3차원 영상 재생 정보를 삽입함으로써, 3차원 영상의 정확한 재생을 위한 필요한 정보들이 전송될 수 있다.
전송 스트림 생성부(160)는, 전송 스트림 패킷 생성부(150)에서 생성된 적어도 하나의 전송 스트림 패킷을 다중화하여 전송 스트림을 생성한다. 전송 스트림은 적어도 하나의 전송 스트림 패킷의 연속이다.
일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는 생성된 전송 스트림을 전송하는 전송부(미도시)를 더 포함할 수 있다. 또한, 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는 전송 스트림을 저장 매체에 저장하는 저장부(미도시)를 더 포함할 수 있다.
3차원 영상의 정확한 재생을 위한 3차원 영상 재생 정보는, 3차원 영상 재생 정보가 시작됨을 알리는 3차원 시작 정보를 포함할 수 있다. 복호화단에 대해 3차원 영상 재생 정보의 해석이 필요함을 알리기 위해, 「해당 데이터스트림에 3차원 영상 재생 정보가 수록되어 있으며 3차원 시작 정보로부터 3차원 영상 재생 정보가 시작됨」을 3차원 시작 정보를 통해 알릴 수 있다.
또한, 3차원 영상의 재생을 위한 기초 정보로써 3차원 영상의 좌시점 영상 및 우시점 영상의 구성 방식을 나타내는 3차원 영상 포맷 정보, 좌시점 영상 및 우시점 영상의 배치 순서를 나타내는 좌우 배치 정보 및 풀해상도 정보가 설정될 수 있다.
그리고 3차원 영상 재생 정보의 기초 정보가 있는 경우 3차원 영상의 재생을 위해 부가적으로 필요한 정보로써, 전체 영상 데이터 중 3차원으로 재생되는 시간적 구간 또는 공간적 구간을 나타내는 구간 3차원 재생 정보, 3차원 영상을 획득한 카메라에 관한 3차원 카메라 정보, 3차원 영상 재생에 의해 발생하는 시청 위화감을 완화하기 위한 저피로도 정보 및, 좌시점 영상 및 우시점 영상의 불일치 상태를 나타내는 좌우 불일치 정보가 더 설정될 수 있다.
좌우 불일치 정보는 좌시점 영상 화소값 및 우시점 영상 화소값 간의 오프셋으로 정의될 수 있다. 또한, 좌시점 영상 화소값 및 우시점 영상 화소값 간의 선형 함수 관계를 이용하여 좌우 불일치 정보가 정의될 수 있다. 좌우 불일치 정보의 가장 정밀한 표현 방식으로는, 좌시점 영상 화소값 및 우시점 영상 화소값 간의 룩업 테이블을 이용한 표현 방식이 있다.
3차원 영상 재생 정보의 부가 정보는, 그 정의 여부가 가변적이므로, 부가 정보의 정의 여부를 나타내는 지시자 정보를 포함할 수 있다.
3차원 영상 재생 정보의 보다 구체적인 특성은 이하 도면을 참조하여 상술된다. 즉, 3차원 영상 재생 정보로써, 도 3의 3차원 영상 포맷 정보, 도 4의 좌우 배치 정보, 도 5 및 6의 시간적 구간 3차원 재생 정보, 도 7의 공간적 구간 3차원 재생 정보, 도 8의 3차원 카메라 정보, 도 9의 저피로도 정보, 도 11의 좌우 불일치 정보가 상술된다.
또한, 서술자 형식의 3차원 영상 재생 서술자는, 3차원 시작 정보에 상응하는 3차원 정보 시작 서술자를 포함할 수 있다. 또한, 3차원 영상 재생 서술자는, 3차원 영상 포맷 정보, 3차원 카메라 정보, 저피로도 정보 및 좌우 불일치 정보에 각각 상응하는 서술자들을 더 포함할 수 있다.
소정 영상 통신 규격에 따르는 전송 스트림 시스템에서, 기초 스트림 패킷, 전송 스트림 패킷 또는 섹션 내에 이미 할당되어 있는 여유 공간을 이용하여 3차원 영상 재생 정보가 삽입될 수 있으므로, 기존 영상 통신 규격에 따르는 전송 스트림 시스템에서도 시스템의 큰 변경 없이 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)가 적용될 수 있다. 또한, 기존에 이미 할당되어 있는 정보 저장 영역을 이용하므로 추가적인 채널, 또는 추가적인 정보 저장 공간을 필요로 하지 않는다.
또한, EIT 섹션은 미국의 디지털 방송 규격인 ATSC 방식 또는 유럽의 디지털 방송 규격인 DVB 방식에서 공통적으로 사용되는 프로그램 안내 정보 섹션이므로, 본 발명의 일 실시예에 따른 3차원 영상 재생 정보가 삽입된 데이터스트림의 송수신은 대표적인 디지털 방송 규격에서 적용될 수 있어 활용 가능성이 크다.
도 2 는 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치의 블록도를 도시한다.
일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)는 전송 스트림 역다중화부(210), 전송 스트림 패킷 역패킷화부(220), 기초 스트림 패킷 역패킷화부(230), 3차원 영상 재생 정보 추출부(240), 3차원 영상 복원부(250) 및 3차원 영상 재생부(260)를 포함한다.
전송 스트림 역다중화부(210)는, 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)가 수신한 전송 스트림을 역다중화하여 적어도 하나의 전송 스트림 패킷을 분리해낸다. 전송 스트림은 고정 길이의 전송 스트림 패킷들로 분리될 수 있다.
전송 스트림 패킷 역패킷화부(220)는, 전송 스트림 역다중화부(210)에 의해 분리된 적어도 하나의 전송 스트림 패킷을 역패킷화하여, 적어도 하나의 기초 스트림 패킷 및 적어도 하나의 섹션을 복원해 낸다. 적어도 하나의 기초 스트림 패킷은 3차원 영상 데이터를 포함하고 있으며, 적어도 하나의 섹션은 3차원 영상 데이터의 서비스 관련 정보를 포함한다.
전송 스트림 패킷의 헤더 영역에, 전송 스트림 패킷이 전송하는 데이터의 종류를 나타내는 식별정보인 패킷 식별자(packet identifier, PID)가 수록되어 있다. 프로그램 리스트 정보는 프로그램 통합 테이블 PMT에 수록되어 있으며, 프로그램 통합 테이블 PMT을 전송하는 전송 스트림 패킷의 패킷 식별자는 0으로 규정되어 있다.
전송 스트림을 수신하면, 먼저 패킷 식별자가 0인 전송 스트림 패킷을 검색하여 프로그램 통합 테이블 PAT을 획득하고, 프로그램 통합 테이블 PAT을 해석함으로써 프로그램 맵 테이블 PMT을 전송하는 전송 스트림 패킷의 패킷 식별자(PID)를 추출한다.
프로그램 맵 테이블 PMT은 프로그램 단위의 정보가 수록되어 있기 때문에, 프로그램 맵 테이블 PMT을 해석함으로써 프로그램을 구성하는 비트열이 실려 있는 전송 스트림 패킷의 패킷 식별자 PID를 알아낼 수 있다. 따라서, 원하는 오디오, 비디오 등의 프로그램이 수록되어 있는 전송 스트림 패킷에 접근할 수 있다.
이벤트 정보 테이블 EIT는 모든 채널들에 대한 최소 3시간동안의 프로그램 내용을 제공하며, 개별 프로그램의 이름과 시작시간, 방영기간 등과 같은 정보를 전달한다. 이는 EPG 정보로 이용될 수 있다.
기초 스트림 패킷 역패킷화부(230)는, 전송 스트림 패킷 역패킷화부(220)에 의해 복원된 적어도 하나의 기초 스트림 패킷을 역패킷화하여, 기초 스트림을 복원해 낸다. 기초 스트림은 비디오, 오디오 등의 프로그램일 수 있다. 특히, 일 실시예에 따른 기초 스트림 패킷 역패킷화부(230)에 의해 복원되는 기초 스트림은 3차원 영상의 부호화된 데이터를 수록하고 있을 수 있다.
3차원 영상 재생 정보 추출부(240)는, 역다중화되어 복원된 섹션으로부터 3차원 영상 재생 정보를 추출한다. 일 실시예에 따른 3차원 영상 재생 정보 추출부(240)는, 복원된 섹션들 중 프로그램 안내 정보 섹션으로부터 3차원 영상 재생 정보를 추출할 수 있다.
일 실시예에 따른 3차원 영상 재생 정보 추출부(240)는 프로그램 안내 정보 섹션의 서술자 영역으로부터 3차원 영상 재생 서술자를 추출한다. 이 때 프로그램 안내 정보 섹션은 이벤트 정보 테이블 섹션일 수 있다.
3차원 영상 재생 서술자는 해당 프로그램 내에 상기 3차원 영상 데이터스트림을 포함한다는 것을 나타내는 3차원 정보 시작 서술자를 포함할 수 있다. 또한, 3차원 재생 서술자는, 3차원 영상의 재생과 관련된 정보로써 3차원 영상 시작 서술자, 구간 3차원 재생 서술자, 3차원 카메라 서술자, 저피로도 서술자, 및 좌우 불일치 서술자 중 적어도 하나를 포함할 수 있다
일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에 의해 추출되어 사용되는 3차원 영상 재생 정보는 도 1 을 참조하여 전술한 일 실시예에 따른 3차 원 영상 데이터스트림 생성 장치(100)의 3차원 영상 재생 정보에 대응될 수 있다.
따라서, 3차원 영상 재생 정보 추출부(240)는 3차원 영상 재생 정보로서, 3차원 영상 재생 서술자로부터 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 시간적 구간 3차원 재생 정보, 공간적 구간 3차원 재생 정보, 3차원 카메라 정보, 저피로도 정보, 좌우 불일치 정보를 추출할 수 있다.
3차원 영상 복원부(250)는, 기초 스트림의 데이터를 복호화하여 3차원 영상을 복원한다. 3차원 영상 포맷에 따라, 좌시점 영상, 우시점 영상이 분리되어 복원될 수 있다. 또한, 영상 시퀀스의 부분적으로 3차원 영상 및 2차원 영상이 혼합되도록 복원될 수도 있다.
3차원 영상 재생부(260)는, 3차원 영상 복원부(250)에 의해 복호화되어 복원된 3차원 영상을, 3차원 영상 재생 정보를 이용하여 3차원 재생 방식으로 재생한다.
일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에 의해, 3차원 재생 시스템에서 인식 가능한 3차원 영상 재생 정보가 추출되므로, 3차원 영상의 입체감이 보장되면서도, 3차원 영상의 시청에 의한 피로감이 감소된 3차원 컨텐츠 방송 서비스가 제공될 수 있다. 또한 기존의 2차원 영상 시스템에서도 사용되는 기존의 데이터 구조를 벗어나지 않으므로, 기존에 사용되는 시스템과의 호환성도 유지될 수 있다. 또한, 3차원 영상 재생 정보의 수신을 위한 추가적인 채널, 추가적인 데이터스트림, 추가적인 정보 저장 공간이 필요하지 않으므로, 제한적인 환경에서도 적용 가능하다.
일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)는, 3차원 방송 시스템, 3차원 디지털 TV 시스템, 3차원 패키지 미디어 시스템, 컴퓨터 상에서의 3차원 영상 디코더 등에 적용됨으로써, 기존의 디지털 방송 시스템과의 호환성을 유지하면서도 2차원 컨텐츠 및 3차원 컨텐츠를 제공하는 3차원 디지털 방송이 가능해진다.
이상 실시예는 전송 스트림 기반의 전송 시스템 및 수신 시스템을 예로 들어 설명되고 있지만, 3차원 영상 재생 정보가 기초 스트림 패킷 레벨에서 삽입되는 실시예들은 프로그램 스트림(Program Stream, PS) 기반의 시스템에서도 적용될 수 있다.
이하 도 3 내지 도 14를 참조하여, 일 실시예에 따른 3차원 영상 재생 정보가 상술된다.
도 3 은 본 발명의 일 실시예에 따른 3차원 영상 포맷 정보를 도시한다.
3차원 영상이 입체감을 유지하며 재생되기 위해서는 좌시점 영상 및 우시점 영상이 모두 필요하다. 3차원 영상 포맷은 좌시점 영상 정보 및 우시점 영상 정보를 모두 포함하기 위한 영상 포맷으로서, 3차원 컴포지트 포맷(3-dimensional composite format), 3차원 시퀀셜 포맷(3-dimensional sequential format), 멀티플 스트림 포맷(multiple stream format)이 있다.
3차원 컴포지트 포맷은 하나의 픽처에 좌시점 영상 및 우시점 영상이 모두 배치되어 있는 영상 포맷이다. 3차원 컴포지트 포맷에 의하면 기존의 부복호화 시스템을 그대로 이용하면서 3차원 영상을 복호화하여 복원한 후 렌더링함으로써 3차 원 영상의 재생 시스템이 구현될 수 있다.
3차원 컴포지트 포맷에서는, 하나의 픽처에 좌시점 영상 및 우시점 영상이 모두 배치되어 있으므로, 좌시점 영상 및 우시점 영상 각각은 일반적인 2차원 영상에 비해 해상도가 낮다. 그러나 기존 재생 시스템의 프레임 속도(frame rate)가 일정 속도 이상 확보된다면 대부분의 3차원 영상은 기존 재생 시스템에서 큰 화질의 저하 없이 재생될 수 있다. 3차원 컴포지트 포맷은 기존의 재생 시스템을 이용할 수 있다는 점에서 가장 널리 사용되고 있는 3차원 영상 포맷이다.
3차원 시퀀셜 포맷은, 시간축 방향으로 좌시점 영상 및 우시점 영상을 배치하는 포맷이다. 3차원 시퀀셜 포맷은, 좌시점 프레임 및 우시점 프레임이 연속적으로 번갈아 배치되는 프레임 시퀀셜 포맷과, 좌시점 필드 및 우시점 필드가 연속적으로 번갈아 배치되는 필드 시퀀셜 포맷을 포함한다. 프레임 시퀀셜 포맷은 좌시점 프레임 및 우시점 프레임이 각각 프레임률이 반으로 감소하므로, 프레임률이 소정 주파수 이하인 경우에는 잘 이용되지 않으며, 필드 시퀀셜 포맷이 널리 이용되고 있다.
멀티플 스트림 포맷은, 좌/우시점 영상마다 개별 스트림으로 송수신되는 영상 포맷으로써, 다수의 복호화기를 필요로 하지만 기존 시스템과 호환성이 유지될 수 있으며 원 해상도의 영상이 재생될 수 있다는 점에서 효과적이다. 좌/우시점 영상들 또는 다시점 영상들이 각각 스트림 단위로 저장되기 때문에 3차원 컴포지트 포맷 또는 3차원 시퀀셜 포맷에 비해 전송 시스템의 대역폭이 더 필요한 것이 특징이다.
도 3 의 도표는 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)가 이용할 수 있는 3차원 영상 포맷 정보의 값을 나타낸다. 이하, 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)는, 3차원 영상 포맷 정보를 '3d_format_type'이라는 변수명으로 지칭한다.
3차원 영상 포맷 정보는, 사이드 바이 사이드 포맷, 탑 앤 바텀 포맷, 수직 라인 인터리브드 포맷, 수평 라인 인터리브드 포맷, 격자 보드 포맷, 프레임 시퀀셜 포맷, 필드 시퀀셜 포맷, 멀티플 스트림 타입 중 제 1 시점 영상 포맷, 멀티플 스트림 타입 중 제 2 시점 영상 포맷, 깊이 맵 포맷, 3차원 영상 중 2차원 영상 구간 포맷이 있을 수 있다.
사이드 바이 사이드 포맷은 좌시점 영상 및 우시점 영상이 하나의 픽처 상에 좌우로 배치되는 형태의 영상 포맷이며, 탑 앤 바텀 포맷은 좌시점 영상 및 우시점 영상이 하나의 픽처 상에 상하로 배치되는 형태의 영상 포맷이다.
수직 라인 인터리브드 포맷은 하나의 픽처의 수직 방향의 라인 별로 좌시점 영상의 라인 및 우시점 영상의 라인이 번갈아 배치되는 형태의 영상 포맷이며, 수평 라인 인터리브드 포맷은 하나의 픽처의 수평 방향의 라인 별로 좌시점 영상의 라인 및 우시점 영상의 라인이 번갈아 배치되는 형태의 영상 포맷이다. 격자 보드 포맷은 하나의 픽처의 펠(pel) 별로 좌시점 영상의 펠 및 우시점 영상의 펠이 번갈아 배치되는 형태의 영상 포맷이다.
제 1 시점 영상 및 제 2 시점 영상이 개별적인 스트림에 삽입된 경우, 멀티플 스트림 타입 중 제 1 시점 영상 포맷은 제 1 시점 영상만이 수록되는 영상 포맷이며, 멀티플 스트림 타입 중 중 제 2 시점 영상 포맷은 제 2 시점 영상만이 수록되는 영상 포맷이다.
깊이 맵 포맷은, 좌우 시점 영상 간의 깊이차 정보가 수록된 맵과 좌우 시점 중 어느 한 시점 영상이 송수신되는 영상 포맷이다.
3차원 영상 중 2차원 영상 구간 포맷은, 3차원 영상 구간 및 2차원 영상 구간이 혼합된 영상에서 2차원 영상 구간이 수록된 영상 포맷이다.
'3d_format_type'는 7 바이트의 unsigned int 형의 변수로서 0x00 ~ 0x7F의 값을 갖는다. 일 실시예에 따라, '3d_format_type'의 0x00 ~ 0x0A 값에, 각각 사이드 바이 사이드(Side by side) 포맷, 탑 앤 바텀(Top and bottom) 포맷, 수직 라인 인터리브드(Vertical line interleaved) 포맷, 수평 라인 인터리브드(Horizontal line interleaved) 포맷, 격자 보드(Checker board) 포맷, 프레임 시퀀셜(Frame sequential) 포맷, 필드 시퀀셜(Field sequential) 포맷, 멀티플 스트림 타입 중 제 1 시점 영상(Primary view in multiple ESes type) 포맷, 멀티플 스트림 타입 중 제 2 시점 영상(Secondary view in multiple ESes type) 포맷, 깊이 맵(Depth map) 포맷, 3차원 영상 중 2차원 영상 구간(2D video in 3D video) 포맷이 대응됨으로써 3차원 영상 포맷 정보가 정의될 수 있다.
'3d_format_type'의 나머지 값은 차후 추가되는 컨텐츠를 위해 예약 비트로 설정될 수 있다.
도 4 는 본 발명의 일 실시예에 따른 좌우 배치 정보를 도시한다.
좌시점 영상 및 우시점 영상이 반전되어 3차원 영상이 재생되는 경우 시청으로 인한 피로감이 증가될 수 있다. 따라서, 3차원 영상 포맷이 좌시점 영상 및 우시점 영상을 모두 포함하고 있다면, 어느 쪽이 좌시점 영상 또는 우시점 영상인지 구별되어야 한다. 좌우 배치 정보는, 3차원 영상 포맷에 포함된 다른 시점 영상들이 각각 좌시점 영상인지 우시점 영상인지에 대한 정보로서, 3차원 영상 포맷과 함께 정의될 수 있다.
도 4 의 도표는 좌우 배치 정보에 따라, 3차원 영상 포맷(Type)에서 좌시점 영상 및 우시점 영상의 배치 순서를 보여준다. 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 좌우 배치 정보를 'LR_indicator'라는 변수명으로 명명한다. 좌우 배치 정보가 1인 경우('LR_indicator = 1')를 예로 들어 설명하면, 좌시점(Left view) 영상 및 우시점 영상(Right view)은, 각각 사이드 바이 사이드(Side by side) 포맷의 좌측(Left side) 및 우측(Right side)에 배치된다.
마찬가지 방식으로 좌우 배치 정보가 1인 경우('LR_indicator = 1'), 좌시점 영상 및 우시점 영상은, 탑 앤 바텀(Top and bottom) 포맷의 상단(Top side) 및 하단(Bottom side)에, 수직 라인 인터리브드(Vertical line interleaved) 포맷에서는 홀수번째 라인(Odd line) 및 짝수 번째 라인(Even line)에, 수평 라인 인터리브드(Horizontal line interleaved) 포맷에서는 짝수 번째 라인(Even line) 및 홀수 번째 라인(Odd line)에, 격자 보드(Checker board) 포맷에서는 첫 번째 라 인의 첫 번째 펠(Fisrt pel in first line) 및 두 번째 라인의 첫 번째 펠(First pel in second line)에, 프레임 시퀀셜(Frame sequential) 포맷에서는 홀수 번째 프레임(Odd frame) 및 짝수 번째 프레임(Even frame)에, 필드 시퀀셜(Field sequential) 포맷에서는 상단 필드(Top field) 및 하단 필드(Bottom field)에, 멀티플 스트림 타입(Multiple ESes type) 포맷에서는 제 1 시점 영상(Primary view sequence) 및 제 2 시점 영상(Secondary view sequence)에 각각 배치될 수 있다.
좌우 배치 정보가 0인 경우('LR_indicator = 0')에는, 전술한 경우와 반대로 좌시점 영상 및 우시점 영상이 배치될 수 있다. 다시점 영상의 경우에도 적용가능한 멀티플 스트림 타입(Multiple ESes type) 포맷 중에서도 스테레오 영상인 경우에는 좌시점 영상 및 우시점 영상만 존재하므로, 도 4의 도표에서 정의된 좌우 배치 정보가 유효해질 수 있다.
3차원 영상 포맷 중 사이드 바이 사이드 포맷, 탑 앤 바텀 포맷, 수직 라인 인터리브드 포맷, 수평 라인 인터리브드 포맷 및 격자 보드 포맷 등은 한장의 프레임에 좌시점 영상 및 우시점 영상이 동시에 배치된다. 이 경우, 좌시점 영상 및 우시점 영상은 각각의 해상도가 절반으로 축소되어 한 장의 3차원 영상 프레임으로 병합될 수 있다.
다만 일반적인 해상도를 지원하는 멀티미디어 재생 환경에서는 좌시점 영상 및 우시점 영상이 각각 원래 해상도를 유지한 채 하나의 프레임으로 병합되어, 좌시점 영상 또는 우시점 영상에 비해 2배의 해상도를 갖는 3차원 영상이 생성될 수도 있다.
따라서, 좌시점 영상 및 우시점 영상이 한 장의 프레임에 모두 병합되어 있는 3차원 영상 포맷에 대해서는, 좌시점 영상 및 우시점 영상의 원래 해상도가 유지된 채 병합되어서 2배 해상도의 3차원 영상인지, 또는 좌시점 영상 및 우시점 영상이 절반의 해상도로 축소된 채 병합되어 원래 해상도의 3차원 영상인지 여부가 식별될 필요가 있다.
이에 따라, 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 좌시점 영상 및 우시점 영상이 원래 해상도를 유지하여 원래 해상도의 2배의 해상도를 갖는 3차원 영상으로 병합되는지 여부를 나타내는 풀해상도 정보가 사용된다. 풀해상도 정보는 'Full_Res_indicator'라는 변수명으로 명명될 수 있다.
3차원 영상 데이터스트림 수신 장치(200)는 스트림을 파싱하여 풀해상도 정보를 획득할 수 있다. 수신된 데이터스트림을 복호화되어 복원된 3차원 영상은, 풀해상도 정보를 이용하여 3차원 재생 장치에 적합한 3차원 영상 포맷으로 변환되어 3차원으로 재생될 수 있다.
이하, 도 5 내지 도 7을 참조하여 3차원 영상 포맷 중 3차원 영상 중 2차원 영상 구간 포맷에 관해 상술한다. 3차원 영상 중 2차원 영상 구간 포맷은 부분적으로 3차원으로 재생되므로 3차원 영상으로 인식되어야 하는 구간인 '구간 3차원 영상'이 정의될 필요가 있다. 구간 3차원 영상은 시간적 또는 공간적으로 3차원으로 재생되는 경우들로 구분될 수 있다.
시간적 구간 3차원 영상 정보는 상대적인 시간 또는 절대적인 시간으로 표현 될 수 있다. 표현 방식은 시스템 환경 또는 시스템 사양에 따라 조정될 수 있다.
도 5 및 6을 참조하여 시간적 구간 3차원 재생 정보의 실시예들이 설명되며, 도 7을 참조하여 공간적 구간 3차원 재생 정보의 실시예가 설명된다. 시간적 구간 3차원 재생 정보 및 공간적 구간 3차원 재생 정보는 비교적 많은 비트가 필요하므로, 먼저 지시자(indicator)를 이용하여 시간적 구간 3차원 재생 정보의 정의 여부 및 공간적 구간 3차원 재생 정보의 정의 여부가 제시된다. 따라서, 지시자들이 0의 값으로 설정되는 경우에는 구간 3차원 재생 정보가 정의되지 않아야 한다.
시간적 구간 3차원 재생 정보는 3차원으로 재생될 3차원 영상의 픽쳐 개수로 표현될 수 있다. 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 시간적 구간 3차원 재생 정보의 정의 여부를 나타내는 지시자를 'temporal_local_3d_indicator'라는 변수로 나타낼 수 있다.
즉, 'temporal_local_3d_indicator'가 unsinged int형으로 선언되고(구문 510), 'temporal_local_3d_indicator'가 '1'의 값으로 정의되는 경우(구문 520), 시간적 구간 3차원 재생 정보로서 구간 3차원 영상의 픽쳐 개수가 'remaining_3d_pictures'라는 변수로 인해 정의될 수 있다(구문 530). 일 실시예에 따라, 'remaining_3d_pictures'의 모든 비트가 1로 채워질 경우, 해당 영상 시퀀스가 끝날 때까지 3차원 재생 모드가 유지될 수 있다.
도 6 은 본 발명의 일 실시예에 따른 시간적 구간 3차원 재생 정보의 다른 예를 도시한다.
시간적 구간 3차원 재생 정보의 다른 예로써, 3차원으로 재생되어야 하는 구간 3차원 영상의 재생 시간이 정의될 수 있다. 'temporal_local_3d_indicator'가 unsinged int형으로 선언되고(구문 610), 'temporal_local_3d_indicator'가 '1'의 값으로 정의되는 경우(구문 620), 시간적 구간 3차원 재생 정보로서 구간 3차원 영상의 재생 시간을 나타내는 변수 'DTS_3d_period[]'로 인해 정의될 수 있다(구문 630).
'DTS_3d_period[]'의 [] 내의 수는 재생 시간을 나타내며, 상대적인 시간 또는 절대적인 시간으로 표현될 수 있다. 3차원 재생 구간 및 2차원 재생 구간이 번갈아 존재하며 3차원 재생 구간끼리 분리되어 있는 경우 'DTS_3d_period[]'는 복수로 정의될 수 있다. 또한, 시간적으로 분리되는 3차원 재생 구간 사이를 표시하기 위한 마커 비트('marker_bit')가 정의될 수 있다.
도 7 은 본 발명의 일 실시예에 따른 공간적 구간 3차원 재생 정보를 도시한다.
공간적 구간 3차원 재생 정보는, 2차원 영상 및 3차원 영상이 모두 표시된 한 프레임 상에서 3차원으로 재생될 공간적 구간 3차원 영역의 위치로 정의될 수 있다. 공간적 구간 3차원 영역의 위치는 해당 3차원 영역의 좌상단 모서리의 좌표값, 폭, 너비 정보로 정의될 수 있다.
일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 공간적 구간 3차원 재생 정보의 정의 여부를 나타내는 지시자를 'spatial_local_3d_indicator'라는 변수로 나 타낼 수 있다.
즉, 'spatial_local_3d_indicator'가 unsinged int형으로 선언되고(구문 710), 'spatial_local_3d_indicator'가 '1'의 값으로 정의되는 경우(구문 720), 공간적 구간 3차원 재생 정보로서 공간적 구간 3차원 영역의 좌표로써 수평 오프셋을 나타내는 변수 'horizontal_offset', 수직 오프셋을 나타내는 변수 'vertical_offset', 공간적 구간 3차원 영역의 폭을 나타내는 변수 'local_3d_width', 높이를 나타내는 변수 'local_3d_height'가 정의될 수 있다(구문 730).
구문 730은 공간적 구간 3차원 영역이 하나인 경우에 해당하지만, 공간적 구간 3차원 영역이 둘 이상인 경우, 'number_of_local_3d'라는 변수를 통해 공간적 구간 3차원 영역의 개수가 정의되고, 각각의 영역마다 수평 오프셋, 수직 오프셋, 폭, 너비가 정의될 수 있다.
도 8 은 본 발명의 일 실시예에 따른 3차원 카메라 정보를 도시한다.
카메라 정보는 스테레오 영상에서는, 어느 한 시점 영상의 카메라 파라미터를 기준으로 하여 나머지 시점의 영상에 대한 카메라 파라미터가 상대적인 값으로 표현될 수 있다. 즉, 좌시점 영상의 좌표계를 기준으로 우시점 영상의 카메라 파라미터가 표현되어 좌시점 영상 및 우시점 영상의 카메라 파라미터가 모두 정의될 필요 없이 상대적인 값만 송수신될 수 있다. 그러나, 카메라 정보 중 초점 거리(focal length), 주점(principal point)의 좌표에 대한 정보는 상대적으로 표시될 수 없는 절대 수치이므로 각각의 시점에 대해 별도로 정의되어야 한다.
일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 3차원 카메라 정보의 변경 여부를 나타내는 지시자를 'is_cam_params_changed'라는 변수로 나타낼 수 있다. 3차원 카메라 정보는 비교적 큰 데이터이므로 'is_cam_params_changed'를 통해 현재 3차원 카메라 정보가 이전 3차원 카메라 정보와 비교하여 변경된 경우에만 새롭게 정의도록 미리 선언될 필요가 있다. 따라서, 3차원 카메라 정보가 처음 설정되거나 갱신될 필요가 있는 경우에만 'is_cam_params_changed'가 1로 정의된다.
예를 들어, 'is_cam_params_changed'가 unsinged int형으로 선언되고(구문 810), 'is_cam_params_changed'가 '1'의 값으로 정의되는 경우(구문 820), 3차원 카메라 정보로서 회전각 정보를 나타내는 변수 'rotation', 평행이동 정보를 나타내는 변수 'translation', 제 1 시점 영상의 초점 거리 정보를 나타내는 변수 'primary_focal_length', 제 2 시점 영상의 초점 거리 정보를 나타내는 변수 'secondary_focal_length', 화면 종횡비 정보를 나타내는 변수 'aspect_ratio', 제 1 시점 영상의 주점의 x축 좌표 정보를 나타내는 변수 'primary_principal_point_x', 제 1 시점 영상의 주점의 y축 좌표 정보를 나타내는 변수 'primary_principal_point_y', 제 2 시점 영상의 주점의 x축 좌표 정보를 나타내는 변수 'secondary_principal_point_x', 제 2 시점 영상의 주점의 y축 좌표 정보를 나타내는 변수 'secondary_principal_point_y'가 정의될 수 있다(구문 830).
입체감을 고려한 촬영이라면 동일한 사양의 카메라를 사용하므로, 화면 종횡 비 정보는 좌/우시점 영상 또는 다시점 영상에 대해 한번만 정의될 수 있다. 회전각 정보 및 평행이동 정보는 제 1 시점 영상의 좌표를 기준으로 하는 제 2 시점 영상의 좌표의 상대적인 수치로 표현될 수 있다. 초점 거리 및 주점 정보는 각각의 시점 별로 정의될 수 있다.
스테레오 영상에 대한 3차원 카메라 정보는 도 8과 같이 좌시점 영상 및 우시점 영상에 대해 각각 정의되는 것이 아니라 한번만 정의될 수 있다. 반면에, 다시점 영상의 경우에도 적용가능한 멀티플 스트림 타입(Multiple ESes type) 포맷의 경우, 어느 한 시점 영상의 좌표를 기준으로 상대적인 수치로 표시하는 방식보다는 각각의 시점마다 독립적으로 카메라 정보가 정의되는 것이 바람직하다.
카메라 정보를 이용하여 양 시점 영상을 획득하는 두 카메라의 배치 방식이 유추될 수 있다. 일반적으로 3차원 영상이 재생될 때, 교차식 카메라 구조(toed-in camera configuration)인 경우보다 평행식 카메라 구조(parallel camera configuration)로 획득된 3차원 영상이 시청 피로감이 적다. 따라서, 3차원 카메라 정보를 이용한 렉티피케이션(Rectification) 작업을 통해, 교차식 카메라 구조로 획득된 3차원 영상이 평행식 카메라 구조로 획득된 3차원 영상으로 변경될 수 있다.
3차원 카메라 정보를 이용하여 에피폴라 라인(Epipolar line)이 결정될 수 있으며, 에피폴라 라인을 이용한 에피롤라 라인 컨스트레인트(Epipolar line Constraint) 기법을 통해 변이 추정(Disparity estimation)이 용이해질 수 있다. 이와 같이 3차원 카메라 정보는 렉티피케이션 작업, 변이 추정 뿐만 아니라 다양한 후처리 작업에 이용될 수 있다.
도 9 는 본 발명의 일 실시예에 따른 저피로도 정보를 도시한다.
3차원 영상일지라도 재생되는 디스플레이 화면의 크기에 따라 입체감이 달라질 수 있다. 따라서 제공되는 3차원 영상의 권장 환경과 다르거나 더 나쁜 재생 환경에서 재생되는 경우에, 시청 피로도 감소를 위한 후처리 작업이 수행될 필요가 있다. 예를 들어, 권장 디스플레이 화면 크기(expected display size)보다 실제 디스플레이 화면 크기가 더 큰 경우 변이가 발생하여 시청 피로감이 발생할 수 있다. 시청 피로도 감소를 위한 후처리 작업으로는, 좌/우시점 영상 간의 깊이 맵을 추출하여 깊이를 조절한 새로운 좌시점 영상 및 우시점 영상을 생성하거나 중간 영상을 합성하는 방법 및 좌/우시점 영상을 평행 이동시키는 방법 등이 있다. 저피로도 정보를 이용하여 어떤 저피로도 작업을 수행할지 결정될 수 있다.
일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 저피로도 정보의 변경 여부를 나타내는 지시자를 'is_safety_params_changed'라는 변수로 나타낼 수 있다. 저피로도 정보는 비교적 큰 데이터이므로 'is_safety_params_changed'를 통해 현재 저피로도 정보가 이전 저피로도 정보와 비교하여 변경된 경우에만 새롭게 정의되도록 미리 선언될 필요가 있다. 따라서, 3차원 카메라 정보가 처음 설정되거나 갱신될 필요가 있는 경우에만 'is_safety_params_changed'가 1로 정의된다.
예를 들어, 'is_safety_params_changed'가 unsinged int형으로 선언되고(구문 910), 'is_safety_params_changed'가 '1'의 값으로 정의되는 경우(구문 920), 저피로도 정보로서 권장 디스플레이 화면 폭 정보를 나타내는 변수 'expected_display_width', 권장 디스플레이 화면 높이 정보를 나타내는 변수 'expected_display_height', 권장 시청 거리 정보를 나타내는 변수 'expected_viewing_distance', 3차원 영상 컨텐츠 내에서의 최소 변이 정보를 나타내는 변수 'min_of_disparity', 3차원 영상 컨텐츠 내에서의 최대 변이 정보를 나타내는 변수 'max_of_disparity'가 정의될 수 있다(구문 930).
제공되는 3차원 영상 컨텐츠의 스크린 변이를 계산하기 위해서는, 권장 디스플레이 화면 크기, 권장 시청 거리 및 3차원 영상 내에서의 변이 범위가 필요하다. 권장 디스플레이 화면 폭 정보 및 높이 정보, 권장 시청 거리 정보를 이용하여 권장 디스플레이 화면 크기 및 권장 시청 거리 정보가 표현되며, 3차원 영상 컨텐츠 내에서의 최소 변이 정보 및 최대 변이 정보를 이용하여 3차원 영상 내에서의 변이 범위가 표현될 수 있다.
따라서 저피로도 정보를 이용하여 권장 디스플레이 화면에 따른 변이 범위 및 실제 변이 범위를 비교하여 저피로도 작업의 수행 여부를 결정할 수 있다.
도 10 은 본 발명의 일 실시예에 따른 저피로도 범위를 도시한다.
3차원 영상의 시청 피로도가 허용될 수 있는 스크린 변이 범위는 ±1°이내로 결정될 수 있다. 제공되는 3차원 영상의 스크린 변이 범위는 디스플레이 크기, 시청 거리, 변이 범위를 이용하여 결정될 수 있다. 허용될 수 있는 시청 피로도를 갖는 스크린 변이 범위인 저피로도 범위를 계산하기 위해서는 실제 디스플레이 화면의 픽셀 피치(pixel pitch)를 필요로 하는데 이는 재생 장치에서 고정된 값으로 결정될 수 있다.
도 10 을 참조하여 이하 실제 디스플레이 화면(1000)의 픽셀 피치는 0.159mm, 디스플레이 크기는 2.5 인치, 해상도는 320×240인 경우를 예로 들어 저피로도 범위를 상술한다. 시청자의 눈간 거리(1010)는 65mm, 시청 거리(1020)는 300mm로 가정될 수 있다. 권장 깊이감에 따른 양 시선 간의 차이각 α, 깊이감이 시청자 위치 쪽으로 다가오는 경우의 양 시선 간의 차이각 β, 깊이감이 시청자 위치로부터 멀어지는 경우의 양 시선 간의 차이각 γ을 이용하여 변이 범위가 계산된다.
도 10 에서는 최소 변이 한계의 경우는 차이각 β에 해당하고, 최대 변이 한계의 경우는 차이각 γ에 해당한다. 즉, 저피로도 범위는 ±1°이내로써, |β-α|<1° 및 |γ-α|<1°여야 한다. 예를 들어, 차이각 α는 12,37°라면, 차이각 β는 11.37°이상, 차이각 γ는 13.37°이하여야 한다.
또한, 이러한 저피로도 범위가 픽셀 단위로 표현되려면, 디스플레이 화면(1000)의 픽셀 피치가 이용될 수 있다. 최소 변이 한계의 β가 11.37°인 경우 디스플레이 화면(1000) 상에 맺히는 상의 크기는 5.32mm이고, 최대 변이 한계의 γ가 13.37°인 경우 디스플레이 화면(1000) 상에 맺히는 상의 크기는 5.73mm이다. 변이를 픽셀 단위는 변이를 픽셀 피치로 나눈 값으로 표현될 수 있다. 따라서, 최대 변이 한계 픽셀은 5.73/0.159 = 36 픽셀, 최소 변이 한계 픽셀은 -5.32/0.159 = -33 픽셀일 수 있다. 여기서 (-) 방향은 시청자 방향으로 다가오는 방향을 나타낸다.
실제 디스플레이 시스템에서의 최대 허용 변이 범위의 최소 변이 한계와 최대 변이 한계를 실제 3차원 영상 컨텐트의 최소 변이 및 최대 변이와 비교하여 현재 3차원 영상 컨텐츠가 저피로도 허용 범위에 속하는지 여부를 알 수 있다. 현재 3차원 영상 컨텐츠가 저피로도 허용 범위 안에 없다면 저피로도 관련 후처리 작업이 수행될 수 있다.
이하 도 11 내지 도 13을 참조하여, 좌시점 영상 및 우시점 영상이 상호 불일치하는 정도를 나타내는 좌우 불일치 정보가 상술된다. 스테레오 영상(또는 다시점 영상)을 획득하는 카메라는 복수이므로, 동일한 사양의 카메라들이라도 각각의 설정 상태에 따라 서로 일치하지 않는 색감을 가질 수 있다. 이러한 좌시점 영상 및 우시점 영상 간의 차이는 변이 추정과 같은 후처리 작업의 성능을 저하시킬 수 있다. 또한 좌시점 영상 및 우시점 영상이 서로 일치하지 않는 색감으로 재생되는 경우 3차원 영상으로 인한 시청 피로도가 증가할 수 있다.
상호 일치하지 않는 좌시점 영상 및 우시점 영상 간의 차이를 보정하는 작업이 전처리 또는 후처리 작업으로서 수행될 수 있다. 시청자의 필요도에 따라 보정 작업은 복호화 후 후처리 작업이 수행될 수도 있다. 이 경우 복호화 후의 후처리 작업을 위한 좌우 불일치 정보가 필요하다.
R = L + offset1
R 은 우시점 영상의 화소값, L은 좌시점 영상의 화소값, offset1 은 좌시점 영상 및 우시점 영상 간의 오프셋 값을 나타내는 변수이다. 즉, 좌시점 영상 및 우 시점 영상 사이의 불일치 정보가 오프셋 하나의 값으로 정의되는 단순한 모델이다. 도 11의 좌우 오프셋 정보는, 현재 좌시점 영상 및 우시점 영상이 단순한 좌우 불일치 모델에 따른다는 가정 하에, 좌우 불일치 정보에 많은 비트수를 할당할 수 없을 경우에 바람직하다.
예를 들어, 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 좌우 불일치 정보의 정의 여부를 나타내는 지시자를 'imbalance_info_indicator'라는 변수로 나타낼 수 있다. 좌우 불일치 정보가 정의될 경우에만 'imbalance_info_indicator'가 1로 정의된다.
수학식 1에 따르는 좌우 불일치 정보의 신택스에 따르면, 'imbalance_info_indicator'가 unsinged int형으로 선언되고(구문 1110), 'imbalance_info_indicator'가 '1'의 값으로 정의되는 경우(구문 1120), 좌우 불일치 정보로서 좌우 오프셋 정보를 나타내는 변수 'imbalance_offset'가 정의될 수 있다(구문 1130).
도 12 는 본 발명의 일 실시예에 따른 좌우 불일치 정보의 다른 예를 도시한다.
선형 함수에 따른 좌우 불일치 모델은 수학식 2에 따른다.
R = scale×L + offset2
R 은 우시점 영상의 화소값, L은 좌시점 영상의 화소값, scale은 선형 함수 의 기울기, offset2 은 좌시점 영상 및 우시점 영상 간의 오프셋 값을 나타내는 변수이다. 즉, 좌시점 영상 및 우시점 영상 사이의 불일치 정보가 좌시점 영상 및 우시점 영상 간의 선형 관계로 정의될 수 있다. 기울기 정보를 위한 변수 'scale'에 할당되는 비트수는 선형 함수의 정확도에 따라 조절될 수 있다.
수학식 2에 따르는 좌우 불일치 정보의 신택스에 따르면, 'imbalance_info_indicator'가 unsinged int형으로 선언되고(구문 1210), 'imbalance_info_indicator'가 '1'의 값으로 정의되는 경우(구문 1220), 좌우 불일치 정보로서 좌우 오프셋 정보를 나타내는 변수 'imbalance_offset', 좌우 불일치 모델의 선형 함수의 기울기 정보를 나타내는 변수 'imbalance_scale'가 정의될 수 있다(구문 1230).
도 13 은 본 발명의 일 실시예에 따른 좌우 불일치 정보의 또 다른 예를 도시한다.
룩업 테이블(Look up table)에 따른 좌우 불일치 모델은 수학식 3에 따른다.
R[0] = first_value
R[L] = R[L-1] + increment[L-1]
R 은 우시점 영상의 화소값, L은 좌시점 영상의 화소값, first_value는 우시점 영상 화소값의 초기값, increment는 우시점 영상 화소값의 증가량에 해당한다. 좌시점 영상 화소값이 1씩 증가함에 따라, 대응하는 우시점 영상 화소값은 우시점 영상 화소값의 증가량으로 정의될 수 있다.
수학식 3에 따르는 좌우 불일치 정보의 신택스에 따르면, 'imbalance_info_indicator'가 unsinged int형으로 선언되고(구문 1110), 'imbalance_info_indicator'가 '1'의 값으로 정의되는 경우(구문 1320), 좌우 불일치 정보로서 우시점 영상 화소값의 초기값을 나타내는 변수 'first_value', 우시점 영상 화소값의 증가량을 나타내는 변수 'increment'가 정의될 수 있다(구문 1330).
전술된 좌우 불일치 정보는, 수학식 1, 2, 3의 순서로 더 정교한 좌우 불일치 모델을 따른다.
도 14 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 도시한다.
일 실시예에 따른 3차원 영상 재생 정보가 전술한 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 공간적 구간 3차원 재생 정보, 시간적 구간 3차원 재생 정보, 3차원 카메라 정보, 저피로도 정보, 좌우 불일치 정보를 모두 포함하는 경우 도 14와 같은 신택스가 이용될 수 있다.
구문 1410에서 3차원 시작 정보가 선언되고, 구문 1420, 1430 및 1440에서 각각 3차원 영상 재생 정보의 기초 정보로서 3차원 영상 포맷 정보 '3d_format_type', 좌우 배치 정보 'LR_indicator' 및 풀해상도 정보 'Full_Res_indicator'가 선언된다.
3차원 영상 재생 정보의 부가 정보는, 먼저 각각의 파라미터의 정의 여부 또는 변경 여부를 확인하는 지시자가 선언된다. 즉, 구문 710 및 510에서 공간적 구간 3차원 재생 정보의 정의 여부를 나타내는 지시자 및 시간적 구간 3차원 재생 정보의 정의 여부를 나타내는 지시자가 선언된다. 또한, 구문 810에서 3차원 카메라 정보의 변경 여부를 나타내는 지시자가 선언되고, 구문 910에서 저피로도 정보의 변경 여부를 나타내는 지시자가 선언된다. 마찬가지로, 구문 1110에서 좌우 불일치 정보의 정의 여부를 나타내는 지시자가 선언된다.
도 7을 참조하여 전술된 바와 같이, 'spatial_local_3d_indicator'가 '1'의 값으로 정의되는 경우(구문 720), 공간적 구간 3차원 재생 정보로서 공간적 구간 3차원 영역의 좌표의 수평 오프셋 정보 및 수직 오프셋 정보('horizontal_offset' 및 'vertical_offset'), 공간적 구간 3차원 영역의 폭 정보 및 높이 정보('local_3d_width' 및 'local_3d_height')가 정의될 수 있다(구문 730).
도 5를 참조하여 전술된 바와 같이, 'temporal_local_3d_indicator'가 '1'의 값으로 정의되는 경우(구문 520), 시간적 구간 3차원 재생 정보로서 구간 3차원 영상의 픽쳐 개수 정보('remaining_3d_pictures')가 정의될 수 있다(구문 530).
도 8을 참조하여 전술된 바와 같이, 'is_cam_params_changed'가 '1'의 값으로 정의되는 경우(구문 820), 3차원 카메라 정보로서 회전각 정보('rotation'), 평행이동 정보('translation'), 제 1 시점 영상의 초점 거리 정보('primary_focal_length'), 제 2 시점 영상의 초점 거리 정보('secondary_focal_length'), 화면 종횡비 정보('aspect_ratio'), 제 1 시점 영상의 주점의 x축 좌표 정보('primary_principal_point_x'), 제 1 시점 영상의 주점의 y축 좌표 정보('primary_principal_point_y'), 제 2 시점 영상의 주점의 x축 좌표 정보('secondary_principal_point_x'), 제 2 시점 영상의 주점의 y축 좌표 정보('secondary_principal_point_y')가 정의될 수 있다(구문 830).
도 9 를 참조하여 전술된 바와 같이, 'is_safety_params_changed'가 '1'의 값으로 정의되는 경우(구문 920), 저피로도 정보로서 권장 디스플레이 화면 폭 정보('expected_display_width'), 권장 디스플레이 화면 높이 정보('expected_display_height'), 권장 시청 거리 정보('expected_viewing_distance'), 3차원 영상 컨텐츠 내에서의 최소 변이 정보('min_of_disparity'), 3차원 영상 컨텐츠 내에서의 최대 변이 정보('max_of_disparity')가 정의될 수 있다(구문 930).
도 12 를 참조하여 전술된 바와 같이, 'imbalance_info_indicator'가 '1'의 값으로 정의되는 경우(구문 1220), 좌우 불일치 정보로서 좌우 오프셋 정보('imbalance_offset'), 좌우 불일치 모델의 선형 함수의 기울기 정보('imbalance_scale')가 정의될 수 있다(구문 1230).
3차원 영상 재생 정보는, 경우에 따라 데이터스트림 상에서 서로 다른 공간에 삽입될 수도 있다. 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는 3차원 영상 재생 정보의 중요성에 따라 데이터스트림 상에 삽입 영역을 결정할 수 있다. 3차원 영상 데이터스트림의 복호화 과정 도중에 역다중화(demultiplexing) 또는 파싱(parsing) 작업이 먼저 수행하는 영역부터 우선순위가 높은 3차원 영상 재생 정보가 배치되는 것이 바람직하다.
예를 들어, 3차원 영상 포맷 정보, 좌우 배치 정보 및 풀해상도 정보가, 카메라 정보, 저피로도 정보 및 좌우 불일치 정보에 비해 우선순위가 높다면, 3차원 영상 포맷 정보, 좌우 배치 정보 및 풀해상도 정보에 대해 역다중화 또는 파싱 작 업이 먼저 수행되도록 데이터스트림 내에 삽입될 수 있다.
도 15a 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 이용하여 3차원 영상 서비스를 제공하기 위한 3차원 영상 서비스 시스템의 블록도를 도시한다.
생산자로부터 소비자에게 다양한 형태의 3차원 영상 서비스가 제공될 수 있다. 예를 들어, 3차원 영상 서비스는 가상 현실 시스템, 3차원 UCC(User Created Contents) 또는 VOD(Video on Demand), 3차원 광고, 3차원 방송 또는 영상 등을 포함할 수 있다. 3차원 UCC는 사용자들의 커뮤니티를 통해 소비자가 직접 만들어 다른 소비자에게 전달될 수 있다. 방송사는 3차원 영상을 제작하여 공중파나 케이블을 통해 전달함으로써 시청자에게 3차원 방송을 제공할 수 있다. 3차원 영화는 영화사가 제작하여 배급사를 통해 3차원 DVD(Digital Versatile Disc) 또는 3차원 BD(Blu-ray Disc) 등을 통해 소비자에게 제공될 수 있다.
전술된 3차원 영상 서비스들은 전송 스트림(Transport Stream; TS), 프로그램 스트림(Program Stream; PS), ISO 기반의 미디어 파일 포맷(ISO based media file format) 등의 영상 포맷으로 제공될 수 있다.
3차원 영상 서비스 시스템(1500)은 생산자로부터 소비자에게 제공되는 3차원 영상 서비스의 전체적인 과정을 구현한다. 3차원 영상 서비스 시스템(1500)는 영상 획득부(1510), 전처리부(1512), 부호화부(1514), 통신부(1520), 복호화부(1530), 후처리부(1532) 및 3차원 재생부(1534)를 포함한다. 영상 획득부(1510), 전처리부(1512) 및 부호화부(1514)는 송신단에 포함되고, 복호화부(1530), 후처리 부(1532) 및 3차원 재생부(1534)는 수신단에 포함될 수 있다.
영상 획득부(1510)는 두 대 이상의 카메라를 이용하여 복수 개의 시점에서 촬영된 다시점 영상을 획득한다. 영상 획득부(1510)의 카메라로는, 컬러 영상을 획득하는 일반적인 카메라 외에도 서로 다른 시점 영상 간의 깊이 정보를 곧바로 획득할 수 있는 깊이 카메라(Depth Camera)도 이용될 수 있다.
전처리부(1512)는 영상 획득부(1510)를 통해 획득된 영상들을 전처리 과정을 통해 압축할 준비를 한다. 전처리 과정은 좌시점 영상 및 우시점 영상을 스테레오 영상 포맷 등의 3차원 영상 포맷으로 병합하는 과정을 수행한다. 또한, 비디오 압축을 수행하기 위해 필요한 사전 준비 과정이 수행될 수 있다. 예를 들어, 카메라 보정(Camera Calibration)을 통해 카메라 파라미터가 결정되거나, 저피로도 파라미터 등이 결정될 수 있다. 또한 좌시점 영상 및 우시점 영상 사이의 일치 여부가 측정될 수도 있다.
부호화부(1514)는 3차원 영상을 기존 2차원 영상 프레임에 배치하여 부호화하거나 기존 부호화기를 여러 대 이용함으로써 기존의 부호화 방법을 그대로 이용할 수 있다. 또한, 부호화부(1514)는 MPEG(Moving Picture Experts Group)에서 규정하는 MVC(Multiview Video Coding) 기법 또는 3차원 비디오 부호화 기법을 채택하는 새로운 3차원 부호화기를 이용하여 부호화할 수도 있다.
통신부(1520)는 압축된 영상 데이터를 인터넷 또는 방송을 통해 전송하거나, 패키지 미디어(Packaged media) 형태로 저장할 수 있다. 통신부(1520)에서 영상 데이터들이 전송되기 위해서는, 압축된 영상 데이터들이 해당 시스템에 맞는 데이터 포맷으로 변환되어야 한다.
예를 들어, MPEG-TS 시스템의 경우 기초 스트림(ES) 상태에서 PES(Packetized ES)로 변환된다. 멀티플렉싱(Multiplexing)도 변환이라 폭넓게 일컬어질 수 있다. PES 형태의 데이터는 패키지 미디어로 저장하기 위한 용도로는 프로그램 스트림 형태로 변환될 수 있으며, 전송을 위한 용도로는 전송 스트림 형태로 변환될 수 있다. 압축된 영상 데이터가 MPEG-4 시스템의 ISO 기반의 미디어 파일 포맷으로 변환될 경우, 기초 스트림 형태의 영상 데이터에 'moov' 박스를 포함하는 헤더가 부가된 데이터스트림이 생성되어 저장되거나 전송될 수 있다.
이외에도 영상 데이터의 압축 및 저장/전송 방법은, 여러 표준에서 규정된 방법을 따를 수 있다. 일 실시예에 따라 불일치 정보, 풀해상도 정보, 좌우 배치 정보, 구간 3차원 재생 정보, 카메라 정보, 저피로도 정보 등을 포함하는 3차원 영상 재생 정보는 3차원 영상 데이터와 함께, 전술된 다양한 데이터 포맷의 형태로 송신될 수 있다.
수신단은 소정 데이터 포맷으로 변환된 데이터들을 수신한 후, 복호화부(1530)가 인식할 수 있는 형태로 변환할 수 있다. 수신단이 2차원 영상을 위한 복호화기를 두 대 이상 사용하는 경우, 3차원 영상 재생 정보는 3차원 재생부(1534)로 곧바로 전달되어, 복호화부(1530)에 의해 복원된 3차원 영상이 3차원 재생될 수 있도록 사용될 수 있다.
후처리부(1532)는 복호화부(1530)에 의해 복호화된 영상을 해당 3차원 재생부(1534)가 재생할 수 있는 형태로 변환하는 과정을 수행한다. 예를 들어, 후처리 부(1532)는 3차원 영상 포맷을 좌시점 2차원 영상 및 우시점 2차원 영상으로 분리할 수 있다. 또한, 후처리부(1532)에 의해, 3차원 영상의 렌더링 뿐만 아니라, 카메라 정보 및 저피로도 정보를 이용한 피로도 감소 과정이 수행될 수 있다.
3차원 재생부(1534)는 3차원 영상 재생 정보를 이용하여 다시점 영상들을 3차원으로 재생한다. 3차원 재생부(1534)는 렌티큘러(lenticular) 방식, 배리어(barrier) 방식, 셔터 안경 방식, 편광 안경 방식 등의 3차원 재생 기법을 따를 수 있다.
따라서, 3차원 영상 서비스 시스템은, 일 실시예에 따른 3차원 영상 재생 정보들을 효과적으로 압축, 전송, 수신, 복원 및 활용할 수 있다.
도 15b 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 생성하는 3차원 영상 재생 정보 생성 장치의 블록도를 도시한다.
일 실시예에 따른 3차원 영상 재생 정보 생성 장치(1540)는 좌시점 및 우시점에 대한 스테레오 영상에 대한 파라미터를 생성할 수 있다. 일 실시예에 따른 3차원 영상 재생 정보 생성 장치(1540)는 두 대의 카메라(1542), 좌시점 영상 캡쳐 장치(1544), 우시점 영상 캡쳐 장치(1546), 3차원 영상 구성부(1548), 비디오 복호화부(1550), 3차원 영상 재생 정보 생성부(1560) 및 멀티플렉서(1570)를 포함한다.
두 대의 카메라(1542) 중 좌시점 카메라 및 우시점 카메라에 의해 촬영되어 좌시점 영상 캡쳐 장치(1544) 및 우시점 영상 캡쳐 장치(1546)가 각각 캡쳐한 좌시점 영상 시퀀스 및 우시점 영상 시퀀스가 생성된다.
좌시점 영상 시퀀스 및 우시점 영상 시퀀스는 3차원 영상 구성부(1548)에 의 해, 사이드 바이 사이드 포맷, 탑 앤 바텀 포맷 등의 3차원 영상 포맷으로 구성된다. 3차원 영상 구성부(1548)는 채택된 3차원 영상 포맷에 따라, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 구간 3차원 재생 정보 등의 재생 정보들을 출력하여 멀티플렉서(1570)로 전송할 수 있다.
이러한 3차원 영상 포맷은 비디오 복호화부(1550)에 의해 압축되고 기초 스트림 형태로 출력된다. 기초 스트림 형태의 압축 3차원 영상 데이터는, 멀티플렉서(1570)에 의해 전송 스트림, 프로그램 스트림 ISO 기반의 미디어 파일 포맷 등의 데이터 포맷으로 변환된다.
3차원 영상 재생 정보 생성부(1560)는, 좌시점 영상 캡쳐 장치(1544) 및 우시점 영상 캡쳐 장치(1546)에서 획득된 좌시점 영상 및 우시점 영상의 3차원 재생을 위해 필요한 각종 3차원 영상 재생 정보를 생성한다. 이때 생성될 수 있는 3차원 영상 재생 정보는 카메라 관련 파라미터, 저피로도 관련 파라미터, 불일치 정보 등을 포함한다.
3차원 영상 구성부(1548)에 의해 출력된 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 구간 3차원 재생 정보 등의 재생 정보들 및 3차원 영상 재생 정보 생성부(1560)에 의해 생성된 카메라 관련 파라미터, 저피로도 관련 파라미터, 불일치 정보 등의 3차원 영상 재생 정보는 멀티플렉서(1570)의 3차원 영상 재생 정보 삽입부(1575)로 입력된다.
3차원 영상 재생 정보 삽입부(1575)는 멀티플렉서(1570)에서 생성되는 3차원 영상 데이터 포맷에 3차원 영상 재생 정보를 삽입할 수 있다. 따라서, 멀티플렉서(1570)에 의해 생성되는 3차원 영상 데이터 포맷에는 압축된 3차원 영상 데이터 뿐만 아니라 3차원 영상 재생 정보가 수록될 수 있다.
일 실시예에 따른 3차원 영상 재생 정보 생성 장치(1540)에서 생성된 3차원 영상 재생 정보는 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)에서 이용될 수 있다. 또한, 3차원 영상 재생 정보 생성 장치(1540)의 멀티플렉서(1570)는 3차원 영상 데이터스트림 생성 장치(100)에 상응할 수 있다.
이 경우, 3차원 영상 재생 정보 삽입부(1575)는 3차원 영상 재생 정보를 섹션 중 어느 위치에 삽입될지 여부를 결정한다. 따라서, 3차원 영상 재생 정보 삽입부(1575)는, 섹션 생성부(130)가 3차원 영상 재생 정보를 소정 위치에 삽입하도록 제어할 수 있다.
도 15c 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 이용하는 3차원 영상 재생 장치의 블록도를 도시한다.
일 실시예에 따른 3차원 영상 재생 장치(1580)는 좌시점 및 우시점에 대한 스테레오 영상을 재생할 수 있다. 일 실시예에 따른 3차원 영상 재생 장치(1580)는 디멀티플렉셔(1582), 비디오 복호화부(1586), 3차원 영상 분리부(1588), 3차원 영상 후처리부(1590) 및 3차원 영상 재생부(1595)를 포함한다.
3차원 영상 재생 장치(1580)는 전송 스트림, 프로그램 스트림 또는 ISO 기반의 미디어 파일 포맷의 3차원 영상 데이터스트림을 수신한다. 디멀티플렉서(1582)는 수신된 데이터스트림을 역다중화하여, 3차원 영상에 대한 기초 스트림과 3차원 영상 재생 정보를 분류하여 추출할 수 있다.
추출된 3차원 영상에 대한 기초 스트림은 비디오 복호화부(1586)을 통해 3차원 영상 데이터가 복원된다. 3차원 영상 데이터는 사이드 바이 사이드 포맷과 같은 3차원 영상 포맷 뿐만 아니라 깊이 데이터가 활용되는 포맷 또는 둘 이상의 기초 스트림이 이용되는 포맷일 수 있다.
디멀티플렉서(1582) 중 3차원 영상 재생 정보 추출부(1584)에 의해 추출된 3차원 영상 재생 정보 중, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 구간 3차원 재생 정보, 카메라 관련 파라미터, 저피로도 관련 파라미터, 불일치 정보 등이 추출된다.
3차원 영상 재생 정보 중 차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 구간 3차원 재생 정보 등은 3차원 영상 분리부(1588)로 출력되고, 카메라 관련 파라미터, 저피로도 관련 파라미터, 불일치 정보 등은 3차원 영상 후처리부(1590)로 출력될 수 있다.
3차원 영상 분리부(1588)는 3차원 영상 포맷 정보 추출부(1584)에 의해 추출된 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 구간 3차원 재생 정보 등을 이용하여, 3차원 영상을 좌시점 영상 및 우시점 영상으로 분리한다.3차원 영상 후처리부(1590)는 카메라 관련 정보, 저피로도 관련 정보 및 불일치 정보를 이용하여, 시청자가 입체 피로감을 적게 느낄 수 있도록 3차원 영상을 보정할 수 있다.
3차원 영상 후처리부(1590)에 의해 처리된 3차원 출력 비디오는 3차원 영상 재생부(1595)에 의해 재생된다.
일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)는 일 실시예에 따른 3차원 영상 재생 장치(1580)에 대응될 수 있다. 즉, 전송 스트림 역다중화부(210), 전송 스트림 패킷 역패킷화부(220), 기초 스트림 패킷 역패킷화부(230) 및 3차원 영상 재생 정보 추출부(240)가 디멀티플렉서(1582) 및 3차원 영상 재생 정보 추출부(1584)에 대응된다. 또한, 3차원 영상 복원부(250)는 비디오 복호화부(1586) 및 3차원 영상 분리부(1588)에 대응될 수 있다. 3차원 영상 재생부(260)는 3차원 영상 후처리부(1590) 및 3차원 영상 재생부(1595)에 대응될 수 있다.
이하 도 16 내지 도 21을 참조하여, 3차원 영상 재생 정보를 섹션 중 프로그램 안내 정보 섹션에 삽입된 경우에 관해 상술된다. 특히, 3차원 영상 재생 정보는 섹션의 서술자 영역에 서술자 형식으로 삽입될 수 있다.
프로그램 안내 정보 섹션으로는, EPG(Electric Program Guide) 정보가 수록되는 프로그램 안내 정보 섹션에 3차원 영상 재생 정보를 삽입할 수 있다. EPG 정보는 방송편성표를 의미하며 셋탑박스나 PVR(Personal Video Recoder)에서 사용자에게 방송편성표를 보여주는 기능을 제공한다.
EPG 정보가 수록된 프로그램 안내 정보 섹션으로는, EIT 섹션이 이용될 수 있다. EIT는 방송편성표의 데이터를 전달하는 테이블로서, 개별 방송의 시간적인 순서와 세부내용을 제공한다. 데이터들은 섹션 안에 담겨져 있다. 하나의 섹션으로 구성되는 EIT도 있지만 대개 EIT는 데이터가 많으므로 이는 최대 8개의 섹션으로 나누어져 패킷으로 보내진다. 따라서 EPG 데이터를 구성하기 위해 복수의 섹션들을 테이블로 조립하는 것이 필요하다. 복수의 섹션들을 조립하여 만들어진 테이블 안에는 개별 이벤트들의 정보가 담겨져 있다. 이것을 파싱하고 사용자가 쉽게 볼 수 있는 테이블 형태로 재구성하여 OSD(On Screen Display) 또는 UI(User Interface)로 내보내면 EPG가 완성되는 것이다.
디지털방송 프로그램은 위성, 케이블 및 지상으로 전달될 수 있다. 한 종류의 프로그램 서비스가 다수의 오디오와 비디오 및 데이터스트림으로 제작되고, 다수의 프로그램 서비스는 다중화되어 위성의 경우 한 개의 중계기를 통해 전송되거나 케이블과 지상방송의 경우 주파수 채널 대역을 통하여 전달된다. 이와 같이 전달되어지는 스트림들 중 필요한 스트림의 전달위치를 파악하여 해당 스트림을 수신할 필요가 있는데, 이러한 방법을 제공하는 것이 서비스정보이다.
유럽의 디지털 방송시스템 규격인 DVB에서는 MPEG-2를 사용한 디지털방송에 대한 서비스 정보전송을 규정하고 있다. MPEG-2 시스템계층에서는 프로그램 지정정보 PSI(Program Specific Information)의 서비스정보(Service Information)를 규정하고 있다. 프로그램 지정정보는 수신기가 다중화된 스트림내에서 특정 스트림을 역다중화하고 이를 디코딩할 수 있는 정보가 전달된다. 프로그램 지정정보는 MPEG-2 규격에서 정의하고 있는 PAT(Program Association Table), CAT(Conditional Access Table), PMT(Program Map Table) 및 NIT(Newtwork Information Table)가 있다.
PAT(Program Association Table)는 송신단에서 제공하는 각종 서비스에 대한 해당 PMT의 PID 정보와 다음에 설명할 NIT의 PID 정보를 전달하게 된다. 그리고 CAT(Conditional Access Table)는 송신단에서 사용하고 있는 유료방송 시스템에 대한 정보를 전송하며, 이러한 내용은 유료방송 시스템에 따라 전달되어진 내용과 다르게 정의되고 사용된다. 또한 PMT(Program Map Table)는 각 서비스의 종류와 함께 서비스가 전달되어지는 전송 트랜스포트 패킷의 PID 정보와 PCR 정보가 전달되는 PID 정보를 전달한다. NIT(NetWork Information Table)는 MPEG-2와 호환이 되도록 DVB에서 규정하고 있으며 실제 전송망의 정보가 전달된다.
이와 같은 프로그램 지정정보(PSI)에 추가하여 시청자에게 제공되는 서비스와 개별 프로그램에 대한 안내정보를 제공하고 있으며, 이것은 전송되는 해당 전송망에 대한 정보뿐만 아니라 다른 전송망에 대한 정보까지도 포함하게 된다. 이러한 추가정보 중 하나가 EIT이다.
미국의 디지털 방송시스템 규격인 ATSC 방식의 프로그램 가이드 및 서비스 정보에서는, PSIP(Program and System Information Protocol)라는 테이블들의 조합으로 프로그램 안내와 채널 전송정보를 전송한다.
전술한 바와 같이 유럽 DVB 방식에서, SI(System Information)이라 부르는 서비스정보내에 NIT 테이블을 이용하였고, EIT, RST(Running Status Table), SDT(Stuffing Table), TDT(Time and Date Table)를 사용하여 프로그램 안내(Electronic Program Guide) 정보가 전송되는 것과 유사하다.
미국의 ATSC 방식에서는, Base-PID를 갖는 기초 트랜스포트 패킷에 STT (System Time Table), RRT(Rating Region Table), MGT(Master Guide Table), VCT(Virtual Channel Table)의 여러 종류의 테이블들이 전송되며, MGT에서 정의하 는 PID를 갖는 트랜스포트 패킷에 EIT(Event Information Table)가 전송되어지며, MGT에서 정의하는 앞에서와 다른 PID를 갖는 세 번째 종류의 트랜스포트 패킷에 ETT(Extended Text Table)를 전송한다.
DVB 규격에서는 프로그램을 분류하기 위한 MPEG-2의 고유규격인 PSI와 지상, 케이블, 위성 등에 전달되는 네트워크 정보와 프로그램 안내정보를 모두 포함하는 DVB-SI(Service Information) 규격을 정하여 사용하고 있다. 그러나 ATSC 규격에서는 해당 전송채널로 전달되는 정보에 대한 분류와 프로그램 안내와 같은 서비스 정보를 위한 PSIP(Program and System Information Protocol)를 정하여 사용하고 있다. ATSC 규격은 MPEG-2 시스템 규격의 일부인 PSI(Program Specific Information) 규격이 없이도 채널의 분류가 가능하며, MPEG-2에 호환되도록 필요는 없더라도 PSI를 전송하도록 하고 있다.
유럽의 DVB 방식 및 미국의 ATSC 방식 간의 차이점이 있지만, 양 방식 모두 EIT를 사용하며, EIT는 개별 프로그램 정보를 시청자에게 제공하기 위해 주기적으로 송수신된다. 따라서, 3차원 영상 재생 정보가 EIT에 삽입됨으로써 시청자의 송신단에 주기적으로 제공됨으로써 3차원 영상의 원활한 재생이 도모될 수 있다.
섹션 형식의 데이터 테이블들은 각각 고유한 기술 내용과 서술자를 이용하여 다양한 서비스 관련 정보를 실어 보내는데, 예를 들어, 시청 가능 연령을 표시하거나 자막 정보, 타임 쉬프트 정보 등이 전송될 수 있다. EIT는 전송되는 프로그램 정보를 기술하는 테이블로서, 수신 장치는 EIT의 정보들을 이용하여 EPG 등의 전자프로그램 안내 서비스를 구현할 수 있다.
EIT를 구체적으로 살펴보면, EIT에는 일정 시각의 프로그램의 제목과 시간 시작 정보가 수록된다. 이벤트마다 식별자, 시작 시간 프로그램 재생 시간 등이 설정된다. 또한 각각의 이벤트마다 서술자 영역이 할당될 수 있다.
도 16 은 본 발명의 일 실시예에 따라 3차원 영상 재생 서술자가 삽입될 서술자 영역 태그를 도시한다.
서술자 영역은 프로그램과 프로그램 요소를 규정하기 위해 사용되며, 모든 서술자들은 서술자 태그(descriptor_tag) 및 서술자 길이(descriptor_length) 정보로 시작된다. 서술자 태그에 따라 서술자 타입이 식별되며, 일부 서술자 태그는 사용자가 이용할 수 있는 유저 프라이빗 영역으로 할당되어 있다. 서술자 영역은 프로그램 안내 정보 섹션 내에 할당될 수 있으며, 또한 별개의 서술자 섹션으로 할당되어 있을 수 있다.
3차원 영상 데이터스트림 생성 장치(100) 및 3차원 영상 데이터스트림 수신 장치(200)에서는, 프로그램 안내 정보 섹션의 일부 서술자 영역이 3차원 재생 서술자를 위한 공간으로 활용될 수 있다.
또한, 3차원 재생 서술자는, 3차원 영상 재생 정보를 5개로 분할하여, 시스템 사양 및 사용 환경에 따라 각각의 3차원 재생 서술자 포맷이 수정되거나 분할되면서 이용될 수 있다. 3차원 재생 서술자의 5개의 서술자는, 3차원 시작 정보를 위한 3차원 정보 시작 서술자, 3차원 카메라 정보를 위한 3차원 카메라 서술자, 저피로도 정보를 위한 저피로도 서술자, 공간적 구간 3차원 재생 정보 및 시간적 구간 3차원 재생 정보를 위한 구간 3차원 재생 서술자 및 좌우 불일치 정보를 위한 좌우 불일치 서술자이다.
총 256개의 서술자 태그가 존재하는데 이 중 서술자 태그 64 내지 255의 서술자 영역은 사용자가 임의로 이용할 수 있다. 따라서, 일부 사용자 프라이빗 서술자 영역에 3차원 영상 재생 정보를 서술자 형식으로 기재할 수 있다. 서술자 포맷은 시스템에 따라 수정되거나 분리될 수 있다. 향후 사용할 수 있도록 3차원 영상 재생을 위한 부가 정보를 추가할 수 있는 여유 서술자 영역이 확보해놓을 수 있다.
예를 들어, 3차원 영상 재생 정보 삽입부(140)는 섹션의 프라이빗 유저 서술자 중 251번 서술자 태그에 3차원 카메라 서술자 '3d_camera_descriptor'를 할당하고, 252번 서술자 태그에 저피로도 서술자 '3d_safety_descriptor'를, 253번 서술자 태그에 구간 3차원 재생 서술자 'local_3d_descriptor'를, 254번 서술자 태그에 좌우 불일치 서술자 'imbalance_descriptor'를, 255번 서술자 태그에 3차원 정보 시작 서술자 '3d_info_descriptor'를 할당할 수 있다.
이하 도 17 내지 21을 참조하여, 3차원 영상 데이터스트림 생성 장치(100)의 일 실시예에 따라 프로그램 안내 섹션의 서술자에 삽입된 3차원 영상 재생 정보가 상술된다. 마찬가지로, 3차원 영상 데이터스트림 수신 장치(200)는 서술자로부터 3차원 영상 재생 정보를 추출할 수 있다.
각각의 이벤트마다 서술자 영역을 이용함으로써, 2차원 프로그램 및 3차원 프로그램이 공존하는 경우 이벤트마다 2차원 영상인 3차원 영상인지에 관한 정보가 EIT에 수록될 수 있다.
또한, 각각의 프로그램마다 3차원 영생 재생을 위한 부가 정보가 변동될 수 있다. 예를 들어 모든 프로그램이 3차원 카메라 정보, 저피로도 정보 또는 좌우 불일치 정보가 모두 필요한 것은 아니다. 이러한 부가 정보를 지원하는 프로그램이 있을 수도, 없을 수도 있다. 따라서, 이런 모든 경우를 고려하기 위해서는 이벤트마다 지원되는 서술자가 정의되는 것이 바람직하다.
도 17 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 3차원 정보 시작 서술자를 도시한다.
3차원 정보 시작 서술자(3d_info_descriptor)(1800)는, 서술자 태그(1710), 서술자 길이 정보(1720) 및 3차원 영상 재생 정보 중 기초 정보(1730)를 포함한다. 기초 정보(1730)로는 3차원 시작 정보(threed_info_start_code), 3차원 영상 포맷 정보(3d_format_type), 좌우 배치 정보(LR_indicator) 및 풀해상도 정보(Full_Res_indicator)를 포함한다.
3차원 정보 시작 서술자(1700)가 최우선적으로 파싱되거나 판독되는 부분에 배치됨으로써, 복호화단은 해당 섹션에 해당 프로그램 내에 상기 3차원 영상 데이터스트림을 포함한다는 것을 최우선적으로 판단할 수 있다.
도 18 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 3차원 카메라 서술자를 도시한다.
3차원 카메라 서술자(3d_camera_descriptor)(1800)는, 서술자 태그(1810), 서술자 길이 정보(1820) 및 도 8를 참조하여 전술된 3차원 카메라 정보(1830)를 포함한다.
도 19 는 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 저피로도 서술 자를 도시한다.
저피로도 서술자(3d_safety_descriptor)(1900)는, 서술자 태그(1910), 서술자 길이 정보(1920) 및 도 9를 참조하여 전술된 저피로도 정보(1930)를 포함한다.
도 20 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 구간 3차원 서술자를 도시한다.
구간 3차원 서술자(local_3d_descriptor)(2000)는, 서술자 태그(2010), 서술자 길이 정보(2020) 및 도 6를 참조하여 전술된 공간적 구간 3차원 재생 정보 및 시간적 구간 3차원 재생 정보를 포함하는 구간 3차원 재생 정보(2030)를 포함한다.
도 21 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 좌우 불일치 서술자를 도시한다.
좌우 불일치 서술자(imbalance_descriptor)(2100)는, 서술자 태그(2110), 서술자 길이 정보(2120) 및 도 12를 참조하여 전술된 좌우 불일치 정보(2130)를 포함한다.
도 22 는 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 전송 방법의 흐름도를 도시한다.
단계 2210에서, 3차원 영상의 부호화된 비트열을 포함하는 기초 스트림이 생성된다. 3차원 영상은 부분적으로 3차원 영상 또는 2차원 영상이 섞여 있는 형태일 수 있다. 3차원 영상 포맷은 한 프레임에 좌시점 영상 및 우시점 영상이 모든 포함되어 있는 포맷도 있고, 서로 다른 시점 영상이 서로 다른 프레임으로 배치된 포맷일 수 있다. 또한, 서로 다른 시점 영상은 각각 서로 다른 기초 스트림으로 구성될 수 있다.
단계 2220에서, 기초 스트림이 패킷화되어, 적어도 하나의 기초 스트림 패킷이 생성된다.
단계 2230에서, 3차원 영상의 프로그램 및 서비스 관련 정보를 다중화되어 적어도 하나의 섹션이 생성된다. 섹션은, 프로그램 통합 테이블 섹션, 프로그램 맵 테이블 섹션, 조건부 억세스 테이블 섹션, 이벤트 정보 테이블 섹션, 사용자 프라이빗 섹션 등을 포함할 수 있다.
단계 2240에서, 적어도 하나의 섹션 중 프로그램 안내 정보 섹션에 상기 3차원 영상의 재생에 필요한 3차원 영상 재생 정보가 삽입된다. 프로그램 안내 정보 섹션 중 이벤트 정보 테이블 섹션의 서술자 영역에 3차원 영상 재생 정보가 삽입될 수 있다.
단계 2250에서, 적어도 하나의 섹션 및 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷이 생성된다. 전송 스트림 패킷은 188 바이트의 패킷이며 4바이트의 헤더 영역과 184바이트의 페이로드 영역으로 구분될 수 있다.
즉, 프로그램 안내 정보 섹션에 3차원 영상의 재생에 필요한 3차원 영상 재생 정보가 삽입될 수 있다. 3차원 영상 재생 정보는 3차원 영상 포맷에 관한 정보, 좌시점 영상 및 우시점 영상의 배치 순서를 나타내는 정보, 좌시점 영상 및 우시점 영상이 원래 해상도를 유지하면 3차원 영상으로 구성되는지 여부를 나타내는 정보, 공간적으로 구간 3차원 재생이 필요한 영상에 관한 정보, 시간적으로 구간 3차원 재생이 필요한 영상에 관한 정보, 3차원 카메라 시스템에 대한 정보, 저피로도 작업을 위해 필요한 정보, 좌시점 영상 및 우시점 영상의 불일치 모델에 관한 정보 등을 포함할 수 있다.
또한, 3차원 영상 재생 정보, 즉 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 구간 3차원 영상 재생 정보, 3차원 카메라 정보, 저피로도 정보 및 좌우 불일치 정보 등은 서술자 형식에 따라 섹션의서술자 영역에 삽입될 수 있다.
단계 3250에서, 생성된 전송 스트림 패킷이 다중화되어 전송 스트림이 생성된다.
일 실시예에서는 전송 스트림 기반의 시스템을 예로 들어 기초 스트림을 패킷화하여 전송 스트림으로 다중화되지만, 프로그램 스트림 기반의 시스템이라면 기초 스트림이 패킷화되어 프로그램 스트림으로 다중화될 수 있다.
소정 영상 통신 규격에 따르는 전송 스트림 시스템에서, 섹션 내에 이미 할당되어 있는 여유 공간을 이용하여 3차원 영상 재생 정보가 삽입될 수 있으므로, 기존 영상 통신 규격에 따르는 전송 스트림 시스템에서도 시스템의 큰 변경 없이 일 실시예에 따른 3차원 영상 데이터스트림 생성 방법이 적용될 수 있다. 또한, 추가적인 전송 채널, 정보 저장 공간의 할당 없이도 3차원 영상 재생 정보가 제공될 수 있다.
도 23 은 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 방법의 흐름도를 도시한다.
일 실시예에서는 전송 스트림 기반의 시스템을 예로 들어, 전송 스트림을 수 신하여 기초 스트림으로 역다중화하고 있지만, 프로그램 스트림 기반의 시스템이라면 프로그램 스트림을 수신하여 기초 스트림으로 역다중화될 수 있다.
단계 2310에서, 수신된 전송 스트림이 역다중화되어 적어도 하나의 전송 스트림 패킷이 분리된다. 전송 스트림이 188바이트 크기의 전송 스트림 패킷으로 역다중화된다.
단계 2320에서, 적어도 하나의 전송 스트림 패킷이 역패킷화되어 적어도 하나의 기초 스트림 패킷 및 적어도 하나의 섹션이 복원된다. 기초 스트림 패킷에는 3차원 영상 데이터가 분할되어 저장되어 있고, 섹션에는 3차원 영상의 프로그램 및 서비스 관련 정보가 분할되어 저장되어 있다.
단계 2330에서, 적어도 하나의 기초 스트림 패킷을 역패킷화하여 기초 스트림이 복원된다. 기초 스트림에는 3차원 영상 데이터의 부호화된 데이터 등 비디오 데이터 또는 오디오 데이터가 삽입되어 있다.
단계 2340에서, 적어도 하나의 섹션 중 프로그램 안내 정보 섹션으로부터 3차원 영상의 재생에 필요한 3차원 영상 재생 정보가 추출될 수 있다.
프로그램 안내 정보 섹션 중 이벤트 정보 테이블 섹션으로부터 3차원 영상 재생 정보가 추출될 수 있다. 특히 이벤트 정보 테이블 섹션의 서술자 영역에 서술자 형식으로 삽입되어 있는 3차원 영상 재생 정보가 추출될 수 있다.
단계 2350에서, 적어도 하나의 기초 스트림 패킷이 역패킷화되어 기초 스트림이 복원된다. 기초 스트림의 데이터가 복호화하여 3차원 영상이 복원된다. 복원된 3차원 영상은, 앞서 추출된 3차원 영상 재생 정보를 이용하여 3차원 재생 방식 으로 재생될 수 있다.
일 실시예에 따른 3차원 영상 데이터스트림 수신 방법에 의해, 3차원 재생 시스템에서 인식 가능한 3차원 영상 재생 정보가 추출되므로, 3차원 영상의 입체감이 보장되면서도, 3차원 영상의 시청에 의한 피로감이 감소된 3차원 컨텐츠 방송 서비스가 제공될 수 있다. 또한 기존의 2차원 영상 시스템에서도 사용되는 기존의 데이터 구조를 벗어나지 않으므로, 기존에 사용되는 시스템과의 호환성도 유지될 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치의 블록도를 도시한다.
도 2 는 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치의 블록도를 도시한다.
도 3 은 본 발명의 일 실시예에 따른 3차원 영상 포맷 정보를 도시한다.
도 4 는 본 발명의 일 실시예에 따른 좌우 배치 정보를 도시한다.
도 5 는 본 발명의 일 실시예에 따른 시간적 구간 3차원 재생 정보의 일례를 도시한다.
도 6 은 본 발명의 일 실시예에 따른 시간적 구간 3차원 재생 정보의 다른 예를 도시한다.
도 7 은 본 발명의 일 실시예에 따른 공간적 구간 3차원 재생 정보를 도시한다.
도 8 은 본 발명의 일 실시예에 따른 3차원 카메라 정보를 도시한다.
도 9 는 본 발명의 일 실시예에 따른 저피로도 정보를 도시한다.
도 10 은 본 발명의 일 실시예에 따른 저피로도 범위를 도시한다.
도 11 은 본 발명의 일 실시예에 따른 좌우 불일치 정보의 일례를 도시한다.
도 12 는 본 발명의 일 실시예에 따른 좌우 불일치 정보의 다른 예를 도시한다.
도 13 은 본 발명의 일 실시예에 따른 좌우 불일치 정보의 또 다른 예를 도 시한다.
도 14 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 도시한다.
도 15a 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 이용하여 3차원 영상 서비스를 제공하기 위한 3차원 영상 서비스 시스템의 블록도를 도시한다.
도 15b 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 생성하는 3차원 영상 전송 장치의 블록도를 도시한다.
도 15c 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 이용하는 3차원 영상 재생 장치의 블록도를 도시한다.
도 16 은 본 발명의 일 실시예에 따라 3차원 영상 재생 서술자가 삽입될 서술자 영역 태그를 도시한다.
도 17 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 3차원 정보 시작 서술자를 도시한다.
도 18 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 3차원 카메라 서술자를 도시한다.
도 19 는 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 저피로도 서술자를 도시한다.
도 20 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 구간 3차원 서술자를 도시한다.
도 21 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 좌우 불일치 서 술자를 도시한다.
도 22 는 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 전송 방법의 흐름도를 도시한다.
도 23 은 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 방법의 흐름도를 도시한다.

Claims (25)

  1. 3차원 영상 데이터의 부호화된 비트열을 포함하는 기초 스트림을 생성하는 단계;
    상기 기초 스트림을 패킷화하여 적어도 하나의 기초 스트림 패킷을 생성하는 단계;
    상기 3차원 영상 데이터의 서비스 관련 정보를 포함하는 적어도 하나의 섹션을 생성하는 단계;
    상기 적어도 하나의 섹션 중 프로그램 안내 정보 섹션에 상기 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 삽입하는 단계;
    상기 적어도 하나의 섹션 및 상기 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷을 생성하는 단계; 및
    상기 생성된 전송 스트림 패킷을 다중화하여 전송 스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
  2. 제 1 항에 있어서, 상기 3차원 영상 재생 정보 삽입 단계는,
    상기 3차원 영상 재생 정보를 포함하는 적어도 하나의 3차원 영상 재생 서술자(descriptor)를 생성하는 단계; 및
    상기 프로그램 안내 정보 섹션 중 이벤트 정보 테이블 섹션의 서술자 영역에 상기 3차원 영상 재생 서술자를 삽입하는 단계를 포함하는 것을 특징으로 하는 3차 원 영상 데이터스트림 생성 방법.
  3. 제 2 항에 있어서,
    상기 3차원 영상 재생 서술자는, 해당 프로그램 내에 상기 3차원 영상 데이터스트림을 포함한다는 것을 나타내는 3차원 정보 시작 서술자를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
  4. 제 3 항에 있어서,
    상기 3차원 영상 재생 서술자는, 상기 전체 영상 데이터 중 3차원으로 재생되는 시간적 구간 또는 공간적 구간을 나타내는 구간 3차원 재생 서술자, 상기 3차원 영상을 획득한 카메라에 관한 3차원 카메라 서술자, 상기 3차원 영상 재생에 의해 발생하는 시청 위화감을 완화하기 위한 저피로도 서술자 및 상기 좌시점 영상 및 상기 우시점 영상의 불일치 상태를 나타내는 좌우 불일치 서술자 중 적어도 하나를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
  5. 제 3 항에 있어서,
    상기 3차원 시작 정보 서술자는, 상기 3차원 영상의 원활한 재생을 위한 기초 정보로서, 상기 3차원 영상의 좌시점 영상 및 우시점 영상의 구성 방식을 나타내는 3차원 영상 포맷 정보, 상기 좌시점 영상 및 상기 우시점 영상의 배치 순서를 나타내는 좌우 배치 정보, 상기 3차원 영상을 구성하는 상기 좌시점 영상 및 상기 우시점 영상의 해상도를 나타내는 풀해상도 정보를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
  6. 제 5 항에 있어서,
    상기 3차원 영상 재생 서술자 중, 상기 구간 3차원 재생 서술자, 상기 3차원 카메라 서술자, 상기 저피로도 서술자 및 상기 좌우 불일치 서술자는, 상기 기초 정보 외에 상기 3차원 영상의 원활한 재생을 위한 부가 정보인 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
  7. 제 6 항에 있어서,
    상기 좌우 불일치 서술자는, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 오프셋, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 선형 함수, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 룩업 테이블(Look-up table) 중 하나를 이용하여 표현되는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
  8. 제 6 항에 있어서,
    상기 부가 서술자는 각각의 부가 서술자의 정의 여부를 나타내는 지시자(indicator)를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
  9. 제 1 항에 있어서, 상기 3차원 영상 데이터스트림 생성 방법은,
    상기 전송 스트림을 전송하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
  10. 제 1 항에 있어서, 상기 3차원 영상 데이터스트림 생성 방법은,
    상기 전송 스트림을 저장하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
  11. 수신된 전송 스트림을 역다중화하여 적어도 하나의 전송 스트림 패킷을 분리하는 단계;
    상기 적어도 하나의 전송 스트림 패킷을 역패킷화하여, 3차원 영상 데이터를 포함하는 적어도 하나의 기초 스트림 패킷 및 상기 3차원 영상 데이터의 서비스 관련 정보를 포함하는 적어도 하나의 섹션을 복원하는 단계;
    상기 적어도 하나의 기초 스트림 패킷을 역패킷화하여 기초 스트림을 복원하는 단계;
    상기 적어도 하나의 섹션 중 프로그램 안내 정보 섹션으로부터 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 추출하는 단계; 및
    상기 기초 스트림의 데이터를 복호화하여 상기 3차원 영상 데이터를 복원하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
  12. 제 11 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,
    상기 프로그램 안내 정보 섹션 중 이벤트 정보 테이블 섹션의 서술자 영역으로부터 상기 3차원 영상 재생 서술자를 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
  13. 제 12 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,
    상기 3차원 영상 재생 서술자로부터 상기 3차원 영상 재생 서술자가 시작함을 알리는 3차원 정보 시작 서술자를 추출하고, 상기 3차원 정보 시작 서술자에 기초하여 상기 3차원 영상 재생 서술자를 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
  14. 제 12 항에 있어서,
    상기 3차원 영상 재생 서술자는, 상기 전체 영상 데이터 중 3차원으로 재생되는 시간적 구간 또는 공간적 구간을 나타내는 구간 3차원 재생 서술자, 상기 3차원 영상을 획득한 카메라에 관한 3차원 카메라 서술자, 상기 3차원 영상 재생에 의해 발생하는 시청 위화감을 완화하기 위한 저피로도 서술자 및 상기 좌시점 영상 및 상기 우시점 영상의 불일치 상태를 나타내는 좌우 불일치 서술자 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
  15. 제 14 항에 있어서,
    상기 3차원 영상 재생 서술자 중, 상기 3차원 영상의 좌시점 영상 및 우시점 영상의 구성 방식을 나타내는 3차원 영상 포맷 정보, 상기 좌시점 영상 및 상기 우시점 영상의 배치 순서를 나타내는 좌우 배치 정보, 상기 3차원 영상을 구성하는 상기 좌시점 영상 및 상기 우시점 영상의 해상도를 나타내는 풀해상도 정보는, 상기 3차원 영상의 원활한 재생을 위한 기초 정보로서 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
  16. 제 15 항에 있어서,
    상기 3차원 영상 재생 서술자 중, 상기 구간 3차원 재생 서술자, 상기 3차원 영상을 획득한 카메라에 관한 3차원 카메라 서술자, 상기 저피로도 서술자 및 상기 좌우 불일치 서술자는 상기 기초 정보 이외에 상기 3차원 영상의 원활한 재생을 위한 부가 정보로서 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
  17. 제 14 항에 있어서,
    상기 좌우 불일치 서술자는, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 오프셋, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 선형 함수, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 룩업 테이블 중 하나를 이용하여 표현되는 것을 특징으로 하는 3차원 영상 데이터스트림 수 신 방법.
  18. 제 16 항에 있어서,
    상기 부가 서술자는, 상기 부가 서술자가 정의되어 있는지 여부를 나타내는 지시자를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
  19. 제 11 항에 있어서, 상기 3차원 영상 데이터스트림 수신 방법은,
    상기 복원된 3차원 영상을 상기 3차원 영상 재생 정보를 이용하여 재생하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
  20. 3차원 영상 데이터의 부호화된 비트열을 포함하는 기초 스트림을 기초 스트림 생성부;
    상기 기초 스트림을 패킷화하여 적어도 하나의 기초 스트림 패킷을 생성하는 기초 스트림 패킷 생성부;
    상기 3차원 영상 데이터의 서비스 관련 정보를 기술하는 적어도 하나의 섹션을 생성하는 섹션 생성부;
    상기 적어도 하나의 섹션 중 프로그램 안내 정보 섹션에 상기 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 삽입하는 3차원 영상 재생 정보 삽입부;
    상기 적어도 하나의 섹션 및 상기 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷을 생성하는 전송 스트림 패킷 생성부; 및
    상기 생성된 전송 스트림 패킷을 다중화하여 전송 스트림을 생성하는 전송 스트림 생성부를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 장치.
  21. 제 20 항에 있어서, 상기 3차원 영상 데이터스트림 생성 장치는,
    상기 전송 스트림을 전송하는 전송 스트림 전송부를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 장치.
  22. 수신된 전송 스트림을 역다중화하여 적어도 하나의 전송 스트림 패킷을 분리하는 전송 스트림 역다중화부;
    상기 적어도 하나의 전송 스트림 패킷을 역패킷화하여, 3차원 영상 데이터를 포함하는 적어도 하나의 기초 스트림 패킷 및 상기 3차원 영상 데이터의 서비스 관련 정보를 포함하는 적어도 하나의 섹션을 복원하는 전송 스트림 패킷 역패킷화부;
    상기 적어도 하나의 기초 스트림 패킷을 역패킷화하여 기초 스트림을 복원하는 기초 스트림 패킷 역패킷화부;
    상기 적어도 하나의 섹션 중 프로그램 안내 정보 섹션으로부터 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 추출하는 3차원 영상 재생 정보 추출부; 및
    상기 기초 스트림의 데이터를 복호화하여 3차원 영상 데이터를 복원하는 3차원 영상 복원부를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 장치.
  23. 제 22 항에 있어서, 상기 3차원 영상 데이터스트림 수신 장치는,
    상기 복원된 3차원 영상을 상기 3차원 영상 재생 정보를 이용하여 재생하는 3차원 영상 재생부를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 장치.
  24. 제 1 항 내지 제 10 항 중 어느 한 항의 3차원 영상 데이터스트림 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  25. 제 11 항 내지 제 19 항 중 어느 한 항의 3차원 영상 데이터스트림 수신 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020090068412A 2009-07-27 2009-07-27 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치 KR20110011000A (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020090068412A KR20110011000A (ko) 2009-07-27 2009-07-27 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치
PCT/KR2010/004941 WO2011013995A2 (en) 2009-07-27 2010-07-27 Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
BR112012001200A BR112012001200A2 (pt) 2009-07-27 2010-07-27 método para receber um fluxo de dados de imagem tridimensional (3d), método para gerar um fluxo de dados de imagem tridimensional (3d), aparelho para receber um fluxo de dados de imagem tridimensional (3d), aparelho para gerar um fluxo de dados de imagem tridimensional (3d), e meio de gravação legível por computador
US12/844,256 US9392256B2 (en) 2009-07-27 2010-07-27 Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
JP2012522758A JP2013500673A (ja) 2009-07-27 2010-07-27 ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置
MX2011013036A MX2011013036A (es) 2009-07-27 2010-07-27 Metodo y aparato para generar flujo de datos de imagenes tridimensionales que incluye informacion adicional para reproducir imagenes tridimensionales, y metodo y aparato para recibir el flujo de datos de imagenes tridimensionales.
EP10804708.5A EP2460363A4 (en) 2009-07-27 2010-07-27 METHOD AND DEVICE FOR GENERATING A THREE-DIMENSIONAL IMAGE DATA STREAM WITH ADDITIONAL INFORMATION FOR PLAYING THREE-DIMENSIONAL IMAGES AND METHOD AND DEVICE FOR RECEIVING THE THREE-DIMENSIONAL IMAGE DATA STREAM
CN201080032679.2A CN102484731B (zh) 2009-07-27 2010-07-27 用于产生和接收3维图像数据流的方法和设备
JP2015033886A JP6034420B2 (ja) 2009-07-27 2015-02-24 ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090068412A KR20110011000A (ko) 2009-07-27 2009-07-27 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20110011000A true KR20110011000A (ko) 2011-02-08

Family

ID=43498414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090068412A KR20110011000A (ko) 2009-07-27 2009-07-27 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치

Country Status (8)

Country Link
US (1) US9392256B2 (ko)
EP (1) EP2460363A4 (ko)
JP (2) JP2013500673A (ko)
KR (1) KR20110011000A (ko)
CN (1) CN102484731B (ko)
BR (1) BR112012001200A2 (ko)
MX (1) MX2011013036A (ko)
WO (1) WO2011013995A2 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8179448B2 (en) * 2008-08-26 2012-05-15 National Taiwan University Auto depth field capturing system and method thereof
EP2352302B1 (en) * 2008-12-18 2019-04-17 LG Electronics Inc. Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using same
CA2797619C (en) 2010-04-30 2015-11-24 Lg Electronics Inc. An apparatus of processing an image and a method of processing thereof
CN107911684B (zh) 2010-06-02 2020-06-23 麦克赛尔株式会社 接收装置和接收方法
CN103069815B (zh) * 2010-08-17 2016-04-13 Lg电子株式会社 用于接收数字广播信号的设备和方法
US20120079550A1 (en) * 2010-09-24 2012-03-29 Kabushiki Kaisha Toshiba Broadcast transmitter, broadcast receiver, and broadcast transmission method
JP2012120142A (ja) * 2010-11-08 2012-06-21 Sony Corp 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
US10873425B2 (en) 2010-11-12 2020-12-22 Qualcomm Incorporated Acknowledgement / negative acknowledgement feedback for TDD
KR101910192B1 (ko) * 2010-11-12 2018-10-22 한국전자통신연구원 3ｄｔｖ 서비스에서의 영상 압축 규격 결정 방법 및 장치
KR101763944B1 (ko) * 2011-02-18 2017-08-01 엘지디스플레이 주식회사 영상표시장치
GB2490886B (en) 2011-05-13 2017-07-05 Snell Advanced Media Ltd Video processing method and apparatus for use with a sequence of stereoscopic images
JP2012249137A (ja) * 2011-05-30 2012-12-13 Sony Corp 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
KR20140040151A (ko) * 2011-06-21 2014-04-02 엘지전자 주식회사 3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
KR101844292B1 (ko) * 2011-06-24 2018-04-02 톰슨 라이센싱 ３ｄ 콘텐츠를 전달하는 방법 및 장치
US10491915B2 (en) * 2011-07-05 2019-11-26 Texas Instruments Incorporated Method, system and computer program product for encoding disparities between views of a stereoscopic image
KR20130015658A (ko) * 2011-08-04 2013-02-14 삼성전자주식회사 3ｄ영상의 방송정보를 표시하는 디스플레이장치 및 그 표시방법
US20130127991A1 (en) * 2011-11-22 2013-05-23 Samsung Electronics Co., Ltd. Supplementary information coding apparatus and method for 3d video
KR101430985B1 (ko) * 2013-02-20 2014-09-18 주식회사 카몬 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법
US9538160B1 (en) * 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
WO2014181220A1 (en) 2013-05-10 2014-11-13 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view rendering device
EP3206401A4 (en) * 2014-10-08 2018-06-06 LG Electronics Inc. Method and device for processing camera parameter in 3d video coding
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
WO2018068236A1 (zh) * 2016-10-10 2018-04-19 华为技术有限公司 一种视频流传输方法、相关设备及***
US10757401B2 (en) * 2017-03-15 2020-08-25 Sony Corporation Display system and method for display control of a video based on different view positions
CN110431847B (zh) * 2017-03-24 2022-07-22 联发科技股份有限公司 视频处理方法及装置
GB2569959B (en) * 2018-01-03 2022-12-21 Displaylink Uk Ltd Decoding image data at a display device

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3157384B2 (ja) 1994-06-20 2001-04-16 三洋電機株式会社 立体映像装置
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
JPH10150608A (ja) 1996-11-19 1998-06-02 Sanyo Electric Co Ltd デジタル放送システムのユーザ側端末
US6801575B1 (en) * 1997-06-09 2004-10-05 Sharp Laboratories Of America, Inc. Audio/video system with auxiliary data
JP3447207B2 (ja) * 1997-12-05 2003-09-16 松下電器産業株式会社 番組情報作成伝送装置及び方法
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
KR100308037B1 (ko) * 1998-12-31 2001-11-09 구자홍 디지털티브이의eit분석방법
US6700624B2 (en) * 1999-12-30 2004-03-02 Lg Electronics Inc. Combined terrestrial wave/cable broadcast receiver and program information processing method therefor
US6836274B1 (en) * 2000-05-08 2004-12-28 Eagle New Media Investments, Llc Three dimensional light electronic programming guide
US7312796B1 (en) * 2000-05-08 2007-12-25 Jlb Ventures Llc Perpendicular view three dimensional electronic programming guide
US20050193425A1 (en) * 2000-07-24 2005-09-01 Sanghoon Sull Delivery and presentation of content-relevant information associated with frames of audio-visual programs
US6867781B1 (en) * 2000-08-23 2005-03-15 Nintendo Co., Ltd. Graphics pipeline token synchronization
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
US7511710B2 (en) * 2002-11-25 2009-03-31 Microsoft Corporation Three-dimensional program guide
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2005073049A (ja) 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
JP4290062B2 (ja) 2004-04-30 2009-07-01 キヤノン株式会社 記録再生装置
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
WO2007010779A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. パケット送信装置
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
KR100818933B1 (ko) 2005-12-02 2008-04-04 한국전자통신연구원 디지털방송 기반 ３차원 컨텐츠 서비스 제공 방법
KR100747598B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
US8561109B2 (en) * 2006-04-03 2013-10-15 Alcatel Lucent Method and system for aggregating TV program information from different live TV feeds
KR100755714B1 (ko) * 2006-05-03 2007-09-05 삼성전자주식회사 코덱 업그레이드를 수행하는 장치 및 그 방법
KR100713220B1 (ko) * 2006-07-28 2007-05-02 (주)블루비스 입체 영상 편집 장치 및 방법
KR100716142B1 (ko) 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
KR101336243B1 (ko) 2007-05-10 2013-12-03 삼성전자주식회사 부가 정보가 삽입된 영상 데이터의 전송 스트림 구조,송수신 방법 및 장치
KR101450145B1 (ko) 2007-06-11 2014-10-13 삼성전자 주식회사 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
WO2008153294A2 (en) 2007-06-11 2008-12-18 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR20090004059A (ko) * 2007-07-06 2009-01-12 엘지전자 주식회사 방송 수신이 가능한 텔레매틱스 단말기 및 방송 신호 처리방법
JP4450022B2 (ja) 2007-07-06 2010-04-14 船井電機株式会社 デジタル放送受信装置
JP2009015128A (ja) * 2007-07-06 2009-01-22 Alpine Electronics Inc 立体画像表示装置
KR100958653B1 (ko) * 2007-08-07 2010-05-20 한국전자통신연구원 디지털 방송 송수신 장치 및 방법
KR100993428B1 (ko) * 2007-12-12 2010-11-09 한국전자통신연구원 Ｄｍｂ 연동형 스테레오스코픽 데이터 처리방법 및스테레오스코픽 데이터 처리장치
KR101396619B1 (ko) 2007-12-20 2014-05-16 삼성전자주식회사 3ｄ 영상에 관한 부가 정보를 포함하는 3ｄ 영상파일을생성 및 재생하기 위한 시스템 및 방법
US20090282429A1 (en) * 2008-05-07 2009-11-12 Sony Ericsson Mobile Communications Ab Viewer tracking for displaying three dimensional views
WO2010064853A2 (en) * 2008-12-02 2010-06-10 Lg Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
CA2745392C (en) * 2008-12-18 2016-07-12 Lg Electronics Inc. Method for 3d image signal processing and image display for implementing the same
EP2352302B1 (en) * 2008-12-18 2019-04-17 LG Electronics Inc. Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using same
CA2748510C (en) * 2008-12-30 2014-10-28 Lg Electronics Inc. Digital broadcast receiving method providing two-dimensional image and 3d image integration service, and digital broadcast receiving device using the same

Also Published As

Publication number Publication date
JP2013500673A (ja) 2013-01-07
CN102484731B (zh) 2015-05-06
BR112012001200A2 (pt) 2016-03-01
US9392256B2 (en) 2016-07-12
CN102484731A (zh) 2012-05-30
US20110023066A1 (en) 2011-01-27
JP2015136141A (ja) 2015-07-27
MX2011013036A (es) 2012-02-21
JP6034420B2 (ja) 2016-11-30
WO2011013995A3 (en) 2011-04-28
EP2460363A2 (en) 2012-06-06
EP2460363A4 (en) 2014-02-26
WO2011013995A2 (en) 2011-02-03

Similar Documents

Publication Publication Date Title
JP6034420B2 (ja) ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置
US8289998B2 (en) Method and apparatus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream
CN102461183B (zh) 广播发射机、广播接收机及其3d视频处理方法
JP5785193B2 (ja) 三次元マルチメディア・サービスを提供するためのデータストリーム生成方法及びその装置、三次元マルチメディア・サービスを提供するためのデータストリーム受信方法及びその装置
KR100970649B1 (ko) 수신 시스템 및 데이터 처리 방법
CN102835047B (zh) 使用关于多视点视频流的链接信息发送数字广播流的方法和设备以及接收数字广播流的方法和设备
KR101506219B1 (ko) 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
KR101664419B1 (ko) 수신 시스템 및 데이터 처리 방법
KR101648455B1 (ko) 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
US20110119708A1 (en) Method and apparatus for generating multimedia stream for 3-dimensional reproduction of additional video reproduction information, and method and apparatus for receiving multimedia stream for 3-dimensional reproduction of additional video reproduction information
US20120075421A1 (en) Image data transmission device, image data transmission method, and image data receiving device
CN104717479A (zh) 广播接收机及其3d广播数据处理方法
US8953019B2 (en) Method and apparatus for generating stream and method and apparatus for processing stream
CN103069817A (zh) 用于在3dtv中提供3d视频数据的方法
US20150281668A1 (en) Broadcast receiver and 3d video data processing method thereof
US9270972B2 (en) Method for 3DTV multiplexing and apparatus thereof
WO2013069608A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR101591703B1 (ko) 3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치
KR20150006340A (ko) 3차원 영상 제공 방법 및 방송 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101006573; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20161121

Effective date: 20180927