KR20060013818A - 3차원 디지털 멀티미디어 방송 시스템 - Google Patents

3차원 디지털 멀티미디어 방송 시스템 Download PDF

Info

Publication number
KR20060013818A
KR20060013818A KR1020040062418A KR20040062418A KR20060013818A KR 20060013818 A KR20060013818 A KR 20060013818A KR 1020040062418 A KR1020040062418 A KR 1020040062418A KR 20040062418 A KR20040062418 A KR 20040062418A KR 20060013818 A KR20060013818 A KR 20060013818A
Authority
KR
South Korea
Prior art keywords
video
audio
encoding
signal
digital multimedia
Prior art date
Application number
KR1020040062418A
Other languages
English (en)
Other versions
KR100658222B1 (ko
Inventor
윤국진
조숙희
서정일
박기윤
엄기문
장은영
강경옥
안충현
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020040062418A priority Critical patent/KR100658222B1/ko
Priority to PCT/KR2004/003540 priority patent/WO2006016735A1/en
Priority to EP04808668A priority patent/EP1776832A4/en
Priority to CN2004800437751A priority patent/CN1998233B/zh
Publication of KR20060013818A publication Critical patent/KR20060013818A/ko
Application granted granted Critical
Publication of KR100658222B1 publication Critical patent/KR100658222B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/44—Arrangements characterised by circuits or components specially adapted for broadcast
    • H04H20/46—Arrangements characterised by circuits or components specially adapted for broadcast specially adapted for broadcast systems covered by groups H04H20/53-H04H20/95
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/65—Arrangements characterised by transmission systems for broadcast
    • H04H20/71—Wireless systems
    • H04H20/72—Wireless systems of terrestrial networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H04H20/88—Stereophonic broadcast systems
    • H04H20/89—Stereophonic broadcast systems using three or more audio channels, e.g. triphonic or quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H40/00—Arrangements specially adapted for receiving broadcast information
    • H04H40/18—Arrangements characterised by circuits or components specially adapted for receiving
    • H04H40/27—Arrangements characterised by circuits or components specially adapted for receiving specially adapted for broadcast systems covered by groups H04H20/53 - H04H20/95
    • H04H40/36—Arrangements characterised by circuits or components specially adapted for receiving specially adapted for broadcast systems covered by groups H04H20/53 - H04H20/95 specially adapted for stereophonic broadcast receiving
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 3차원 디지털 멀티미디어 방송 시스템(3D DMB)에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 양안식 3차원 영상 및 3차원 음향을 종래의 DMB 시스템 구조를 이용하여 처리함으로써, 종래의 DMB 시스템과 호환성을 유지하며 사용자에게 보다 현실감 있는 3차원 AV 서비스를 제공하기 위한 3차원 디지털 멀티미디어 방송 시스템을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 3차원 디지털 멀티미디어 방송 송신 시스템으로서, 양안식 3차원 영상의 비디오 신호를 입력받아 부호화하기 위한 비디오 부호화 수단; 3차원 음향의 오디오 신호를 입력받아 부호화하기 위한 오디오 부호화 수단; 상기 부호화된 비디오 신호 및 오디오 신호를 SL(Sync Layer) 패킷으로 패킷화하기 위한 패킷화 수단; 및 상기 패킷화 수단에 의해 패킷화된 SL 패킷을 변환 및 다중화하여 출력하기 위한 다중화 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 디지털 멀티미디어 방송 기반으로 3차원 AV를 서비스하기 위한 시스템 등에 이용됨.
DMB, 디지털 방송, MPEG-2, MPEG-4, 3D AV

Description

3차원 디지털 멀티미디어 방송 시스템{3 Dimension Digital Multimedia Broadcasting System}
도 1은 본 발명에 따른 3차원 디지털 멀티미디어 방송 송신 시스템의 일실시예 구성도,
도 2는 도 1의 비디오 부호화 모듈의 일실시예 상세 구성도,
도 3은 도 1의 3D 부가 비디오 부호화 모듈의 일실시예 상세 구성도,
도 4는 도 1의 오디오 부호화 모듈의 일실시예 상세 구성도,
도 5는 도 1의 3D 부가 오디오 부호화 모듈의 일실시예 상세 구성도,
도 6은 도 5의 부가 오디오 전처리부(Pre-Processor)의 일실시예 상세 구성도,
도 7은 도 1의 시스템 부호화 모듈의 일실시예 상세 구성도,
도 8은 본 발명에 따른 OD(Object Descriptor)의 데이터 구조를 나타내는 일실시예 도면,
도 9는 도 1의 M4오버M2 모듈의 일실시예 상세 구성도,
도 10은 본 발명에 따른 3차원 디지털 멀티미디어 방송 수신 시스템의 일실시예 구성도,
도 11은 도 10의 M2오버M4 모듈의 일실시예 상세 구성도,
도 12는 도 10의 시스템 해석 모듈의 일실시예 상세 구성도,
도 13은 도 10의 3D 비디오 복호화 모듈의 일실시예 상세 구성도,
도 14는 도 10의 3D 오디오 복호화 모듈의 일실시예 상세 구성도,
도 15는 도 14의 3D 오디오 후처리부(Post-Processor)의 일실시예 상세 구성도,
도 16은 도 10의 장면 생성 모듈의 일실시예 상세 구성도이다.
* 도면의 주요 부분에 대한 부호의 설명
110 : 비디오 부호화 모듈 120 : 오디오 부호화 모듈
130 : 3D 부가 비디오 부호화 모듈 140 : 3D 부가 오디오 부호화 모듈
150 : 시스템 부호화 모듈 160 : M4오버M2 모듈
210 : M2오버M4 모듈 220 : 시스템 해석 모듈
230 : 3D 비디오 복호화 모듈 240 : 3D 오디오 복호화 모듈
250 : 장면 생성 모듈
본 발명은 3차원 디지털 멀티미디어 방송(3D DMB) 시스템에 관한 것으로, 더 욱 상세하게는 종래의 DMB(Digital Multimedia Broadcasting) 시스템과 호환성을 유지하면서 사용자에게 보다 현실감 있는 입체 방송을 서비스하기 위하여 3차원 AV(Audio/Video)를 부호화 하여 전송하고, 전송받은 신호를 3차원 AV로 복호화 하여 사용자에게 서비스하기 위한 3차원 디지털 멀티미디어 방송 송신 시스템 및 수신 시스템에 관한 것이다.
컴퓨터 및 통신기술의 발달로 인해 사람들 사이의 커뮤니케이션 영역이 크게 변화되고 있으며, 특히 다양한 멀티미디어의 각종 데이터를 DMB등 모바일과 연동하여 기존 단방향 서비스가 아닌 양방향 서비스가 활발히 이용되고 있다.
DMB 시스템은 이동중인 사용자에게 다양한 비디오, 오디오, 데이터 등의 멀티미디어 서비스를 언제 어디서나 제공하기 위한 방송시스템으로서, 세계 최초로 국내에서 서비스를 준비하고 있다.
DMB 시스템은 전송 시스템으로서 디지털 오디오 방송(DAB: Digital Audio Broadcasting)을 적용하고, 미디어 처리 방식으로서 MPEG-4를 사용하며, 미디어 데이터들의 다중화, 동기화 및 전송을 위한 규격으로서 MPEG-4 및 MPEG-2 시스템을 사용한다. 이러한 DMB 시스템을 이용하여 사용자는 CD 수준의 고품질 음성과 영상 서비스를 제공받을 수 있다.
한편, 좌우영상을 갖는 양안식 3차원 동영상에 대한 처리기술이 많이 발전되어 디지털 방송과의 접목이 시도되고 있다.
기존 2차원 동영상과는 달리 데이터의 양, 동기화 및 시스템 복잡도 측면에 서 3차원 동영상의 처리는 많은 어려운 점을 가지고 있으며, 더욱이 대부분 CG(Computer graphics)처리에 초점을 맞추고 있기 때문에 카메라를 통해 들어온 실사 영상에 대한 처리는 모바일 시스템 등에서 사용자에게 서비스를 하지 못하고 있다.
또한, 멀티채널 서라운드 오디오의 급속한 보급과 3차원 오디오를 위한 획득 및 재생 기술의 발전으로 디지털 방송에서의 입체음향에 대한 사용자의 요구가 증대하고 있다.
전술한 바와 같이 급증하고 있는 3차원 AV에 대한 관심과 요구로 인해 스포츠 중계, 광고, 교육, 의료, 게임 등 많은 응용분야에서 3차원 AV를 이용하고 있으나, DMB 서비스는 2차원 AV에 초점을 맞추어 제공하기 때문에, 현실감 및 입체감이 떨어지는 문제가 있다.
종래의 DMB 시스템을 기반으로 3차원 AV를 표현하기 위하여는 새로운 MPEG-4 시스템 정보 및 구조, 기존 DMB 시스템과 호환성을 유지하면서 3차원 AV를 부/복호화하기 위한 방법, 수신단말에서 사용자 선택에 따라 3차원 AV를 2차원 AV 또는 3차원 AV로 디스플레이 하기 위한 방법, 그리고 이를 토대로 2차원 또는 3차원 AV를 서비스하기 위한 시스템 등의 구현이 요구되지만, 이러한 요구에 부응하는 3D 시스템은 아직 소개된 바 없다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 양안식 3차원 동 영상 및 3차원 음향을 종래의 DMB 시스템 구조를 이용하여 처리함으로써, 종래의 DMB 시스템과 호환성을 유지하며 사용자에게 보다 현실감 있는 3차원 AV 서비스를 제공하기 위한 3차원 디지털 멀티미디어 방송 시스템을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 3차원 디지털 멀티미디어 방송 송신 시스템으로서, 양안식 3차원 영상의 비디오 신호를 입력받아 부호화하기 위한 비디오 부호화 수단; 3차원 음향의 오디오 신호를 입력받아 부호화하기 위한 오디오 부호화 수단; 상기 부호화된 비디오 신호 및 오디오 신호를 SL(Sync Layer) 패킷으로 패킷화하기 위한 패킷화 수단; 및 상기 패킷화 수단에 의해 패킷화된 SL 패킷을 변환 및 다중화하여 출력하기 위한 다중화 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명은 3차원 디지털 멀티미디어 수신 시스템으로서, 양안식 3차원 영상 정보와 3차원 음향 정보를 포함하는 스트림을 역다중화하여 SL 패킷을 출력하기 위한 역다중화 수단; 상기 SL 패킷을 디패킷타이징하여 양안식 3차원 영상의 비 디오 신호와 3차원 음향의 오디오 신호의 부호화 스트림을 출력하기 위한 역패킷화 수단; 상기 양안식 3차원 영상의 비디오 신호에 대한 부호화 스트림을 복호화하기 위한 비디오 복호화 수단; 상기 3차원 음향의 오디오 신호에 대한 부호화 스트림을 복호화하기 위한 오디오 복호화 수단; 및 상기 비디오 복호화 수단 및 상기 오디오 복호화 수단으로부터 입력받은 비디오 및 오디오 신호를 이용하여 장면을 구성하여 출력하기 위한 장면 재생 수단을 포함하는 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 또한, 본 발명에 따른 디지털 멀티미디어 송신 시스템 및 수신 시스템에 있어서, 한국정보통신기술협회(TTA)의 초단파 디지털 방송 비디오 송수신 정합 표준 문서는 각 구성요소의 기능과 동작을 설명하는데 도움이 되는 범위에서 본 명세서의 일부로서 포함될 수 있다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 3차원 디지털 멀티미디어 방송 송신 시스템의 일실시예 구성도이다.
본 발명에 따른 3차원 디지털 멀티미디어 방송 송신 시스템은 AV 데이터(비디오 신호 및 오디오 신호) 및 3D 부가 AV 데이터(3D 부가 비디오 신호 및 3D 부가 오디오 신호)를 입력받아 MPEG-4 기반으로 부호화한 후 다중화된 MPEG-2 TS를 출력하기 위한 시스템이다.
도 1에 도시된 바와 같이, 상기 3차원 디지털 멀티미디어 방송 송신 시스템은 비디오 부호화 모듈(110), 3D 부가 비디오 부호화 모듈(130), 오디오 부호화 모듈(120), 3D 부가 오디오 부호화 모듈(140), 시스템 부호화 모듈(150) 및 M4오버M2 모듈(160)을 포함한다.
여기서, 비디오 부호화 모듈(110)은 양안식 3차원 동영상의 좌영상 또는 우영상 중 하나의 영상을 MPEG-4 파트 10 AVC(Advanced Video Coding) 베이스라인 프로파일(baseline profile) 규격으로 부호화하기 위한 모듈이다.
3D 부가 비디오 부호화 모듈(130)은 양안식 3차원 동영상의 좌영상 또는 우영상 중 비디오 부호화 모듈(110)로 입력되지 않은 나머지 하나의 영상을 MPEG-4 파트 10 AVC(Advanced Video Coding) 베이스라인 프로파일(baseline profile) 규격으로 부호화하기 위한 모듈이다.
오디오 부호화 모듈(120)은 외부로부터 입력받은 오디오 신호를 MPEG-4 BSAC(Bit Sliced Arithmetic Coding) 규격으로 부호화하기 위한 모듈이다.
3D 부가 오디오 부호화 모듈(140)은 외부로부터 입력받은 3D 부가 오디오 신호를 MPEG-4 BSAC 규격으로 부호화하기 위한 모듈이다.
시스템 부호화 모듈(150)은 MPEG-4 IOD((Initial Object Descriptor))/OD/BIFS(Binary Format for Scene) 데이터를 생성 및 부호화하며, 전술한 4개의 부호화 모듈(110 내지 140)로부터 출력된 ES(Elementary Stream) 및 외부로부터 입력받은 데이터를 이용하여 생성한 OD/BIFS 스트림을 SL(Sync Layer) 패킷으로 패킷화하기 위한 모듈이다.
M4오버M2 모듈(160)은 SL패킷 데이터를 입력받아 MPEG-2 TS로 패킷화하고, 패킷화된 MPEG-2 TS들을 하나의 MPEG-2 TS로 다중화한 후 출력하기 위한 모듈이다.
도 2는 도 1의 비디오 부호화 모듈의 일실시예 상세 구성도이다.
도 2에 도시된 바와 같이, 비디오 부호화 모듈(110)은 외부로부터 양안식 3차원 동영상에 대한 좌영상(또는 우영상) 비디오 신호를 입력받아 영상 사이즈 크기를 QVGA(320x240) 또는 CIF(352x288) 크기로 변환하기 위한 비디오 전처리부(Pre-processor)(111) 및 비디오 전처리부(111)에서 변환한 비디오 신호를 부호화 파라미터(비트율)에 근거하여 MPEG-4 파트 10 AVC(Advanced Video Coding) 베이스라인 프로파일(baseline profile) 규격으로 부호화한 부호화 스트림(ES : Elementary Stream)인 비디오 ES를 출력하기 위한 비디오 인코더(113)를 포함한다.
이 때, 비디오 부호화 모듈(110)은 일반적인 2차원 동영상 비디오 신호를 입력받아 처리할 수 있음은 물론이다.
도 3은 도 1의 3D 부가 비디오 부호화 모듈의 일실시예 상세 구성도이다.
도 3에 도시된 바와 같이, 3D 부가 비디오 부호화 모듈(130)은 외부로부터 양안식 3차원 동영상에 대한 우영상(또는 좌영상) 비디오 신호를 입력받아 영상 사이즈 크기를 QVGA/CIF 크기에서 가로 또는 세로로 1/2로 축소된 160x240/320x120 또는 176x288/352x144 크기로 변환하기 위한 부가 비디오 전처리부(Pre-processor)(131) 및 상기 부가 비디오 전처리부(131)에서 변환한 비디오 신호를 부호화 파라미터(비트율)에 근거하여 MPEG-4 파트 10 AVC(Advanced Video Coding) 베이스라인 프로파일(baseline profile) 규격으로 부호화한 3D 부가 비디오 ES(Elementary Stream)를 출력하기 위한 부가 비디오 인코더(133)를 포함한다.
도 4는 도 1의 오디오 부호화 모듈의 일실시예 상세 구성도이다.
도 4에 도시된 바와 같이, 오디오 부호화 모듈(120)은 외부로부터 입력받은 오디오 신호의 해상도와 표본화 주파수를 MPEG-4 BSAC(Bit Sliced Arithmetic Coding) 규격 조건에 맞도록 변환하기 위한 오디오 전처리부(121) 및 오디오 전처리부(121)에서 변환한 오디오 신호 또는 후술할 3D 부가 오디오 부호화 모듈(140)에서 생성한 2채널 다운믹스 오디오 신호를 입력받아 부호화 파라미터(비트율)에 근거하여 MPEG-4 BSAC(Bit Sliced Arithmetic Coding) 규격으로 부호화한 오디오 ES를 생성하기 위한 오디오 인코더(123)를 포함한다.
도 5는 도 1의 3D 부가 오디오 부호화 모듈의 일실시예 상세 구성도이다.
도 5에 도시된 바와 같이, 3D 부가 오디오 부호화 모듈(140)은 외부로부터 입력받은 3D 부가 오디오 신호를 이용하여 2채널 다운믹스 신호 및 3채널 3D 부가 오디오 신호를 생성하여 출력하되 상기 2채널 다운믹스 신호는 MPEG-4 오디오 부호화 모듈(120)의 오디오 인코더(123)로 출력하기 위한 부가 오디오 전처리부(141) 및 상기 3채널 3D부가 오디오 신호를 MPEG-4 BSAC 규격으로 부호화하여 3D 부가 오디오 ES를 출력하기 위한 부가 오디오 인코더(143)를 포함한다.
여기서, 상기 3D 부가 오디오 신호는 전방 좌측 스피커 신호(L), 전방 우측 스피커 신호(R), 전방 가운데 스피커 신호(C), 후방 좌측 스피커 신호(LS) 및 후방 우측 스피커 신호(RS)로 구성된 5 채널 입체 음향 신호 또는 상기 5개의 신호에 서브우퍼 신호(SW)가 더 추가된 5.1 채널 입체 음향 신호 등 다양한 다중 채널 입체 음향 신호일 수 있다.
도 6은 도 5의 부가 오디오 전처리부(Pre-Processor)의 일실시예 상세 구성도이다.
도 6에 도시된 바와 같이, 부가 오디오 전처리부(141)는 외부로부터 다양한 다중 채널 입체 음향 신호인 3D 부가 오디오 신호를 입력받아 신호 특성(표본화 주파수, 양자화 비트수 등)을 처리하고 필터링(Low-pass filtering)한 5채널 입체 음향 신호를 생성하기 위한 전처리기(145) 및 상기 전처리기(145)로부터 입력받은 5채널 입체 음향 신호를 ITU-R BS.775-1규격에 정의된 믹싱방법을 이용하여 2채널 다운믹스 신호(LO, R0)와 3채널 부가 오디오 신호(T, Q1, Q2)를 생성하기 위한 채널 혼합기(147)를 포함한다.
여기서, 상기 2채널 다운믹스 신호(LO, RO)는 스테레오 재생 시 사용되는 좌 /우 오디오 신호이며, 상기 3채널 부가 오디오 신호(T, Q1, Q2)는 원신호를 재구성하기 위한 신호이다. 그리고 상기 전처리기(145)에 입력되는 3D 부가 오디오 신호가 5채널 입체 음향 신호인 경우에는 전처리기(145)는 특별한 처리 없이 입력 신호를 그대로 출력할 수도 있다.
도 7은 도 1의 시스템 부호화 모듈의 일실시예 상세 구성도이다.
도 7에 도시된 바와 같이, 시스템 부호화 모듈(150)은 SL 패킷타이저(151), OD/BIFS 생성기(153) 및 IOD(Initial Object Descriptor) 생성기(155)를 포함한다.
여기서, OD/BIFS 생성기(153)는 외부로부터 입력받은 OD/BIFS 텍스트 데이터를 이용하여 OD/BIFS 부호화 스트림을 생성하여 출력한다. 이때, 비디오/3D 부가 비디오 및 오디오/3D 부가 오디오에 대하여 각각 하나의 OD를 이용하여 3차원 AV를 표현한다.
그리고, SL 패킷타이저(151)는 전술한 4개의 부호화 모듈로부터 입력받은 비디오 ES, 오디오 ES, 3D 부가 비디오 ES, 3D 부가 오디오 ES 및 상기 OD/BIFS 부호화 스트림을 입력받아 국내 이동 멀티미디어 방송 규격에 따라 각각 SL 패킷으로 패킷화하여 출력한다.
그리고, IOD 생성기(155)는 외부로부터 입력받은 IOD 텍스트 데이터를 이용하여 IOD 부호화 스트림을 생성하여 출력한다.
도 8은 본 발명에 따른 OD(Object Descriptor)의 데이터 구조를 나타내는 일 실시예 설명도이다.
기존 DMB 시스템에서의 OD/BIFS 구조와의 호환성을 유지하면서 3D AV를 표현하기 위하여, 비디오는 하나의 OD 아래 좌영상(또는 우영상) 비디오와 우영상(또는 좌영상)의 3차원 부가 비디오에 대한 2개의 "ES_Descriptor"가 종속관계로 구성되며, 오디오 또한 하나의 OD 아래 오디오와 3차원 부가 오디오에 대한 2개의 "ES_Descriptor"가 종속관계로 구성된다.
이러한 종속관계는 MPEG-4 OD의 “Stream DependenceFlag” 및 “dependsOn_ES_ID”를 이용하여 표현할 수 있다.
또한, 기존 DMB시스템과 호환성을 유지하면서 3차원 AV를 서비스하기 위하여 3D 부가 비디오 ES의 “ObjectTypeIndication"는 "User private"로 "stream type"는 "Visual”로 세팅하고, 3D 부가 오디오 ES의 "ObjectTypeIndication"은 "user private"로 "stream type"는 "Audio”로 세팅한다. 나머지 비디오 및 오디오 ES는 기존 DMB 시스템 규격대로 세팅한다.
이를 통하여 기존 DMB 시스템은 3D 부가 AV 스트림에 대한 “ObjectTypeIndication” 정보를 인식하지 못하게 되며 결국 연관된 3D 부가 AV부호화 스트림을 수신하지 못하게 된다.
결국, 일반적인 2차원 비디오 및 오디오만을 인식하게 되며, 이와 연관된 부호화 스트림만을 수신하게 되어 사용자는 3차원 AV에 대하여 2차원 동영상으로 받아 볼 수 있는 역호환성을 제공받게 된다.
도 9는 도 1의 M4오버M2 모듈의 일실시예 상세 구성도이다.
도 9에 도시된 바와 같이, M4오버M2 모듈(160)은 PES(Packetized Elementary Stream) 패킷타이저(Packetizer)(161), PES TS 패킷타이저(PES to TS Packetizer)(162), 다중화기(163), 스위치부(164), 14496 섹션(Section) 패킷타이저(165), PSI 생성기(166), PSI 섹션 TS 패킷타이저(PSI to TS Packetizer)(167) 및 14496 섹션 TS 패킷타이저(14496 Section to TS Packetizer)(168)를 포함한다.
스위치부(164)는 시스템 부호화 모듈(150)로부터 OD/BIFS SL 패킷을 입력받아 SL 패킷의 부호화 정보에 따라 PES 패킷타이저(161) 또는 14496 섹션 패킷타이저(165)로 출력한다.
PES 패킷타이저(161)는 시스템 부호화 모듈(150)로부터 입력받은 상기 비디오 SL 패킷, 오디오 SL 패킷, 3D 부가 비디오 SL 패킷, 3D 부가 오디오 SL 패킷 및 스위치부(164)로부터 입력받은 OD/BIFS SL 패킷을 각각 PES 패킷화하여, PES TS 패킷타이저(162)로 출력한다.
14496 섹션 패킷타이저(165)는 스위치부(164)로부터 입력받은 OD/BIFS SL 패킷을 14496 섹션으로 패킷화하여 14496 섹션 TS 패킷타이저(168)로 출력한다.
PSI(Program Specific Information) 생성기(166)는 시스템 부호화 모듈(150)로부터 입력받은 IOD정보를 이용하여 PAT(Program Associaion Table) 섹션(PA_section) 및 PMT(Program Map Table) 섹션(PM_section)을 포함하는 PSI를 생성하여 PSI 섹션 TS 패킷타이저(167)로 출력한다.
PES TS 패킷타이저(162)는 입력되는 PES 패킷을 MPEG-2 TS로 패킷화하여 다 중화기(Multiplexor)(163)로 출력한다.
14496 섹션 TS 패킷타이저(168)는 입력되는 14496 섹션을 MPEG-2 TS로 패킷화하여 다중화기(163)로 출력한다.
PSI 섹션 TS 패킷타이저(167)는 PSI 정보를 입력받아 MPEG-2 TS로 패킷화하여 다중화기(163)로 출력한다.
다중화기(163)는 입력받은 MPEG-2 TS들를 하나의 전송 스트림으로 다중화하여 다중화된 MPEG-2 TS를 출력한다.
도 10은 본 발명에 따른 3차원 디지털 멀티미디어 방송 수신 시스템의 일실시예 구성도이다.
본 발명에 따른 3차원 디지털 멀티미디어 방송 수신 시스템은 외부로부터 수신한 다중화된 MPEG-2 TS를 역다중화하고 복호화하여 사용자에게 2차원 AV 또는 3차원 AV를 디스플레이하기 위한 시스템이다.
도 10에 도시된 바와 같이, 상기 3차원 디지털 멀티미디어 방송 수신 시스템은 M2오버M4 모듈(210), 시스템 해석 모듈(220), 3D 비디오 복호화 모듈(230), 3D 오디오 복호화 모듈(240) 및 장면생성 모듈(250)을 포함한다.
여기서, M2오버M4 모듈(210)은 외부로부터 입력받은 다중화된 MPEG-2 TS를 역다중화하고 디패킷타이징하여 비디오 SL 패킷, 오디오 SL 패킷, 3D 부가 비디오 SL 패킷, 3D 부가 오디오 SL 패킷, OD/BIFS SL 패킷과 IOD 데이터를 출력하기 위한 모듈이다.
그리고, 시스템 해석 모듈(220)은 입력받은 SL 패킷(비디오 SL 패킷, 오디오 SL 패킷, 3D 부가 비디오 SL 패킷, 3D 부가 오디오 SL 패킷 및 OD/BIFS SL 패킷)을 디패킷타이징하여 부호화 스트림(비디오 ES, 오디오 ES, 3D 부가 비디오 ES, 3D 부가 오디오 ES)으로 출력하고, IOD 데이터 및 OD/BIFS 데이터를 복호화하여 출력하기 위한 모듈이다.
그리고, 3D 비디오 복호화 모듈(230)은 비디오 ES 및 3D 부가 비디오 부호화 ES를 복호화하여 2차원 비디오 장면 또는 3차원 비디오 장면으로 출력하기 위한 모듈이다.
그리고, 3D 오디오 복호화 모듈(240)은 오디오 ES 및 3D 부가 오디오 ES를 복호화하여, 3차원 오디오 신호를 2차원 오디오 또는 3차원 오디오 신호로 출력하는 모듈이다.
그리고, 장면 생성 모듈(250)은 3D 비디오 복호화 모듈(230) 및 3D 오디오 부호화 모듈(240)로부터 입력받은 2D/3D 비디오 신호 및 2D/3D 오디오 신호를 이용하여 BIFS의 정의에 따라 장면을 구성하여 출력하기 위한 모듈이다.
도 11은 도 10의 M2오버M4 모듈(210)의 일실시예 상세 구성도이다.
도 11에 도시된 바와 같이, M2오버M4 모듈(210)은 역다중화기(De_Multiplexor)(211), TS PES 디패킷타이저(TS to PES De-Packetizer)(212), TS 14496 섹션 디패킷타이저(TS to 14496 Section De-Packetizer)(213), TS PSI 섹션 디패킷타이저(TS to PSI Section De-Packetizer)(214), PES 디패킷타이저(PES De- Packetizer)(215), 14496 섹션 분석기(14496 Section Analyzer)(216) 및 PSI 섹션 분석기(PSI Section Analyzer)(217)를 포함한다.
역다중화기(211)는 외부로부터 입력받은 다중화된 MPEG-2 TS를 비디오, 오디오, 3D 부가 비디오, 3D 부가 오디오, OD/BIFS, 14496 섹션 및 PSI에 대한 각각의 단일 MPEG-2 TS로 역다중화하여 출력한다.
TS PES 디패킷타이저(212)는 역다중화기(211)로부터 비디오, 오디오, 3D 부가 비디오, 3D 부가 오디오 및 OD/BIFS의 MPEG-2 TS를 입력받아 이를 PES 패킷으로 디패킷타이징하여 PES 디패킷타이저(215)로 출력한다.
TS 14496 섹션 디패킷타이저(213)는 14496 섹션의 MPEG-2 TS를 입력받아 이를 14496 섹션으로 디패킷타이징한 후 14496 섹션 분석기(216)로 출력한다.
TS PSI 섹션 디패킷타이저(214)는 PSI의 MPEG-2 TS를 입력받아 이를 PAT 섹션(PA-section) 및 PMT 섹션(PM-section)으로 디패킷타이징한 후 PSI 섹션 분석기(217)로 출력한다.
PES 디패킷타이저(215)는 TS PES 디패킷타이저(212)로부터 비디오, 오디오, 3D 부가 비디오, 3D 부가 오디오 및 OD/BIFS에 대한 각각의 PES 패킷을 입력받아, 이를 SL 패킷으로 디패킷타이징하여 비디오 SL 패킷, 오디오 SL 패킷, 3D 부가 비디오 SL 패킷, 3D 부가 오디오 SL 패킷 및 OD/BIFS SL 패킷을 출력한다.
14496 섹션 분석기(216)는 TS 14496 섹션 디패킷타이저(213)로부터 14496 섹션을 입력받아, OD/BIFS SL 패킷을 추출하여 출력한다.
PSI 섹션 분석기(217)는 PAT 섹션 및 PMT 섹션을 입력받아 IOD 데이터를 추 출하여 출력한다.
도 12는 도 10의 시스템 해석 모듈(220)의 일실시예 상세 구성도이다.
도 12에 도시된 바와 같이, 시스템 해석 모듈(220)은 SL 디패킷타이저(De-Packetizer)(221), OD/BIFS 디코더(222) 및 IOD 디코더(223)를 포함한다.
SL 디패킷타이저(221)는 상기 M2오버M4 모듈(210)로부터 비디오 SL 패킷, 오디오 SL 패킷, 3D 부가 비디오 SL 패킷, 3D 부가 오디오 SL 패킷 및 OD/BIFS SL 패킷을 입력받아 각각 부호화 스트림으로 디패킷타이징하여 비디오 ES 및 3D 부가 비디오 ES는 3D 비디오 복호화 모듈(230)로, 오디오 ES 및 3D 부가 오디오 ES는 3D 오디오 복호화 모듈(240)로, OD/BIFS 데이터는 OD/BIFS 디코더(222)로 출력한다.
OD/BIFS 디코더(222)는 SL 디패킷타이저(221)로부터 OD/BIFS 부호화 데이터를 입력받아 복호화하여 복호된 BIFS 정보는 장면 생성 모듈(250)로 출력하고, 복호된 OD 정보는 각 미디어 디코더를 초기화하는데 이용된다.
IOD 디코더(223)는 IOD 부호화 데이터를 입력받아 복호화하여 출력하며, 복호된 IOD 데이터는 OD/BIFS 데이터를 추출하는데 이용된다.
도 13은 도 10의 3D 비디오 복호화(230) 모듈의 일실시예 상세 구성도이다.
도 13에 도시된 바와 같이, 3D 비디오 복호화 모듈(230)은 비디오 디코더(231), 부가 비디오 디코더(233) 및 3D 비디오 후처리부(Post-Processor)(235)를 포함한다.
비디오 디코더(231)는 시스템 해석 모듈(220)의 SL 디패킷타이저(221)로부터 320x240/352x288 영상 사이즈의 MPEG-4 파트(part) 10 AVC 규격의 비디오 ES를 입력받아 복호화하여 3D 비디오 후처리부(235)로 출력한다.
부가 비디오 디코더(233)는 시스템 해석 모듈(220)의 SL 디패킷타이저(221)로부터 160x240/320x120 또는 176x288/352x144 영상 사이즈의 MPEG-4 part 10 AVC 규격의 3D 부가 비디오 ES를 입력받아 복호화하여 3D 비디오 후처리부(235)로 출력한다.
3D 비디오 후처리부(235)는 상기 비디오 디코더(231) 및 부가 비디오 디코더(233)로부터 각각 복호된 비디오 신호 및 3D 부가 비디오 신호를 입력받아, 사용자로부터 입력받은 비디오 재생 모드 정보가 3D 비디오 재생 모드인 경우에는 비디오 신호와 3D 부가 비디오 신호를 필드별로 합성하여 QVGA(320x240) 또는 CIF(352x288)영상 크기의 3D 비디오 신호로 출력하고, 2D 비디오 재생 모드인 경우에는 입력되는 3D 부가 비디오 신호는 무시하고 단지 320x240 또는 352x288 영상 크기의 2D 비디오 신호만을 그대로 출력한다. 이를 통하여 사용자는 원하는 디스플레이 방식을 선택하여 3차원 AV를 감상할 수 있다.
도 14는 도 10의 3D 오디오 복호화 모듈의 일실시예 상세 구성도이다.
도 14에 도시된 바와 같이, 3D 오디오 복호화 모듈(240)은 오디오 디코더(241), 부가 오디오 디코더(243) 및 3D 오디오 후처리부(Post-Processor)(245)를 포함한다.
오디오 디코더(241)는 시스템 해석 모듈(220)의 SL 디패킷타이저(221)로부터 MPEG-4 BSAC 규격의 오디오 부호화 스트림(오디오 ES)을 입력받아 복호화하여 3D 오디오 후처리부(245)로 출력한다.
부가 오디오 디코더(243)는 시스템 해석 모듈(220)의 SL 디패킷타이저(221)로부터 MPEG-4 BSAC 규격의 3D 부가 오디오 부호화 스트림을 입력받아 복호화한 후, 3D 오디오 후처리부(245)로 출력한다.
3D 오디오 후처리부(245)는 오디오 디코더(241) 및 부가 오디오 디코더(243)로부터 복호된 오디오 신호 및 3D 부가 오디오신호를 입력받아 사용자로부터 입력받은 오디오 재생 모드 정보를 이용하여 2차원 오디오 신호 또는 3차원 오디오 신호를 생성하여 출력한다.
도 15는 도 14의 3D 오디오 후처리부(Post-Processor)의 일실시예 상세 구성도이다.
도 15에 도시된 바와 같이, 3D 오디오 후처리부(245)는 2D/3D 스위치부(246), 디매트릭서(De-Matrixer)(247) 및 가상 신써사이저(Virtual 3D Synthesizer)(248)를 포함한다.
2D/3D 스위치부(246)는 사용자로부터 입력받은 오디오 재생 모드 정보가 3D 오디오 재생모드일 경우에는 복호화된 오디오 신호 및 3D 부가 오디오 신호를 합성하여 5채널 3D 오디오 신호(L0, R0, T, Q1, Q2)를 출력하고, 2D 오디오 재생 모드일 경우에는 입력되는 3D 부가 오디오 신호는 무시하고 단지 2D 오디오 신호(L0, R0)만을 그대로 출력한다.
디매트릭서(247)는 오디오 신호와 3D 오디오 신호를 입력받아 ITU-R BS.775-1의 규격을 이용하여 5채널 오디오 신호(L, R, C, LS, RS)를 출력한다.
가상 신써사이저(248)는 상기 5채널 오디오 신호를 입력받아 2채널 가상 서라운드 신호(L, R)인 3D 오디오 신호로 변환하여 출력한다.
도 16은 도 10의 장면 생성 모듈(250)의 일실시예 상세 구성도이다.
도 16에 도시된 바와 같이, 장면 생성 모듈(250)은 장면 구성부(Scene Compositor)(251) 및 렌더링부(Renderer)(253)를 포함한다.
장면 구성부(251)는 3D 비디오 복호화 모듈(230) 및 3D 오디오 복호화 모듈(240)로부터 AV 데이터(2D/3D 비디오 신호, 2D/3D 오디오 신호)를 입력받아, 시스템 해석 모듈(220)의 OD/BIFS 디코더(222)로부터 입력받은 BIFS 데이터에 따라 장면을 구성한 AV 장면(2D/3D 비디오 장면, 2D/3D 오디오 장면)을 렌더링부(253)로 출력한다.
렌더링부(253)는 장면 구성부(251)로부터 AV 장면(2D/3D 비디오 장면, 2D/3D 오디오 장면)을 입력받아 렌더링하여 이를 모니터 및 스피커로 출력한다.
이렇게 하여 기존의 DMB 시스템과 호환성을 유지하면서 사용자에게 3D AV 콘텐츠를 서비스할 수 있는 시스템 구현이 가능하다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 기존 DMB 시스템과의 호환성을 유지하면서 사용자에게 2차원 AV 또는 보다 현실감 있는 3차원 AV를 서비스를 할 수 있는 효과가 있다.
또한, 본 발명은 사용자에게 3차원 AV를 서비스하기 위한 시스템을 기존의 DMB 시스템을 이용하여 경제적으로 구현할 수 있는 부가적 효과가 있다.

Claims (13)

  1. 3차원 디지털 멀티미디어 방송 송신 시스템으로서,
    양안식 3차원 영상의 비디오 신호를 입력받아 부호화하기 위한 비디오 부호화 수단;
    3차원 음향의 오디오 신호를 입력받아 부호화하기 위한 오디오 부호화 수단;
    상기 부호화된 비디오 신호 및 오디오 신호를 SL(Sync Layer) 패킷으로 패킷화하기 위한 패킷화 수단; 및
    상기 패킷화 수단에 의해 패킷화된 SL 패킷을 변환 및 다중화하여 출력하기 위한 다중화 수단
    을 포함하는 3차원 디지털 멀티미디어 방송 송신시스템.
  2. 제 1 항에 있어서,
    상기 비디오 부호화 수단은,
    양안식 3차원 영상의 좌영상 또는 우영상 비디오 신호를 부호화하기 위한 제 1 비디오 부호화 수단;
    상기 좌영상 또는 우영상 비디오 신호 중 상기 제 1 비디오 부호화 수단에서 부호화하지 않은 신호를 부호화하기 위한 제 2 비디오 부호화 수단;
    을 포함하는 3차원 디지털 멀티미디어 방송 송신시스템.
  3. 제 1 항에 있어서,
    상기 오디오 부호화 수단은,
    모노 또는 스테레오 오디오 신호를 부호화하기 위한 제 1 오디오 부호화 수단; 및
    3채널 부가 오디오 신호를 부호화하기 위한 제 2 오디오 부호화 수단
    을 포함하는 3차원 디지털 멀티미디어 방송 송신시스템.
  4. 제 2 항에 있어서,
    상기 제 1 비디오 부호화 수단은,
    입력받은 비디오 신호의 영상 사이즈를 변환하기 위한 제 1 비디오 전처리수단; 및
    상기 제 1 비디오 전처리 수단에서 변환한 신호를 부호화하기 위한 제 1 비디오 인코딩 수단
    을 포함하는 3차원 디지털 멀티미디어 방송 송신시스템.
  5. 제 4 항에 있어서,
    상기 제 2 비디오 부호화 수단은,
    입력받은 비디오 신호의 영상 사이즈를 상기 제 1 비디오 전처리 수단에서 변환하는 크기보다 가로 또는 세로로 1/2 작게 변환하기 위한 제 2 비디오 전처리수단; 및
    상기 제 2 비디오 전처리 수단에서 변환한 신호를 부호화하기 위한 제 2 비디오 인코딩 수단
    을 포함하는 3차원 디지털 멀티미디어 방송 송신시스템.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 패킷화 수단은,
    OD 및 BIFS 부호화 스트림을 생성하기 위한 OD/BIFS 생성 수단;
    상기 부호화 수단 및 상기 OD/BIFS 생성 수단으로부터 입력받은 스트림을 SL 패킷으로 패킷화하기 위한 SL 패킷화 수단; 및
    IOD 부호화 스트림을 생성하기 위한 IOD 생성 수단
    을 포함하는 3차원 디지털 멀티미디어 방송 송신시스템.
  7. 제 6 항에 있어서,
    상기 OD는,
    3차원 부가 비디오 또는 3차원 부가 오디오 신호에 대한 기술 정보를 포함하 는 것을 특징으로 하는 3차원 디지털 멀티미디어 방송 송신시스템.
  8. 제 7 항에 있어서,
    상기 기술 정보는,
    상기 3차원 부가 비디오 또는 3차원 부가 오디오 신호에 대한 역호환성을 제공하기 위한 객체 유형 정보를 포함하는 것을 특징으로 하는 3차원 디지털 멀티미디어 방송 송신시스템.
  9. 제 6 항에 있어서,
    상기 OD는,
    비디오 및 오디오 신호에 대하여 각각 하나의 OD가 2개의 "ES_Descriptor"를 포함하고,
    상기 "ES_Descriptor"는 3차원 부가 비디오 또는 3차원 부가 오디오 신호에 대한 역호환성을 제공하기 위하여,
    3D 부가 비디오 신호에 대한 "Stream Type"은 "Visual"로 "ObjectTypeIndication"은 "User private"로 설정하고,
    3D 부가 오디오 신호에 대한 "Stream Type"은 "Audio"로 "ObjectTypeIndication"은 "User private"로 설정하는 것을 특징으로 하는 3차원 디지털 멀티미디어 방송 송신시스템.
  10. 3차원 디지털 멀티미디어 방송 수신 시스템으로서,
    양안식 3차원 영상 정보와 3차원 음향 정보를 포함하는 스트림을 역다중화하여 SL 패킷을 출력하기 위한 역다중화 수단;
    상기 SL 패킷을 디패킷타이징하여 양안식 3차원 영상의 비디오 신호와 3차원 음향의 오디오 신호의 부호화 스트림을 출력하기 위한 역패킷화 수단;
    상기 양안식 3차원 영상의 비디오 신호에 대한 부호화 스트림을 복호화하기 위한 비디오 복호화 수단;
    상기 3차원 음향의 오디오 신호에 대한 부호화 스트림을 복호화하기 위한 오디오 복호화 수단; 및
    상기 비디오 복호화 수단 및 상기 오디오 복호화 수단으로부터 입력받은 비디오/3D 부가 비디오 및 오디오/3D 부가 오디오 신호를 이용하여 2차원 AV 또는 3차원 AV 장면을 구성하여 출력하기 위한 장면 재생 수단
    을 포함하는 3차원 디지털 멀티미디어 방송 수신시스템.
  11. 제 10 항에 있어서,
    상기 비디오 복호화 수단은,
    상기 역패킷화 수단으로부터 양안식 3차원 영상의 좌영상 또는 우영상에 대한 비디오 부호화 스트림을 입력받아 복호화하기 위한 제 1 비디오 복호화 수단;
    상기 역패킷화 수단으로부터 상기 좌영상 또는 우영상 비디오 신호 중 상기 제 1 비디오 복호화 수단으로 입력되지 않는 신호에 대한 비디오 부호화 스트림을 입력받아 복호화하기 위한 제 2 비디오 복호화 수단; 및
    상기 제 1 비디오 복호화 수단 및 상기 제 2 비디오 복호화 수단에 의해 복호화된 비디오 신호를 외부로부터 입력받은 비디오 재생 모드 정보에 따라 2차원 비디오 신호 또는 3차원 비디오 신호로 출력하기 위한 비디오 후처리 수단
    을 포함하는 3차원 디지털 멀티미디어 방송 수신시스템.
  12. 제 11 항에 있어서,
    상기 제 2 비디오 복호화 수단에서 입력받는 비디오 부호화 스트림의 영상 크기는 상기 제 1 비디오 복호화 수단에서 입력받는 비디오 부호화 스트림의 영상 크기에 비해 가로 또는 세로 크기가 1/2인 것을 특징으로 하는 3차원 디지털 멀티미디어 방송 수신시스템.
  13. 제 10 항에 있어서,
    상기 오디오 복호화 수단은,
    상기 역패킷화 수단으로부터 모노 또는 스테레오 오디오 부호화 스트림을 입력받아 복호화하기 위한 제 1 오디오 복호화 수단;
    상기 역패킷화 수단으로부터 3채널 부가 오디오 부호화 스트림을 입력받아 복호화하기 위한 제 2 오디오 복호화 수단; 및
    상기 제 1 오디오 복호화 수단 및 상기 제 2 오디오 복호화 수단에 의해 복호화된 오디오 신호를 외부로부터 입력받은 오디오 재생 모드 정보에 따라 2차원 오디오 신호 또는 3차원 오디오 신호로 출력하기 위한 오디오 후처리 수단
    을 포함하는 3차원 디지털 멀티미디어 방송 수신시스템.
KR1020040062418A 2004-08-09 2004-08-09 3차원 디지털 멀티미디어 방송 시스템 KR100658222B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020040062418A KR100658222B1 (ko) 2004-08-09 2004-08-09 3차원 디지털 멀티미디어 방송 시스템
PCT/KR2004/003540 WO2006016735A1 (en) 2004-08-09 2004-12-30 3-dimensional digital multimedia broadcasting system
EP04808668A EP1776832A4 (en) 2004-08-09 2004-12-30 THREE-DIMENSIONAL DIGITAL MULTIMEDIA RADIATION SYSTEM
CN2004800437751A CN1998233B (zh) 2004-08-09 2004-12-30 三维数字多媒体广播***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040062418A KR100658222B1 (ko) 2004-08-09 2004-08-09 3차원 디지털 멀티미디어 방송 시스템

Publications (2)

Publication Number Publication Date
KR20060013818A true KR20060013818A (ko) 2006-02-14
KR100658222B1 KR100658222B1 (ko) 2006-12-15

Family

ID=35839476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040062418A KR100658222B1 (ko) 2004-08-09 2004-08-09 3차원 디지털 멀티미디어 방송 시스템

Country Status (4)

Country Link
EP (1) EP1776832A4 (ko)
KR (1) KR100658222B1 (ko)
CN (1) CN1998233B (ko)
WO (1) WO2006016735A1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100826519B1 (ko) * 2007-05-29 2008-04-30 한국전자통신연구원 Ｄｍｂ 기반의 3차원 정지영상 서비스를 위한 객체 기술 및다중화 방법과, 그에 따른 복호화 장치 및 그 방법
KR100842582B1 (ko) * 2007-01-08 2008-07-01 삼성전자주식회사 디지털 멀티미디어 데이터를 송수신하는 디지털 방송 시스템 및 그 방법
KR100910996B1 (ko) * 2006-12-08 2009-08-05 한국전자통신연구원 디지털 멀티미디어 방송 시스템에서의 3차원 비디오 서비스제공 방법
KR100979445B1 (ko) * 2008-10-31 2010-09-02 한국전자통신연구원 Ｄｍｂ 기반의 3차원 데이터 서비스 제공 방법과 그 수신 방법
KR20100106193A (ko) * 2009-03-23 2010-10-01 한국전자통신연구원 Ｓａｃ 부가정보를 이용한 3ｄ 바이노럴 필터링 시스템 및 방법
KR20110018729A (ko) * 2009-08-18 2011-02-24 삼성전자주식회사 디지털 멀티미디어 방송의 전송 장치 및 방법, 수신 장치 및 방법
KR20110090366A (ko) * 2010-02-03 2011-08-10 삼성전자주식회사 영상 처리 장치 및 방법
WO2011122755A1 (ko) * 2010-04-02 2011-10-06 전자부품연구원 3차원 방송을 위한 데이터 코덱 방법 및 장치
KR101191195B1 (ko) * 2006-05-04 2012-10-15 엘지전자 주식회사 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및콘텐츠 표출 방법
US8520057B2 (en) 2008-11-04 2013-08-27 Electronics And Telecommunications Research Institute Method and system for transmitting/receiving 3-dimensional broadcasting service
KR101292893B1 (ko) * 2007-05-08 2013-09-02 한국전자통신연구원 계층적 부호화 장치 및 방법, 계층적 복호화 장치 및 방법
KR101531510B1 (ko) * 2008-11-27 2015-06-26 엘지전자 주식회사 수신 시스템 및 오디오 데이터 처리 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4828906B2 (ja) * 2004-10-06 2011-11-30 三星電子株式会社 デジタルオーディオ放送でのビデオサービスの提供及び受信方法、並びにその装置
MX2008012250A (es) 2006-09-29 2008-10-07 Lg Electronics Inc Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto.
WO2008048042A1 (en) * 2006-10-17 2008-04-24 Electronics And Telecommunications Research Institute Apparatus and method for transmitting or replaying multi-channel audio signal
KR101319535B1 (ko) 2006-12-26 2013-10-21 삼성전자주식회사 영상신호 처리장치 및 그 제어방법
WO2008100100A1 (en) 2007-02-14 2008-08-21 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
CN101378545B (zh) * 2007-08-28 2012-07-18 中兴通讯股份有限公司 一种多媒体广播及组播业务分层传输方法
KR101435815B1 (ko) * 2007-11-28 2014-08-29 엘지전자 주식회사 방송 시스템 및 오디오 데이터 처리 방법
RU2536388C2 (ru) * 2009-01-20 2014-12-20 Конинклейке Филипс Электроникс Н.В. Передача данных 3d изображения
US8947504B2 (en) 2009-01-28 2015-02-03 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
EP2409494A4 (en) 2009-03-19 2013-05-15 Lg Electronics Inc METHOD FOR PROCESSING A THREE-DIMENSIONAL (3D) VIDEO SIGNAL AND MULTICAST DIGITAL RECEIVER DESIGNED TO PERFORM THE PROCESSING METHOD
CN102460573B (zh) * 2009-06-24 2014-08-20 弗兰霍菲尔运输应用研究公司 音频信号译码器、对音频信号译码的方法
US9036700B2 (en) * 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV
KR101676037B1 (ko) 2009-12-04 2016-11-14 한국전자통신연구원 모바일 방송이 결합된 방송 시스템에서 ３차원 방송서비스 장치 및 방법
EP2629530B1 (en) * 2010-10-16 2016-09-07 LG Electronics Inc. Digital receiver and method for processing 3d contents in digital receiver
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
EP4089674A1 (en) 2014-03-21 2022-11-16 Dolby International AB Method for decompressing a compressed hoa signal and apparatus for decompressing a compressed hoa signal
EP2922057A1 (en) * 2014-03-21 2015-09-23 Thomson Licensing Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
US11870548B2 (en) * 2019-07-22 2024-01-09 Algorkorea Co. Ltd Mobile terminal having integrated radio function, and integrated radio system using same

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150608A (ja) 1996-11-19 1998-06-02 Sanyo Electric Co Ltd デジタル放送システムのユーザ側端末
JPH10164448A (ja) 1996-12-02 1998-06-19 Sanyo Electric Co Ltd テレビ放送システムにおける映像再生方法およびテレビ放送システムにおける映像再生装置
JPH10174064A (ja) * 1996-12-06 1998-06-26 Sanyo Electric Co Ltd ディジタル放送システム
JPH10336700A (ja) 1997-05-30 1998-12-18 Sanyo Electric Co Ltd ディジタル放送システム、送信機、および受信機
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6539357B1 (en) * 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
KR100392384B1 (ko) * 2001-01-13 2003-07-22 한국전자통신연구원 엠펙-2 데이터에 엠펙-4 데이터를 동기화시켜 전송하는장치 및 그 방법
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
US7292690B2 (en) * 2002-01-02 2007-11-06 Sony Corporation Video scene change detection
BRPI0304540B1 (pt) * 2002-04-22 2017-12-12 Koninklijke Philips N. V Methods for coding an audio signal, and to decode an coded audio sign, encoder to codify an audio signal, codified audio sign, storage media, and, decoder to decode a coded audio sign
KR100488804B1 (ko) * 2002-10-07 2005-05-12 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
KR20040035297A (ko) * 2002-10-19 2004-04-29 삼성전자주식회사 복합적 오류정정 부호화 기능을 갖는 디지털방송 시스템의전송장치 및 방법
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
KR100566100B1 (ko) * 2003-10-21 2006-03-31 전자부품연구원 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101191195B1 (ko) * 2006-05-04 2012-10-15 엘지전자 주식회사 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및콘텐츠 표출 방법
KR100910996B1 (ko) * 2006-12-08 2009-08-05 한국전자통신연구원 디지털 멀티미디어 방송 시스템에서의 3차원 비디오 서비스제공 방법
KR100842582B1 (ko) * 2007-01-08 2008-07-01 삼성전자주식회사 디지털 멀티미디어 데이터를 송수신하는 디지털 방송 시스템 및 그 방법
KR101292893B1 (ko) * 2007-05-08 2013-09-02 한국전자통신연구원 계층적 부호화 장치 및 방법, 계층적 복호화 장치 및 방법
KR100826519B1 (ko) * 2007-05-29 2008-04-30 한국전자통신연구원 Ｄｍｂ 기반의 3차원 정지영상 서비스를 위한 객체 기술 및다중화 방법과, 그에 따른 복호화 장치 및 그 방법
KR100979445B1 (ko) * 2008-10-31 2010-09-02 한국전자통신연구원 Ｄｍｂ 기반의 3차원 데이터 서비스 제공 방법과 그 수신 방법
US8520057B2 (en) 2008-11-04 2013-08-27 Electronics And Telecommunications Research Institute Method and system for transmitting/receiving 3-dimensional broadcasting service
KR101531510B1 (ko) * 2008-11-27 2015-06-26 엘지전자 주식회사 수신 시스템 및 오디오 데이터 처리 방법
KR20100106193A (ko) * 2009-03-23 2010-10-01 한국전자통신연구원 Ｓａｃ 부가정보를 이용한 3ｄ 바이노럴 필터링 시스템 및 방법
KR20110018729A (ko) * 2009-08-18 2011-02-24 삼성전자주식회사 디지털 멀티미디어 방송의 전송 장치 및 방법, 수신 장치 및 방법
KR20110090366A (ko) * 2010-02-03 2011-08-10 삼성전자주식회사 영상 처리 장치 및 방법
WO2011122755A1 (ko) * 2010-04-02 2011-10-06 전자부품연구원 3차원 방송을 위한 데이터 코덱 방법 및 장치

Also Published As

Publication number Publication date
CN1998233B (zh) 2011-12-07
KR100658222B1 (ko) 2006-12-15
EP1776832A1 (en) 2007-04-25
CN1998233A (zh) 2007-07-11
WO2006016735A1 (en) 2006-02-16
EP1776832A4 (en) 2009-08-26

Similar Documents

Publication Publication Date Title
KR100658222B1 (ko) 3차원 디지털 멀티미디어 방송 시스템
US9380288B2 (en) System and method for transmitting/receiving three dimensional video based on digital broadcasting
KR100747550B1 (ko) Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
JP4828535B2 (ja) ３次元立体ビデオ付加データを用いた３次元立体デジタル放送の送／受信装置及びその方法
KR101575138B1 (ko) 무선 3d 스트리밍 서버
EP2369836B1 (en) Object-based 3-dimensional audio service system using preset audio scenes
KR100397511B1 (ko) 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP4897024B2 (ja) 多視点映像送受信装置及びその方法
JP2011019224A (ja) デジタル放送システムのステレオスコピックビデオ送受信方法およびその装置
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
EP2654305A2 (en) Signaling method for a stereoscopic video service and apparatus using the method
WO2007067020A1 (en) System and method for transmitting/receiving three dimensional video based on digital broadcasting
KR100874226B1 (ko) 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법
KR20090039642A (ko) Ｄｍｂ 신호의 디코딩 방법 및 이의 디코딩 장치
KR20080099094A (ko) 계층적 부호화 장치 및 방법, 계층적 복호화 장치 및 방법
KR101336423B1 (ko) 계층적 부호화 장치 및 방법, 복호화 장치 및 방법
KR100883366B1 (ko) 디지털멀티미디어 방송에서 통합 데이터서비스를 제공하기 위한 ｄｍｂ 수신 시스템 및 그 방법
KR100943216B1 (ko) 멀티채널 오디오 신호를 처리하는 장치 및 방법
US20110047379A1 (en) Apparatus and method for transmitting digital multimedia broadcasting data, and method and apparatus for receiving digital multimedia broadcasting data
KR20110080459A (ko) 피씨 기반 쓰리디 티브이 인코딩 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111129

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee