KR100913397B1 - Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법 - Google Patents

Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법 Download PDF

Info

Publication number
KR100913397B1
KR100913397B1 KR1020070124386A KR20070124386A KR100913397B1 KR 100913397 B1 KR100913397 B1 KR 100913397B1 KR 1020070124386 A KR1020070124386 A KR 1020070124386A KR 20070124386 A KR20070124386 A KR 20070124386A KR 100913397 B1 KR100913397 B1 KR 100913397B1
Authority
KR
South Korea
Prior art keywords
image
descriptor
information
depth information
service
Prior art date
Application number
KR1020070124386A
Other languages
English (en)
Other versions
KR20080051086A (ko
Inventor
윤국진
허남호
김진웅
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20080051086A publication Critical patent/KR20080051086A/ko
Application granted granted Critical
Publication of KR100913397B1 publication Critical patent/KR100913397B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/10—Aspects of broadcast communication characterised by the type of broadcast system
    • H04H2201/11—Aspects of broadcast communication characterised by the type of broadcast system digital multimedia broadcasting [DMB]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 ＤＭＢ기반의 3차원 입체영상 서비스를 위한 객체 기술 방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상 포맷 변환 방법에 관한 것으로서, 기준영상과 깊이 정보를 기반으로 하는 새로운 3차원 입체영상 서비스를 제공하기 위한 객체 기술자 구조를 제공하고, 이를 통하여 기존의 DMB 서비스와의 호환성을 유지하면서도 수신 측에서의 화질열화 없이 3차원 입체영상 서비스에 필요한 대역폭을 최소화하고자 한다.
이를 위하여, 본 발명은, DMB 기반의 3차원 입체 영상 서비스를 위한 객체 기술 방법에 있어서, 방송 서비스가 2차원 방송 또는 3차원 방송 중 어느 방송 유형에 해당하는지를 기준 영상에 대한 객체 기술자 내에 설정하는 방송유형 설정 단계; 및 상기 방송 서비스의 대상이 되는 3차원 입체 영상에 대한 상기 기준 영상 및 깊이 정보를 하나의 객체 기술자를 이용하여 기술하되, 상기 기준 영상은 독립 스트림으로 설정하고 상기 깊이 정보는 종속 스트림으로 설정하는 객체 기술 단계를 포함하는 것을 특징으로 한다.
DMB, 3차원 방송, 3차원 입체영상, MPEG-4, 기준영상, 깊이 정보, 콘텐츠 타입 기술자, 깊이 정보 기술자

Description

ＤＭＢ기반의 3차원 입체영상 서비스를 위한 객체 기술 방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상 포맷 변환 방법{METHOD OF OBJECT DESCRIPTION FOR THREE DIMENSIONAL IMAGE SERVICE BASED ON DMB, AND METHOD FOR RECEIVING THREE DIMENSIONAL IMAGE SERVICE AND CONVERTING IMAGE FORMAT}
본 발명은 ＤＭＢ기반의 3차원 입체영상 서비스를 위한 객체 기술 방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상 포맷 변환 방법에 관한 것으로, 더욱 상세하게는 기준영상과 깊이 정보를 기반으로 하는 새로운 3차원 입체영상을 서비스를 제공하기 위한 객체 기술자 구조를 제공하고, 이를 통하여 기존의 DMB 서비스와의 호환성을 유지하면서도 수신 측에서의 화질열화 없이 3차원 입체영상 서비스에 필요한 대역폭을 최소화할 수 있는, ＤＭＢ기반의 3차원 입체영상 서비스를 위한 객체 기술 방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상 포맷 변환 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT차세대핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-403-02, 과제명: 지능형 통합정보 방송(SmaR TV) 기술 개발].
디지털 멀티미디어 방송(DMB) 기반의 3차원 입체영상 서비스에 대한 종래기술은, 3차원 입체 방송 서비스를 위하여 좌/우 영상을 이용하고 있기 때문에, 다양한 양안식 3차원 디스플레이 장치를 지원하는 경우에는 화질 열화가 발생하며, 또한 다시점 3차원 디스플레이 장치에 대해서는 전혀 지원을 하지 못한다는 문제점이 있다. 또한, 이러한 종래 기술은 좌/우 영상을 독립적으로 코딩하기 때문에, 코딩시에 요구되는 대역폭이 증가한다는 문제점도 있다.
다음은, 종래의 DMB 서비스에의 객체 기술 방법에 대하여 설명하기로 한다. 특히, 도 1은 종래의 DMB 서비스에서 오디오/비디오 스트림을 기술하기 위하여 사용되는 MPEG-4 객체기술자의 구조를 나타낸다.
DMB 방송에서 객체 기술자는 오디오/비디오 각각에 대한 객체기술자와 부가 데이터에 대한 다수 개의 객체기술자로 구성된다.
오디오 스트림과 비디오 스트림은 각각의 해당 객체기술자(10, 11) 및 기초스트림 기술자(ESD: Elementary Stream Descriptor)(101, 111)를 통하여 기술된다.
즉, 비디오 스트림의 경우는 "ObjectTypeIndication=0x21(AVC), StreamType=0x04(visual stream)"로 설정하고(102, 103), 오디오 스트림의 경우는 "ObjectTypeIndication=0x40(BSAC), StreamType=0x05(audio stream)"으로 설정한다(112, 113).
한편, 오디오/비디오 스트림 각각에 대한 객체 기술자 식별정보(OD_ID)는 유일한 값을 가지며(예를 들면, 오디오 스트림은 "10", 비디오 스트림은 "20"), 이는 장면기술자(BIFS) 내에 기술되는 각 노드의 위치 정보(예를 들면, URL값)와 동일하게 설정된다. 즉, 오디오 스트림과 비디오 스트림을 표현하기 위하여, 장면기술자(BIFS)는 2개의 노드를 포함하고 있으며, 이들 각각은 해당 객체기술자ID(OD_ID)와 연관되어 있다.
하지만, 상기와 같은 객체기술자 구조는 2차원 콘텐츠에 초점을 맞추고 있기 때문에, 2시점 이상의 3차원 입체영상을 서비스하는데에는 한계가 있다.
상기와 같은 종래기술은 다양한 3차원 디스플레이 장치(양안식/다시점 3차원 디스플레이 장치)를 화질의 열화 없이 지원하는 것이 곤란하고, 또한 다시점 3차원 영상 서비스를 제공하기 위해서는 넓은 대역폭을 사용하기 때문에 협소한 대역폭을 사용하는 디지털 멀티미디어 방송(DMB)에는 부적합하다는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명은 상기와 같은 목적을 해결하기 위하여, 송신 측에서는 기준 영상과 데이터 정보량이 적은 깊이정보를 하나의 객체 기술자를 이용해 종속관계로 기술하여 전송하고, 그에 따라 수신 측에서는 기준영상과 깊이 정보를 이용해 다른 시점의 영상을 생성하여 다양한 3차원 입체영상을 구성하는 것을 특징으로 한다.
더욱 구체적으로 본 발명은, DMB 기반의 3차원 입체 영상 서비스를 위한 객체 기술 방법에 있어서, 방송 서비스가 2차원 방송 또는 3차원 방송 중 어느 방송 유형에 해당하는지를 기준 영상에 대한 객체 기술자 내에 설정하는 방송유형 설정 단계; 및 상기 방송 서비스의 대상이 되는 3차원 입체 영상에 대한 상기 기준 영상 및 깊이 정보를 하나의 객체 기술자를 이용하여 기술하되, 상기 기준 영상은 독립 스트림으로 설정하고 상기 깊이 정보는 종속 스트림으로 설정하는 객체 기술 단계를 포함한다.
또한, 본 발명은, DMB 기반의 3차원 입체영상 서비스 수신 방법에 있어서, 전송 스트림을 복호화하여 기준 영상, 깊이 정보 및 방송유형 정보를 획득하는 복호화 단계; 상기 방송유형 정보를 통하여 3차원 방송으로 확인되면, 상기 기준 영상 및 상기 깊이 정보를 이용하여 상기 기준 영상과 다른 시점의 영상을 생성하는 3차원영상 생성 단계; 및 디스플레이 제어 정보에 따라, 상기 기준 영상과 상기 다른 시점 영상을 결합하여 3차원 입체영상을 출력하거나 상기 기준영상을 출력하는 영상포맷 변환 단계를 포함한다.
또한, 본 발명은, 3차원 입체영상 서비스 수신 시스템에서의 영상 포맷 변환 방법에 있어서, 상기 수신 시스템의 진동을 감지하는 감지 단계; 및 상기 감지된 진동의 세기에 따라, 2차원의 기준영상 또는 상기 기준영상을 이용한 3차원 입체영상 중 어느 한 영상을 선택하여 출력하는 영상포맷 변환 단계를 포함한다.
상기와 같은 발명은, DMB 기반의 3차원 입체영상 서비스를 제공함에 있어서 송신 측에서는 기준영상과 '데이터 양이 적은 깊이 정보'만을 전송하고, 수신 측에서 그 수신된 기준영상과 깊이 정보를 이용하여 다양한 디스플레이 장치에 맞는 다양한 영상(양안식 영상이나 다시점 영상 등)을 재생하기 때문에, 기존의 DMB 시스템과의 호환성을 유지하면서도, 사용자에게 서비스되는 3차원 입체영상의 화질을 보장하고 다양한 3차원 디스플레이 장치를 지원할 수 있는 3차원 입체영상 서비스를 제공할 수 있는 효과가 있다.
또한, 본 발명은, 다시점 영상보다는 데이터 양이 적은 깊이 정보를 이용하여 3차원 입체영상 서비스를 제공하기 때문에, 수신 측에서의 화질의 열화를 방지하면서도 3차원 입체영상 서비스에 필요한 대역폭을 최소화하는 효과가 있다. 즉, 본 발명은 정보량이 적은 깊이 정보를 이용하기 때문에, DMB와 같은 좁은 대역폭 내에서도 효과적으로 입체영상 정보를 제공하는 효과가 있다.
또한, 본 발명은, 수신 측에서 기준영상과 깊이 정보를 이용하여 다양한 영상(양안식 영상이나 다시점 영상)을 생성할 수 있으며, 또한 이렇게 생성된 동일 크기(Size)의 양안식 또는 다시점 영상을 이용해서 다양한 3차원 디스플레이 장치 에 적합한 3차원 입체영상을 생성할 수 있게 하는 효과가 있다.
또한, 본 발명은, 3차원 입체영상을 출력하는 도중에 해당 수신 단말의 진동(흔들림)이 심한 경우에는 2차원 영상으로 대체하여 출력함으로써, 사용자의 시각 피로를 최소화할 수 있는 효과가 있다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 2는 본 발명에 따른 DMB 기반의 3차원 입체 영상 서비스를 위한 객체 기술(Object Description) 방법에 대한 일실시예 흐름도로서, 기준영상과 깊이 정보를 하나의 객체기술자를 이용하여 표현하는 방법을 나타낸다. 즉, 본 발명은, 코덱으로부터 출력되는 기준영상 스트림과 깊이 정보(깊이 맵) 스트림을 하나의 객체기술자를 이용하여 주종관계로 표현하는 MPEG-4 객체 기술자 구조를 나타내며, 이러한 객체 기술 정보는 MPEG-4 OD/BIFS 부분에 실리게 된다.
본 발명은, 3차원 입체 영상 서비스를 제공하기 위하여 기준영상과 다른 시 점의 영상을 이용하는 기존 기술과 달리, 송신 측에서 '기준영상'과 '다른 시점의 영상보다 데이터 양이 적은 깊이 정보'를 전송하면, 수신 측에서 기준영상과 깊이 정보를 이용하여 다양한 3차원 디스플레이 장치에 맞는 양안식 영상 또는 다시점 영상을 생성하는 것을 특징으로 한다.
본 발명은, 3차원 입체영상 서비스를 제공할 수 있도록, 기준영상 스트림과 깊이 정보 스트림에 대한 두 개의 기초스트림 기술자(ESD)(21, 22)는 하나의 객체기술자(20) 아래에서 종속관계로 정의(구성)되는데, 이러한 종속관계는 DMB 규격에서 비디오 스트림에 할당되는 하나의 객체기술자 구조와 호환성을 유지할 수 있게 한다.
'기준영상'은 독립 스트림(20)으로서, 기존의 DMB 규격인 AVC(Advanced Video Coding) 코덱을 이용하여 "ObjectTypeIndication=0x21(AVC), StreamType=0x04(visual stream)"로 설정된다.
'깊이 정보(깊이 맵)'는 종속 스트림으로서 기존 코덱 또는 향후 새롭게 정의될 다양한 코덱을 이용해 부호화하여 "ObjectTypeIndication=0xC0(user private), StreamType=0x04(visual stream), StreamDependanceFlag=1, dependsOn_ES_ID=기준영상 ES_ID"로 설정되거나, 또는 "ObjectTypeIndication=0xC0(user private), StreamType=0x20(user private), StreamDependanceFlag=1, dependsOn_ES_ID=기준영상 ES_ID"로 설정된다. 이때, 깊이 정보 스트림을 표현하기 위한 기초스트림 기술자(ESD)(22)의 "extDescr"내에 깊이정보 기술자(Depth_descriptor)를 포함하고, 이를 통하여 3차원 수신시스템에서 3차원 입체영상의 생성에 필요한 부가 정보(도 3 참조)를 전송한다.
본 발명에서는 송신 측에서 다시점 영상을 전송하지 않고, 각 픽셀의 깊이값을 나타내는 깊이 정보를 전송하는데, 그 이유는 '깊이 정보'는 정보량이 적어 DMB와 같은 좁은 대역폭 내에서 전송하기에 적합하고, 또한 수신 측에서는 기준영상과 깊이 정보를 이용하여 양안식 3차원 입체영상 또는 다시점 3차원 입체영상을 생성할 수 있기 때문이다.
도 3은 본 발명에 따른 깊이정보 기술자(Depth_descriptor)의 일실시예 구조도로서, 이러한 구조는 향후 요구되는 다양한 부가 정보의 유형에 따라 확장 가능하다.
깊이정보 기술자(Depth_descriptor)는 기초스트림 기술자(ESD)(22) 내의 "extDescr" 내에서 도3에 도시된 바와 같은 정보를 포함한다.
즉, 본 발명에서 깊이정보 기술자(Depth_descriptor)는 "Tag"(221, 31), "Min_depth_infomation"(222, 33), "Max_depth_information"(223, 34), "Focal_length_information"(224, 35) 등을 포함하는 구조를 가지는 것을 특징으로 한다.
여기서, "Tag"(221, 31)는 해당 기술자의 식별자를 나타낸 것으로 "0xC1(user private)"로 설정되고, "Min_depth_infomation"(222, 33)은 카메라로부터 설정된 장면의 최소 깊이값을 나타내는 것이고, "Max_depth_information"(223, 34)은 카메라로부터 설정된 장면의 최대 깊이값을 나타내며, "Focal_length_information"(224, 35)은 초점 거리를 나타낸다. 여기서, "Focal_length_information"(224, 35)은 카메라 파라미터의 일예로서 다양한 카메라 파라미터가 포함될 수 있다.
또한, "Length Field"(32)는 이후 정보의 길이를 나타내는 것으로서, 8/16/24/32는 편의상의 표현에 불과하며 실제에 있어서는 8/16/24/32 비트 중 어느 하나의 크기만으로 사용된다.
도 4는 본 발명에 따른 콘텐츠 타입 기술자(ContentsType_Descriptor)의 일실시예 구조도이다.
기준영상에 대한 객체기술자(20)의 "extDescr"내에 정의된 "ContentsType_Descriptor" (201)는 DMB를 통해서 전송되는 '콘텐츠의 타입'을 나타낸 것으로서, 기존 방송일 경우는 콘텐츠의 타입(Contents_type)(202)을 "2D"으로 설정하고 3차원 방송일 경우는 콘텐츠의 타입(Contents_type)(202)을 "3D"로 설정한다. 그러면, 3차원 수신시스템(수신 단말)에서는 상기 콘텐츠 타입(Contents_type)(202)을 통해서 수신되는 콘텐츠의 타입(방송 서비스의 유형)을 인식할 수 있게 된다.
본 발명에서 콘텐츠 타입 기술자(ContentsType_Descriptor)는 "Tag"(201, 41), "Contents_type"(202, 43) 등을 포함하는 구조를 갖는 것을 특징으로 한다.
여기서, "Tag"(201, 41)는 기술자의 식별자를 나타내는 것으로서 "0xC0(user private)"로 설정되고, "Contents_type"(202, 43)은 수신되는 콘텐츠의 타입을 나타낸다. 또한 "Length Field"(42)는 이후 정보의 길이를 나타내는 것으로서, 8/16/24/32는 편의상의 표현에 불과하며 실제에 있어서는 8/16/24/32 비트 중 어느 하나의 크기만으로 사용된다.
도 2 내지 도 4를 통하여 설명한 "Depth_descriptor" 및 'ContentsType_ Descriptor"는 객체기술자(OD)(20) 및 기초스트림 기술자(ESD)(22) 내의 "extDescr" 내에서 정의되고 "Tag" 값을 "user private"로 설정함으로써 기존 DMB 수신 단말과의 호환성을 유지할 수 있게 된다.
도 5는 본 발명에 따른 DMB 기반의 3차원 입체영상 서비스 수신 시스템의 일실시예 구성도이다. 이하, DMB 수신 시스템에서 수행되는 3차원 입체영상 서비스 방법도 함께 설명하기로 한다.
본 발명에 따른 3차원 입체영상 서비스 수신 시스템은, 도 5에 도시된 바와 같이, 복호화부(50) 및 3차원 입체영상 재생부(52)를 포함하여 이루어지는데, 이하 각각에 대하여 설명하기로 한다.
먼저, 복호화부(50)는 방송망을 통하여 전송되는 전송 스트림(TS)에서 기준 영상, 깊이 정보, 3차원 입체영상의 생성에 필요한 부가 정보, 및 방송유형 정보를 복원하며, 특히 하나의 객체 기술자(OD)를 통하여 기준영상과 깊이정보를 인식하여 개별적으로 디코딩하는 것으로서, 역다중화부(500), PSI 분석부(501), IOD 디코더(502), 14496 섹션 역패킷화부(De-Packetizer)(503), OD/BIFS 디코더(504), PES 역패킷화부(505), SL(Sync Layer) 역패킷화부(506), AVC 디코더(507), 깊이정보 디코더(508), 및 BSAC 디코더(509)를 포함하여 이루어진다.
이 중에서 "500" 내지 ""506"은 DMB 신호를 수신받아 MPEG-2 전송 스트림(TS)을 역다중화하고 역패킷화하여 각각의 미디어 부호화 스트림을 해당 디코더 에 출력하는 기능을 수행하는 '시스템 복호화부'에 해당하고, "507" 내지 "509"는 시스템 복호화부에서 출력되는 기준영상 스트림, 깊이정보 스트림, 및 오디오 스트림을 각기 독립적으로 복호화하는 기능을 수행한다.
역다중화부(500)는 MPEG-2 전송 스트림(TS)을 분석하여 PSI(Program Specific Information) 섹션, 14496 섹션, 기준영상 PES(Packetized Elementary Stream), 깊이정보 PES, 오디오 PES로 분리되며, 각각의 분리된 데이터는 다음과 같이 독립적으로 디코딩된다.
PSI 분석부(501)가 역다중화부(500)에서 분리된 PSI 섹션 데이터를 파싱하여 PMT(Program Map Table)에 포함된 IOD(Initial Object Descriptor) 스트림을 출력하면, IOD 디코더(502)는 그 IOD 스트림을 디코딩한다.
14496 섹션 역패킷화부(503)가 역다중화부(500)에서 분리된 14496 섹션 데이터를 파싱하여 OD(Object Descriptor)/BIFS(BInary Format for Scenes)스트림을 출력하면, OD/BIFS 디코더(504)는 OD/BIFS 스트림을 디코딩한다. 특히, OD/BIFS 디코더(504)는 객체 기술자를 통하여 기준영상/깊이정보/오디오 스트림을 인식하고 그 인식 결과에 따라 해당 디코더(507 내지 509)의 디코딩을 제어한다. 특히 OD/BIFS 디코더(504)는 동일한 객체기술자를 통하여 기준영상 스트림과 깊이정보 스트림을 인식하고, 콘텐츠 타입 기술자(ContentsType_Descriptor)를 통해서는 현재 서비스되고 있는 방송의 유형정보를 획득하며, 깊이정보 기술자(Depth_descriptor)를 통해서는 3차원 입체영상의 생성에 필요한 부가정보를 획득한다.
PES 역패킷화부(505)는 역다중화부(500)에서 분리되어 출력되는 기준영상 PES, 깊이정보 PES, 오디오 PES를 역패킷화하여 각각에 대한 SL 패킷을 생성하며, SL 역패킷화부(506)는 각각의 SL 패킷을 역패킷화하여 각각에 대한 기초스트림(ES)를 생성한다.
그러면, AVC(Advanced Video Coding) 디코더(507)는 입력되는 기준영상 기초스트림(ES)을 디코딩하여 기준 영상을 복원하고, 깊이정보 디코더(508)는 입력되는 깊이정보 기초스트림(ES)을 디코딩하여 깊이정보를 복원하며, BSAC(Bit Sliced Arithmetic Coding) 디코더(509)는 입력되는 오디오 기초스트림(ES)을 디코딩하여 오디오 데이터를 복원한다.
3차원 입체영상 서비스를 효과적으로 제공하기 위해서는 기준영상 및 깊이 정보 스트림의 동기화가 필요한데, 본 발명에서는 시간 정보인 CTS(Composition Time Stamp)를 비교하여 동일한 CTS를 갖는 스트림만을 해당 디코더에 전달하여 동기화 문제를 해결한다.
즉, 본 발명에서는 PES(Packetized Elementary Stream)를 역패킷화하여 출력되는 SL 패킷의 CTS를 이용하여 동기화를 수행한다. 우선 CTS에 값에 따라 기준영상 스트림 및 깊이 정보 스트림을 프레임단위로 버퍼링하면서, 기준영상의 CTS가 깊이 정보의 CTS보다 크면 깊이 정보의 CTS는 이미 지나간 것으로 간주하고 해당 프레임을 제거한 후, 동일한 CTS를 갖는 깊이 정보의 스트림이 들어올 때까지 기다린다. 이와 달리, 기준영상의 CTS가 깊이 정보의 CTS보다 작으면, 해당 기준영상의 프레임을 제거하고 같은 CTS를 갖는 기준영상이 들어올 때까지 기다린다. 이러한 방식으로 동일한 CTS를 갖는 기준영상과 깊이 정보 스트림을 해당 디코더에 전송함 으로써 동기화 문제를 해결한다.
다음은, 3차원 입체영상 재생부(52)에 대하여 상세히 설명하기로 한다.
본 발명에 따른 3차원 입체영상 재생부(52)는 방송유형 정보에 따라, 기준 영상, 깊이 정보, 부가 정보, 및 사용자 입력 정보 등을 이용하여 3차원 입체영상을 생성하여 출력하거나 또는 기준영상을 출력하는 것으로서, 3차원영상 생성부(521) 및 영상 포맷 변환부(522)를 포함하여 이루어진다.
3차원영상 생성부(521)는 복호화부(50)로부터 출력되는 기준영상과 깊이 정보(깊이 영상), OD/BIFS 디코더(504)로부터 출력되는 방송형태 정보 및 부가정보(최소 깊이값, 최대 깊이값, 카메라 파라미터 등), 3차원 디스플레이 장치의 속성 정보를 기반으로 기준영상과 다른 시점의 영상(양안식 또는 다시점 영상)을 생성하거나, 또는 기준영상을 그대로 바이패스시킨다.
이때, 생성된 양안식 또는 다시점 영상은 동일한 영상 크기를 가짐으로써 3차원 입체영상 생성시 화질열화 없이 다양한 3차원 디스플레이 장치를 지원한다.
여기서, 3차원 디스플레이 장치의 속성 정보는 사용하는 3차원 디스플레이 장치가 지원할 수 있는 시점정보(예를 들면, 양안식 3차원 모니터인지, 다시점 3차원 모니터인지 여부), 3차원 디스플레이 장치에서 지원 가능한 디스패러티(Disparity) 정보를 포함한다. 또한 다시점 3차원 디스플레이 장치의 경우에는 각 시점 간의 간격정보가 추가로 포함된다. 그리고, 이러한 3차원 디스플레이 장치의 속성 정보는 사용자에 의하여 직접 입력되거나, 3차원 디스플레이 장치로부터 입력된다(즉, 3차원 디스플레이 장치가 요구하는 스펙을 3차원 영상 생성부(521)에 입력하는 것임).
요컨대, 3차원영상 생성부(521)는 방송형태 정보를 확인하여, 2차원 방송이면 기준 영상을 영상 포맷 변환부(522)로 바이패스하고, 3차원 방송이면 기준영상과 다른 시점의 영상을 생성한다.
한편, 영상 포맷 변환부(522)는 사용자 인터랙션 정보 또는 진동정보(흔들림 정보)에 따라, 3차원 영상 생성부(521)로부터 출력되는 양안식/다시점 영상(정지영상 포함)을 결합해 3차원 입체영상을 생성하여 출력하거나, 또는 2차원 영상(기준영상)을 단순 출력한다. 여기서, 사용자 인터랙션 정보는 사용자 입력정보로서, 이에는 2차원/3차원 재생 모드 정보(디스플레이 모드 정보), 입체감 조절 모드 등이 포함된다.
즉, 영상 포맷 변환부(522)는 사용자로부터 입력되는 2차원/3차원 재생 모드 정보에 따라 2차원 영상(기준영상) 또는 3차원 입체영상 중 어느 하나를 디스플레이 장치로 출력한다. 또한, 영상 포맷 변환부(522)는 3차원 입체영상 서비스 수신 시스템의 진동 정보(흔들림 정보)에 따라 2차원 영상(기준영상) 또는 3차원 입체영상 중 어느 하나를 선택적으로 출력한다(도 6 참조).
또한, 영상 포맷 변환부(522)는 사용자가 입력한 입체감 조절 모드에 따라 재생되는 3차원 입체영상의 깊이를 조절한다.
요컨대, 영상 포맷 변환부(522)는 3차원영상 생성부(521)에서 바이패스된 기준영상(2차원 영상)을 디스플레이 장치로 단순 전달하거나, 3차원영상 생성부(521) 에서 전달된 양안식/다시점 영상(기준영상 포함)을 결합하여 3차원 입체영상을 생성하여 디스플레이 장치로 전달하되, 디스플레이 제어 정보(2D/3D 재생 모드 정보, 입체감 조절 정보, 진동정보)에 따라 영상의 재생형식을 조절한다.
도 6은 본 발명에 따른 진동정보를 이용한 영상 포맷 변환 방법의 일실시예 흐름도로서, 영상 포맷 변환부(522)에서 수행되는 영상 포맷 변환 방법을 나타낸다.
영상 포맷 변환부(522)는 3차원 입체영상 서비스 수신 시스템(수신 단말)의 진동 정보(흔들림 정보)에 따라 2차원 영상(기준영상) 또는 3차원 입체영상(기준영상을 이용하여 생성한 3차원 입체영상) 중 어느 하나를 선택적으로 출력한다. 특히, 사용자가 3차원 입체영상을 시청하는 도중 흔들림이 많을 경우에는 2차원 영상으로 출력함으로써 시각 피로를 최소화할 수 있다.
영상 포맷 변환부(522)는 3차원 입체영상 수신 시스템(단말)의 진동(흔들림)을 감지한다(600). 여기서, 진동 정보는 움직임 센서를 통하여 감지할 수 있는데, 그 움직임 센서는 영상 포맷 변환부(522)에 포함되어 구성될 수도 있고, 실시예에 따라서는 영상 포맷 변환부(522) 외부의 임의의 위치에 존재할 수도 있다.
이후, 감지된 진동의 세기를 일정한 임계값과 비교하여(602), 진동의 세기가 임계값 이상이면(흔들림이 심하면), 사용자의 시각 피로를 최소화할 수 있도록 기준영상(2차원 영상)을 선택하여 출력한다(604). 즉, 3차원 입체영상으로 출력하고 있다가도 해당 기준영상을 선택하여 출력한다는 것이다.
이와 달리, 진동의 세기가 임계값보다 작으면(흔들림이 미약하면), 기준영상 에 다른 시점의 영상을 결합하여 생성한 3차원 입체영상을 선택하여 출력한다(606).
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 종래의 DMB 서비스에서 오디오/비디오 스트림을 기술하기 위하여 사용되는 MPEG-4 객체기술자의 구조도,
도 2는 본 발명에 따른 DMB 기반의 3차원 입체 영상 서비스를 위한 객체 기술 방법에 대한 일실시예 흐름도,
도 3은 본 발명에 따른 깊이정보 기술자(Depth_descriptor)의 일실시예 구조도,
도 4는 본 발명에 따른 콘텐츠 타입 기술자(ContentsType_descriptor)의 일실시예 구조도,
도 5는 본 발명에 따른 DMB 기반의 DMB 기반의 3차원 입체영상 서비스 수신 시스템의 일실시예 구성도,
도 6은 본 발명에 따른 진동정보를 이용한 영상 포맷 변환 방법의 일실시예 흐름도이다.
* 도면의 주요부분에 대한 부호설명
50: 복호화부 52 3차원 입체영상 재생부
500: 역다중화부 501: PSI 분석부
502: IOD 디코더 503: 14496 섹션 역패킷화부
504: OD/BIFS 디코더 505: PES 역패킷화부
506: SL 역패킷화부 507: AVC 디코더
508: 깊이정보 디코더 521: 3차원 영상 생성부
522: 영상 포맷 변환부

Claims (10)

  1. DMB 기반의 3차원 입체 영상 서비스를 위한 객체 기술 방법에 있어서,
    방송 서비스가 2차원 방송 또는 3차원 방송 중 어느 방송 유형에 해당하는지를 기준 영상에 대한 객체 기술자 내에 설정하는 방송유형 설정 단계; 및
    상기 방송 서비스의 대상이 되는 3차원 입체 영상에 대한 상기 기준 영상 및 깊이 정보를 하나의 객체 기술자를 이용하여 기술하되, 상기 기준 영상은 독립 스트림으로 설정하고 상기 깊이 정보는 종속 스트림으로 설정하는 객체 기술 단계
    를 포함하는 3차원 입체 영상 서비스를 위한 객체 기술 방법.
  2. 제 1 항에 있어서,
    상기 방송유형 설정 단계는,
    콘텐츠 타입 기술자를 이용하여 방송 유형을 정의하는 것을 특징으로 하는 3차원 입체 영상 서비스를 위한 객체 기술 방법.
  3. 제 1 항에 있어서,
    상기 객체 기술 단계는,
    상기 기준 영상에 대한 기초스트림 기술자(ESD, Elementary Stream Descriptor)와 상기 깊이 정보에 대한 기초스트림 기술자(ESD)를 동일한 객체 기술자(OD, Object Descriptor)를 이용하여 주종관계로 구성하는 것을 특징으로 하는 3차원 입체 영상 서비스를 위한 객체 기술 방법.
  4. 제 3 항에 있어서,
    상기 객체 기술 단계는,
    상기 깊이 정보 기초스트림 기술자(ESD) 아래에서, 깊이정보 기술자를 통하여 3차원 입체영상의 생성에 필요한 부가 정보를 기술하는 것을 특징으로 하는 3차원 입체 영상 서비스를 위한 객체 기술 방법.
  5. 제 4 항에 있어서,
    상기 부가 정보는,
    최소 및 최대 깊이값 또는 카메라 파라미터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 3차원 입체 영상 서비스를 위한 객체 기술 방법.
  6. DMB 기반의 3차원 입체영상 서비스 수신 방법에 있어서,
    전송 스트림을 복호화하여 기준 영상, 깊이 정보 및 방송유형 정보를 획득하는 복호화 단계;
    상기 방송유형 정보를 통하여 3차원 방송으로 확인되면, 상기 기준 영상 및 상기 깊이 정보를 이용하여 상기 기준 영상과 다른 시점의 영상을 생성하는 3차원영상 생성 단계; 및
    디스플레이 제어 정보에 따라, 상기 기준 영상과 상기 다른 시점 영상을 결합하여 3차원 입체영상을 출력하거나 상기 기준영상을 출력하는 영상포맷 변환 단계
    를 포함하는 3차원 입체영상 서비스 수신 방법.
  7. 제 6 항에 있어서,
    상기 복호화 단계는,
    하나의 객체기술자를 통하여 기준 영상과 깊이 정보를 인식하여 복호화하고, 상기 기준 영상에 대한 객체 기술자 내에 정의된 콘텐츠 타입 기술자를 통하여 상기 방송유형 정보를 획득하는 것을 특징으로 하는 3차원 입체영상 서비스 수신 방법.
  8. 제 6 항에 있어서,
    상기 복호화 단계는,
    상기 깊이 정보의 기초스트림 기술자(ESD, Elementary Stream Descriptor) 아래에 정의된 깊이정보 기술자를 통하여 상기 다른 시점 영상의 생성에 필요한 부가 정보를 획득하는 것을 특징으로 하는 3차원 입체영상 서비스 수신 방법.
  9. 3차원 입체영상 서비스 수신 시스템에서의 영상 포맷 변환 방법에 있어서,
    상기 수신 시스템의 진동을 감지하는 감지 단계; 및
    상기 감지된 진동의 세기가 미리 결정된 임계값 이상인 경우 2차원의 기준영상을 출력하고, 상기 감지된 진동의 세기가 미리 결정된 임계값 미만인 경우 상기 2차원의 기준영상을 이용한 3차원 입체영상을 출력하는 영상포맷 변환 단계
    를 포함하는 진동정보를 이용한 영상 포맷 변환 방법.
  10. 삭제
KR1020070124386A 2006-12-04 2007-12-03 Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법 KR100913397B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060121369 2006-12-04
KR20060121369 2006-12-04

Publications (2)

Publication Number Publication Date
KR20080051086A KR20080051086A (ko) 2008-06-10
KR100913397B1 true KR100913397B1 (ko) 2009-08-21

Family

ID=39806204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070124386A KR100913397B1 (ko) 2006-12-04 2007-12-03 Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법

Country Status (1)

Country Link
KR (1) KR100913397B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101578740B1 (ko) 2008-12-18 2015-12-21 엘지전자 주식회사 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
KR101537709B1 (ko) * 2008-12-30 2015-07-20 엘지전자 주식회사 이차원 영상과 3ｄ 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050092122A (ko) * 2003-01-20 2005-09-20 산요덴키가부시키가이샤 입체시용 영상 제공 방법 및 입체 영상 표시 장치
KR20050111379A (ko) * 2004-05-21 2005-11-24 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR20050114278A (ko) * 2003-04-18 2005-12-05 산요덴키가부시키가이샤 입체시용 영상 제공 방법 및 입체 영상 표시 장치
KR100747550B1 (ko) 2005-12-09 2007-08-08 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050092122A (ko) * 2003-01-20 2005-09-20 산요덴키가부시키가이샤 입체시용 영상 제공 방법 및 입체 영상 표시 장치
KR20050114278A (ko) * 2003-04-18 2005-12-05 산요덴키가부시키가이샤 입체시용 영상 제공 방법 및 입체 영상 표시 장치
KR20050111379A (ko) * 2004-05-21 2005-11-24 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100747550B1 (ko) 2005-12-09 2007-08-08 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법

Also Published As

Publication number Publication date
KR20080051086A (ko) 2008-06-10

Similar Documents

Publication Publication Date Title
US11330311B2 (en) Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service
US8111758B2 (en) 3D stereoscopic/multiview video processing system and its method
US8289998B2 (en) Method and apparatus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream
EP2103148B1 (en) Transmitting/receiving digital realistic broadcasting involving beforehand transmisson of auxiliary information
RU2767300C2 (ru) Высокоуровневая передача служебных сигналов для видеоданных типа "рыбий глаз"
US20110090970A1 (en) Terminal and relay node for video conference system
JPWO2019031469A1 (ja) 送信装置、送信方法、受信装置および受信方法
US20140125762A1 (en) Transmission device, transmission method, reception apparatus, and reception method
KR100924170B1 (ko) 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법
WO2013011696A1 (ja) 送信装置、受信再生装置、送信方法及び受信再生方法
KR100913397B1 (ko) Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
KR20130056829A (ko) 3dtv 방송을 위한 송수신 장치 및 그 제어 방법
KR102654999B1 (ko) 강화된 영역별 패킹 및 뷰포트 독립적 hevc 미디어 프로파일
KR100826519B1 (ko) Ｄｍｂ 기반의 3차원 정지영상 서비스를 위한 객체 기술 및다중화 방법과, 그에 따른 복호화 장치 및 그 방법
KR20180000320A (ko) 하이브리드 방송 서비스를 위한 타임드 메타데이터 송신 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130729

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee