KR20140080599A - 선언적 콘텐츠를 기반으로 3dtv 서비스를 제공하는 방법 및 그 장치 - Google Patents

선언적 콘텐츠를 기반으로 3dtv 서비스를 제공하는 방법 및 그 장치 Download PDF

Info

Publication number
KR20140080599A
KR20140080599A KR1020120144386A KR20120144386A KR20140080599A KR 20140080599 A KR20140080599 A KR 20140080599A KR 1020120144386 A KR1020120144386 A KR 1020120144386A KR 20120144386 A KR20120144386 A KR 20120144386A KR 20140080599 A KR20140080599 A KR 20140080599A
Authority
KR
South Korea
Prior art keywords
stereoscopic
content
declarative
information
3dtv
Prior art date
Application number
KR1020120144386A
Other languages
English (en)
Inventor
임현정
윤국진
이광순
이진영
정원식
허남호
이희진
심영빈
임순범
Original Assignee
한국전자통신연구원
숙명여자대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 숙명여자대학교산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020120144386A priority Critical patent/KR20140080599A/ko
Publication of KR20140080599A publication Critical patent/KR20140080599A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 선언적 콘텐츠를 기반으로 3DTV 서비스를 제공하기 위한 방법 및 그 장치에 대한 것으로, 선언적 콘텐츠를 포함하는 3DTV 콘텐츠를 수신하는 단계, 상기 선언적 콘텐츠의 포함된 스테레오스코픽(Stereoscopic) 구성 정보를 기반으로 3차원 공간상에 상기 선언적 콘텐츠의 멀티미디어 요소들을 배치하기 위한 스테레오 뷰볼륨(Stereo View Volume)을 설정하는 단계, 상기 선언적 콘텐츠의 멀티미디어 요소들을 요소별 또는 의미별로 분리하는 단계, 상기 분리된 멀티미디어 요소들을 상기 스테레오 뷰볼륨 내부에 배치하고, 장면을 생성하는 단계, 상기 스트레오 뷰볼륨 내부의 가상 좌안 카메라와 가상 우안 카메라를 기반으로 상기 장면에 대한 좌안 영상 및 우안 영상을 획득하는 단계, 및 상기 좌안 영상과 상기 우안 영상을 스테레오스코픽 렌더링하여 사용자에게 스테레오스코픽 3DTV 서비스를 제공하는 단계를 포함하되, 상기 선언적 콘텐츠는 상기 스테레오스코픽 구성 정보인 디스플레이 포멧(display format), 뷰포인트(viewpoint) 정보, 뷰볼륨(view volume) 설정 정보, 디스패러티(disparity) 정보 중 적어도 하나를 포함함을 특징으로 한다.

Description

선언적 콘텐츠를 기반으로 3DTV 서비스를 제공하는 방법 및 그 장치{METHOD AND APPARATUS OF PROVIDING 3DTV SERVICE BASED ON DECLARATIVE CONTENTS}
본 발명은 방송 서비스 제공에 대한 것으로, 보다 상세하게는 선언적 콘텐츠를 기반으로 3DTV 서비스를 제공하기 위한 방법 및 그 장치에 대한 것이다.
방송망을 이용한 데이터 서비스 제공시 야기되는 대역폭 한계를 극복하기 위하여 인터넷망을 활용하여 부가적인 데이터를 전송하고, 이를 기본 방송 콘텐츠와 연동하거나 독립적으로 출력하는 하이브리드(hybrid) 방송에 대한 요구가 증대되고 있다. 이에 따라 최근 국내외적으로 관련 기술 표준화 작업이 진행되고 있으며 하이브리드 방송 개념을 도입한 다양한 서비스 개발이 이루어지고 있다.
양방향 TV를 위한 범 유럽 규격인 HbbTV(Hybrid Broadcast Broadband TV)를 기반으로 프랑스, 독일 등은 하이브리드 방송 서비스를 개시하였다. 또한 ATSC(Advanced Television Systems Committee)에서 차세대 방송 서비스를 위해 준비중인 ATSC 2.0 시나리오에는 하이브리드망을 통해 전달받은 멀티미디어 데이터를 기반으로 방송 콘텐츠와 함께 데이터 서비스를 제공하는 서비스 시나리오가 포함되어 있다. 또한 일본의 NHK에서는 하이브리드캐스트(Hybridcast)라는 이름으로 하이브리드 방송 서비스 플랫폼을 개발중이며, W3C(World Wide Web Consortium)의 웹과 티비(Web and TV) 분과에서는 HTML5(HyperText Markup Language 5) 기술을 TV에 적용시키기 위한 표준화 아이템에 대한 논의가 진행되고 있다.
최근 표준화 및 개발 진행중인 하이브리드 방송에서는 미들웨어(middleware) 기반의 데이터 서비스를 제공하였던 기존 방식과 달리 비디오/오디오와 별도로 제공되는 데이터 표현을 위해 브라우저(browser) 기반의 선언적 콘텐츠를 이용한다. 브라우저 기반의 선언적 콘텐츠로는 XML(Extensible Markup Language), HTML(HyperText Markup Language), CSS(cascading style sheets) 등이 활용되고 있으며, 이러한 웹 표준을 이용함으로 인해 단말의 종류에 관계없이 플랫폼 독립적으로 콘텐츠를 나타낼 수 있다.
특히 CSS에서는 다양한 디바이스 환경을 고려하기 위한 다양한 프로파일(profile)을 지원하고 있다. 이 중 CSS TV 프로파일은 TV 장치의 요구사항 및 제약 조건들을 고려하여 정의한 프로파일이며, 하이브리드 방송 관련 표준 및 DTV 관련 표준에서 브라우저 기반의 콘텐츠 표현 시 이용되고 있다. 그러나 현 CSS TV 프로파일 규격은 CSS 3 등장 이전에 정의되었으며, 3차원 공간 개념을 포함하고 있지 않다. 또한 현재 개발 되었거나 개발중인 HTML5 및 CSS 관련 규격에서는 콘텐츠를 3차원 공간상에 배치하거나, 스테레오스코픽 입체 영상으로 표현하기 위한 내용은 포함하고 있지 않다.
데이터 형태로 전달되는 방송 콘텐츠를 바탕으로 스테레오스코픽 서비스를 제공하기 위한 종래 기술로는 한국공개특허 10-2008-0100308(공개일자 2009년 4월 20일)에 기재된 "LASeR 기반의 단말을 위한 스테레오스코픽 입체 영상 콘텐츠 제공 장치 및 방법"이 있다. 상기 기술은 LASeR이라는 장면 기술(Scene Description) 언어를 기반으로 작성된 콘텐츠에서 스테레오스코픽 입체 영상 제공에 필요한 정보를 표현할 수 있도록 <stereoscopic>, <composition type>, <priorView> 등 추가적인 요소(element)를 제안하였다. 그러나 상기 기술은 LASeR 기반의 단말에서만 적용될 수 있는 한정된 요소를 제안하고 있으며, 스테레오스코픽 이미지 및 비디오를 위한 기본적인 표현 정보만을 포함하고 있다. 또한, 상기 기술은 웹 콘텐츠를 구성하는 주요 요소인 그래픽스(graphics) 및 텍스트 데이터 등을 이용하여 입체 영상 콘텐츠를 제공하는 방법은 포함하고 있지 않다.
본 발명의 기술적 과제는 선언적 콘텐츠를 기반으로 3DTV 서비스를 제공하기 위한 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 3DTV 서비스를 제공하기 위한 콘텐츠의 구조 및 스타일을 정의함에 있다.
본 발명의 또 다른 기술적 과제는 TV 수신기에서 웹 콘텐츠를 포함한 선언적 콘텐츠를 기반으로 스테레오스코픽 서비스를 제공할 수 있도록 콘텐츠의 구조 및 스타일을 정의함에 있다.
본 발명의 일 양태에 따르면, 선언적 콘텐츠(Declative Contents)를 기반으로 3DTV 서비스를 제공하는 방법을 제공한다. 상기 방법은 선언적 콘텐츠를 포함하는 3DTV 콘텐츠를 수신하는 단계, 상기 선언적 콘텐츠의 포함된 스테레오스코픽(Stereoscopic) 구성 정보를 기반으로 3차원 공간상에 상기 선언적 콘텐츠의 멀티미디어 요소들을 배치하기 위한 스테레오 뷰볼륨(Stereo View Volume)을 설정하는 단계, 상기 선언적 콘텐츠의 멀티미디어 요소들을 요소별 또는 의미별로 분리하는 단계, 상기 분리된 멀티미디어 요소들을 상기 스테레오 뷰볼륨 내부에 배치하고, 장면을 생성하는 단계, 상기 스트레오 뷰볼륨 내부의 가상 좌안 카메라와 가상 우안 카메라를 기반으로 상기 장면에 대한 좌안 영상 및 우안 영상을 획득하는 단계, 및 상기 좌안 영상과 상기 우안 영상을 스테레오스코픽 렌더링하여 사용자에게 스테레오스코픽 3DTV 서비스를 제공하는 단계를 포함하되, 상기 선언적 콘텐츠는 상기 스테레오스코픽 구성 정보인 디스플레이 포멧(display format), 뷰포인트(viewpoint) 정보, 뷰볼륨(view volume) 설정 정보, 디스패러티(disparity) 정보 중 적어도 하나를 포함함을 특징으로 한다.
본 발명에 따르면, 웹 콘텐츠와 같은 선언적 콘텐츠를 기반으로 스테레오스코픽 3DTV 서비스를 제공할 수 있다. 본 발명에서는 선언적 콘텐츠 구성 시 스테레오스코픽 표현을 위한 정보 및 깊이 정보를 추가적으로 기술하고, 선언적 콘텐츠를 의미별 또는 요소별로 분류하여 스테레오 뷰볼륨상에 배치 후에 스테레오스코픽 영상을 획득하는 방법을 제안함으로써, 기 존재하는 선언적 콘텐츠를 스테레오스코픽 3DTV 서비스 제공에 활용할 수 있게 한다. 또한 본 발명은 3DTV 환경에 적합한 3DTV 형태의 새로운 웹 콘텐츠 제작 및 활용을 가능하게 하며, 제작 소프트웨어 개발에도 활용될 수 있다.
도 1은 웹기반 3DTV 서비스를 지원하는 시스템의 구성도를 나타낸다.
도 2는 선언적 콘텐츠를 기반으로 비디오와 데이터 객체를 3차원 공간상에 재배치하여 서비스하는 예를 나타낸다.
도 3은 다양한 수신 단말 환경을 위한 CSS 구성의 일 예를 나타낸다.
도 4는 본 발명에 따른 스테레오스코픽 장치를 지원하는 CSS 미디어 쿼리의 일 실시예이다.
도 5는 스테레오스코픽 3DTV 지원을 위한 CSS 프로파일(profile) 개념도이다.
도 6 및 도 7은 선언적 콘텐츠를 요소별 또는 의미별로 분리하는 실시예들을 나탄낸다.
도 8은 본 발명에 따른 좌안 카메라, 우안 카메라 및 뷰볼륨 설정의 일 예를 나타낸다.
도 9는 본 발명에 따른 웹 기반 멀티미디어 콘텐츠의 3차원 배치의 일 예를 나타낸다.
도 10은 본 발명에 따른 스테레오스코픽 영상 획득을 위한 스테레오 뷰볼륨 설정 및 멀티미디어 요소의 3차원 공간 재배치의 일 예이다.
도 11은 본 발명에 따른 선언적 콘텐츠를 기반으로 스테레오스코픽 서비스를 제공하는 수신기의 동작 순서도를 나타낸다.
이하, 본 명세서에서는 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 명세서에서 본 발명의 실시 예들을 설명함에 있어, 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 명세서의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결","결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
3DTV 서비스를 구성하는 방송 콘텐츠는 방송망을 이용하여 수신측에 전달되는 AV(Audio Video) 콘텐츠와, 이와는 별도로 데이터 서비스를 구성하는 멀티미디어 데이터 및 선언적 콘텐츠를 포함할 수 있다. AV 콘텐츠는 2D(2 Dimension) 또는 S3D(Stereoscopic 3D) 형태로 구성될 수 있다. 데이터 서비스를 구성하는 요소 중, 먼저 멀티미디어 데이터는 이미지, 비디오, 그래픽스, 텍스트, 3D 공간 배치를 위한 메타데이터(예를 들어 깊이 지도(depth map)) 등을 포함할 수 있다. 다음으로 데이터 서비스를 구성하는 요소 중, 선언적 콘텐츠는 멀티미디어 데이터의 구조 및 구성에 대해 기술할 수 있는 형태로 HTML, HTML5, XHTML(eXtensible HTML), CE-HTML(Consumer Electronics-HTML), XML(eXtensible Markup Language), CSS(Cascading Style Sheets), SVG(Scalable Vector Graphics) 및 자바스크립트(JavaScript) 등의 웹 표준으로 구성될 수 있다.
도 1은 웹기반 3DTV 서비스를 지원하는 시스템의 구성도를 나타낸다.
도 1을 참조하면, 송신단(100)은 AV 콘텐츠(110) 및 데이터 서비스(120)를 수신단(150)에 제공한다. 송신단(100)은 (실시간) 방송 서버(140) 및 웹 서버(145)를 포함한다.
AV 콘텐츠(110)는 기준 비디오 콘텐츠(111) 및 부가 비디오 콘텐츠(112)를 포함할 수 있다. 기준 비디오 콘텐츠(111)는 방송 서버(140)를 통하여 수신단(150)으로 전송될 수 있다. 부가 비디오 콘텐츠(112)는 방송 서버(140) 및 웹 서버(145) 중 적어도 하나를 통하여 수신단(150)으로 전송될 수 있다.
데이터 서비스(120)는 선언적 콘텐츠(125) 및 멀티미디어 데이터(130)를 포함한다. 선언적 콘텐츠(125) 및 멀티미디어 데이터(130) 중 적어도 하나는 방송 서버(140) 및 웹 서버(145) 중 적어도 하나를 통하여 수신단(150)으로 전송될 수 있다.
방송 서버(140)는 기준 비디오 콘텐츠(111)를 방송망을 통하여 수신단(150)으로 전송한다. 방송 서버(140)는 부가 비디오 콘텐츠(112), 선언적 콘텐츠(125) 및 멀티미디어 데이터(130) 중 적어도 하나를 방송망을 통하여 수신단(150)으로 더 전송할 수 있다. 이 경우 방송 서버(140)는 기준 비디오 콘텐츠(111), 부가 비디오 콘텐츠(112), 선언적 콘텐츠(125) 및 멀티미디어 데이터(130)를 정해진 규격에 따라 인코딩 및 다중화한 후에 상기 방송망을 통하여 수신단(150)으로 전송할 수 있다.
웹 서버(145)는 부가 비디오 콘텐츠(112), 선언적 콘텐츠(125) 및 멀티미디어 데이터(130) 중 적어도 하나를 인터넷망을 통하여 수신단(150)으로 전송한다. 이 경우 웹 서버(145)는 부가 비디오 콘텐츠(112), 선언적 콘텐츠(125) 및 멀티미디어 데이터(130) 중 적어도 하나를 정해진 규격에 따라 인코딩 및 다중화한 후에 상기 인터넷망을 통하여 수신단(150)으로 전송할 수 있다.
수신단(150)은 A/V 디코더(160), 콘텐츠 디코더(165), 3D 처리부(170) 및 3D 디스플레이부(180)를 포함한다.
A/V 디코더(160)는 상기 방송망을 통하여 수신된 기준 비디오 콘텐츠(110)를 디코딩한다. 또한 AV 디코더(160)는 상기 방송망 또는 상기 인터넷망을 통하여 수신된 부가 비디오 콘텐츠(112)를 디코딩할 수 있다.
콘텐츠 디코더(165)는 상기 방송망 또는 상기 인터넷망을 통하여 전송된 부가 비디오 콘텐츠(112), 선언적 콘텐츠(125), 및 멀티미디어 데이터(130) 중 적어도 하나를 디코딩할 수 있다.
3D 처리부(170)는 선언적 콘텐츠(125)에 기술된 내용을 기반으로 AV 콘텐츠(110) 및 멀티미디어 데이터(130)를 3차원 공간상에 재배치하고, 3DTV 서비스를 생성할 수 있다. 3D 디스플레이부(175)는 상기 생성된 3DTV 서비스를 스테레오스코픽 형태로 디스플레이할 수 있다.
이 경우, 멀티미디어 데이터(130)는 선언적 콘텐츠(125)에 기술된 내용에 따라 AV 콘텐츠(110)가 디스플레이되는 위치 위에 오버레이(overlay)되어 3DTV 서비스를 구성할 수 있다. 또는 멀티미디어 데이터는 도 2와 같이 AV 콘텐츠(110)가 디스플레이되는 위치와 별도로 독립된 영역에 디스플레이될 수도 있고, AV 콘텐츠(110)와 무관하게 별도의 독립적 콘텐츠로서 디스플레이되어 서비스를 제공할 수도 있다. 도 2는 선언적 콘텐츠를 기반으로 비디오와 데이터 객체를 3차원 공간상에 재배치하여 서비스하는 예를 나타낸다.
이하 본 발명의 특징을 상세히 설명하면 다음과 같다.
1. CSS 미디어 타입(media type)의 확장
선언적 콘텐츠는 문서의 스타일을 정의하는 CSS를 포함할 수 있으며, 이는 다음과 같이 구성될 수 있다.
도 3은 다양한 수신 단말 환경을 위한 CSS 구성의 일 예를 나타낸다.
도 3을 참조하면, CSS는 다양한 수신 단말 환경을 지원하기 위하여, 수신 단말의 종류 및 각 단말의 특성에 따라 문서 스타일을 정의하고, 각 단말에 적합한 스타일이 수신기에 전달될 수 있도록 구성된다. 예를 들어 송신측 CSS 구성(300)의 '@media 2DTV'는 수신 단말 환경(350)이 2DTV을 나타내는 경우에 대응하고, 송신측 CSS 구성(300)의 '@media 3DTV'는 수신 단말 환경(350)이 3DTV를 나타내는 경우에 대응하며, 송신측 CSS 구성(300)의 '@media Handheld'는 수신 단말 환경(350)이 핸드헬드(Handheld) 장치, 즉 모바일 장치를 나타내는 경우에 대응한다.
본 발명에서는 CSS 미디어 쿼리(media query)의 확장된 정의를 제공한다. CSS 미디어 쿼리는 수신 단말의 디스플레이 장치의 해상도, 화면의 높이, 브라우저 창의 너비와 높이 등에 대응하는 콘텐츠 스타일을 정의할 수 있는 기능을 제공한다. 이 때 단말기의 종류에 따라 각각 다른 스타일시트를 적용하기 위하여 미디어 타입(media type)이 정의될 수 있다. 이 경우 상기 미디어 타입을 기반으로 수신 단말이 스테레오스코픽 지원 디바이스임을 나타낼 수 있다.
도 4는 본 발명에 따른 스테레오스코픽 장치를 지원하는 CSS 미디어 쿼리의 일 실시예이다. 도 4를 참조하면, 본 발명에 따른 CSS 미디어 쿼리의 미디어 타입은 수신 단말이 3D 입체 영상 디스플레이 가능한 TV 미디어임을 나타내는 Stereoscopic3DTV 필드, 3D 입체 영상 디스플레이가 가능한 모바일 장치임을 나타내는 StereoscopicHandheld 필드, 3D 입체 영상 디스플레이가 가능한 컴퓨터 스크린 환경임을 나타내는 StereoscopicScreen 필드, 및 3D 입체 영상 디스플레이가 가능한 프로젝터를 나타내기 위한 StereoscopicProjection 필드 중 적어도 하나를 포함한다. 상기 미디어 타입은 CSS의 활용 방법에 따라 마크업에서 CSS 파일을 분기하는 경우, <style> 태그에서 미디어(media)를 선언하여 사용하는 경우, 및 미디어 구문을 이용하여 CSS 내에서 선택적으로 사용하는 경우 등에 적용될 수 있다.
2. 선언적 콘텐츠 구성
본 발명에 따른 선언적 콘텐츠는 기존 웹 콘텐츠의 문서 구조를 그대로 이용하여 스타일시트만 3DTV 환경에 맞게 정의하여 이용될 수 있다. 또는 선언적 콘텐츠는 스타일시트뿐 아니라 웹 구조 문서까지 3DTV 서비스를 위해 확장하여 이용될 수 있다.
첫째로, 3DTV 서비스를 위해 선언적 콘텐츠를 확장하는 경우, 기존 웹 콘텐츠의 문서 구조 변경 없이 기존 HTML5 및 CSS를 활용하며, 스테레오스코픽 3DTV 서비스를 위한 스타일시트 변경 및 확장이 수반될 수 있다. 이 경우 기존 웹 콘텐츠를 스테레오스코픽 3DTV 서비스에서 활용하기 위한 스타일 정의는 예를 들어 다음과 같다.
도 5는 스테레오스코픽 3DTV 지원을 위한 CSS 프로파일(profile) 개념도이다.
도 5를 참조하면, 본 발명에서 기존 웹 콘텐츠를 스테레오스코픽 3DTV 서비스에서 활용하기 위한 CSS 프로파일은 'CSS TV Profile' 필드, 'CSS1' 필드, 'CSS2' 필드, 'CSS3' 필드를 포함하고, 상기 'CSS3' 필드는 'CSS Paged media' 서브필드, 'CSS Fragmentation' 서브필드, 'CSS Transform 3D' 서브필드, 'CSS Positioned Layout' 서브필드를 포함할 수 있다.
둘째로, 3DTV 서비스를 위해 선언적 콘텐츠를 확장하는 경우, 상기 선언적 콘텐츠의 스타일시트뿐 아니라 웹 구조 문서까지 확장할 수 있다. 이 경우 3차원 공간상에 웹 콘텐츠를 구성하는 멀티미디어 데이터를 재배치하기 위해서 깊이 정보를 포함한 3차원적 레이아웃 정보를 기술하는 방법이 필요하다. 또한 작성된 레이아웃 정보를 기반으로 좌안과 우안에 각각 렌더링될 화면을 구성하기 위한 스테레오스코픽 구성 정보가 필요하다. 따라서, 3DTV 서비스를 위한 선언적 콘텐츠에는 스테레오스코픽 구성 정보인 디스플레이 포멧(display format), 뷰포인트(viewpoint) 정보, 뷰볼륨(view volume) 설정 정보, 디스패러티(disparity) 정보 등을 포함할 수 있다. 또한 동일 콘텐츠를 화면의 해상도 및 크기가 다른 디바이스에서 서비스할 경우 깊이감이 다르게 나타날 수 있으며, 이는 시각적 피로도를 야기할 수 있다. 따라서 적응적인 깊이 값 조절이 필요하며 이를 위해 영상의 해상도, 화면의 크기 및 시청거리 정보 중 적어도 하나를 포함할 수 있다.
또한, 선언적 콘텐츠를 3차원 공간상에 재배치하여 스테레오스코픽 서비스를 제공하기 위하여 다음과 같은 요소(element) 또는 속성(attribute)을 선언적 콘텐츠에 추가로 정의할 수 있다. (1)스테레오스코픽(Stereoscopic) 요소 또는 속성: 제공되는 선언적 콘텐츠가 스테레오스코픽 서비스를 제공하기 위한 콘텐츠임을 정의하기 위한 요소 또는 속성이다. 이는 전체 웹 콘텐츠 또는 웹 콘텐츠를 구성하는 비디오, 이미지, 그래픽스, 텍스트 등의 멀티미디어 데이터의 스테레오스코픽 지원 유무를 정의하기 위하여 사용된다. (2) 구성타입(CompositionType) 요소 또는 속성: 스테레오 입체 영상의 구성 정보를 나타내며, 예를 들어 사이드-바이-사이드(side-by-side), 탑 엔 바텀(top and bottom) 등의 구성 정보가 사용될 수 있다. (3) 장면깊이범위(SceneDepthRange) 요소 또는 속성: 콘텐츠를 구성하는 전체 장면에 대한 깊이 정보를 정의하기 위해 사용된다. 즉, 이는 콘텐츠가 디스플레이되는 3D 공간의 Z값 범위의 시작 값과 끝값을 상대적 또는 절대적인 수치를 이용하여 정의한다. (4) 깊이(Depth) 요소 또는 속성: 3D 공간 콘텐츠를 구성하는 요소별로 공간상의 적절한 위치에 배치할 수 있도록 Z 값을 정의한다. 절대값 또는 상대값 속성에 따라 공간상에 절대적인 위치 또는 상대적인 위치를 표현할 수 있다.
3. 선언적 콘텐츠 분리
본 발명에서는 텍스트, 이미지, 동영상 등의 다양한 멀티미디어 데이터로 구성된 선언적 콘텐츠의 3차원 공간상의 레이아웃 재구성을 위하여 선언적 콘텐츠를 구성하고 있는 멀티미디어 요소들을 요소별 또는 의미별로 분리한다. 일 실시예로, 멀티미디어 요소 분리를 위하여 CSS 3 단편화(Fragmentation) 모듈이 이용될 수 있다. 또한 HTML5로 구성된 웹 페이지의 구역을 나누는 'break-before', 'break-after' 및 'break-inside' 속성들 중 적어도 하나가 사용될 수도 있다.
도 6 및 도 7은 선언적 콘텐츠를 요소별 또는 의미별로 분리하는 실시예들을 나탄낸다.
선언적 콘텐츠는 도 6에서와 같이 비디오, 이미지, 그래픽스, 텍스트, 리스트 등의 멀티미디어 요소별로 분리될 수 있다. 또한 선언적 콘텐츠는 도 7에서와 같이 웹페이지를 구성하고 있고, 각각 의미를 갖는 태그 즉, 섹션(section), 헤더(header), 나브(nav), 푸터(footer) 등의 태그를 기반으로 분리될 수 있다. 또한 의미 정보를 메타데이터 형식으로 부여한 사용자 주석(annotation) 정보에 의해서도 선언적 콘텐츠가 분리될 수도 있다.
4. 스테레오 카메라 및 뷰볼륨 설정
스테레오스코픽 영상을 획득하기 위해서는 먼저 3차원 공간상에 장면을 구성하는 멀티미디어 요소들을 위치시키고, 좌안용과 우안용 가상 카메라를 3차원 공간상에 설정하여 각각의 카메라 시점을 반영하는 렌더링 결과를 얻는 과정이 필요하다. 그러나 기존 웹 콘텐츠 기반으로 스테레오스코픽 3DTV 서비스를 제공하고자 하는 경우, 대부분의 웹 콘텐츠는 2D로 구성되어 3D 표현을 위한 요소들을 포함하고 있지 않기 때문에 3차원 공간상에 각각의 오브젝트들을 배치시키거나, 가상 카메라를 위치시키는 등의 스테레오스코픽 영상을 획득하기 위한 주요 과정이 수행될 수 없다.
따라서, 본 발명에서는 웹 콘텐츠를 구성하고 있는 멀티미디어 오브젝트들을 3차원 공간상에 배치시킬 수 있도록 깊이 정보와 이를 바탕으로 좌안용 영상과 우안용 영상을 획득하기 위한 스테레오 카메라 설정 및 뷰 스테레오 볼륨 설정을 콘텐츠 제작 단계에서 정의하고, 수신기에 이를 전달하여 웹 콘텐츠를 기반으로 스테레오스코픽 3DTV 서비스를 제공할 수 있다.
3차원 그래픽스에서 뷰 평면의 윈도우 내에 투영되는 객체들은 공간상의 일정 영역안에 존재하며 이러한 공간 영역을 뷰볼륨(view volume)이라 한다. 뷰볼륨은 앞평면, 뒷평면, 4방향의 옆평면으로 둘러싸인 공간이며, 이 내부에 있는 객체만이 뷰 평면에 나타날 수 있다. 이 내부의 객체들의 뷰 평면에 투영되는 일정한 영역이 윈도우로 결정되고 이 영역내에 투영된 객체들이 뷰 포트(view port)에 출력된다.
도 8은 본 발명에 따른 좌안 카메라, 우안 카메라 및 뷰볼륨 설정의 일 예를 나타낸다.
스테레오 영상 획득을 위해서는 도 8과 같이 양안의 거리만큼 떨어진 가상 카메라 2개가 설정되어야 한다. 이는 스테레오 카메라라고 불릴 수 있으며, 상기 두 카메라로부터 각각의 좌안 뷰볼륨과 우안 뷰볼륨이 얻어진다. 도 8에 나타난 바와 같이 각각의 좌안 뷰볼륨과 우안 뷰볼륨은 비대칭적인 형태를 가지며, 뷰볼륨 영역이 겹치는 부분과 겹치지 않는 부분이 존재한다.
스테레오 카메라 및 뷰볼륨 설정 방법은 크게 사용자가 직접 직접 스테레오 카메라 및 뷰볼륨 설정을 위한 모든 값을 설정하는 방법과, 사용자에게 깊이 정보만을 입력 받아 반 자동적으로 뷰볼륨을 설정하는 방법을 포함할 수 있다.
일 예로, 사용자가 직접 스테레오 뷰볼륨 설정을 위한 값을 입력하는 경우 예를 들어 다음과 같은 정보의 입력이 필요하다. (1) 사용자의 위치 정보: 사용자 위치를 나타내기 위한 x,y,z 좌표로 스테레오 카메라 각각의 중심점은 사용자 위치를 중심으로 x축으로 ±(두 눈의 거리정보/2) 지점에 위치할 수 있다. (2) 두 눈의 거리 정보: 디폴트(default) 값으로 65mm일 수 있다. (3) 뷰 업(up) 벡터 정보: 뷰의 방향(direction)을 나타내주는 FOV(Field Of View) 값이다. (4) 가까운(near) 평면의 위치 정보: 사용자 위치로부터 가까운 평면까지의 거리를 나타낸다. (5) 먼(far) 평면의 위치 정보: 사용자 위치로부터 먼 평면까지의 거리를 나타낸다. (6) 수렴(Convergence) 평면의 위치 정보: 스크린 역할을 하는 영 시차(zero parallax)를 갖는 평면까지의 거리
다른 예로, 사용자에게 전체 장면의 깊이 정보에 대한 범위(range) 값과 가장 화면의 앞쪽에 보여져야 할 오브젝트의 정보와, 가장 화면의 뒤쪽에 보여져야 할 오브젝트에 대한 값을 입력 받은 후 등장 오브젝트의 개수 및 기본값 설정에 따라 반 자동적으로 스테레오 카메라 및 뷰볼륨이 설정될 수도 있다.
5. 3차원 공간상에 콘텐츠 배치 및 스테레오스코픽 영상 획득
도 9는 본 발명에 따른 웹 기반 멀티미디어 콘텐츠의 3차원 배치의 일 예를 나타낸다.
요소별 또는 의미별로 분리한 멀티미디어 요소들에 대하여 도 9와 같이 3차원 공간상에 배치하기 위하여는 3차원 좌표를 각각의 분리해낸 객체에 할당하는 절차가 필요한다. 분리한 객체에 3차원 좌표를 할당하는 방법으로는 오브젝트별로 Z 인덱스 값을 할당하여 오브젝트 간의 상대적 깊이 정보를 사용할 수 있다. 또는 분리한 객체에 3차원 좌표를 할당하기 위하여 해당 오브젝트를 포함하는 평면의 공간 좌표를 사용할 수도 있다.
도 10은 본 발명에 따른 스테레오스코픽 영상 획득을 위한 스테레오 뷰볼륨 설정 및 멀티미디어 요소의 3차원 공간 재배치의 일 예이다. 도 10을 참조하면, 초록색으로 표시된 영역(1000)은 좌안과 우안을 위한 두 뷰 볼륨 영역이 겹치는 영역을 나타낸다. 가상공간에 멀티미디어 오브젝트 배치 시 상기 멀티미디어 오브젝트가 좌안 또는 우안 중 한쪽에서만 보이게 되는 문제가 발생할 수 있으며, 이를 막기 위하여 상기 멀티미디어 오브젝트는 초록색으로 표시된 영역(1000) 안에 배치되어야 한다. 한편, 멀티미디어 오브젝트를 빨간색으로 표시한 선(1050)보다 z축으로 양(positive)의 영역에 위치할 경우, 상기 멀티미디어 오브젝트는 스크린보다 더 뒤로 들어가보이는 양 시차(positive parallax)를 갖게 되며, 상기 멀티미디어 오브젝트를 빨간색으로 표신한 선(1050)보다 z축으로 음(negative)의 영역에 위치할 경우 상기 멀티미디어 오브젝트는 스크린보다 더 앞으로 나와보이는 음 시차(negative parallax)를 갖게 된다. 이와 같은 방법으로 스테레오 뷰볼륨 내에 3D 오브젝트들을 배치 후 양안시차를 갖는 좌우 영상을 렌더링하여 획득할 수 있다.
상술한 방법에 따르면 웹 콘텐츠와 같은 선언적 콘텐츠를 기반으로 스테레오스코픽 3DTV 서비스를 제공할 수 있다. 본 발명에서는 선언적 콘텐츠 구성 시 스테레오스코픽 표현을 위한 정보 및 깊이 정보를 추가적으로 기술하고, 선언적 콘텐츠를 의미별 또는 요소별로 분류하여 스테레오 뷰볼륨상에 배치 후에 스테레오스코픽 영상을 획득하는 방법을 제안함으로써, 기 존재하는 선언적 콘텐츠를 스테레오스코픽 3DTV 서비스 제공에 활용할 수 있게 한다. 또한 본 발명은 3DTV 환경에 적합한 3DTV 형태의 새로운 웹 콘텐츠 제작 및 활용을 가능하게 하며, 제작 소프트웨어 개발에도 활용될 수 있다.
도 11은 본 발명에 따른 선언적 콘텐츠를 기반으로 스테레오스코픽 서비스를 제공하는 수신기의 동작 순서도를 나타낸다.
도 11을 참조하면, 수신기는 선언적 콘텐츠 기반의 3DTV 콘텐츠를 수신한다(S1100). 상기 3DTV 콘텐츠는 선언적 콘텐츠를 포함한다. 상기 선언적 콘텐츠는 HTML5를 포함한 콘텐츠 구조를 나타내는 웹 문서 및 CSS를 포함한 웹 문서의 프리젠테이션(presentation) 정보를 포함할 수 있다. 이 때 수신기는 디스플레이 환경에 적합한 CSS를 선택적으로 수신할 수도 있다.
수신기는 수신한 상기 선언적 콘텐츠 기반의 3DTV 콘텐츠를 복호화한다(S1110).
수신기는 상기 선언적 콘텐츠에 포함된 웹 문서(HTML5, CSS 등)으로부터 스테레오스코픽 구성 정보를 분석한다(S1120). 상기 선언적 콘텐츠는 구체적으로 상기 스테레오스코픽 구성 정보인 디스플레이 포멧, 뷰포인트 정보, 뷰볼륨 설정 정보, 디스패러티 정보 중 적어도 하나를 포함할 수 있다.
수신기는 상기 스테레오스코픽 구성 정보를 기반으로 3차원 공간상에 상기 선언적 콘텐츠를 분리/배치 하기 위한 스테레오 뷰볼륨을 설정한다(S1130).
수신기는 상기 선언적 콘텐츠의 멀티미디어 요소들을 분리한다(S1140). 수신기는 텍스트, 이미지, 동영상 등의 다양한 멀티미디어 데이터로 구성된 선언적 콘텐츠의 3차원 공간상의 레이아웃 재구성을 위하여 선언적 콘텐츠의 멀티미디어 요소들을 요소별 또는 의미별로 분리할 수 있다.
상기 분리된 선언적 콘텐츠의 멀티미디어 요소들을 상기 스테레오 뷰볼륨 내부에 깊이 값 정보 또는 3D 공간상의 좌표 등을 기반하여 적절한 양안시차를 갖도록 스테레오 뷰볼륨 내부에 배치하고, 장면을 생성한다(S1150).
수신기는 좌안 영상과 우안 영상을 획득한다(S1160). 수신기는 스테레오 뷰 볼륨 내부의 그래픽스상의 가상 좌안 카메라와 우안 카메라로부터 좌안 영상을 위한 이미지와 우안 영상을 위한 이미지를 획득하고, 이를 기반으로 좌안 영상과 우안 영상을 획득할 수 있다.
수신기는 상기 좌안 영상과 상기 우안 영상을 스테레오스코픽 렌더링하여 사용자에게 스테레오스코픽 3DTV 서비스를 제공한다(S1170). 이 경우 수신기는 사용자 디스플레이에 적합한 형태로 상기 좌안 영상과 상기 우안 영상을 렌더링하여 사용자에게 스테레오스코픽 3DTV 서비스를 제공할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (1)

  1. 선언적 콘텐츠(Declative Contents)를 기반으로 3DTV 서비스를 제공하는 방법으로,
    선언적 콘텐츠를 포함하는 3DTV 콘텐츠를 수신하는 단계;
    상기 선언적 콘텐츠의 포함된 스테레오스코픽(Stereoscopic) 구성 정보를 기반으로 3차원 공간상에 상기 선언적 콘텐츠의 멀티미디어 요소들을 배치하기 위한 스테레오 뷰볼륨(Stereo View Volume)을 설정하는 단계;
    상기 선언적 콘텐츠의 멀티미디어 요소들을 요소별 또는 의미별로 분리하는 단계;
    상기 분리된 멀티미디어 요소들을 상기 스테레오 뷰볼륨 내부에 배치하고, 장면을 생성하는 단계;
    상기 스트레오 뷰볼륨 내부의 가상 좌안 카메라와 가상 우안 카메라를 기반으로 상기 장면에 대한 좌안 영상 및 우안 영상을 획득하는 단계; 및
    상기 좌안 영상과 상기 우안 영상을 스테레오스코픽 렌더링하여 사용자에게 스테레오스코픽 3DTV 서비스를 제공하는 단계를 포함하되,
    상기 선언적 콘텐츠는 상기 스테레오스코픽 구성 정보인 디스플레이 포멧(display format), 뷰포인트(viewpoint) 정보, 뷰볼륨(view volume) 설정 정보, 디스패러티(disparity) 정보 중 적어도 하나를 포함함을 특징으로 하는, 3DTV 서비스 제공 방법.
KR1020120144386A 2012-12-12 2012-12-12 선언적 콘텐츠를 기반으로 3dtv 서비스를 제공하는 방법 및 그 장치 KR20140080599A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120144386A KR20140080599A (ko) 2012-12-12 2012-12-12 선언적 콘텐츠를 기반으로 3dtv 서비스를 제공하는 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120144386A KR20140080599A (ko) 2012-12-12 2012-12-12 선언적 콘텐츠를 기반으로 3dtv 서비스를 제공하는 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20140080599A true KR20140080599A (ko) 2014-07-01

Family

ID=51732067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120144386A KR20140080599A (ko) 2012-12-12 2012-12-12 선언적 콘텐츠를 기반으로 3dtv 서비스를 제공하는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20140080599A (ko)

Similar Documents

Publication Publication Date Title
JP6657475B2 (ja) 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
US8488869B2 (en) Image processing method and apparatus
US10154243B2 (en) Method and apparatus for customizing 3-dimensional effects of stereo content
US9578305B2 (en) Digital receiver and method for processing caption data in the digital receiver
KR100970649B1 (ko) 수신 시스템 및 데이터 처리 방법
US8446461B2 (en) Three-dimensional (3D) display method and system
JP5584292B2 (ja) 相対的奥行きを持たせた立体画像への３ｄオブジェクトの組み入れ
CN102223555B (zh) 图像显示装置及其控制方法
CN102550031B (zh) 图像显示装置及其操作方法
KR101899821B1 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
KR101521655B1 (ko) ＬＡＳｅＲ 기반의 단말을 위한 스테레오스코픽 입체 영상 컨텐츠 제공 장치 및 방법
CN106303573B (zh) 一种3d视频图像处理方法及服务器和客户端
KR101329065B1 (ko) 영상 시스템에서 영상 데이터 제공 장치 및 방법
US9596446B2 (en) Method of encoding a video data signal for use with a multi-view stereoscopic display device
US20110157303A1 (en) Method and system for generation of captions over steroscopic 3d images
US20150022645A1 (en) Method and Apparatus for Providing a Display Position of a Display Object and for Displaying a Display Object in a Three-Dimensional Scene
KR101834934B1 (ko) ３ｄ 이미지 데이터의 전송
US20130050183A1 (en) System and Method of Rendering Stereoscopic Images
WO2014109321A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR100928523B1 (ko) 입체 프리젠테이션 시스템
US20110304692A1 (en) Stereoscopic presentation system
KR20140080599A (ko) 선언적 콘텐츠를 기반으로 3dtv 서비스를 제공하는 방법 및 그 장치
EP2560400A2 (en) Method for outputting three-dimensional (3D) image and display apparatus thereof
KR101236739B1 (ko) 복수 개의 입체영상 디스플레이를 위한 입체 프리젠테이션 영상 제작 프로그램이 저장된 매체 및 그 프로그램이 저장된 서버 시스템
TW201407540A (zh) 影像處理方法與影像顯示系統

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination