KR101830881B1 - 프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치 - Google Patents

프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치 Download PDF

Info

Publication number
KR101830881B1
KR101830881B1 KR1020110055741A KR20110055741A KR101830881B1 KR 101830881 B1 KR101830881 B1 KR 101830881B1 KR 1020110055741 A KR1020110055741 A KR 1020110055741A KR 20110055741 A KR20110055741 A KR 20110055741A KR 101830881 B1 KR101830881 B1 KR 101830881B1
Authority
KR
South Korea
Prior art keywords
video
information
fragment
current
stereoscopic
Prior art date
Application number
KR1020110055741A
Other languages
English (en)
Other versions
KR20110134857A (ko
Inventor
김희진
박태성
김길윤
김남국
정도영
류가현
김규헌
김정한
이장원
서덕영
박광훈
Original Assignee
삼성전자주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 경희대학교 산학협력단 filed Critical 삼성전자주식회사
Publication of KR20110134857A publication Critical patent/KR20110134857A/ko
Application granted granted Critical
Publication of KR101830881B1 publication Critical patent/KR101830881B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 네트워크를 이용하여 멀티미디어를 전송하는 스트리밍 서비스의 제공 방법을 개시한다.
2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하고, 프래그먼트마다 3차원 시그널링 정보와, 비디오가 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 포함하는 속성 정보를 결정하고, 프래그먼트에 대한 속성 정보와 부호화된 비디오 데이터를 포함하는 프래그먼트들을 연속적으로 전송하는 멀티미디어 스트리밍 서비스 제공 방법이 개시된다.

Description

프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치{Method and apparatus for providing fragmented multimedia streaming service, and method and apparatus for receiving fragmented multimedia streaming service}
본 발명은, 멀티미디어 컨텐츠를 전송하기 위한 데이터스트림의 생성과 수신에 관한 것이다.
일반적으로 하나의 멀티미디어 컨텐츠는, 오디오, 비디오, 이미지, 메타데이터 등의 서로 다른 속성을 갖는 요소들의 집합으로 이루어진다. 이러한 데이터는 각각 부호화되어, 요소들의 관계 및 각각의 요소를 복호화하여 재생하기 위한 정보들과 함께, 멀티미디어 컨텐츠를 위한 데이터 구조에 수록되어 활용된다.
이러한 멀티미디어 컨텐츠의 데이터 구조를 위해, 국제표준 기구인 MPEG(Moving Picture Experts Group)에서는, 다양한 어플리케이션에 공통으로 적용될 수 있는 기본적인 파일 포맷, 즉 ISO 기반 미디어 파일 포맷(ISO Base Media File Format)을 정의하였다. ISO 기반 미디어 파일 포맷을 이용하여, 멀티미디어 컨텐츠의 부호화된 요소 및 요소에 관련된 구성 정보 등의 보조 데이터가, 복수의 컨테이너(container)에 계층적(Hierachical)으로 저장된다. 기본적으로 ISO 기반 미디어 파일 포맷은, 단일 멀티미디어 파일에 각각의 멀티미디어 요소들이 효율적으로 저장하기 위한 기본 구조를 정의하고 있다.
본 발명은, 2차원 비디오 또는 3차원 비디오를 전송하는 멀티미디어 스트리밍 서비스를 제공하는 방법과 그 장치, 멀티미디어 스트리밍 서비스를 수신하는 방법과 그 장치를 개시한다.
일 실시예에 따라 네트워크를 이용하여 멀티미디어를 전송하는 스트리밍 서비스 제공 방법은, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하는 단계; 상기 프래그먼트마다 현재 비디오를 2차원 재생 또는 3차원 재생을 위한 정보를 포함하는 3차원 시그널링 정보와, 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 포함하는 속성 정보를 결정하는 단계; 및 상기 프래그먼트에 대한 속성 정보를 포함하는 보조 데이터 영역과 상기 부호화된 비디오 데이터를 포함하는 미디어 데이터 영역으로 구성된 프래그먼트들을 연속적으로 전송하는 단계를 포함한다.
일 실시예에 따라 네트워크를 이용하여 멀티미디어를 수신하는 스트리밍 서비스 수신 방법은, 복수 개의 프래그먼트들을 연속적으로 수신하는 단계; 상기 프래그먼트들마다 미디어 데이터 영역으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할된 형태로 추출하는 단계; 상기 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보를 파싱하고, 상기 프래그먼트의 비디오의 2차원 재생 또는 3차원 재생을 위한 3차원 시그널링 정보와 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 추출하여 판독하는 단계; 및 상기 프래그먼트들마다 상기 속성 정보로부터 판독된 정보에 기초하여, 상기 프래그먼트들의 상기 부호화된 데이터를 2차원 비디오 또는 3차원 비디오로 복원하는 단계를 포함한다.
일 실시예에 따라 네트워크를 이용하여 멀티미디어를 전송하는 스트리밍 서비스 제공 장치는, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하는 프래그먼트 비디오 데이터 생성부; 상기 프래그먼트마다 현재 비디오를 2차원 재생 또는 3차원 재생을 위한 정보를 포함하는 3차원 시그널링 정보와, 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 포함하는 속성 정보를 결정하는 프래그먼트 속성 정보 결정부; 및 상기 프래그먼트에 대한 속성 정보를 포함하는 보조 데이터 영역과 상기 부호화된 비디오 데이터를 포함하는 미디어 데이터 영역으로 구성된 프래그먼트들을 연속적으로 전송하는 스트리밍부를 포함한다.
일 실시예에 따라, 네트워크를 이용하여 멀티미디어를 수신하는 스트리밍 서비스 수신 장치는, 복수 개의 프래그먼트들을 연속적으로 수신하는 수신부; 상기 프래그먼트들마다 미디어 데이터 영역으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할된 형태로 추출하는 프래그먼트 비디오 데이터 추출부; 상기 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보를 파싱하고, 상기 프래그먼트의 비디오의 2차원 재생 또는 3차원 재생을 위한 3차원 시그널링 정보와 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 중 적어도 하나를 추출하여 판독하는 프래그먼트 속성 정보 추출부; 및 상기 프래그먼트들마다 상기 속성 정보로부터 판독된 정보에 기초하여, 상기 프래그먼트들의 상기 부호화된 데이터를 2차원 비디오 또는 3차원 비디오로 복원하는 복원부를 포함한다.
본 발명은, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 포함한다. 본 발명은, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 포함한다.
도 1 은 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치의 블록도를 도시한다.
도 2 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치의 블록도를 도시한다.
도 3 은 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷과 프래그먼트마다 전송되는 3차원 시그널링 정보를 포함하는 mfsi 박스를 도시한다.
도 4 는 일 실시예에 따른 mfsi 박스와 scdi 박스에 포함된 3차원 시그널링 정보의 신택스를 도시한다.
도 5 는 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷과 프래그먼트마다 전송되는 3차원 시그널링 정보를 포함하는 svfi 박스를 도시한다.
도 6 과 7 은 일 실시예에 따른 svfi 박스에 포함된 3차원 시그널링 정보의 신택스를 도시한다.
도 8 은 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷에서, 파일에 대해 설정된 3차원 시그널링 정보의 신택스를 도시한다.
도 9 는 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷에서, 샘플에 대해 설정된 3차원 시그널링 정보의 신택스를 도시한다.
도 10 은, 일 실시예에 따라 스테레오스코픽 비디오의 좌시점 비디오 및 우시점 비디오를 각각 전송하기 위한 2개의 스트리밍 파일 포맷을 도시한다.
도 11 은, 일 실시예에 따라 파일에 포함된 스테레오스코픽 비디오에 대해 설정되는 참조 정보를 도시한다.
도 12 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 하나의 관계 정보를 도시한다.
도 13 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 복수 개의 관계 정보를 도시한다.
도 14 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 복수 개의 참조 비디오에 대한 관계 정보를 포함하는 트랙 정보의 신택스를 도시한다.
도 15 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 관계 정보의 신택스를 도시한다.
도 16 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 외부의 인덱스 파일을 이용하여 설정되는 관계 정보를 도시한다.
도 17 과 18 은, 일 실시예에 따라 스테레오스코픽 비디오의 좌시점 비디오및 우시점 비디오를 전송하기 위한 1개의 스트리밍 파일 포맷을 도시한다.
도 19 과 20 는, 일 실시예에 따라 1개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 외부의 인덱스 파일을 이용하여 참조 비디오를 결정하는 방식을 도시한다.
도 21 은, 적응적 스트리밍 서비스를 위하여, 일 실시예에 따른 멀티채널 비디오 그룹의 관계 정보를 포함하는 afgp 박스의 신택스를 도시한다.
도 22 는, 적응적 스트리밍 서비스를 위하여, 파일 외부의 인덱스 파일을 이용하여 일 실시예에 따른 멀티채널 비디오 그룹 간의 관계 정보를 설정하는 경우를 도시한다.
도 23 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 방법의 흐름도를 도시한다.
도 24 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 방법의 흐름도를 도시한다.
도 1 은 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치의 블록도를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 일 실시예에 따라 프래그먼트 단위로 전송되는 스트리밍 파일 포맷을 이용하여, 네트워크를 이용하여 2차원 비디오, 3차원 비디오 또는 2차원 비디오와 3차원 비디오의 혼합 비디오의 비디오 데이터를 전송하면서, 파일, 프래그먼트, 샘플별로 해당 비디오 데이터에 대한 3차원 시그널링 정보와 복수 개의 비디오들 간의 참조 관계에 대한 관계 정보 중 적어도 하나를 포함하는 속성 정보를 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 프래그먼트 비디오 데이터 생성부(110), 프래그먼트 속성 정보 결정부(120) 및 스트리밍부(130)를 포함한다.
일 실시예에 따른 프래그먼트 비디오 데이터 생성부(110), 프래그먼트 속성 정보 결정부(120) 및 스트리밍부(130)는, 멀티미디어 스트리밍 서비스 제공 장치(100)의 내부 또는 외부에 위치한 중앙 연산 장치 또는 프로세서의 제어에 의해 상호 데이터를 교환하며 유기적으로 작동할 수 있다. 또는, 일 실시예에 따른 프래그먼트 비디오 데이터 생성부(110), 프래그먼트 속성 정보 결정부(120) 및 스트리밍부(130) 중 적어도 하나의 구성요소는, 자체적으로 탑재된 프로세서에 의해 작동되며, 다른 구성요소와 유기적으로 작동되도록 제어될 수 있다.
일 실시예에 따른 프래그먼트 비디오 데이터 생성부(110)는, 2차원 비디오 데이터 및 3차원 비디오 데이터 중 적어도 하나를 포함하는 비디오 데이터를 프래그먼트 단위로 전송하기 위하여 프래그먼트 비디오 데이터로 분할한다.
프래그먼트는 네트워크를 이용하여 데이터를 스트리밍하기 위한 패킷 단위다. 프래그먼트는, 미디어 데이터를 전송하기 위한 미디어 데이터 영역과, 미디어 데이터 영역의 미디어 데이터의 컨텐트에 대한 정보 및 구조 관련 정보 등의 속송 정보를 전송하기 위한 보조 데이터 영역으로 구성된다. 하나 이상의 프래그먼트들이 순차적으로 전송되면서 스트리밍 데이터가 전송될 수 있다.
예를 들어, ISO 기반 미디어 파일 포맷을 따르는 스트리밍 파일의 경우, 프래그먼트는 미디어 데이터를 포함하는 mdat 영역과, mdat 영역의 미디어 데이터에 대한 각종 속성 정보를 포함하는 moof 영역으로 구성된다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 압축 부호화된 비디오 데이터를 수신하고, 스트리밍을 위해 프래그먼트 단위로 분할할 수 있다. 또는, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는 무압축 비디오 데이터를 수신한 후, 자체적으로 탑재된 부호화기를 이용하여 비디오 데이터를 부호화한 후, 프래그먼트 단위로 분할할 수도 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 프래그먼트마다, 비디오의 2차원 재생 또는 3차원 재생을 위한 정보를 포함하는 3차원 시그널링 정보를 결정한다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 프래그먼트의 보조 데이터 영역을 통해 전송될 3차원 시그널링 정보를 결정할 수 있다. 3차원 시그널링 정보는, 현재 비디오가 2차원 비디오인지 3차원 비디오인지 여부에 따라 설정되는 각종 정보를 포함한다. 또한, 3차원 시그널링 정보는, 복호화기가 비디오를 복원하여 2차원 재생 또는 3차원 재생하기 위하여 필요한 각종 정보를 포함할 수도 있다.
3차원 시그널링 정보가 프래그먼트마다 전송되는 경우, 프래그먼트마다 현재비디오에 대한 2차원 비디오/3차원 비디오 관련 정보가 전송될 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 비디오를 포함하여 복수 개의 비디오들 간에 상호 참조하기 위한 관계 정보를 결정한다. 관계 정보로서, 현재 파일 내에 위치하는 다른 비디오에 대한 참조 정보 및 위치 정보가 전송될 수 있다. 또한, 관계 정보로서, 현재 파일의 외부 파일에 위치하는 하나 이상의 다른 비디오를 참조하기 위한 위치 정보 및 인덱스 정보가 전송될 수 있다.
일 실시예에 따른 스트리밍부(130)는, 프래그먼트 속성 정보 결정부(120)에 의해 결정된 3차원 시그널링 정보 및 관계 정보 중 적어도 하나를 포함하는 속성 정보와, 프래그먼트로 분할된 비디오 데이터를 포함하는 프래그먼트들을 연속적으로 전송한다. 프래그먼트들이 연속적으로 전송됨으로써 비디오 데이터와, 3차원 시그널링 정보 또는 관계 정보가 스트리밍될 수 있다.
프래그먼트마다, 보조 데이터 영역을 통해 현재 프래그먼트의 비디오에 대한 3차원 시그널링 정보와 관계 정보가 전송되고, 미디어 데이터 영역을 통해 현재 프래그먼트의 부호화된 비디오 데이터가 전송될 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 프래그먼트마다, 현재 비디오에 대한 3차원 구성 정보 및 좌우 순서 정보를 결정할 수 있다. 일 실시예에 따른 3차원 구성 정보는, 좌시점 영상 및 우시점 영상이 현재 비디오의 스테레오스코픽 영상을 구성하는 형태를 나타낸다. 일 실시예에 따른 좌우 순서 정보는, 스테레오스코픽 영상에서 좌시점 영상 및 우시점 영상의 순서를 나타낸다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 프래그먼트마다, 현재 비디오에 대한 모노스코픽 비디오 구간과 스테레오스코픽 비디오 구간의 변경 횟수를 나타내는 스테레오 모노 구간 변경 횟수 정보를 결정할 수 있다.
프래그먼트는, 모노스코픽 영상 시퀀스로 구성된 모노스코픽 비디오 구간을 포함하거나, 스테레오스코픽 영상 시퀀스로 구성된 스테레오스코픽 비디오 구간을 포함할 수 있다. 또한, 프래그먼트는, 모노스코픽 비디오 구간 및 스테레오스코픽 비디오 구간의 혼합 비디오 구간을 포함할 수도 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 구간이 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간인지 나타내는 스테레오 확인 정보를 결정할 수 있다.
샘플이란, 일련의 시연속적인 비디오 프레임, 또는 시연속적인 압축 오디오 섹션 중에서 각각의 프레임을 나타내는 데이터 단위이다. 즉, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)에서, 프래그먼트의 샘플은 비디오 프레임과 유사한 용어로 사용될 수 있다.
현재 프래그먼트의 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간의 구간들을 구분하기 위하여, 각각의 구간을 구성하는 샘플들의 개수가 이용될 수 있다. 일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 구간을 구성하는 샘플들의 개수를 나타내는 구간 샘플 개수 정보를 결정할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 프래그먼트의 스테레오스코픽 비디오 구간마다, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대하여 3차원 구성 정보 및 좌우 순서 정보를 결정할 수도 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 프래그먼트의 스테레오스코픽 비디오 구간마다 스테레오스코픽 카메라 정보와 스테레오스코픽 디스플레이 정보 중 적어도 하나를 결정할 수 있다.
일 실시예에 따른 스테레오스코픽 카메라 정보는, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들을 획득한 스테레오스코픽 카메라에 대한 정보를 포함한다. 일 실시예에 따른 스테레오스코픽 디스플레이 정보는, 샘플들을 안전하게 3차원 재생하기 위한 디스플레이 규격에 대한 정보를 포함한다.
스테레오스코픽 비디오 구간 중에서, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템을 식별하기 위하여, 각각의 아이템을 구성하는 샘플들의 개수가 이용될 수 있다. 일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 프래그먼트의 현재 스테레오스코픽 비디오 구간 중에서, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템들의 개수를 나타내는 정보를 결정할 수 있다.
또한 일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 각각의 아이템에서 참조되는 현재 스테레오스코픽 카메라 디스플레이 정보의 식별 정보와, 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간의 길이에 대한 정보 중 적어도 하나를 결정할 수도 있다. 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간이 길이에 대한 정보는, 현재 스테레오스코픽 카메라 디스플레이 정보가 참조되는 현재 아이템을 구성하는 샘플들의 개수로 표현될 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 파일 단위로 3차원 시그널링 정보를 결정할 수도 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 파일의 스테레오스코픽 비디오에 대해, 3차원 구성 정보와 좌우 순서 정보를 결정할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 파일의 비디오 중에서, 모노스코픽 비디오 구간으로 구성된 모노 프래그먼트와 스테레오스코픽 비디오 구간으로 구성된 스테레오 프래그먼트의 변경 횟수를 나타내는 스테레오 모노 프래그먼트 변경 횟수 정보를 결정할 수 있다.
일 실시예에 따른 스트리밍부(130)는, 현재 파일의 3차원 구성 정보와 좌우 순서 정보, 스테레오 모노 프래그먼트 변경 횟수 정보를 전송하면서, 현재 파일의 프래그먼트마다, 스테레오 모노 구간 변경 횟수 정보, 구간 샘플 개수 정보 및 스테레오 확인 정보 중 적어도 하나를 더 전송할 수도 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 프래그먼트의 하나 이상의 스테레오스코픽 비디오 구간 중에서 각각의 스테레오스코픽 비디오 구간에 대한 식별 정보를 결정할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 비디오를 포함하여 복수 개의 비디오들 간에 상호 참조 관계를 구성하는 경우, 복수 개의 비디오를 참조하기 위한 관계 정보를 결정할 수 있다. 일 실시예에 따른 관계 정보는, 참조 비디오의 인덱스 정보, 위치 정보 등을 포함할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 파일의 비디오에 대해, 스테레오스코픽 비디오를 구성하기 위해 참조하는 참조 비디오의 위치 정보를 결정할 수 있다. 일 실시예에 따른 참조 비디오의 위치 정보는, 현재 파일 내에서의 참조 비디오 식별 정보, 현재 파일 이외에서의 원격 위치 정보, URL(Uniform Resource Locator) 정보, URN(Uniform Resource Name) 정보 중 적어도 하나를 이용하여 결정될 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 파일의 비디오가 복수 개의 비디오를 참조하는 경우, 참조 비디오의 개수 정보를 결정할 수 있다. 일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 복수 개의 참조 비디오를 식별하기 참조 인덱스 정보와, 각각의 참조 비디오에 대한 위치 정보 중 적어도 하나를 더 결정할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 네트워트 상태에 따라 멀티미디어 컨텐츠를 안전하게 스트리밍 서비스를 전송하기 위하여, 비디오 화질에 따라 차등적으로 부호화된 비디오를 제공할 수 있다. 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 동일한 비디오를 비디오 화질에 따라 차등되도록 부호화하여, 복수 채널의 비디오를 포함하는 멀티채널 비디오 그룹을 생성할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 현재 파일의 비디오를 대체할 수 있는 다른 채널의 비디오의 개수를 나타내는 멀티채널 개수 정보를 결정할 수 있다. 또한, 일 실시예에 따른 프래그먼트 속성 정보 결정부(120)는, 멀티채널 비디오 그룹 중에서 다른 채널의 비디오의 위치를 나타내는 참조 정보를 결정할 수도 있다.
도 2 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치의 블록도를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 네트워크를 이용하여 스트리밍 데이터의 프래그먼트들을 수신하여, 파일, 프래그먼트, 샘플마다 3차원 시그널링 정보 및 관계 정보 중 적어도 하나를 포함하는 속성 정보를 추출하여 해당 비디오 데이터를 추출하여 2차원 비디오, 3차원 비디오 또는 2차원 비디오와 3차원 비디오의 혼합 비디오를 복원할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신부(210), 비디오 데이터 추출부(220), 프래그먼트 속성 정보 추출부(230) 및 복원부(240)를 포함한다.
일 실시예에 따른 수신부(210), 비디오 데이터 추출부(220), 프래그먼트 속성 정보 추출부(230) 및 복원부(240)는, 멀티미디어 스트리밍 서비스 수신 장치(200)의 내부 또는 외부에 위치한 중앙 연산 장치 또는 프로세서의 제어에 의해 상호 데이터를 교환하며 유기적으로 작동할 수 있다. 또는, 일 실시예에 따른 수신부(210), 비디오 데이터 추출부(220), 프래그먼트 속성 정보 추출부(230) 및 복원부(240) 중 적어도 하나의 구성요소는, 자체적으로 탑재된 프로세서에 의해 작동되며, 다른 구성요소와 유기적으로 작동되도록 제어될 수 있다.
일 실시예에 따른 수신부(210)는, 네트워크 스트리밍을 통해, 복수 개의 프래그먼트들을 연속적으로 수신한다.
일 실시예에 따른 비디오 데이터 추출부(220)는, 수신부(210)에서 수신된 프래그먼트들마다 미디어 데이터 영역으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할된 형태로 추출한다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 수신부(210)에서 수신된 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보를 파싱한다. 일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 파싱된 속성 정보로부터 프래그먼트의 비디오를 2차원 또는 3차원으로 재생하기 위한 정보, 컨텐츠 관련 특성, 데이터 구조, 복수 개의 비디오들 간의 관계 정보 등의 속성 정보를 판독할 수 있다.
일 실시예에 따른 복원부(240)는, 프래그먼트 속성 정보 추출부(230)에서 프래그먼트들마다 속성 정보로부터 판독된 3차원 시그널링 정보 또는 관계 정보에 기초하여, 프래그먼트들의 부호화된 비디오 데이터를 복호화하여, 2차원 비디오 또는 3차원 비디오로 복원한다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 프래그먼트들마다 현재 비디오에 대하여 설정된 3차원 구성 정보, 좌우 순서 정보 및 스테레오 모노 구간 변경 횟수 정보 중 적어도 하나를 추출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 3차원 구성 정보로부터, 좌시점 영상 및 우시점 영상이 현재 프래그먼트의 스테레오스코픽 영상을 구성하는 형태를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 좌우 순서 정보로부터, 현재 프래그먼트의 스테레오스코픽 영상에서 좌시점 영상 및 우시점 영상의 순서를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 스테레오 모노 구간 변경 횟수 정보로부터, 현재 프래그먼트의 모노스코픽 비디오 구간과 스테레오스코픽 비디오 구간의 변경 횟수를 판독할 수 있다.
현재 프래그먼트의 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간은, 각각의 구간을 구성하는 샘플들의 개수를 이용하여 검출될 수 있다. 일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 프래그먼트들마다 스테레오 확인 정보 및 구간 샘플 개수 정보 중 적어도 하나를 추출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 스테레오 확인 정보로부터, 현재 프래그먼트 중에서 현재 구간이 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간인지 여부를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 구간 샘플 개수 정보로부터, 현재 구간을 구성하는 샘플들의 개수를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 스테레오스코픽 비디오 구간마다, 3차원 구성 정보 및 좌우 순서 정보 중 적어도 하나를 추출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 프래그먼트의 현재 스테레오스코픽 비디오 구간의 3차원 구성 정보로부터, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대한 3차원 구성 정보를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 프래그먼트의 현재 스테레오스코픽 비디오 구간의 좌우 순서 정보로부터, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대한 좌우 순서 정보를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트 비디오 데이터의 스테레오스코픽 비디오 구간마다, 스테레오스코픽 카메라 디스플레이 정보를 추출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 스테레오스코픽 비디오 구간의 스테레오스코픽 카메라 디스플레이 정보로부터, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들을 획득한 스테레오스코픽 카메라에 대한 정보와, 샘플들을 이용하여 안전하게 3차원 재생하기 위한 디스플레이 규격에 대한 정보를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 스테레오스코픽 비디오 구간 중에서 각각의 아이템을 구성하는 샘플들의 개수를 이용하여, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템을 검출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트의 현재 스테레오스코픽 비디오 구간 중에서, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템들의 개수를 나타내는 정보, 각각의 아이템에서 참조되는 현재 스테레오스코픽 카메라 디스플레이 정보의 식별 정보, 그리고 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간의 길이에 대한 정보 중 적어도 하나를 추출하여 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 추출된 정보를 이용하여 현재 스테레오스코픽 비디오 구간 중에서는 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템을 검출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오에 대한 3차원 구성 정보, 좌우 순서 정보 및 스테레오 모노 프래그먼트 변경 횟수 정보 중 적어도 하나를 추출할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 3차원 구성 정보로부터, 현재 파일의 비디오에 대해 좌시점 영상 및 우시점 영상이 현재 파일의 스테레오스코픽 영상을 구성하는 형태를 판독할 수 있다. 일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오에 대한 좌우 순서 정보로부터, 현재 파일의 스테레오스코픽 영상을 구성하는 좌시점 영상 및 우시점 영상의 순서를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 스테레오 모노 프래그먼트 변경 횟수 정보로부터, 현재 파일의 비디오 중에서 모노스코픽 비디오 구간으로 구성된 모노 프래그먼트와 스테레오스코픽 비디오 구간으로 구성된 스테레오 프래그먼트의 변경 횟수를 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오에 대한 3차원 구성 정보, 좌우 순서 정보 및 스테레오 모노 프래그먼트 변경 횟수 정보 중 적어도 하나를 추출하고, 현재 파일의 프래그먼트마다, 현재 프래그먼트의 비디오에 대한 스테레오 모노 구간 변경 횟수 정보, 구간 샘플 개수 정보 및 스테레오 확인 정보 중 적어도 하나를 또 추출하여 판독할 수도 있다.
또한 일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 프래그먼트 비디오 데이터의 하나 이상의 스테레오스코픽 비디오 구간 중에서 각각의 스테레오스코픽 비디오 구간에 대한 식별 정보를 추출하고 판독할 수 있다. 판독된 스테레오스코픽 비디오 구간에 대한 식별 정보를 이용하여, 현재 스테레오스코픽 비디오 구간이 검출될 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오가 하나 이상의 비디오를 참조하는 경우, 복수 개의 비디오들 간의 참조 관계를 나타내는 관계 정보를 추출하여 판독할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 스테레오스코픽 비디오를 구성하기 위해 참조하는 다른 하나의 비디오에 대하여, 참조 비디오의 위치 정보, 참조 비디오 식별 정보, 현재 파일 이외에서의 원격 위치 정보, URL 정보, URN 정보 중 적어도 하나를 추출하여 판독할 수 있다. 일 실시예에 따른 복원부(240)는, 판독된 정보를 이용하여 참조되는 다른 하나의 비디오를 검출함으로써, 현재 파일의 스테레오스코픽 영상을 복원할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오 데이터가 복수 개의 비디오를 참조하는 경우, 현재 파일로부터 참조 비디오의 개수 정보, 복수 개의 참조 비디오를 식별하기 위한 참조 인덱스 정보, 그리고 각각의 참조 비디오에 대한 위치 정보 중 적어도 하나를 추출하여 판독할 수 있다. 일 실시예에 따른 복원부(240)는, 판독된 정보를 이용하여 참조되는 비디오를 선택적으로 검출함으로써, 현재 파일의 비디오를 원하는 형태로 복원할 수 있다.
일 실시예에 따른 멀티미디어 스트링 서비스 수신 장치(200)는, 네트워트 상태에 따라 멀티미디어 컨텐츠를 안전하게 스트리밍 서비스를 수신하기 위하여, 비디오 화질에 따라 차등적으로 부호화된 복수 개의 채널들의 비디오를 포함하는 멀티채널 비디오 그룹을 기초로 하는 적응적 스트리밍 서비스를 제공받을 수 있다. 일 실시예에 따른 멀티미디어 스트링 서비스 수신 장치(200)는, 비디오 화질에 따라 복수 개의 채널들로 차등된 비디오 중에서, 네트워트 상태에 따라 선택적으로 소정 채널의 비디오를 수신할 수 있다.
일 실시예에 따른 프래그먼트 속성 정보 추출부(230)는, 현재 파일의 비디오의 다른 채널의 비디오의 개수를 나타내는 멀티채널 개수 정보와, 다른 채널의 비디오의 위치를 나타내는 참조 정보 중 적어도 하나를 추출하여 판독할 수 있다. 일 실시예에 따른 복원부(240)는, 추출된 멀티채널 개수 정보와 참조 정보를 이용하여, 선택 수신된 다른 채널의 비디오들을 조합하여 비디오를 복원할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 프래그먼트들마다 3차원 시그널링 정보 또는 관계 정보로부터 판독된 정보에 기초하여, 복원부(240)에 의해 복원된 2차원 비디오 또는 3차원 비디오를 2차원 또는 3차원으로 재생할 수 있다.
도 3 은 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷과 프래그먼트마다 전송되는 3차원 시그널링 정보를 포함하는 mfsi 박스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 전송 장치(100)는, 2차원 비디오 또는 3차원 비디오의 부호화된 비디오 데이터와, 전송되는 비디오에 대한 각종 특성 정보를 포함하는 보조 데이터를, 일 실시예에 따른 스트리밍 파일 포맷(300)에 따르는 데이터스트림을 수록하여 전송할 수 있다.
일 실시예에 따른 스트리밍 파일 포맷(300)은, ftyp 박스, moov 박스(350), sidx 박스와, 복수 개의 프래그먼트들(310, 312, 314)로 구성되어 있다. 각각의 프래그먼트(310, 320, 330)는, moof 박스(320, 340, 360)와 mdat 박스(330, 350, 370)로 구성되어 있다.
일 실시예에 따른 스트리밍 파일 포맷(300)에, 스테레오스코픽 컨텐츠의 부호화된 비디오 데이터가 포함되어 전송될 수 있다. ftyp 박스는, 일 실시예에 따른 스트리밍 파일 포맷(300)에 따른 현재 파일의 파일 타입 정보를 포함한다. sidx 박스는, 현재 파일 중에서 각각의 세그먼트를 검색하기 위한 세그먼트 인덱스 정보를 포함한다.
moov 박스(350)는, 현재 파일의 비디오에 대한 시간적 정보 및 공간적 정보, 데이터 구조 등에 대한 정보를 포함할 수 있다. 일 실시예에 따른 스트리밍 파일 포맷(300)의 moov 박스(350)는 svmi 박스(360) 및 scdi 박스(370)를 포함한다.
svmi 박스(360)는, 스트리밍 파일 포맷(300)에 따른 현재 파일을 통해 전송되는 스테레오스코픽 비디오의 스테레오스코픽 비주얼 타입 정보, 2차원/3차원 컨텐츠의 혼합 컨텐츠, 프래그먼트 관련 정보 등의 각종 정보를 포함할 수 있다. 예를 들어, 프래그먼트 관련 정보는, 프래그먼트의 개수, 연속적인 샘플들의 개수, 현재 샘플이 스테레오스코픽 데이터인지 여부 등에 대한 정보를 포함할 수 있다.
scdi 박스(370)는, 스트리밍 파일 포맷(300)에 따른 현재 파일을 통해 전송되는 스테레오스코픽 비디오와 관련된 스테레오스코픽 카메라, 디스플레이 규격 및 시각 안정성을 위한 각종 정보를 포함할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(300)에 따라, 현재 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하여 전송할 수 있다. 각각의 프래그먼트(310, 312, 314)의 mdat 박스(330, 350, 370)에 프래그먼트 단위로 분할된 비디오 데이터가 포함될 수 있다. 예를 들어, mdat 박스(330)는 2차원 비디오(335)의 분할된 데이터를 포함하고, mdat 박스(350)는 2차원 비디오(352)와 3차원 비디오(354)의 혼합 비디오의 분할된 데이터를 포함하고, mdat 박스(350)는 3차원 비디오(372)와 2차원 비디오(374)의 혼합 비디오의 분할된 데이터를 포함할 수 있다.
각각의 프래그먼트(310, 312, 314)의 moof 박스(320, 340, 360)에는, 해당 프래그먼트(310, 312, 314)의 mdat 박스(350, 360, 370)에 삽입되는 비디오에 대한 시간적 정보 및 공간적 정보, 데이터 구조 등에 대한 정보를 포함할 수 있다.
예를 들어, moof 박스(340)는 현재 프래그먼트(312)의 mdat 박스(340)에 삽입되는 현재 비디오(352, 354)에 대한 3차원 시그널링 정보를 포함할 수 있다.
예를 들어, moof 박스(340)는 mfsi 박스(380) 및 scdi 박스(390)를 포함할 수 있다. 일 실시예에 따른 mfsi 박스(380) 및 scdi 박스(390)는, 현재 프래그먼트(312)의 mdat 박스(340)에 삽입되는 현재 비디오(352, 354)에 대한 3차원 시그널링 정보를 포함할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 스트리밍 파일 포맷(300)에 따른 데이터스트림을 수신하여 파싱함으로써, 2차원 비디오 또는 3차원 비디오의 부호화된 비디오 데이터와 수신된 비디오에 대한 각종 특성 정보를 포함하는 보조 데이터를 추출할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 스트리밍 파일 포맷(300)에 따른 데이터스트림의 mfsi 박스(380) 및 scdi 박스(390)로부터 비디오에 대한 3차원 시그널링 정보를 추출하여, 2차원 비디오 또는 3차원 비디오를 복원할 수 있다.
도 4 는 일 실시예에 따른 mfsi 박스와 scdi 박스에 포함된 3차원 시그널링 정보의 신택스를 도시한다.
일 실시예에 따른 mfsi 박스는, 현재 프래그먼트에 삽입된 비디오에 대한 3차원 시그널링 정보로서, 스테레오스코픽 비주얼 타입 정보(stereoscopic visual type information)를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 비주얼 타입 정보는, 현재 프래그먼트의 비디오에 대하여, 3차원 구성 정보 'stereoscopic_composition_type', 좌우 순서 정보 'is_left_first'와, 스테레오 모노 구간 변경 횟수 정보 'stereo_mono_change_count'를 포함할 수 있다.
일 실시예에 따른 3차원 구성 정보 'stereoscopic_composition_type'는, 현재 프래그먼트의 비디오에서 좌시점 영상 및 우시점 영상이 스테레오스코픽 영상을 구성하는 형태를 나타낸다. 일 실시예에 따른 스테레오스코픽 영상의 3차원 구성 정보에 의해 식별되는 스테레오스코픽 영상 타입은, 한 장의 스테레오스코픽 영상 내에서 좌시점 영상 및 우시점 영상이 좌우로 배열된 사이드 바이 사이드(Side-by-side) 타입, 상하로 배열된 탑 앤 바텀(Top-and-bottom) 타입, 좌시점 영상 및 우시점 영상이 한장씩 번갈아 전송되는 필드(프레임) 시퀀셜(Field(Frame) Sequential) 타입, 그리고 좌시점 영상 시퀀스 및 우시점 영상 시퀀스가 각각 전송되는 타입 등을 포함할 수 있다.
일 실시예에 따른 좌우 순서 정보 'is_left_first'는, 현재 프래그먼트의 스테레오스코픽 영상에서 좌시점 영상 및 우시점 영상이 배열된 순서를 나타낸다. 예를 들어, 좌우 순서 정보 'is_left_first'를 이용하여, 사이드 바이 사이드 타입인 스테레오스코픽 영상 내부의 좌/우 영역에 좌시점 영상 및 우시점 영상의 순서 또는 우시점 영상 및 좌시점 영상의 순서로 배치되는지, 또는 탑 앤 바텀 타입인 스테레오스코픽 영상 내부의 상/하 영역에 좌시점 영상 및 우시점 영상의 순서 또는 우시점 영상 및 좌시점 영상의 순서로 배치되는지가 확인될 수 있다.
일 실시예에 따른 스테레오 모노 구간 변경 횟수 정보 'stereo_mono_change_count'는, 현재 프래그먼트가 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간의 연속적인 구간들로 구성된 비디오를 포함하는 경우, 모노스코픽 비디오 구간과 스테레오스코픽 비디오 구간의 변경 횟수를 나타낼 수 있다.
현재 프래그먼트에 대하여, 모노스코픽 비디오 또는 스테레오스코픽 비디오인지 나타내는 스테레오 확인 정보 'stereo_flag'가 전송될 수 있다. 일 실시예에 따른 스테레오스코픽 비주얼 타입 정보는, 현재 프래그먼트의 비디오 구간마다, 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간인지 여부를 나타내기 위한 스테레오 확인 정보 'stereo_flag'를 포함할 수 있다.
또한, 일 실시예에 따른 스테레오스코픽 비주얼 타입 정보는, 현재 프래그먼트의 비디오 구간마다, 현재 구간을 구성하는 샘플들의 개수를 나타내는 구간 샘플 개수 정보 'sample_count'를 포함할 수 있다.
또한, 일 실시예에 따른 스테레오스코픽 비주얼 타입 정보는, 현재 프래그먼트 중에서 스테레오스코픽 비디오 구간에 대한 3차원 구성 정보 'stereoscopic_composition_type' 정보, 좌우 순서 정보 'is_left_first'를 포함할 수 있다.
따라서, 현재 프래그먼트 중에서 스테레오스코픽 비디오 구간마다, 좌시점 영상 및 우시점 영상이 스테레오스코픽 영상을 구성하는 형태에 대한 3차원 구성 정보와, 좌시점 영상 및 우시점 영상이 배열된 순서에 대한 좌우 순서 정보가 전송될 수 있다.
일 실시예에 따른 3차원 시그널링 정보로서, 현재 프래그먼트의 스테레오스코픽 비디오 구간마다 스테레오스코픽 카메라 정보와 스테레오스코픽 디스플레이 정보 중 적어도 하나를 포함하는 scdi 박스가 전송될 수 있다.
도 4의 mfsi 박스의 신택스와 같이, 일 실시예에 따른 scdi 박스는 일 실시예에 따른 mfsi 박스에 포함되어 전송될 수 있다. 도 3과 같이 현재 프래그먼트 비디오 데이터에 대한 mfsi 박스(380)와 scdi 박스(390)가 각각 전송될 수도 있다.
일 실시예에 따른 스테레오스코픽 비주얼 타입 정보는, 현재 프래그먼트 중에서 스테레오스코픽 비디오 구간에 대한 'scdi_item_count' 정보를 포함할 수 있다.
'scdi_item_count' 정보는, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템의 개수를 나타낼 수 있다. 예를 들어, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템이란, 3차원 비디오 데이터가 포함된 구간을 나타낸다. 이 경우, 'scdi_item_count' 정보는, 현재 프래그먼트에 포함된 3차원 비디오 데이터 구간인 아이템 또는 샘플의 개수를 나타낼 수 있다.
일 실시예에 따른 scdi 박스는, 현재 스테레오스코픽 카메라 디스플레이 정보의 식별 정보 'scdi_ID'를 포함할 수 있다.
일 실시예에 따른 스테레오스코픽 카메라 디스플레이 정보는, moov 박스(350)의 scdi 박스(370)의 스테레오스코픽 카메라 디스플레이 정보, 또는 moof 박스(320, 340, 360)의 다른 scdi 박스들의 스테레오스코픽 카메라 디스플레이 정보를 참조할 수 있으므로, 'scdi_ID'를 이용하여 참조 대상인 scdi 박스가 검색될 수 있다.
스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템 또는 샘플마다, 'scdi_ID' 정보와 'scdi_duration' 정보가 전송될 수 있다. 'scdi_duration' 정보는, 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템 또는 샘플이 길이를 나타낼 수 있다. 따라서, 현재 프래그먼트에 대한 현재 스테레오스코픽 카메라 디스플레이 정보가, 스테레오스코픽 비디오 구간을 구성하는 아이템 또는 샘플 단위로 전송될 수 있다.
따라서, 도 3에 따른 일 실시예에 따른 멀티미디어 스트리밍 파일 포맷(300)과 도 4의 msfi 박스 및 scdi 박스의 신택스에 기초하여, 모노스코픽 비디오 또는 스테레오스코픽 비디오를 포함하는 비디오가 프래그먼트 단위로 송수신되며, 프래그먼트마다 비디오에 대한 3차원 시그널링 정보가 송수신될 수 있다.
또한, 프래그먼트 내의 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간에 대하여, 각각의 구간을 구성하는 샘플의 개수를 나타내는 정보가 송수신될 수 있다. 또한, 프래그먼트의 비디오에 대한 스테레오스코픽 카메라 디스플레이 정보가 아이템 또는 샘플 단위로 전송될 수 있다.
도 5 는 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷과 프래그먼트마다 전송되는 3차원 시그널링 정보를 포함하는 svfi 박스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 전송 장치(100)는, 2차원 비디오 또는 3차원 비디오의 부호화된 비디오 데이터와 전송되는 비디오에 대한 각종 특성 정보를 포함하는 보조 데이터를, 일 실시예에 따른 스트리밍 파일 포맷(500)에 따르는 데이터스트림에 수록하여 전송할 수 있다.
일 실시예에 따른 스트리밍 파일 포맷(500)은, ftyp 박스와 moov 박스(510), 그리고 moof 박스(520, 540)와 mdat 박스(530, 550)로 구성된 복수 개의 프래그먼트들(501, 502), mfra 박스로 구성되어 있다.
moov 박스(510)에 포함되는 trak 박스는, 프리젠테이션(presentation) 중에서 하나의 트랙(track)을 검색하기 위한 정보를 포함한다. 프리젠테이션이란, 오디오와 결합될 수 있는 하나 이상의 모션 시퀀스를 나타내며, 트랙이란 상호 관련된 샘플들의 집합, 예를 들어, 비디오 중에서 영상 시퀀스를 나타낸다.
trak 박스에 포함되는 tkhd 박스는 현재 트랙에 대한 모든 정보를 포함하는 트랙 헤더이며, mdia 박스는 현재 트랙의 미디어에 대한 선언 정보를 포함한다. mdia 박스에 포함되는 minf 박스는 현재 미디어에 대한 특성 정보를 선언하는 모든 객체들을 포함하며, stbl 박스는 현재 트랙의 샘플들을 검색하기 위한 샘플의 시간, 데이터, 위치 등의 인덱싱 정보를 포함한다. stbl 박스의 svmi 박스는, 현재 트랙의 현재 미디어에 대한 스테레오스코픽 비디오에 대한 정보를 포함할 수 있다.
moov 박스(510)에 포함되는 mvex 박스는, 현재 파일을 통해 비디오의 프래그먼트가 전송됨을 알리는 정보를 포함한다. mvex 박스에 포함되는 trex 박스는, 프래그먼트(501, 502)에서 사용되는 샘플과 관련된 기본값 정보를 포함한다.
프래그먼트(501, 502)의 mdat 박스(530, 550)를 통해, 모노스코픽 비디오, 스테레오스코픽 비디오 또는 혼합 비디오의 부호화된 데이터가 전송될 수 있다. moof 박스(530, 550)에 포함되는 mfhd 박스는, 현재 파일에서 각각의 프래그먼트에 대한 일련번호에 대한 정보를 포함한다.
moof 박스(530, 550)에 포함되는 traf 박스는, 현재 프래그먼트 중에서 각각의 트랙을 구성하는 하나 이상의 트랙 프래그먼트를 포함한다. 각각의 트랙 프래그먼트는, 일련의 샘플들을 기술하는 하나 이상의 트랙 런을 포함한다. traf 박스에 포함되는 trun 박스는, 현재 트랙 런에 대한 정보를 포함한다.
mfra 박스는, 각각의 프래그먼트에 무작위로 접근하기 위하여 랜덤 억세스 포인트 정보를 포함한다. trfa 박스는, 랜덤 억세스가 가능한 샘플의 위치 정보 및 재생 시간 정보를 포함한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 프래그먼트 단위로 전송되는 스트리밍 파일 포맷(500)을 통해, 프래그먼트마다 전송되는 3차원 시그널링 정보를 포함하는 svfi 박스(525, 545)를 전송할 수 있다.
일 실시예에 따른 svfi 박스(525, 545)에, 각각 현재 프래그먼트(501, 502)의 mdat 박스(530, 550)에 삽입된 비디오(535, 555)에 대한 3차원 시그널링 정보가 수록될 수 있다.
예를 들어 멀티미디어 스트리밍 서비스 제공 장치(100)는, moof 박스(530, 550)의 하위 박스인 traf 박스에 svfi 박스를 삽입하여 전송할 수도 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 스트리밍 파일 포맷(500)에 따른 데이터스트림을 수신하여 파싱함으로써, 2차원 비디오 또는 3차원 비디오의 부호화된 비디오 데이터와 수신된 비디오 데이터에 대한 각종 특성 정보를 포함하는 보조 데이터를 추출할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 스트리밍 파일 포맷(500)에 따른 데이터스트림의 svfi 박스(525, 545), svmi 박스 등으로부터 비디오 데이터에 대한 3차원 시그널링 정보를 추출하여, 2차원 비디오 또는 3차원 비디오를 복원할 수 있다.
도 6 과 7 은 일 실시예에 따른 svfi 박스에 포함된 3차원 시그널링 정보의 신택스를 도시한다.
일 실시예에 따른 svfi 박스를 통해, 현재 프래그먼트를 통해 전송되는 비디오에 대한 3차원 시그널링 정보가 송수신될 수 있다.
도 6 과 7 에 도시된 svfi 박스의 3차원 시그널링 정보는, 현재 프래그먼트의 비디오에 대한 스테레오 모노 구간 변경 횟수 정보 'stereo_mono_change_count'를 포함할 수 있다. 스테레오 모노 구간 변경 횟수 정보 'stereo_mono_change_count'를 통해 현재 프래그먼트 중에서, 모노스코픽 비디오 구간과 스테레오스코픽 비디오 구간이 검색될 수 있다. 일 실시예에 따른 svfi 박스의 3차원 시그널링 정보는, 현재 프래그먼트 중에서 스테레오스코픽 비디오 구간에 대한 구간 샘플 개수 정보 'sample_count', 스테레오 확인 정보 'stereo_flag'를 포함할 수 있다.
도 7에 도시된 svfi 박스의 3차원 시그널링 정보는, 스테레오스코픽 비디오 구간을 식별하기 위한 정보 'stereo_section_ID'를 더 포함할 수 있다. 현재 프래그먼트가 복수 개의 스테레오스코픽 비디오 구간들을 포함하는 경우, 스테레오 섹션 식별 정보 'stereo_section_ID'를 이용하여, 각각의 스테레오스코픽 비디오 구간이 구별될 수 있다.
도 8 은 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷에서, 파일에 대해 설정된 3차원 시그널링 정보의 신택스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(500)의 파일 채널에서 3차원 구성 정보와 좌우 순서 정보를 전송할 수 있다. moov 박스에 포함된 svmi 박스에, 현재 파일의 비디오에 대한 3차원 구성 정보 'stereoscopic_composition_type'와 좌우 순서 정보 'is_left_first'가 삽입될 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 스트리밍 파일 포맷(500)의 moov 박스에 포함된 svmi 박스를 파싱하여, 'stereoscopic_composition_type' 필드와 'is_left_first' 필드를 추출하고, 스트리밍 파일 포맷(500)을 통해 수신된 현재 파일의 비디오에 대해 스테레오스코픽 영상을 구성하는 형태와 스테레오스코픽 영상에서 좌시점 영상 및 우시점 영상의 순서에 대한 정보를 판독할 수 있다.
도 9 는 일 실시예에 따른 프래그먼트 단위로 전송되는 스트리밍 파일 포맷에서, 샘플에 대해 설정된 3차원 시그널링 정보의 신택스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(500)의 트랙, 프래그먼트 또는 샘플 채널에서 스테레오 확인 정보를 전송할 수 있다.
도 9의 신택스는, moov 박스에 포함된 trex 박스, moof 박스에 포함된 tfhd 박스 또는 trun 박스의 신택스에, 일 실시예에 따른 스테레오 확인 정보 'stereo_flag'가 추가된 형태이다.
즉, moov 박스에 포함된 trex 박스에 현재 트랙의 비디오에 대한 스테레오 확인 정보 'stereo_flag'가 삽입되어 전송될 수 있다. moof 박스에 포함된 tfhd 박스에 현재 프래그먼트의 비디오에 대한 스테레오 확인 정보 'stereo_flag'가 삽입되어 전송될 수 있다. 또는 moof 박스에 포함된 trun 박스에, 현재 프래그먼트를 구성하는 샘플의 비디오에 대한 스테레오 확인 정보 'stereo_flag'가 삽입되어 전송될 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 스트리밍 파일 포맷(500)의 moov 박스에 포함된 trex 박스, moof 박스에 포함된 tfhd 박스 또는 trun 박스를 파싱하여, 'stereo_flag'를 추출하고, 스트리밍 파일 포맷(500)을 통해 수신된 현재 트랙, 현재 프래그먼트 또는 현재 샘플의 비디오가 모노스코픽 타입 또는 스테레오스코픽 타입인지 판독할 수 있다.
도 10 은, 일 실시예에 따라 스테레오스코픽 비디오의 좌시점 비디오 및 우시점 비디오를 각각 전송하기 위한 2개의 스트리밍 파일 포맷을 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스테레오스코픽 비디오를 구성하는 좌시점 비디오와 우시점 비디오를 각각 포함하는 좌시점 ES스트림(Elementary Stream)과 우시점 ES스트림으로 전송할 수 있다. 또한, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(500)에 기초한 좌시점 비디오 파일 'test_1644_L.mp4'(1010)에 좌시점 ES스트림을 삽입하고, 우시점 ES스트림을 개별적으로, 우시점 비디오 파일 'test_1644_R.mp4'(1020)에 우시점 ES스트림을 삽입하여 전송할 수 있다.
즉, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스테레오스코픽 비디오를 전송하기 위하여 2개 ES스트림을 2개 파일의 스트리밍을 통해 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 현재 파일의 스테레오스코픽 비디오를 구성하기 위해 참조하는 다른 하나의 비디오에 대한 참조 정보 및 위치 정보를 포함하는 관계 정보를 전송할 수 있다. 예를 들어, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, moov 박스(1030)의 하위 박스인 trak 박스(1040)에 참조 비디오에 대한 참조 타입, 위치 정보 등을 삽입하여 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 수신된 좌시점 비디오 파일을 파싱하여, 현재 파일의 스테레오스코픽 비디오를 구성하기 위해 참조하는 다른 비디오에 대한 참조 타입 및 위치 정보를 추출하여 판독할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 판독된 정보를 이용하여 참조되는 다른 하나의 비디오가 수신된 스트리밍 파일을 검출함으로써, 두 스트리밍 파일로부터 추출된 비디오를 조합하여 스테레오스코픽 영상을 복원할 수 있다.
도 11 은, 일 실시예에 따라 파일에 포함된 스테레오스코픽 비디오에 대해 설정되는 관계 정보를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 일 실시예에 따른 스트리밍 파일 포맷(500)의 moov 박스의 하위 박스인 trak 박스에 포함되는 tref 박스(1110)에, 스테레오스코픽 비디오를 구성하기 위해 다른 비디오를 검색하기 위한 관계 정보를 삽입할 수 있다.
일 실시예에 따라 trak 박스에 포함되는 트랙 레퍼런스 타입 박스(1120)는, 파일의 트랙마다, 현재 트랙의 비디오에 대한 참조 비디오가 포함된 트랙을 나타내기 위한 참조 트랙 식별 정보 'track_ID'를 포함할 수 있다.
또한, 일 실시예에 따라 trak 박스에 포함되는 트랙 레퍼런스 타입 URL 박스(1130)는, 파일의 트랙마다 현재 트랙에 대한 복수 개의 참조 비디오의 위치를 나타내기 위하여, 참조 비디오의 개수를 나타내는 정보 'entry_count'를 포함하고, 참조 비디오마다 위치 정보 'location'를 포함할 수 있다.
일 실시예에 따른 위치 정보 'location'는, UTF-8 등의 언어로 부호화된 문자열로서 참조 비디오의 원격 위치를 나타낼 수 있다. 따라서, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일로부터 moov 박스, trak 박스, tref 박스(1110)를 순차적으로 파싱하여, 트랙 레퍼런스 타입 URL 박스(1130)로부터, 현재 파일의 외부 파일에 위치하는 비디오를 검출하여 참조할 수도 있다.
도 12 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 하나의 관계 정보를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(500)에 기초한 좌시점 비디오 파일 'test_1644_L.mp4'(1010)의 moov 박스(1030)에 포함되는 trak 박스(1040)의 minf 박스(1050)의 하위 박스인 dinf 박스(1060)에, 현재 트랙의 비디오가 참조하는 하나의 비디오에 대한 관계 정보를 삽입하여 전송할 수 있다.
일 실시예에 따른 dinf 박스(1060)는, 관계 정보를 전송하기 위한 dref 박스(1070)를 포함하고, dref 박스(1070)는 현재 트랙의 참조 트랙의 원격 위치 정보를 나타내는 참조 URL 정보(1080)를 포함할 수 있다.
일 실시예에 따른 참조 URL 정보(1080)는, URL 정보 'location' 뿐만 아니라 참조 플래그 'flags'를 포함할 수 있다. 일 실시예에 따른 참조 플래그 'flags'를 통해, 현재 비디오는 스테레오스코픽 비디오 중 좌시점 비디오 또는 기본 시점 비디오이며 현재 파일 내에 포함되어 있음이 기술되고, 참조 대상인 우시점 비디오 또는 부가 시점 비디오는 'location'이 가리키는 위치에 포함되어 있음이 기술될 수 있다.
즉, 참조 URL 정보(1080)의 URL 정보 'location'는 우시점 비디오 파일 'test_1644_R.mp4'(1020)의 원격 위치를 나타낼 수 있다. 참조 URL 정보(1080)의 'flags'는, 현재 비디오는 현재 좌시점 비디오 파일 'test_1644_L.mp4'(1010)을 통해 전송되며, 현재 비디오의 참조 비디오는 'location'가 가리키는 위치인 우시점 비디오 파일 'test_1644_R.mp4'(1020)를 통해 전송되고 있음을 나타낼 수 있다.
일 실시예에 따라 좌시점 비디오 파일 'test_1644_L.mp4'(1010)에만 관계 정보가 수록되는 경우에는, 기준시점 비디오가 위치하는 좌시점 비디오 파일 'test_1644_L.mp4'(1010)의 프래그먼트가 요청될 때, 부가시점 비디오가 위치하는 우시점 비디오 파일 'test_1644_R.mp4'(1020) 중에서 대응되는 프래그먼트도 함께 요청되는 것으로 인식될 수 있다.
도 13 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 복수 개의 관계 정보를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스트리밍 파일 포맷(500)에 기초한 좌시점 비디오 파일 'test_1644_L.mp4'(1010)의 moov 박스(1310)에 포함되는 dinf 박스(1360)에, 현재 비디오가 참조하는 복수 개의 비디오들에 대한 참조 정보를 삽입하여 전송할 수 있다.
예를 들어 dinf 박스(1360)의 dref 박스(1370)는 현재 비디오의 2개의 참조 비디오들의 원격 위치 정보를 나타내는 2개의 참조 URL 정보(1380, 1390)를 포함할 수 있다.
일 실시예에 따른 dref 박스(1370)에 포함된 제 1 참조 URL 정보(1380)는, 좌시점 비디오 파일 'test_1644_L.mp4'(1010)의 현재 비디오의 제 1 프래그먼트(1320)가 참조하는, 우시점 비디오 파일 'test_1644_R.mp4'(1020)의 제 3 프래그먼트(1340)를 가리키기 위한 정보를 포함한다.
유사한 방식으로, 일 실시예에 따른 dref 박스(1370)에 포함된 제 2 참조 URL 정보(1390)는, 좌시점 비디오 파일 'test_1644_L.mp4'(1010)의 현재 비디오의 제 2 프래그먼트(1330)가 참조하는, 우시점 비디오 파일 'test_1644_R.mp4'(1020)의 제 4 프래그먼트(1350)를 가리키기 위한 정보를 포함한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 좌시점 비디오 파일 'test_1644_L.mp4'(1010)을 수신하여, moov 박스(1310), dinf 박스(1360), dref 박스(1370)를 차례로 파싱하여, 제 1 참조 URL 정보(1380)와 제 2 참조 URL 정보(1390)를 추출할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 제 1 참조 URL 정보(1380)의 'flags'에 기초하여, 현재 트랙의 제 1 프래그먼트(1320)는 현재 좌시점 비디오 파일 'test_1644_L.mp4'(1010)을 통해 전송되며, 현재 트랙의 제 1 프래그먼트(1320)의 참조 트랙은 'location'의 URL 정보가 가리키는 위치인 우시점 비디오 파일 'test_1644_R.mp4'(1020)의 제 3 프래그먼트(1340)를 통해 전송되고 있음을 판독할 수 있다.
유사한 방식으로, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 제 2 참조 URL 정보(1390)의 'flags'에 기초하여, 현재 트랙의 제 2 프래그먼트(1330)는 현재 좌시점 비디오 파일 'test_1644_L.mp4'(1010)을 통해 전송되며, 현재 트랙의 제 2 프래그먼트(1330)의 참조 트랙은 'location'의 URL 정보가 가리키는 위치인 우시점 비디오 파일 'test_1644_R.mp4'(1020)의 제 4 프래그먼트(1350)를 통해 전송되고 있음을 판독할 수 있다.
도 14 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 복수 개의 참조 비디오에 대한 관계 정보를 포함하는 트랙 정보의 신택스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 파일의 현재 트랙에 대한 참조 비디오가 복수 개인 경우, 참조 비디오의 개수와 각각의 참조 비디오의 위치를 연관시켜, 참조 비디오의 위치 정보의 인덱스를 나타내는 정보를 전송할 수 있다.
예를 들어, dinf 박스의 하위 박스인 dref 박스 중에서 참조 비디오의 개수를 나타내는 정보 'entry_count'와 각각의 참조 비디오의 위치 정보 'location'를 연동하여, 참조 비디오의 위치 정보의 인덱스를 나타내는 'data_reference_index' 정보가 dref 박스를 통해 전송될 수 있다.
도 15 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 내부에서 설정되는 관계 정보의 신택스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(200)는, 현재 비디오의 참조 비디오를 알리기 위하여, 참조 비디오 위치 박스(1510), 참조 비디오 명칭 박스(1520) 및 참조 엔트리 박스(1530)를 이용할 수 있다.
예를 들어, 참조 비디오 위치 박스(1510)는 참조 비디오의 위치 정보 'location'로서, http, ftp 기반의 위치 정보를 포함할 수 있다. 일 실시예에 따른 참조 비디오 명칭 박스(1520)는 참조 비디오의 URN 정보 'name' 및 위치 정보 'location'를 포함할 수 있다.
일 실시예에 따른 참조 엔트리 박스(1530)를 통해, 참조 엔트리의 개수 정보 'entry_count'와, 참조 엔트리마다 엔트리 타입을 나타내는 정보 'entry_flags'에 기초하여 결정되는 참조 정보 'data_entry'가 전송될 수 있다.
예를 들어, 'entry_flags=0x000001'는 현재 파일 내에 현재 비디오가 삽입되어 있음을 나타낸다. 일 실시예에 따른 엔트리 플래그가 entry_flags=0x000002'인 경우, 현재 비디오는 스테레오스코픽 비디오 중 좌시점 비디오 또는 기본 시점 비디오이며 현재 파일 내에 포함되어 있음이 기술되고, 참조 대상인 우시점 비디오 또는 부가 시점 비디오는 'location'이 가리키는 위치에 포함되어 있음이 기술될 수 있다.
도 16 는, 일 실시예에 따라 2개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 외부의 인덱스 파일을 이용하여 설정되는 관계 정보를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 외부 파일에 대한 인덱스 정보를 기술하는 외부 인덱스 파일을 이용하여, 현재 비디오의 참조 비디오를 가리키기 위한 관계 정보를 전송할 수도 있다.
일 실시예에 따른 외부 인덱스 파일 SMIL을 통해, 하나의 컨텐트를 위한 복수 개의 컴포넌트에 대한 정보가 함께 전송될 수 있다. 즉, 일 실시예에 따른 외부 인덱스 파일 SMIL은, 현재 파일을 위한 인덱스 정보(1010)와 현재 파일의 참조 파일을 위한 인덱스 정보(1020)를 모두 포함할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일로부터, 현재 파일의 비디오가 스테레오스코픽 비디오를 구성하기 위해 참조하는 참조 비디오에 대한 관계 정보를 추출하여, 참조 비디오의 개수, 복수 개의 참조 비디오를 식별하기 위한 참조 인덱스, 그리고 각각의 참조 비디오에 대한 위치 등을 판독할 수 있다. 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 참조 비디오를 검출하고 현재 비디오와 조합하여, 스테레오스코픽 비디오를 복원할 수 있다.
또한, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 외부 인덱스 파일을 이용하여, 현재 비디오에 대한 참조 비디오를 검출하고 현재 비디오와 조합하여, 스테레오스코픽 비디오를 복원할 수도 있다.
도 17 과 18 은, 일 실시예에 따라 스테레오스코픽 비디오의 좌시점 비디오 및 우시점 비디오를 전송하기 위한 1개의 스트리밍 파일 포맷을 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 스테레오스코픽 비디오를 위한 좌시점 ES스트림과 우시점 ES스트림을 1개의 프래그먼트 기반의 스트리밍 파일을 통해 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 일 실시예에 따른 스트리밍 파일 포맷(500)에 기초한 스트리밍 파일(1700, 1800)에 좌시점 ES스트림과 우시점 ES스트림을 모두 삽입하여 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 현재 파일의 스테레오스코픽 비디오를 구성하기 위해 참조하는 다른 비디오에 대한 관계 정보를 전송할 수 있다. 예를 들어, 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, moov 박스(1710, 1810)의 하위 박스인 trak 박스(1712, 1714, 1812, 1814)에 관계 정보를 삽입하여 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 수신된 좌시점 비디오 파일을 파싱하여, 현재 파일의 스테레오스코픽 비디오를 구성하기 위해 참조하는 다른 비디오에 대한 관계 정보를 추출하여 판독할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 판독된 관계 정보를 이용하여 참조되는 다른 하나의 비디오를 포함하는 스트리밍 파일을 검출함으로써, 두 스트리밍 파일로부터 추출된 비디오를 조합하여 스테레오스코픽 영상을 복원할 수 있다.
먼저 도 17을 참조하면, 스트리밍 파일(1700)의 각각의 프래그먼트마다, 제 1 트랙인 좌시점 비디오와, 제 2 트랙인 우시점 비디오를 모두 포함할 수 있다. 즉, 제 1 프래그먼트(1720)을 통해 좌시점 비디오(1722)와 우시점 비디오(1724)가 전송되고, 제 2 프래그먼트(1730)을 통해 좌시점 비디오(1732)와 우시점 비디오(1734)가 전송될 수 있다.
moov 박스(1710)는 트랙별로, 제 1 트랙에 대한 제 1 trak 박스(1712)와 제 2 트랙에 대한 제 2 trak 박스(1714)를 포함한다. 스테레오스코픽 비디오 중에서 부가시점 비디오를 위한 우시점 비디오가 전송되는 제 2 트랙에 대한 제 2 trak 박스(1714)에 tref 박스(1715)에, 일 실시예에 따른 관계 정보가 삽입되어 전송될 수 있다. 일 실시예에 따른 관계 정보는 tref 박스(1715)는 참조 타입 정보 'reference_type'과 기본시점 트랙 식별 정보 'track_ID'를 포함할 수 있다.
도 18을 참조하면, 스트리밍 파일(1800)의 각각의 프래그먼트마다, 제 1 트랙인 좌시점 비디오와, 제 2 트랙인 우시점 비디오가 개별적으로 삽입될 수 있다. 즉, 제 1 프래그먼트(1820)를 통해 좌시점 비디오(1822)가 전송되고, 제 2 프래그먼트(1830)를 통해 우시점 비디오(1832)가 전송되고, 제 3 프래그먼트(1840)를 통해 좌시점 비디오(1842)가 전송되고, 제 4 프래그먼트(1850)를 통해 우시점 비디오(1852)가 전송될 수 있다.
도 18의 경우, 일 실시예에 따른 관계 정보는, 좌시점 비디오가 참조하는 우시점 비디오를 포함하는 프래그먼트에 대한 오프셋 정보를 포함할 수도 있다.
만약 관계 정보로서, 우시점 비디오가 전송되는 프래그먼트에 대한 오프셋 정보가 별도로 전송되지 않는다면, 상응하는 좌시점 비디오의 프래그먼트(1820, 1840)와 우시점 비디오의 프래그먼트(1830, 1850)가 스트리밍 파일(1800) 내에서 순차적으로 삽입되어 전송되는 것이 바람직하다. 이로써, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 스트리밍 파일(1800)을 수신하면서, 좌시점 비디오의 프래그먼트(1820, 1840)의 바로 다음에, 상응하는 우시점 비디오의 프래그먼트(1830, 1850)를 수신할 수 있다.
moov 박스(1710)는 트랙별로, 제 1 트랙에 대한 제 1 trak 박스(1712)와 제 2 트랙에 대한 제 2 trak 박스(1714)를 포함한다. 스테레오스코픽 비디오 중에서 부가시점 비디오를 위한 우시점 비디오가 전송되는 제 2 트랙에 대한 제 2 trak 박스(1714)에 tref 박스(1715)에, 일 실시예에 따른 관계 정보가 삽입되어 전송될 수 있다. 일 실시예에 따른 참조 정보는 tref 박스(1715)는 참조 타입 정보 'reference_type'과 기본시점 트랙 식별 정보 'track_ID'를 포함할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일(1700, 1800)의 moov 박스(1710, 1810), trak 박스(1712, 1714, 1812, 1814)를 순서대로 파싱하여, tref 박스(1715, 1815)가 추출되는 제 2 trak 박스(1714, 1814)에 대응하는 제 2 트랙에, 부가시점 비디오인 우시점 비디오가 포함되어 있음을 판독할 수 있다. 또한, tref 박스(1715, 1815)의 참조 타입 정보 'reference_type'과 기본시점 트랙 식별 정보 'track_ID'에 기초하여, 제 2 트랙이 제 1 트랙에 종속됨이 판독되므로, 제 1 trak 박스(1712, 1812)에 대응하는 제 1 트랙의 프래그먼트들로부터 좌시점 비디오가 추출되고, 제 2 trak 박스(1714, 1814)에 대응하는 제 2 트랙의 프래그먼트들로부터 우시점 비디오가 추출될 수 있다.
mfra 박스(1760, 1860)의 하위 박스인 tfra 박스(1762, 1862)는, 스테레오스코픽 비디오의 재생 시간(presentation time)으로부터 프래그먼트까지의 거리를 나타내는 프래그먼트 오프셋(fragment offset) 정보를 포함할 수 있다. 스테레오스코픽 비디오의 좌시점 비디오 및 우시점 비디오에 대한 재생 시간(presentation time)은 동일하므로, 제 1 트랙에 대한 tfra 박스(1762, 1862)만으로, 스트리밍 파일(1700)의 스테레오스코픽 비디오를 추출하기 위한 프래그먼트 오프셋 정보가 제공될 수 있다.
도 19 과 20 는, 1개의 스트리밍 파일들로 스테레오스코픽 비디오를 전송하는 경우, 파일 외부의 인덱스 파일을 이용하여 참조 비디오를 결정하는 방식을 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 외부 인덱스 파일을 이용하여, 현재 비디오의 참조 비디오를 가리키기 위한 관계 정보를 전송할 수도 있다.
일 실시예에 따른 외부 인덱스 파일 SMIL을 통해, 하나의 컨텐트를 위한 복수 개의 컴포넌트에 대한 정보가 함께 전송될 수 있다. 즉, 일 실시예에 따른 외부 인덱스 파일 SMIL은, 현재 파일 "test_1644.mp4"을 통해 전송되는 좌시점 비디오 트랙을 위한 인덱스 정보와 우시점 비디오 트랙을 위한 인덱스 정보를 모두 포함할 수 있다.
도 19를 참조하면, 파일 외부의 인덱스 파일은, 현재 스트리밍 파일에 포함된 좌시점 비디오 트랙과 우시점 비디오 트랙을 식별하기 위하여, 트랙 식별 정보 'trackID'와 스테레오스코픽 타입 'stereotype'를 포함할 수 있다.
도 20 을 참조하면, 파일 외부의 인덱스 파일과 파일 내부의 tref 박스를 이용하여 참조 비디오가 검색될 수 있다. 파일 외부의 인덱스 파일은, 현재 스트리밍 파일에 포함된 기본시점 비디오 트랙을 식별하기 위한 트랙 식별 정보 'trackID'와 스테레오스코픽 타입 'stereotype'만을 포함할 수 있다.
도 20 의 경우, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일의 moov 박스의 trak 박스들 중에서, tref 박스를 포함하는 trak 박스에 대응하는 트랙이, 부가시점 비디오 트랙임을 판독할 수 있다. 따라서, 파일 외부의 인덱스 파일이 가리키는 트랙의 프래그먼트들로부터 기본시점 비디오가 추출되고, tref 박스를 포함하는 trak 박스에 대응하는 트랙의 프래그먼트들로부터 부가시점 비디오가 추출될 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일로부터, 스테레오스코픽 비디오를 구성하는 기본시점 비디오와 부가시점 비디오를 추출하고, 현재 스트리밍 파일의 기본시점 비디오와 부가시점 비디오에 대한 인덱스 정보를 추출하여, 기본시점 비디오와 부가시점 비디오의 참조 관계 등을 판독할 수 있다. 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 현재 스트리밍 파일로부터 추출된 기본시점 비디오와 부가시점 비디오를 조합하여, 스테레오스코픽 비디오를 복원할 수 있다.
또한, 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 외부 인덱스 파일을 이용하여, 현재 스트리밍 파일의 기본시점 비디오와 부가시점 비디오 간의 관계를 판독하여, 기본시점 비디오와 부가시점 비디오를 조합하여 스테레오스코픽 비디오를 복원할 수도 있다.
이상 도 10 내지 도 20을 참조하여 전술된, 프래그먼트 기반의 스트리밍 파일을 통해 송수신되는 스테레오스코픽 비디오를 재생하기 위해서는, 좌시점 비디오 및 우시점 비디오가 동기화되어야 한다. 좌시점 비디오 및 우시점 비디오는, 대응하는 좌시점 샘플과 우시점 샘플 간에 동일한 재생 시간(presentation time)과 동일한 샘플 지속 시간(sample duration)을 가짐으로써 동기화될 수 있다.
이하 도 21 과 22을 참조하여, 적응적 스트리밍 서비스를 위한 멀티채널 비디오 그룹에 대하여, 일 실시예에 따른 멀티채널 비디오 그룹을 구성하는 비디오 데이터 간의 관계 정보를 이용하는 방식이 상술된다.
멀티미디어의 적응적 스트리밍 서비스를 위해, 비디오 화질 또는 비트레이트에 따라 차등적으로 부호화된 비디오를 제공할 수 있도록 멀티채널 비디오 그룹이 제공될 수 있다. 멀티채널 비디오 그룹 중에서 선택된 채널의 부호화된 비디오 데이터가 송수신될 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 네트워크환경, 현재 상태, 캐퍼빌리티 등을 고려하여, 멀티채널 비디오 그룹 중에서 소정 채널의 비디오를 멀티미디어 스트리밍 서비스 제공 장치(100)에게 요청할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 멀티미디어 스트리밍 서비스 수신 장치(100)가 멀티채널 비디오 그룹 중에서 원하는 형식의 비디오를 선택할 수 있도록, 멀티채널 비디오 그룹을 구성하는 비디오의 관계 정보를 전송할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 멀티채널 비디오 그룹의 관계 정보를 이용하여, 원하는 채널의 비디오를 선택하여 요청하고 수신할 수 있다. 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 소정 채널의 비디오를 이용하여 비디오를 복원할 수 있다.
도 21 은, 적응적 스트리밍 서비스를 위하여, 일 실시예에 따른 멀티채널 비디오 그룹의 관계 정보를 포함하는 afgp 박스의 신택스를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 멀티미디어 스트리밍 파일 포맷(300, 500)에 afgp 박스를 추가하여, 현재 스트리밍 파일을 통해 전송하는 비디오와 관련된, 멀티채널 비디오 그룹에 대한 관계 정보를 전송할 수 있다.
일 실시예에 따른 afgp 박스는, ftyp 박스, moov 박스 등과 동일한 채널에 구성될 수 있다.
일 실시예에 따른 afgp 박스는, 현재 비디오와 관련된 멀티채널 비디오 그룹 중에서, 현재 비디오를 대체할 수 있는 다른 비디오에 대한 관계 정보를 포함할 수 있다. 일 실시예에 따른 afgp 박스는, 멀티채널 비디오 그룹을 구성하는 비디오의 개수 정보 'entry_count' 및 다른 비디오의 위치 정보 'file_location'를 포함할 수 있다.
일 실시예에 따른 afgp 박스의 위치 정보 'file_location'는, 다른 비디오의 원격 위치, URL 등을 나타낼 수 있다. 즉, 일 실시예에 따른 afgp 박스는, 현재 스트리밍 파일 뿐만 아니라, 외부 파일에 위치하는 비디오에 대한 위치 정보를 전송할 수 있다.
위치 정보 'file_location'은 UTF-8 등의 언어로 부호화된 문자열일 수 있다. 위치 정보 'file_location'이 가리키는 외부 파일은 현재 파일은, 동일한 멀티채널 비디오 그룹임을 나타내기 위해 멀티채널 비디오 그룹 명칭 정보 'alternate_group'의 값을 공유함으로써, 현재 파일과 외부 파일 간의 대체 관계가 표현될 수 있다.
예를 들어, afgp 박스를 포함하는 현재 파일의 비디오의 'alternate_group' 값과, afgp 박스의 'file_locations'에 의해 기술되는 소정 외부 파일에 포함된 비디오의 'alternate_group' 값이 0이 아닌 동일한 값이라면, 현재 파일의 비디오와 소정 외부 파일의 비디오는 멀티채널 비디오 그룹을 구성하는 상호 대체 가능한 비디오임을 나타낼 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일로부터 일 실시예에 따른 afgp 박스를 파싱하여, 멀티채널 비디오 그룹을 구성하는 비디오의 개수와 위치 정보를 판독할 수 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, afgp 박스로부터 판독된 멀티채널 비디오 그룹을 구성하는 비디오 중에서 원하는 채널의 비디오를 선택하고, 현재 수신된 파일 또는 외부 파일에 위치한 비디오를 요청하고 수신할 수 있다.
도 22 는, 적응적 스트리밍 서비스를 위하여, 파일 외부의 인덱스 파일을 이용하여 일 실시예에 따른 멀티채널 비디오 그룹 간의 관계 정보를 설정하는 경우를 도시한다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100)는, 외부 인덱스 파일을 이용하여, 멀티채널 비디오 그룹을 구성하는 복수 개의 비디오들 간의 관계 정보가 함께 전송될 수 있다. 예를 들어, 일 실시예에 따른 외부 인덱스 파일 SMIL은, 멀티채널 비디오 그룹의 비디오별로, 제 1 파일에 대한 인덱스 정보(2210)와 제 2 파일에 대한 인덱스 정보(2220)를 모두 포함할 수 있다.
일 실시예에 따른 외부 인덱스 파일 SMIL은, 멀티채널 비디오 그룹을 구성하는 비디오별로, 비디오 위치 정보(test_1644.mp4, test_3288.mp4), 비트레이트 정보(1644000 또는 3288000)와 현재 멀티채널 비디오 그룹을 식별하기 위한 그룹 명칭 정보(alternate_group)를 포함할 수 있다.
일 실시예에 따른 외부 인덱스 파일은, 멀티채널 비디오 그룹에 포함되는 비디오 데이터에 대한 위치 정보로서, 현재 수신된 파일 또는 외부 파일의 원격 위치 정보 또는 URL 정보를 포함할 수 있다.
또한, 제 1 파일 "test_1644.mp4"이 현재 수신된 파일 내부의 비디오 트랙이라면, 일 실시예에 따른 외부 인덱스 파일 SMIL은, 트랙 식별 정보(trackID)를 더 포함할 수도 있다.
따라서 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 수신된 스트리밍 파일의 외부 인덱스 파일로부터, 현재 비디오가 속한 멀티채널 비디오 그룹의 비디오의 위치 정보 및 특성 정보 등을 판독할 수 있다. 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 외부 인덱스 파일로부터 판독된 멀티채널 비디오 그룹 중에서 대체 비디오를 선택하고, 현재 수신된 파일 또는 외부 파일에 위치한 비디오를 요청하고 수신할 수 있다.
도 23 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 방법의 흐름도를 도시한다.
단계 2310에서, 2차원 비디오 데이터 및 3차원 비디오 데이터 중 적어도 하나를 포함하는 비디오의 부호화된 데이터가, 프래그먼트 단위로 분할된다.
일 실시예에 따라 프래그먼트는, 모노스코픽 비디오 구간, 스테레오스코픽 비디오 구간, 및 모노스코픽 비디오 구간 및 스테레오스코픽 비디오 구간의 혼합 비디오 구간 중 하나를 포함할 수 있다.
단계 2320에서, 프래그먼트마다, 3차원 시그널링 정보 및 관계 정보 중 적어도 하나를 포함하는 속성 정보가 결정된다.
일 실시예에 따라 프래그먼트마다, 3차원 구성 정보, 좌우 순서 정보 및 스테레오 모노 구간 변경 횟수 정보 중 적어도 하나가 결정될 수 있다.
일 실시예에 따라 프래그먼트의 구간별로, 스테레오 확인 정보 및 구간 샘플 개수 정보 중 적어도 하나가 결정될 수 있다. 프래그먼트의 스테레오스코픽 비디오 구간별로, 샘플들의 3차원 구성 정보 및 좌우 순서 정보가 결정될 수 있다.
일 실시예에 따라 프래그먼트의 스테레오스코픽 비디오 구간별로 샘플에 대한 스테레오스코픽 카메라 디스플레이 정보가 결정될 수 있다. 일 실시예에 따른 스테레오스코픽 카메라 디스플레이 정보는, 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템을 이용하여 표현될 수 있다.
일 실시예에 따라 현재 파일의 비디오에 대해, 3차원 구성 정보, 좌우 순서 정보, 및 스테레오 모노 프래그먼트 변경 횟수 정보 중 적어도 하나가 결정될 수 있다. 파일에 대한 3차원 구성 정보, 좌우 순서 정보, 및 스테레오 모노 프래그먼트 변경 횟수 정보와 함께, 프래그먼트마다 스테레오 모노 구간 변경 횟수 정보, 구간 샘플 개수 정보 및 스테레오 확인 정보 중 적어도 하나가 더 결정될 수 있다. 일 실시예에 따라 현재 프래그먼트의 스테레오스코픽 비디오 구간마다 스테레오스코픽 비디오 구간 식별 정보가 결정될 수 있다.
일 실시예에 따라 현재 파일의 비디오가 스테레오스코픽 비디오를 구성하는 참조 비디오를 검색하기 위한 관계 정보로서, 현재 파일 내에서의 참조 비디오의 위치 정보 뿐만 아니라, 현재 파일 외부에 위치하는 참조 비디오의 원격 위치 정보, URL 정보, URN 정보 중 적어도 하나가 이용될 수 있다.
일 실시예에 따라 현재 파일의 비디오가 복수 개의 비디오를 참조하는 경우, 참조 비디오의 개수 정보, 복수 개의 참조 비디오를 식별하기 위한 참조 인덱스 정보 및 위치 정보 중 적어도 하나가 결정될 수 있다.
일 실시예에 따라 적응적 스트리밍 서비스를 위해, 비디오 화질에 따라 차등되도록 복수 채널의 비디오를 제공하는 멀티채널 비디오 그룹이 생성될 수 있다. 이 경우, 멀티채널 비디오 그룹을 구성하는 비디오의 개수 정보 및 다른 채널의 비디오의 위치를 나타내는 참조 정보 중 적어도 하나가 결정될 수 있다. 특히, 멀티채널 비디오 그룹을 구성하는 비디오의 위치 정보는, 현재 파일 외부의 파일에 존재하는 비디오의 위치를 나타낼 수도 있다.
단계 2330에서, 프래그먼트의 분할된 비디오에 대한 속성 정보와 부호화된 비디오 데이터를 포함하는 프래그먼트들이 연속적으로 전송된다. 프래그먼트에 대한 속성 정보는 프래그먼트의 보조 데이터 영역에 삽입되어 전송되고, 프래그먼트 단위로 분할된 부호화된 비디오 데이터는 프래그먼트의 미디어 데이터 영역에 삽입되어 전송될 수 있다.
도 24 는 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 방법의 흐름도를 도시한다.
단계 2410에서, 복수 개의 프래그먼트들이 연속적으로 수신된다.
단계 2420에서, 프래그먼트들마다 미디어 데이터 영역으로부터 2차원 비디오 구간 또는 3차원 비디오 구간으로 구성된 프래그먼트의 부호화된 비디오 데이터가 추출된다.
단계 2430에서, 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보가 파싱되고, 프래그먼트 비디오 데이터의 2차원 재생 또는 3차원 재생을 위한 3차원 시그널링 정보 및 복수 개의 비디오들 간의 참조를 위한 관계 정보 중 적어도 하나가 추출되어 판독된다.
일 실시예에 따라 프래그먼트의 3차원 구성 정보가 추출되고, 좌시점 영상 및 우시점 영상이 현재 프래그먼트의 스테레오스코픽 영상을 구성하는 형태가 판독될 수 있다. 일 실시예에 따라 프래그먼트의 좌우 순서 정보가 추출되고, 현재 프래그먼트의 스테레오스코픽 영상에서 좌시점 영상 및 우시점 영상의 순서가 판독될 수 있다.
일 실시예에 따라 프래그먼트의 스테레오 모노 구간 변경 횟수 정보가 추출되고, 현재 프래그먼트의 모노스코픽 비디오 구간과 스테레오스코픽 비디오 구간의 변경 횟수가 판독될 수 있다.
일 실시예에 따라 프래그먼트의 스테레오 확인 정보 및 구간 샘플 개수 정보 중 적어도 하나가 추출되고, 프래그먼트의 모노스코픽 비디오 구간 또는 스테레오스코픽 비디오 구간이 구별될 수 있다.
일 실시예에 따라 프래그먼트의 스테레오스코픽 비디오 구간마다, 3차원 구성 정보 및 좌우 순서 정보 중 적어도 하나가 추출되어, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대한 3차원 구성 정보가 판독되고, 좌우 순서 정보가 판독할 수 있다.
일 실시예에 따라 프래그먼트의 스테레오스코픽 비디오 구간마다, 스테레오스코픽 카메라 디스플레이 정보가 추출되어, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들을 획득한 스테레오스코픽 카메라와 디스플레이 규격에 대한 정보가 판독될 수 있다. 일 실시예에 따른 스테레오스코픽 카메라 디스플레이 정보는, 적용되는 대상 아이템들을 기준으로 판독할 수 있다.
일 실시예에 따라 현재 파일의 비디오 데이터에 대한 3차원 구성 정보, 좌우 순서 정보 및 스테레오 모노 프래그먼트 변경 횟수 정보 중 적어도 하나가 추출되고, 현재 파일의 프래그먼트마다, 프래그먼트의 비디오에 대한 스테레오 모노 구간 변경 횟수 정보, 구간 샘플 개수 정보 및 스테레오 확인 정보 중 적어도 하나가 더 추출되어 판독될 수도 있다.
일 실시예에 따라 프래그먼트의 하나 이상의 스테레오스코픽 비디오 구간 중에서 각각의 스테레오스코픽 비디오 구간에 대한 식별 정보가 추출되어 스테레오스코픽 비디오 구간이 구별될 수 있다.
일 실시예에 따라 참조 비디오의 위치 정보, 참조 비디오 식별 정보, 현재 파일 외부에 위치한 참조 비디오의 원격 위치 정보, URL 정보, URN 정보 중 적어도 하나가 추출되어 판독됨으로써, 현재 파일의 비디오 데이터와 참조되는 다른 하나의 비디오가 검색될 수 있다.
일 실시예에 따라 현재 파일의 비디오가 복수 개의 비디오를 참조하는 경우, 참조 비디오의 개수, 참조 인덱스, 위치 중 적어도 하나가 판독되어, 참조되는 비디오가 선택적으로 검출될 수 있다.
일 실시예에 따라 적응적 스트리밍 서비스를 수신하기 위하여, 비디오 화질에 따라 복수 개의 채널들로 차등되어 부호화된 비디오를 제공하는 멀티채널 비디오 그룹에 대한 관계 정보가 수신될 수 있다. 일 실시예에 따른 멀티채널 비디오 그룹에 대한 관계 정보가 수신되고, 대체 비디오에 대한 관계 정보 및 위치 정보에 기초하여, 원하는 대체 비디오가 선택적으로 요청되어 수신될 수 있다. 대체 비디오에 대한 위치 정보는, 현재 파일 내부의 비디오에 대한 식별 정보 뿐만 아니라, 현재 파일 외부에 존재하는 비디오의 위치 정보를 포함할 수도 있다.
단계 2440에서, 프래그먼트들마다 3차원 시그널링 정보 또는 관계 정보로부터 판독된 정보에 기초하여, 프래그먼트마다 추출된 비디오 데이터를 복호화하고 조합하여 2차원 비디오 또는 3차원 비디오로 복원될 수 있다. 일 실시예에 따른 3차원 시그널링 정보 또는 관계 정보를 이용하여, 복원된 비디오가 2차원 또는 3차원으로 재생될 수도 있다.
일 실시예에 따른 멀티미디어 스트리밍 서비스 제공 장치(100) 및 일 실시예에 따른 멀티미디어 스트리밍 서비스 수신 장치(200)는, 일 실시예에 따른 프래그먼트 기반의 스트리밍 파일 포맷을 통해, 파일 단위, 프래그먼트 단위 또는 샘플 단위로, 스테레오스코픽 비디오의 3차원 시그널링 정보를 송수신한다.
또한, 일 실시예에 따른 프래그먼트 기반의 스트리밍 파일 포맷에 기초한 하나 이상의 스트리밍 파일을 통해, 스테레오스코픽의 기본시점 비디오 및 부가시점 비디오와 같이, 복수 개의 비디오들 간의 참조 정보, 특성 정보 등의 관계 정보가 송수신될 수 있다.
이에 따라 기존에 생성된 파일 또는 다른 위치에 존재하는 파일들을 참조할 수 있으므로, 참조 비디오를 전송하기 위한 파일을 재생성하거나, 물리적 제약 없이, 복수 개의 비디오들을 연관시키거나 조합할 수 있는 멀티미디어 서비스가 제공될 수 있다.
HTTP(HyperText Transfer Protocol)를 이용한 적응적 스트리밍(HTTP Adaptive Streaming) 서비스를 위해, 일 실시예에 따른 스트리밍 파일 포맷을 이용하여 ISO 기반 미디어 파일 포맷과 호환되도록 통일화된 형태로, 스테레오스코픽 비디오를 구성하는 복수 개의 비디오들 간의 관계 정보 및 3차원 시그널링 정보가 제공될 수 있다. 여러 채널의 품질로 부호화된 비디오, 오디오 등의 멀티미디어 뿐만 아니라 스테레오스코픽 멀티미디어가, 하나 이상의 멀티미디어 파일에 적재되어 제공되고, 전송 대역폭이나 단말 장치의 성능에 맞춰 적응적으로 가변적 품질의 멀티미디어가 사용자에게 끊김 없이 제공될 수 있다.
본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 본 발명의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (37)

  1. 네트워크를 이용하여 멀티미디어를 전송하는 스트리밍 서비스 제공 방법에 있어서,
    2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하는 단계;
    상기 프래그먼트마다 현재 비디오의 2차원 재생 또는 3차원 재생을 위한 정보를 포함하는 3차원 시그널링 정보와, 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 및 변경 횟수 정보 중 적어도 하나를 포함하는 속성 정보를 결정하는 단계; 및
    상기 프래그먼트에 대한 속성 정보를 포함하는 보조 데이터 영역과 상기 부호화된 비디오 데이터를 포함하는 미디어 데이터 영역으로 구성된 프래그먼트들을 연속적으로 전송하는 단계를 포함하며,
    상기 프래그먼트는, 모노스코픽 영상 시퀀스로 구성된 모노스코픽 비디오 구간, 스테레오스코픽 영상 시퀀스로 구성된 스테레오스코픽 비디오 구간, 및 상기 모노스코픽 비디오 구간 및 상기 스테레오스코픽 비디오 구간의 혼합 비디오 구간 중 하나를 포함하고,
    상기 변경 횟수 정보는 상기 모노스코픽 비디오 구간과 상기 스테레오스코픽 비디오 구간의 변경 횟수를 나타내는 정보를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    상기 프래그먼트마다, 좌시점 영상 및 우시점 영상이 스테레오스코픽 영상을 구성하는 형태를 나타내는 3차원 구성 정보 및 상기 스테레오스코픽 영상에서 상기 좌시점 영상 및 상기 우시점 영상의 순서를 나타내는 좌우 순서 정보, 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  4. 제 1 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    현재 프래그먼트의 상기 모노스코픽 비디오 구간 또는 상기 스테레오스코픽 비디오 구간의 구간들을 구분하기 위하여, 각각의 구간을 구성하는 샘플들의 개수를 이용하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  5. 제 4 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    현재 구간이 상기 모노스코픽 비디오 구간 또는 상기 스테레오스코픽 비디오 구간인지 나타내는 스테레오 확인 정보 및 상기 현재 구간을 구성하는 샘플들의 개수를 나타내는 구간 샘플 개수 정보 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  6. 제 3 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    현재 프래그먼트의 스테레오스코픽 비디오 구간마다, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대한 상기 3차원 구성 정보 및 상기 좌우 순서 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  7. 제 1 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    현재 프래그먼트의 스테레오스코픽 비디오 구간마다, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들을 획득한 스테레오스코픽 카메라에 대한 정보와 상기 샘플들을 이용하여 안전하게 3차원 재생하기 위한 디스플레이 규격에 대한 정보를 포함하는 스테레오스코픽 카메라 디스플레이 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  8. 제 7 항에 있어서, 상기 스테레오스코픽 카메라 디스플레이 정보 결정 단계는,
    상기 스테레오스코픽 비디오 구간 중에서, 상기 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템을 나타내기 위하여, 각각의 아이템을 구성하는 샘플들의 개수를 이용하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  9. 제 8 항에 있어서, 상기 스테레오스코픽 카메라 디스플레이 정보 결정 단계는,
    현재 프래그먼트의 현재 스테레오스코픽 비디오 구간 중에서, 상기 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템들의 개수를 나타내는 정보, 각각의 아이템에서 참조되는 현재 스테레오스코픽 카메라 디스플레이 정보의 식별 정보 및 상기 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간의 길이에 대한 정보 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  10. 제 9 항에 있어서,
    상기 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간의 길이에 대한 정보는, 상기 현재 스테레오스코픽 카메라 디스플레이 정보가 참조되는 현재 아이템을 구성하는 샘플들의 개수에 대한 정보인 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  11. 제 1 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    현재 파일의 비디오에 대해, 좌시점 영상 및 우시점 영상이 스테레오스코픽 영상을 구성하는 형태를 나타내는 3차원 구성 정보, 상기 스테레오스코픽 영상에서 상기 좌시점 영상 및 상기 우시점 영상의 순서를 나타내는 좌우 순서 정보, 및 상기 모노스코픽 비디오 구간으로 구성된 모노 프래그먼트와 상기 스테레오스코픽 비디오 구간으로 구성된 스테레오 프래그먼트의 변경 횟수를 나타내는 스테레오 모노 프래그먼트 변경 횟수 정보 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  12. 제 11 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    상기 현재 파일의 상기 프래그먼트 비디오 데이터마다, 상기 모노스코픽 비디오 구간과 상기 스테레오스코픽 비디오 구간의 변경 횟수를 나타내는 스테레오 모노 구간 변경 횟수 정보, 현재 구간을 구성하는 샘플들의 개수를 나타내는 구간 샘플 개수 정보, 상기 현재 구간이 상기 모노스코픽 비디오 구간 또는 상기 스테레오스코픽 비디오 구간인지 나타내는 스테레오 확인 정보 중 적어도 하나를 결정하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  13. 제 12 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    현재 프래그먼트의 하나 이상의 스테레오스코픽 비디오 구간 중에서 각각의 스테레오스코픽 비디오 구간에 대한 식별 정보를 결정하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  14. 제 1 항에 있어서, 상기 프래그먼트마다 속성 정보 결정 단계는,
    현재 파일의 비디오에 대해, 스테레오스코픽 비디오를 구성하기 위해 참조하는 참조 비디오의 위치 정보를, 상기 현재 파일 내에서의 상기 참조 비디오 식별 정보, 상기 현재 파일 외부의 원격 위치 정보, URL(Uniform Resource Locator) 정보, URN(Uniform Resource Name) 정보 중 적어도 하나를 이용하여 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  15. 제 14 항에 있어서, 상기 참조 비디오 위치 정보 결정 단계는,
    상기 현재 파일의 비디오가 복수 개의 비디오들을 참조하는 경우, 상기 참조 비디오의 개수 정보, 복수 개의 참조 비디오를 식별하기 위한 참조 인덱스 정보 및 각각의 참조 비디오에 대한 상기 위치 정보 중 적어도 하나를 결정하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  16. 제 1 항에 있어서, 상기 멀티미디어 스트링 서비스 제공 방법은,
    비디오를 비디오 화질에 따라 차등되도록 부호화한, 복수 채널의 비디오들을 생성하는 단계를 더 포함하고,
    상기 프래그먼트마다 속성 정보 결정 단계는, 현재 파일의 비디오의 다른 채널의 비디오의 개수를 나타내는 멀티채널 개수 정보 및 상기 다른 채널의 비디오의 위치를 나타내는 참조 정보 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 방법.
  17. 네트워크를 이용하여 멀티미디어를 수신하는 스트리밍 서비스 수신 방법에 있어서,
    복수 개의 프래그먼트들을 연속적으로 수신하는 단계;
    상기 프래그먼트들마다 미디어 데이터 영역으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할된 형태로 추출하는 단계;
    상기 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보를 파싱하고, 상기 프래그먼트의 비디오의 2차원 재생 또는 3차원 재생을 위한 3차원 시그널링 정보와 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 및 변경 횟수 정보 중 적어도 하나를 추출하여 판독하는 단계; 및
    상기 프래그먼트들마다 상기 속성 정보로부터 판독된 정보에 기초하여, 상기 프래그먼트들의 상기 부호화된 데이터를 2차원 비디오 또는 3차원 비디오로 복원하는 단계를 포함하며,
    상기 프래그먼트는, 모노스코픽 영상 시퀀스로 구성된 모노스코픽 비디오 구간, 스테레오스코픽 영상 시퀀스로 구성된 스테레오스코픽 비디오 구간, 및 상기 모노스코픽 비디오 구간 및 상기 스테레오스코픽 비디오 구간의 혼합 비디오 구간 중 하나를 포함하고,
    상기 변경 횟수 정보는 상기 모노스코픽 비디오 구간과 상기 스테레오스코픽 비디오 구간의 변경 횟수를 나타내는 정보를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  18. 삭제
  19. 제 17 항에 있어서, 상기 속성 정보 추출 단계는,
    상기 프래그먼트들마다 상기 프래그먼트 비디오 데이터에 대하여 설정된, 좌시점 영상 및 우시점 영상이 스테레오스코픽 영상을 구성하는 형태를 나타내는 3차원 구성 정보 및 상기 스테레오스코픽 영상에서 상기 좌시점 영상 및 상기 우시점 영상의 순서를 나타내는 좌우 순서 정보, 중 적어도 하나를 추출하여 판독하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  20. 제 17 항에 있어서, 상기 속성 정보 추출 단계는,
    현재 프래그먼트 비디오 데이터의 상기 모노스코픽 비디오 구간 또는 상기 스테레오스코픽 비디오 구간의 각각의 구간을 구성하는 샘플들의 개수를 이용하여, 상기 각각의 구간을 검출하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  21. 제 20 항에 있어서, 상기 속성 정보 추출 단계는,
    상기 프래그먼트들마다, 현재 구간이 상기 모노스코픽 비디오 구간 또는 상기 스테레오스코픽 비디오 구간인지 나타내는 스테레오 확인 정보 및 상기 현재 구간을 구성하는 샘플들의 개수를 나타내는 구간 샘플 개수 정보 중 적어도 하나를 추출하여 판독하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  22. 제 19 항에 있어서, 상기 속성 정보 추출 단계는,
    현재 프래그먼트의 스테레오스코픽 비디오 구간마다 설정된, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들에 대한 상기 3차원 구성 정보 및 상기 좌우 순서 정보를 추출하여 판독하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  23. 제 17 항에 있어서, 상기 속성 정보 추출 단계는,
    현재 프래그먼트의 스테레오스코픽 비디오 구간마다 설정된, 현재 스테레오스코픽 비디오 구간을 구성하는 샘플들을 획득한 스테레오스코픽 카메라에 대한 정보와 상기 샘플들을 이용하여 안전하게 3차원 재생하기 위한 디스플레이 규격에 대한 정보를 포함하는 스테레오스코픽 카메라 디스플레이 정보를 추출하여 판독하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  24. 제 23 항에 있어서, 상기 스테레오스코픽 카메라 디스플레이 정보 추출 판독 단계는,
    상기 스테레오스코픽 비디오 구간 중에서 각각의 아이템을 구성하는 샘플들의 개수를 이용하여 상기 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템을 검출하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  25. 제 24 항에 있어서, 상기 스테레오스코픽 카메라 디스플레이 정보 추출 결정 단계는,
    현재 프래그먼트의 현재 스테레오스코픽 비디오 구간 중에서, 상기 스테레오스코픽 카메라 디스플레이 정보가 적용되는 아이템들의 개수를 나타내는 정보, 각각의 아이템에서 참조되는 현재 스테레오스코픽 카메라 디스플레이 정보의 식별 정보 및 상기 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간의 길이에 대한 정보 중 적어도 하나를 추출하여 판독하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  26. 제 25 항에 있어서,
    상기 현재 스테레오스코픽 카메라 디스플레이 정보가 적용되는 구간의 길이에 대한 정보는, 상기 현재 스테레오스코픽 카메라 디스플레이 정보가 참조되는 현재 아이템을 구성하는 샘플들의 개수에 대한 정보인 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  27. 제 17 항에 있어서, 상기 속성 정보 추출 단계는,
    현재 파일의 비디오에 대해 설정된, 좌시점 영상 및 우시점 영상이 스테레오스코픽 영상을 구성하는 형태를 나타내는 3차원 구성 정보, 상기 스테레오스코픽 영상에서 상기 좌시점 영상 및 상기 우시점 영상의 순서를 나타내는 좌우 순서 정보, 및 상기 모노스코픽 비디오 구간으로 구성된 모노 프래그먼트와 상기 스테레오스코픽 비디오 구간으로 구성된 스테레오 프래그먼트의 변경 횟수를 나타내는 스테레오 모노 프래그먼트 변경 횟수 정보 중 적어도 하나를 추출하여 판독하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  28. 제 27 항에 있어서, 상기 속성 정보 추출 단계는,
    상기 현재 파일의 상기 프래그먼트마다 설정된, 상기 모노스코픽 비디오 구간과 상기 스테레오스코픽 비디오 구간의 변경 횟수를 나타내는 스테레오 모노 구간 변경 횟수 정보, 현재 구간을 구성하는 샘플들의 개수를 나타내는 구간 샘플 개수 정보, 중 상기 현재 구간이 상기 모노스코픽 비디오 구간 또는 상기 스테레오스코픽 비디오 구간인지 나타내는 스테레오 확인 정보 중 적어도 하나를 추출하여 판독하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  29. 제 28 항에 있어서, 상기 속성 정보 추출 단계는,
    현재 프래그먼트의 하나 이상의 스테레오스코픽 비디오 구간 중에서 각각의 스테레오스코픽 비디오 구간에 대한 식별 정보를 추출하여 판독하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  30. 제 17 항에 있어서, 상기 속성 정보 추출 단계는,
    현재 파일의 비디오에 대해 설정된, 스테레오스코픽 비디오를 구성하기 위해 참조하는 참조 비디오의 위치 정보를 추출하여, 상기 현재 파일 내에서의 상기 참조 비디오 식별 정보, 상기 현재 파일 외부의 원격 위치 정보, URL 정보, URN 정보 중 적어도 하나를 판독하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  31. 제 30 항에 있어서, 상기 참조 비디오 위치 정보 추출 판독 단계는,
    상기 현재 파일의 비디오가 복수 개의 비디오들를 참조하는 경우, 상기 참조비디오의 개수 정보, 복수 개의 참조 비디오들을 식별하기 위한 참조 인덱스 정보 및 각각의 참조 비디오에 대한 상기 위치 정보 중 적어도 하나를 추출하여 판독하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  32. 제 17 항에 있어서, 상기 멀티미디어 스트리밍 서비스 수신 방법은,
    비디오 화질에 따라 차등되어 부호화된 복수 개의 채널의 비디오 중에서, 선택적으로 소정 채널의 비디오를 수신하는 단계를 더 포함하고,
    상기 속성 정보 추출 단계는, 현재 파일의 비디오의 다른 채널의 비디오의 개수를 나타내는 멀티채널 개수 정보 및 상기 다른 채널의 비디오의 위치를 나타내는 참조 정보 중 적어도 하나를 추출하여 판독하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  33. 제 17 항에 있어서, 상기 멀티미디어 스트리밍 서비스 수신 방법은,
    상기 프래그먼트들마다 상기 3차원 시그널링 정보로부터 판독된 정보에 기초하여, 상기 복원된 2차원 비디오 또는 3차원 비디오를 재생하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 방법.
  34. 네트워크를 이용하여 멀티미디어를 전송하는 스트리밍 서비스 제공 장치에 있어서,
    2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할하는 프래그먼트 비디오 데이터 생성부;
    상기 프래그먼트마다 현재 비디오의 2차원 재생 또는 3차원 재생을 위한 정보를 포함하는 3차원 시그널링 정보와, 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 및 변경 횟수 정보 중 적어도 하나를 포함하는 속성 정보를 결정하는 프래그먼트 속성 정보 결정부; 및
    상기 프래그먼트에 대한 속성 정보를 포함하는 보조 데이터 영역과 상기 부호화된 비디오 데이터를 포함하는 미디어 데이터 영역으로 구성된 프래그먼트들을 연속적으로 전송하는 스트리밍부를 포함하며,
    상기 프래그먼트는, 모노스코픽 영상 시퀀스로 구성된 모노스코픽 비디오 구간, 스테레오스코픽 영상 시퀀스로 구성된 스테레오스코픽 비디오 구간, 및 상기 모노스코픽 비디오 구간 및 상기 스테레오스코픽 비디오 구간의 혼합 비디오 구간 중 하나를 포함하고,
    상기 변경 횟수 정보는 상기 모노스코픽 비디오 구간과 상기 스테레오스코픽 비디오 구간의 변경 횟수를 나타내는 정보를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 제공 장치.
  35. 네트워크를 이용하여 멀티미디어를 수신하는 스트리밍 서비스 수신 장치에 있어서,
    복수 개의 프래그먼트들을 연속적으로 수신하는 수신부;
    상기 프래그먼트들마다 미디어 데이터 영역으로부터, 2차원 비디오 및 3차원 비디오 중 적어도 하나를 포함하는 비디오의 부호화된 데이터를 프래그먼트 단위로 분할된 형태로 추출하는 프래그먼트 비디오 데이터 추출부;
    상기 프래그먼트들마다 보조 데이터 영역으로부터 속성 정보를 파싱하고, 상기 프래그먼트의 비디오의 2차원 재생 또는 3차원 재생을 위한 3차원 시그널링 정보와 상기 비디오가 하나 이상의 다른 비디오를 참조하기 위한 관계 정보 및 변경 횟수 정보 중 적어도 하나를 추출하여 판독하는 프래그먼트 속성 정보 추출부; 및
    상기 프래그먼트들마다 상기 속성 정보로부터 판독된 정보에 기초하여, 상기 프래그먼트들의 상기 부호화된 데이터를 2차원 비디오 또는 3차원 비디오로 복원하는 복원부를 포함하며,
    상기 프래그먼트는, 모노스코픽 영상 시퀀스로 구성된 모노스코픽 비디오 구간, 스테레오스코픽 영상 시퀀스로 구성된 스테레오스코픽 비디오 구간, 및 상기 모노스코픽 비디오 구간 및 상기 스테레오스코픽 비디오 구간의 혼합 비디오 구간 중 하나를 포함하고,
    상기 변경 횟수 정보는 상기 모노스코픽 비디오 구간과 상기 스테레오스코픽 비디오 구간의 변경 횟수를 나타내는 정보를 포함하는 것을 특징으로 하는 멀티미디어 스트리밍 서비스 수신 장치.
  36. 제 1 항, 제3항 내지 제 16 항 중 어느 한 항의 멀티미디어 스트리밍 서비스 제공 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
  37. 제 17 항, 제19항 내지 제 33 항 중 어느 한 항의 멀티미디어 스트리밍 서비스 수신 방법을 연산 프로세서로 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
KR1020110055741A 2010-06-09 2011-06-09 프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치 KR101830881B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US35289510P 2010-06-09 2010-06-09
US61/352,895 2010-06-09
US36627910P 2010-07-21 2010-07-21
US61/366,279 2010-07-21

Publications (2)

Publication Number Publication Date
KR20110134857A KR20110134857A (ko) 2011-12-15
KR101830881B1 true KR101830881B1 (ko) 2018-04-05

Family

ID=45098538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110055741A KR101830881B1 (ko) 2010-06-09 2011-06-09 프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치

Country Status (7)

Country Link
US (1) US9674502B2 (ko)
EP (1) EP2582142B1 (ko)
JP (1) JP6088968B2 (ko)
KR (1) KR101830881B1 (ko)
CN (1) CN103069812B (ko)
BR (1) BR112012031218B1 (ko)
WO (1) WO2011155776A2 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9716920B2 (en) * 2010-08-05 2017-07-25 Qualcomm Incorporated Signaling attributes for network-streamed video data
US9219929B2 (en) * 2012-02-27 2015-12-22 Fritz Barnes Enhanced startup and channel change for fragmented media stream delivery
CN103916440B (zh) * 2013-01-05 2018-03-06 尼尔森网联媒介数据服务有限公司 一种远程升级的方法及其装置
CN104219537B (zh) * 2013-05-31 2018-11-06 腾讯科技（北京）有限公司 视频数据处理的方法、装置及***
CN103428462A (zh) * 2013-08-29 2013-12-04 中安消技术有限公司 一种多通道音视频处理方法和装置
EP2890075B1 (en) * 2013-12-26 2016-12-14 Telefonica Digital España, S.L.U. A method and a system for smooth streaming of media content in a distributed content delivery network
CN104980712A (zh) * 2015-07-14 2015-10-14 济南中维世纪科技有限公司 视频监控数据恢复后的智能索引方法
CN105451073B (zh) * 2015-11-16 2018-11-02 深圳Tcl数字技术有限公司 Mp4视频源的传送方法和装置
CN105447168B (zh) * 2015-12-04 2019-03-22 四川效率源信息安全技术股份有限公司 Mp4格式的碎片文件恢复与重组的方法
KR102553886B1 (ko) 2015-12-24 2023-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 제어 방법
TWI559753B (zh) * 2016-03-16 2016-11-21 晶睿通訊股份有限公司 傳輸隨選影音檔案的方法
US10567461B2 (en) * 2016-08-04 2020-02-18 Twitter, Inc. Low-latency HTTP live streaming
KR102546152B1 (ko) * 2017-02-15 2023-06-22 한국전자통신연구원 고정/이동방송 융합형 3DTV에서 화질 개선을 위한 부가 데이터(Video Enhancement Information, VEI) 시그널링 방법 및 장치
US10992961B2 (en) * 2017-05-25 2021-04-27 Qualcomm Incorporated High-level signaling for fisheye video data
GB2567624B (en) * 2017-10-12 2021-05-26 Canon Kk Method, device and computer program for transmitting media content
CN115643442A (zh) * 2022-10-25 2023-01-24 广州市保伦电子有限公司 一种音视频合流录制播放方法、装置、设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
EP1574066A1 (en) * 2002-12-13 2005-09-14 Koninklijke Philips Electronics N.V. Switching method for mdc/scalable coding
JP2004228743A (ja) * 2003-01-21 2004-08-12 Nec Fielding Ltd 立体画像システム
AU2004214313B2 (en) * 2003-02-18 2010-05-20 Nokia Technologies Oy Picture coding method
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
US20080205860A1 (en) 2005-02-18 2008-08-28 Koninklijke Philips Electronics, N.V. Method Of Live Submitting A Digital Signal
EP1713285B1 (en) * 2005-04-15 2015-09-09 Thomson Licensing Method and device for recording digital data
KR100657322B1 (ko) 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
WO2008054100A1 (en) 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
EP2168384A4 (en) 2007-06-19 2013-11-06 Korea Electronics Telecomm METADATA STRUCTURE FOR STORING AND REPRODUCING STEREOSCOPIC DATA, AND METHOD FOR STEREOSCOPIC CONTENT FILE STORAGE USING SUCH METADATA
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
KR100972792B1 (ko) 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
JP2011082666A (ja) * 2009-10-05 2011-04-21 Sony Corp 信号伝送方法、信号送信装置及び信号受信装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문:Koc University*
전송스트림 구성방안 (경희대)*
표준문서:ISO/IEC*

Also Published As

Publication number Publication date
BR112012031218A2 (pt) 2016-10-25
US9674502B2 (en) 2017-06-06
WO2011155776A2 (ko) 2011-12-15
BR112012031218B1 (pt) 2021-11-23
WO2011155776A3 (ko) 2012-03-15
EP2582142A2 (en) 2013-04-17
JP6088968B2 (ja) 2017-03-01
CN103069812B (zh) 2015-12-16
JP2013534747A (ja) 2013-09-05
KR20110134857A (ko) 2011-12-15
US20130147914A1 (en) 2013-06-13
EP2582142A4 (en) 2014-04-02
EP2582142B1 (en) 2017-03-15
CN103069812A (zh) 2013-04-24

Similar Documents

Publication Publication Date Title
KR101830881B1 (ko) 프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치
KR101276605B1 (ko) 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
KR101398168B1 (ko) 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
US8259162B2 (en) Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3D) data, and method and apparatus for displaying temporally partial 3D data of stereoscopic image
CN101868970A (zh) 记录三维图像数据的方法
KR101530713B1 (ko) 영상 파일을 생성하고 표시하기 위한 장치 및 방법
CN101562036A (zh) 用于生成和播放用于幻灯片的图像文件的***和方法
CN103202021A (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
KR101480186B1 (ko) 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
KR101434674B1 (ko) 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
KR20090120335A (ko) 영상 파일 송수신 장치 및 방법
KR101995270B1 (ko) 비디오 데이터를 재생하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant