KR20090040245A - 입체영상 데이터를 수록한 기록매체 및 상기 입체영상 데이터를 기록하는 방법 - Google Patents

입체영상 데이터를 수록한 기록매체 및 상기 입체영상 데이터를 기록하는 방법 Download PDF

Info

Publication number
KR20090040245A
KR20090040245A KR20080102784A KR20080102784A KR20090040245A KR 20090040245 A KR20090040245 A KR 20090040245A KR 20080102784 A KR20080102784 A KR 20080102784A KR 20080102784 A KR20080102784 A KR 20080102784A KR 20090040245 A KR20090040245 A KR 20090040245A
Authority
KR
South Korea
Prior art keywords
image
information
stereoscopic image
container
stereoscopic
Prior art date
Application number
KR20080102784A
Other languages
English (en)
Other versions
KR101533114B1 (ko
Inventor
정도영
박태성
오윤제
송재연
황서영
서덕영
박광훈
김규헌
이윤진
이장원
Original Assignee
삼성전자주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 경희대학교 산학협력단 filed Critical 삼성전자주식회사
Publication of KR20090040245A publication Critical patent/KR20090040245A/ko
Application granted granted Critical
Publication of KR101533114B1 publication Critical patent/KR101533114B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

본 발명에 따른 입체영상 데이터의 저장방법은 입체영상을 기록매체에 저장하는 방법에 있어서, 모노스코픽 영상 및 스테레오스코픽 영상을 구비한 혼합영상 또는 단일의 스테레오스코픽 영상임을 지시하는 영상종류정보를 파일타입해더 필드에 적재하는 과정과, 입체영상에 포함된 미디어 객체들의 시각(time) 및 공간적 관계를 나타내는 장면기술정보, 각각의 미디어 객체를 구성하는 부호화 스트림의 구성관계 및 각각의 미디어 객체의 객체 속성을 나타내는 객체구성정보, 및 상기 부호화 스트림의 구성정보를 구비한 영상구성정보를 미리 정해진 영상구성정보 컨테이너 필드에 객체 기반의 구조로 적재하는 과정과, 실제적으로 저장할 미디어데이터를 데이터 컨테이너 필드에 적재하는 과정과, 입체영상의 재생에 요구되는 정보를 구비한 메타데이터를 메타 콘테이너 필드에 적재하는 과정을 포함한다.
스테레오스코픽, 미디어, 포맷, 기록매체, MAF

Description

입체영상 데이터를 수록한 기록매체 및 상기 입체영상 데이터를 기록하는 방법{MEDIUM RECORDING THREE-DIMENSIONAL VIDEO DATA AND METHOD FOR RECORDING THE SAME}
본 발명은 입체영상 데이터를 수록한 기록매체 및 상기 입체영상 데이터를 기록하는 방법에 관한 것으로서, 특히 입체영상 데이터를 ISO Base Media File Format과 호환되는 구조의 포맷으로 생성하고 이를 저장하는 방법에 관한 것이다.
일반적인 미디어의 파일 포맷은 기본적으로 해당 미디어의 정보를 기술하는 헤더 부분과 압축된 미디어 데이터를 저장하는 영상데이터부를 구비한다. 그러나, 전술한 일반적인 미디어의 파일 포맷을 이용하여 단순한 영상데이터를 저장하는 것은 가능하나, 다양한 미디어를 담아내는 포괄적인 구조로는 적합하지 않다.
이에 따라, 국제표준 기구인 MPEG에서는 다양한 어플리케이션에 공통으로 적용될 수 있는 기본적인 파일 포맷, 즉 ISO Base Media File Format을 정의하였다. ISO Base Media File Format은 압축된 미디어 스트림 및 상기 미디어 스트림에 관련된 구성정보 등의 데이터를 복수의 콘테이너에 하이어라키컬(Hierachical)하게 저장하도록 설계되었다. 이러한 ISO Base Media File Format은 기본적으로 부호화 및 복호화방법에 대한 정의는 아니며, 부호화 또는 복호화된 미디어 스트림을 효율적으로 저장하기 위한 기본 구조를 정의하고 있다.
한편, 스테레오스코픽 영상은 좌영상과 우영상을 조합하는 방법에 따라 다양하게 구성될 수 있다. 이에 따라, 스테레오스코픽 영상을 디스플레이장치에 표현하기 위해서는 좌영상과 우영상이 조합된 방법에 대한 정보, 좌영상 및 우영상이 분할된 갯수, 크기, 분할된 영상의 위치 등에 대한 정보가 메모리에 저장되는 것이 필수적으로 요구된다. 또한, 스테레오스코픽 영상은 좌영상과 우영상을 시간적 정보를 기준으로 동기화하기 위한 시간적 정보가 필수적으로 요구된다.
따라서, 종래의 일반적인 미디어의 파일 포맷을 이용하여 스테레오스코픽 영상을 저장하기 위한 파일 포맷을 효율적으로 구성하기에는 어려움이 있다. 그리고, ISO Base Media File Format은 스테레오스코픽 영상의 구조를 고려하여 정의되지 않았으므로, 스테레오스코픽 영상에 적합하지 않다. 결국, 스테레오스코픽 영상의 구조를 고려하여 정의된 데이터 저장 포맷이 요구되고 있다. 이와 동시에, 이러한 스테레오스코픽 영상의 데이터 저장 포맷은 다양한 멀티미디어 어플리케이션에 적용될 수 있도록 국제 표준 규격인 ISO Base Media File format과의 호환이 요구된다.
본 발명은 전술한 점을 고려하여 안출된 것으로서, 스테레오스코픽 영상의 구성에 대한 정보를 포함하면서 국제 표준 규격인 ISO Base Media File format과 호환될 수 있는 데이터 저장포맷 및 상기 데이터 저장포맷을 생성하는 방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 입체영상 데이터의 저장방법은 입체영상을 기록매체에 저장하는 방법에 있어서, 모노스코픽 영상 및 스테레오스코픽 영상을 구비한 혼합영상 또는 단일의 스테레오스코픽 영상임을 지시하는 영상종류정보를 파일타입해더 필드에 적재하는 과정과, 입체영상에 포함된 미디어 객체들의 시각(time) 및 공간적 관계를 나타내는 장면기술정보, 각각의 미디어 객체를 구성하는 부호화 스트림의 구성관계 및 각각의 미디어 객체의 객체 속성을 나타내는 객체구성정보, 및 상기 부호화 스트림의 구성정보를 구비한 영상구성정보를 미리 정해진 영상구성정보 컨테이너 필드에 객체 기반의 구조로 적재하는 과정과, 실제적으로 저장할 미디어데이터를 데이터 컨테이너 필드에 적재하는 과정과, 입체영상의 재생에 요구되는 정보를 구비한 메타데이터를 메타 콘테이너 필드에 적재하는 과정을 포함한다.
상기 메타 콘테이너 필드는 상기 영상구성정보 컨테이너 필드 내에 구비되거나, 별도의 필드로 구성될 수 있다.
상기 메타데이터는 혼합영상 및 단일의 스테레오스코픽 영상의 구성정보, 상기 혼합영상 및 단일의 스테레오스코픽 영상에 포함된 영상의 크기, 촬영정보, 및 디스플레이정보를 포함하며, 상기 메타데이터 필드에 마련된 snmi 박스에 수록되는 것이 바람직하다.
상기 메타데이터는 상기 혼합영상에 포함된 모노스코픽 영상 및 스테레오스코픽 영상이 저장된 위치정보, 상기 모노스코픽 영상 및 스테레오스코픽 영상의 데이터 크기정보, 및 상기 모노스코픽 영상 및 스테레오스코픽 영상 종류 식별자를 포함하며, 상기 위치정보 및 길이정보는 상기 메타데이터 필드에 마련된 iloc박스에 수록되며, 상기 영상 종류 식별자는 상기 메타데이터 필드에 마련된 iinf박스에 수록되는 것이 바람직하다.
상기 촬영정보는 복수의 카메라 렌즈 사이의 거리, 피사체와의 초점거리, 객체를 중심으로 한 회전각, 세로 부동(disparity)의 최대값, 복수의 카메라 렌즈를 통해 촬영되는 영상 사이의 최소 및 최대 부동값(disparity)을 포함할 수 있다.
상기 snmi 박스는 각 미디어 데이터의 프레임율이 다른 경우, 기준이 되어지는 미디어 데이터를 지시하는 정보와, 합성영상의 타입에 따라 먼저 압축되어지는 미디어 데이터를 지시하는 정보를 포함한다.
상기 스테레오스코픽 영상은 적어도 하나의 단편(fragment)으로 이루어질 수 있다.
상기 스테레오스코픽 영상이 복수의 단편(fragment)을 포함함에 따라, 동일한 영상 정보를 구비하는 단편(fragment)을 상기 메타 콘테이너에 그룹화하여 수록 할 수 있다.
서로 다른 영상 정보를 구비한 단편(fragment)의 수를 연산하고, 연산된 단편의 수를 기준으로 상기 메타 콘테이너에 각 단편(fragment)이 지시하는 영상 정보를 수록할 수 있다.
본 발명의 다른 측면에 따른 입체영상 데이터 기록매체는 입체영상이 저장된 기록매체에 있어서, 모노스코픽 영상 및 스테레오스코픽 영상을 구비한 혼합영상 또는 단일의 스테레오스코픽 영상임을 지시하는 영상종류정보를 파일타입 콘테이너와, 입체영상에 포함된 미디어 객체들의 시각(time) 및 공간적 관계를 나타내는 장면기술정보, 각각의 미디어 객체를 구성하는 부호화 스트림의 구성관계 및 각각의 미디어 객체의 객체 속성을 나타내는 객체구성정보, 및 상기 부호화 스트림의 구성정보를 구비한 영상구성정보를 수록하는 영상구성정보 컨테이너와, 실제적으로 저장할 미디어데이터를 수록하는 데이터 컨테이너와, 입체영상의 재생에 요구되는 정보를 구비한 메타데이터를 수록하는 메타 콘테이너를 포함한다.
본 발명에서 제시하는 데이터 저장포맷에 따르면, 입체영상 데이터를 국제 표준 규격인 ISO Base Media File format과 호환되는 포맷으로 저장할 수 있으며, 저장된 데이터를 다양한 멀티미디어 어플리케이션에 전송하거나 적용할 수 있다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명의 일 실시예에서, 입체영상은 좌영상 및 우영상의 조합으로 이루어진 스테레오스코픽 영상과, 상기 스테레오스코픽 영상 및 모노스코픽 영상의 조합으로 이루어진 혼합영상을 포함한다. 여기서, 상기 모노스코픽 영상은 좌영상 또는 우영상 중 하나의 영상으로 이루어진 영상을 의미한다. 상기 좌영상 및 우영상은 미디어 데이터로서, 본 발명의 실시예에서 상기 좌영상 및 우영상은 미디어 데이터로 지칭될 수 있다. 그리고, 이러한 미디어 데이터는 비디오 데이터 및 오디오 데이터를 포함할 수 있다. 나아가, 상기 비디오 데이터 및 오디오 데이터는 적어도 하나의 트랙의 미디어 데이터를 포함하여 구성될 수 있음을 예시한다.
도 1은 본 발명이 적용되는 스테레오스코픽 영상촬영 장치의 블록 구성도를 나타낸다.
스테레오스코픽 영상 촬영 장치는 영상입력부(10), 인코더(20), 스테레오스코픽 영상 생성부(30), 데이터 저장 제어부(40), 메모리(50), 디스플레이(60) 및 통신모듈을 구비한다.
영상입력부(10)는 스테레오스코픽 영상을 생성하는데 필요한 복수의 영상을 입력받는 수단으로써, 피사체로부터 반사되는 특정 파장의 색채신호를 다양한 각도에서 투영하는 복수의 렌즈 및 복수의 상기 렌즈를 통과하여 입력되는 색채신호를 전기적 신호로 변환하는 복수의 센서모듈(예컨대, CCD, CMOS 등의 센서 등을 포함 하는 모듈)을 포함한다. 또한, 영상입력부(10)는 상기 복수의 센서모듈로부터 각각 입력되는 데이터들을 시/공간적 정보를 포함하는 영상신호로 변환하여, 상기 센서모듈의 수에 대응하는 수의 영상데이터를 생성하는 비디오신호처리장치를 포함한다. 예컨대, 스테레오스코픽 영상이 좌영상 및 우영상의 미디어 데이터의 조합으로 이루어질 경우, 영상입력부(10)는 피사체의 좌측부를 촬영하기 위한 렌즈와 센서모듈 및 우측부를 촬영하기 위한 렌즈와 센서모듈을 각각 구비하며, 두개의 센서모듈로부터 입력되는 데이터를 이용하여 각각의 영상데이터 즉, 좌영상 및 우영상의 미디어 데이터를 생성한다.
인코더(20)는 영상입력부(10)를 통해 출력되는 복수의 영상데이터(좌영상 및 우영상 데이터)를 스테레오스코픽 영상 구성 방법에 기초하여 스테리오스코픽 영상으로 구성한 후 부호화하는 장치로써, 동영상 부호화 방식(예컨대, MPEG-1, MPEG-2, MPEG-3, MPEG-4, H.264 방식 등)에 따라 스테레오스코픽 영상의 부호화를 수행하는 통상의 장치가 채택될 수 있다.
나아가, 영상입력부(10)는 외부에서 발생되는 특정 주파수 대역의 음성신호를 전기적 신호로 변환하는 마이크를 더 포함할 수 있으며, 인코더(20)는 통상의 음성압축방식을 이용하여 상기 마이크로부터 입력되는 오디오 신호를 압축할 수 있다.
입체영상 생성부(30)는 부호화된 복수의 미디어 데이터를 피사체와의 거리, 촬영각도, 촬영장치의 움직임 등을 고려하여 입체영상 데이터를 생성한다.
한편, 사용자가 스테레오스코픽 영상만으로 이루어진 입체영상을 장시간 시 청하게 되면 눈의 피로감이 모노스코픽 영상의 시청시보다 상대적으로 많이 발생한다. 이로 인하여, 사용자는 스테레오스코픽 영상만으로 이루어진 입체영상을 장시간 시청하기가 어렵게 된다. 따라서, 상기 입체영상은 스테레오스코픽 영상만으로 이루어질 수 있으나, 눈의 피로감을 줄여 장시간동안 입체영상의 시청을 보장하기 위하여, 상기 입체영상은 스테레오스코픽 영상과 모노스코픽 영상이 적절하게 조합된 영상인 것이 바람직하다. 스테레오스코픽 영상과 모노스코픽 영상의 영상은 영상을 촬영장치의 사용자의 제어에 의해 조합되거나, 촬영장치에 미리 정해진 설정에 따라 조합되거나, 또는 촬영된 스테레오스코픽 영상 및 모노스코픽 영상을 편집하여 조합될 수 있다. 여기서, 상기 미리 정해진 설정은 일정한 시간간격마다 주기적으로 스테레오스코픽 영상 또는 모노스코픽 영상을 반복적으로 촬영하도록 정해진 설정이거나, 촬영되는 피사체의 특성 또는 종류에 따라 스테레오스코픽 영상 또는 모노스코픽 영상을 선택적으로 촬영하도록 정해진 설정이거나, 촬영된 영상을 편집하여 구성된 설정일 수 있다.
도 2는 본 발명의 일 실시예에 따른 입체영상에 포함된 스테레오스코픽 영상의 구성을 도시한다. 본 발명의 실시예에 따른 입체영상에 포함된 스테레오스코픽 영상은 좌영상(1) 및 우영상(5)의 조합으로 이루어지는데, 좌영상(1) 및 우영상(5)을 영상 내에서 세로방향으로 1:1로 조합하여 하나의 프레임을 구성하고 조합된 상기 프레임을 시간축으로 배열하여 구성하거나(a), 좌영상(1) 및 우영상(5)을 각각 세로분할된 후 분할된 영상이 순차적으로 교차 조합하여 하나의 프레임을 구성하고 조합된 상기 프레임을 시간축으로 배열하여 구성하거나(b), 좌영상(1) 또는 우영 상(5)만으로 구성된 프레임을 상기 프레임을 시간축으로 배열하여 구성할 수 있다(c).
본 발명의 실시예에서, 좌영상(1) 및 우영상(5)의 조합을 예시하고 있으나, 본 발명이 이를 한정하는 것은 아니다. 예컨대, 스테레오스코픽 영상은 두 개 이상의 트랙으로 구성되어 각각의 뷰 영상을 각자의 트랙에 담고 있는 형식으로 구성될 수도 있고, 좌 우 영상이 아래 위로 나뉘어 하나의 프레임에 구성될 수도 있는 등 도면에서 설명하고 있는 외에도 다양한 방식으로 구성될 수 있음은 물론이다.
또한, 입체영상 생성부(30)는 입체영상의 생성시 발생하는 비디오 데이터 및 오디오 데이터를 이루는 정보들을 포함하는 입체영상 구성정보를 데이터 저장 제어부(40)에 제공한다.
데이터 저장 제어부(40)는 입체영상 생성부(30)로부터 제공되는 입체영상의 데이터와 입체영상 구성정보를 이용하여 생성된 입체영상 데이터를 메모리(50)에 저장한다. 그리고, 디스플레이(60)는 입체영상 생성부(30)를 통해 생성된 입체영상을 출력한다. 통신모듈(70)은 메모리(50)에 저장된 입체영상을 외부의 장치(예컨대, 이동통신 단말, PDA, 무선랜을 구비한 휴대용 단말, USB 또는 시리얼 통신을 지원하는 개인용 컴퓨터 등)로 전송할 수 있는 인터페이스를 포함한다.
도 3a는 본 발명의 일 실시예에 따른 입체영상 데이터의 저장 포맷을 도시한다. 도 3a를 참조하면, 데이터 저장 제어부(40)가 메모리(50)에 저장하는 입체영상 데이터의 저장 포맷은 ftyp헤더(100), mdat콘테이너(200), moov콘테이너(300), 및 meta 콘테이너(400)를 포함한다.
ftyp 헤더(100)는 저장된 데이터의 파일 타입(file type)과 호환성(compatibility)에 대한 정보를 포함한다. 특히, ftyp 헤더(100)는 입체영상이 '스테레오스코픽 영상으로만 이루어져 있는지?' 또는 '스테레오스코픽 영상과 모노스코픽 영상이 조합된 혼합영상으로 이루어져 있는지?'를 지시하는 정보를 포함한다.
mdat 콘테이너(200)는 각 채널의 비디오 또는 오디오의 데이터를 각각의 프레임 단위로 수록한다.
moov 콘테이너(300)는 객체기반의 구조체로 구성되며, 상기 입체영상 구성정보를 수록한다. 또한, moov 콘테이너(300)는 미디어 데이터의 프레임율, 비트율, 영상의 크기를 포함하는 컨텐츠 정보와 미디어 데이터의 싱크정보를 수록한다.
meta 콘테이너(400)는 모노스코픽 영상 및 스테레오스코픽 영상을 구비한 혼합영상 또는 단일의 스테레오스코픽 영상의 재생에 필요한 정보를 수록하는 콘테이너를 포함할 수 있다.
바람직하게, 상기 meta 콘테이너(400)는 moov 콘테이너(300)에 내에 마련될 수 있다.
나아가, 본 발명의 일 실시예에서 상기 meta 콘테이너(400)가 moov 콘테이너(300)에 내에 마련되는 것을 예시하였으나, 본 발명이 이를 한정하는 것은 아니다. 예컨대, 상기 meta 콘테이너(400)가 moov 콘테이너(300)에 내에 마련되는 것에 대한 대안으로써, moov 콘테이너(300)와 별도의 콘테이너로 마련될 수도 있다(도 3b 참조).
또한 상기 스테레오스코픽 영상의 재생에 필요한 정보를 수록하는 meta 콘테이너(400)는 trak 박스(303) 내에 마련될 수 있으며, 스테레오스코픽 영상의 샘플 관련 정보와 관련있는 정보를 담고 있을 경우의 meta 콘테이너(400)는 샘플테이블(315) 콘테이너 내에 포함될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 입체영상 데이터의 저장 포맷에 포함된 moov 콘테이너의 상세 구성을 도시한다.
도 4를 참조하면, 본 발명의 실시예에 따른 moov 콘테이너(300)는 mvhd박스(301), iods박스(302), 및 trak 박스(303)를 포함한다.
mvhd박스(301)는 movie header를 나타내는 박스로써, 'mvhd'의 크기, 타입, 버전, 파일 생성시간, 파일 수정시간, time scale, 파일의 전체 재생시간을 포함한다.
iods박스(302)에는 장면구성과 객체기술을 위한 프로파일, 레벨 등의 초기화 정보들이 기록된다. 또한, iods박스(302)에는 장면구성을 위한 BIFS 스트림과 객체기술을 위한 OD 스트림의 설정 정보가 포함될 수 있다.
trak 박스(303)는 입체영상에 포함되는 트랙 또는 스트림 들의 구성정보를 수록하는 필드로써, tkhd 박스(304), tref 박스(305), edts 박스(306), mdia 박스(307)를 포함한다.
tkhd 박스(304)는 트랙에 관한 기본적인 정보 예컨대, 트랙에 포함된 이미지의 크기, 재생시간, 트랙의 생성시간, 트랙의 수정시간 등의 정보를 포함하여 수록한다.
tref 박스(305)는 데이터 레퍼런스 박스이다.
edts 박스(306)는 트랙의 시간에 대한 동기정보를 포함하는 리스트를 수록한다.
mdia 박스(307)는 트랙 안의 미디어 데이터의 정보를 수록하기 위하여 구비된 필드이며, mdhd 박스(308), hdlr 박스(309), 및 minf 박스(310)를 포함한다.
mdhd 박스(308)는 미디어 헤더를 나타내는 박스로써, 트랙에 포함된 미디어의 재생시간, 미디어의 생성시간, 미디어의 수정시간 등의 정보를 포함하여 수록한다.
hdlr 박스(309)는 미디어 타입을 정의하는 핸들러 박스이다.
minf 박스(310)는 미디어 데이터 정보를 수록하기 위해 구비된 필드로써, 비디오 미디어 헤더 정보를 수록하는 vmhd 박스(311), 사운드 미디어 헤더 정보를 수록하는 smhd 박스(312), 힌트 미디어 헤더 정보를 수록하는 hmhd 박스(313), Null 미디어 헤더 정보를 수록하는 nmhd 박스(314), 및 해당 트랙 샘플에 대한 헤더 정보 수록하는 stbl 박스(315)를 포함한다.
stbl 박스(315)는 코덱 타입 정보, 초기화 정보 등을 수록하는 stsd 박스(316), 각각의 chunk당 포함된 샘플의 수에 대한 정보를 수록하는 stsc 박스(317), 각 샘플의 디코딩 타임에 대한 정보를 수록하는 stts 박스(318), 각 샘플들의 비트스트림 사이즈에 대한 정보를 수록하는 stsz 박스(319), compact 샘플에 대한 비트스트림 사이즈 정보를 수록하는 stz2 박스(320), chunk가 시작하는 파일에서의 시작 주소값에 대한 정보를 수록하는 stco 박스(321), 및 파일 사이즈가 큰 경우에 chunk가 시작하는 파일에서의 시작 주소값에 대한 정보를 수록하는 co64 박스(323)를 포함한다.
도 5는 본 발명의 일 실시예에 따른 입체영상 데이터의 저장 포맷에 포함된 meta 콘테이너의 상세 구성을 도시한다. 도 5를 참조하면, 메타데이터를 수록하는 meta 콘테이너(400)는 snmi 박스(406)를 포함한다. 또한, meta 콘테이너(400)는 선택적으로 hdlr 박스(401), iloc 박스(402), iinf 박스(403), xml 박스(404), 및 bxml 박스(405)를 더 포함할 수 있다. 즉, meta 콘테이너(400)에 snmi박스(406) 외에 다른 박스는 포함될 수도 있고 포함되지 않을 수도 있다.
hdlr 박스(401)는 메타데이터의 타입을 정의하는 핸들러 박스이다.
iloc 박스(402)는 스테레오스코픽 영상 또는 모노스코픽 영상을 이루는 각 아이템들의 식별자와, 각각의 상기 아이템들이 저장된 위치 및 상기 아이템들의 데이터 크기에 대한 정보를 수록한다. 예컨대, 상기 아이템들이 저장된 위치 정보는 mdat 콘테이너에 저장된 메모리의 주소값일 수 있으며, 상기 아이템들의 데이터 크기에 대한 정보는 상기 아이템의 비트스트림 길이 일 수 있다.
iinf 박스(403)는 각 아이템의 영상의 종류를 지시하는 영상 종류 식별자를 수록한다. 상기 영상 종류 식별자는 아이템의 인코딩을 위한 정보를 포함하여 구성하는 것이 바람직하다. 예컨대, 상기 아이템이 스테레오스코픽 영상일 경우, 상기 영상 종류 식별자는 스테레오스코픽 영상임을 지시하는 'S'를 포함하여 순차적으로 할당될 수 있다. 즉, S1, S2, S3, ... Sn 등과 같이 설정될 수 있다. 그리고, 상기 아이템이 모노스코픽 영상일 경우, 상기 영상 종류 식별자는 모노스코픽 영상임을 지시하는'M'을 포함하여 순차적으로 할당될 수 있다. 즉, M1, M2, M3, ... Mn 등과 같이 설정될 수 있다.
xml 박스(404)는 xml데이터를 수록하는 콘테이너이고, bxml 박스(405)는 binary xml데이터를 수록하는 콘테이너이다.
snmi 박스(406)는 모노스코픽 영상 및 복수의 영상(예컨대, 좌영상 및 우영상)으로 이루어진 스테레오스코픽 영상의 크기, 스테레오스코픽 영상을 촬영한 카메라의 정보, 디스플레이정보, 스테레오스코픽 영상의 구성정보를 포함하여 수록한다. 본 발명의 일 실시예에서는, 복수의 영상(예컨대, 좌영상 및 우영상)으로 이루어진 스테레오스코픽 영상의 크기, 스테레오스코픽 영상을 촬영한 카메라의 정보, 디스플레이정보, 스테레오스코픽 영상의 구성정보를 포함하여 수록하는 박스를 snmi 박스(406)로 예시하였다. 그러나, 본 발명이 이를 한정하는 것은 아니며, snmi 박스(406)에 포함된 정보만 수록할 수 있으면 충분하다. 또한 snmi 박스(406)에 포함된 정보는 정보의 특성에 따라 각각 별도의 박스로 분리되어 구성될 수도 있다.
구체적으로, snmi 박스(406)에는 혼합영상의 이미지 폭과 높이, 좌영상 및 우영상을 촬영하는 두 카메라의 거리, 피사체와의 초점거리, 객체를 중심으로 한 회전각, 중심초점, 카메라의 상세배열('좌영상 및 우영상을 촬영하는 각각의 카메라가 좌측과 우측에 각각 배열되어 있는지?' 또는 '좌영상 및 우영상을 촬영하는 각각의 카메라가 서로 교차되어 배열되어 있는지?'를 나타내는 정보), 입체영상 시청자와 디스플레이 장치 사이의 광학거리, 3D효과에 사용되는 세로 부동(vertical disparity)의 최대값, 좌영상 및 우영상 사이의 최소 부동(disparity), 좌영상 및 우영상 사이의 최대 부동(disparity), 입체영상의 타입(도 2에 예시되는 포맷, 단일의 좌영상 또는 우영상만으로 이루어진 포맷)을 설정한 값, 각 타입에 따라 배열되는 영상의 크기 및 순서, 입체영상에 포함된 프레임 사이의 동기를 설정하기 위해 지정되는 값, 좌영상 및 우영상 사이에서 초기에 인코딩될 이미지를 설정한 값 등이 수록될 수 있다.
도 6은 본 발명의 일 실시예에 따른 입체영상 데이터의 저장 포맷의 일 예를 개념적으로 도시한 도면이다. 도 6을 참조하면, 본 실시예에 따른 입체영상 데이터의 저장 포맷은 ISO Base Media File Format에 기초하여 하나의 trak 박스(303)에 혼합영상 스트림 들의 구성정보를 수록함을 예시한다. 상기 혼합영상은 적어도 하나의 스테레오스코픽 영상 스트림 및 모노스코픽 영상 스트림으로 이루어질 수 있다. 이를 고려하여, meta 컨테이너(400)의 snmi 박스는, 모노스코픽 영상 및 복수의 영상(예컨대, 좌영상 및 우영상)으로 이루어진 스테레오스코픽 영상의 크기, 스테레오스코픽 영상을 촬영한 카메라의 정보, 디스플레이정보, 스테레오스코픽 영상의 구성정보를 수록할 수 있다. 또한, meta 컨테이너(400)의 iloc 박스(402)는, 혼합영상에 포함된 각 영상 스트림에 대해 순차적으로 식별자(item_ID)를 할당하고, 해당 부분 스트림이 저장된 메모리의 주소(offset) 및 상기 영상 스트림의 길이(length)를 수록한다. 그리고, meta 컨테이너(400)의 iinf 박스(403)는 영상 종류 식별자(item_name)를 할당한다.
도 7은 본 발명의 일 실시예에 따른 입체영상 데이터의 저장 포맷의 다른 예 를 개념적으로 도시한 도면이다. 도 7을 참조하면, 본 실시예에 따른 입체영상 데이터의 저장 포맷은 도 6에서와는 다르게 혼합영상을 두 개의 개별 스트림(elementary stream)으로 구성함을 예시한다. 예컨대, 좌 우 영상의 스트림을 각각의 개별 스트림으로 구성함을 예시한다. 이에 따라, moov 컨테이너(30)는 두 개의 trak 박스(303)를 구비하며, trak 박스(303)에 각 스트림의 구성정보를 수록한다. 그리고, meta 컨테이너(400)의 snmi 박스는, 모노스코픽 영상 및 스테레오스코픽 영상의 크기, 카메라의 정보, 디스플레이정보, 스테레오스코픽 영상의 구성정보를 수록하고, iloc 박스(402)는 각 영상 스트림에 대해 순차적으로 식별자(item_ID)를 할당하고, 해당 부분 스트림이 저장된 메모리의 주소(offset) 및 상기 영상 스트림의 길이(length)를 수록하고, iinf 박스(403)는 영상 종류 식별자(item_name)를 할당한다.
이와 같이, 혼합영상을 두 개의 개별 스트림(elementary stream)으로 구성하더라도, meta 컨테이너(400)에 구비된 snmi(406), iloc 박스(402), 및 iinf 박스(403)를 이용하여 혼합영상을 용이하게 저장할 수 있음을 알 수 있다.
본 발명의 일 실시예에 따른 입체 영상 데이터의 저장 포맷에 따르면, meta콘테이너(400)는 도 6 및 도 7과 같이 moov콘테이너(300)에 수록됨을 예시하였으나, 본 발명이 이를 한정하는 것은 아니다. 예컨대, meta콘테이너(400)는 ftyp헤더(100)에 수록되거나, 별도의 콘테이너로 구성될 수 있음은 물론이다. 또한, 상기 스테레오스코픽 영상의 재생에 필요한 정보를 수록하는 meta 콘테이너(400)는 trak 박스(303) 내에 마련될 수 있으며, 스테레오스코픽 영상의 샘플 관련 정보와 관련 있는 정보를 담고 있을 경우의 meta 콘테이너(400)는 샘플테이블(315) 콘테이너 내에 포함될 수도 있다.
전술한 바와 같이, 본 발명에서 제시하는 포맷을 따르면, 국제 표준 규격인 ISO Base Media File format 또는 ISO Base Media File format에서 확장된 파일 포맷들과 호환성을 가질 수 있어, 스테레오스코픽 및 모노스코픽 영상을 포함하는 혼합영상 데이터를 다양한 멀티미디어 어플리케이션에 전송하거나 적용할 수 있다.
한편, 데이터 저장 제어부(40)는 입체영상 생성부(30)에 의해 생성되는 입체영상 데이터를 본 발명에 따른 입체영상 데이터의 포맷으로 메모리(50)에 저장한다. 이하, 전술한 구성요소 및 입체영상 데이터의 저장 포맷을 참조하여 본 발명의 일 실시예에 따른 입체영상 데이터의 저장 포맷을 생성하는 과정을 설명한다.
데이터 저장 제어부(40)는 ftyp헤더(100), mdat콘테이너(200), moov콘테이너(300), track 콘테이너(303), 및 meta 콘테이너(400)를 생성하고, 생성된 데이터를 포함하는 포맷으로 입체영상 데이터를 저장한다.
우선, 데이터 저장 제어부(40)는 ftyp헤더(100)를 생성한다. ftyp 헤더(100)에는 저장될 입체영상 데이터의 파일 타입(file type)과 호환성(compatibility)에 대한 정보가 포함된다. 데이터 저장 제어부(40)는 입체영상 생성부(30)로부터 입체영상이 '스테레오스코픽 영상으로만 이루어져 있는지?' 또는 '스테레오스코픽 영상과 모노스코픽 영상이 조합된 혼합영상으로 이루어져 있는지?'를 지시하는 정보를 수신하고, 이를 ftyp 헤더(100)에 포함하여 수록한다. 예컨대, 데이터 저장 제어부(40)는 하기의 프로그램코드1에 대응하는 연산을 수행하는 것에 의해 입체영상이 '스테레오스코픽 영상으로만 이루어져 있는지?' 또는 '스테레오스코픽 영상과 모노스코픽 영상이 조합된 혼합영상으로 이루어져 있는지?'를 설정할 수 있다.
<프로그램코드 1>
aligned(8) class FileTypeBox extends Box('type') {
unsigned int(32) major_brand;
unsigned int(32) minor_version;
unsigned int(32) compatible_brands[]; // to end of the box
}
즉, ftyp 해더의 브랜드를 사용하여 스테레오스코픽 컨텐츠가 부분적으로 모노스코픽 데이터를 포함하는지에 대해 스테레오스코픽 MAF(Multimedia Application File format)를 나타내는 식별정보를 설정한다. 예컨대, 입체영상이 단일의 스테레오스코픽 영상으로 이루어졌을 경우 식별정보로서 브랜드는 'ss01'로 설정되고, 상기 입체영상이 모노스코픽 영상과 스테레오스코픽 영상의 조합으로 이루어졌을 경우 브랜드는 'ss02'로 설정된다. 본 발명의 일 실시예에서, 스테레오스코픽 영상의 파일 타입과 호환성에 대한 정보를 설정하는데 있어서, ftyp 해더의 구체적인 브랜드는 지정하지 않았으나, major_brand, minor_brand, compatible_brand 등으로 다양하게 설정되어 사용될 수 있다.
다음으로, 데이터 저장 제어부(40)는 입체영상 생성부(30)로부터 수신한 데이터에 기초하여 mdat 콘테이너(200)를 생성한다. mdat 콘테이너(200)에는 각 채널의 비디오 또는 오디오의 데이터를 각각의 샘플 또는 프레임 단위로 수록된다.
또한, 데이터 저장 제어부(40)는 입체영상 생성부(30)로부터 수신한 데이터에 기초하여 moov 콘테이너는(300)를 생성한다. moov 콘테이너는(300)에는 mdat 콘테이너(200)에 저장된 각 입체영상 데이터에 대응하는 입체영상 구성정보가 객체기반의 구조체로 수록된다. 상기 객체 기반의 구조체는 trak 박스 및 trak 박스(303)를 의미할 수도 있다. 또한, moov 콘테이너는(300)에는 미디어 데이터의 프레임율, 비트율, 영상의 크기를 포함하는 컨텐츠 정보와 미디어 데이터의 싱크정보가 수록된다.
구체적으로, moov 콘테이너(300)에는 mvhd박스(301) 및 trak 박스(303)가 수록된다. mvhd박스(301)에는 movie header를 나타내는 박스로써, 'mvhd'의 크기, 타입, 버전, 파일 생성시간, 파일 수정시간, time scale, 파일의 전체 재생시간이 포함된다.
바람직하게, moov 콘테이너(300)에는 입체 영상 관련 정보의 저장 포맷에 따라 iods박스(302)가 선택적으로 포함될 수 있다. iods박스(302)에는 장면구성과 객체기술을 위한 프로파일, 레벨 등의 초기화 정보가 수록된다. 또한, iods박스(302)에는 장면구성을 위한 BIFS 스트림과 객체기술을 위한 OD 스트림의 설정정보가 포함될 수 있다.
나아가, trak 박스(303)에는 tkhd 박스(304), tref 박스(305), edts 박스(306), mdia 박스(307)가 포함될 수 있다. tkhd 박스(304)에는 트랙에 관한 기본적인 정보 예컨대, 트랙에 포함된 이미지의 크기, 재생시간, 트랙의 생성시간, 트랙의 수정시간 등의 정보가 포함될 수 있다. 그리고, tref 박스(305)는 데이터 레 퍼런스가 포함될 수 있고, edts 박스(306)에는 트랙의 시간에 대한 동기정보를 포함하는 리스트가 수록될 수 있다. 그리고, mdia 박스(307)에는 트랙 안의 미디어 데이터의 정보가 수록될 수 있다.
구체적으로, mdia 박스(307)에는 mdhd 박스(308), hdlr 박스(309), 및 minf 박스(310)가 포함될 수 있다. mdhd 박스(308)에 미디어 헤더를 나타내는 박스로써, 트랙에 포함된 미디어의 재생시간, 미디어의 생성시간, 미디어의 수정시간 등의 정보를 포함된다. 그리고, hdlr 박스(309)에는 미디어 타입을 정의한 핸드러 데이터가 수록될 수 있다. 그리고, minf 박스(310)에는 미디어 데이터 정보를 수록하기 위해 구비된 필드로써, 비디오 미디어 헤더 정보를 수록하는 vmhd 박스(311), 사운드 미디어 헤더 정보를 수록하는 smhd 박스(312), 힌트 미디어 헤더 정보를 수록하는 hmhd 박스(313), Null 미디어 헤더 정보를 수록하는 nmhd 박스(314), 및 해당 트랙 샘플에 대한 정보 수록하는 stbl 박스(315)가 수록될 수 있다.
더욱이, stbl 박스(315)에는 코덱 타입 정보, 초기화 정보 등을 수록하는 stsd 박스(316), 각각의 chunk당 포함된 샘플의 수에 대한 정보를 수록하는 stsc 박스(317), 각 샘플의 디코딩 타임에 대한 정보를 수록하는 stts 박스(318), 각 샘플들의 비트스트림 사이즈에 대한 정보를 수록하는 stsz 박스(319), compact 샘플에 대한 비트스트림 사이즈 정보를 수록하는 stz2 박스(320), chunk가 시작하는 파일에서의 시작 주소값에 대한 정보를 수록하는 stco 박스(321), 및 파일 사이즈가 큰 경우에 chunk가 시작하는 파일에서의 시작 주소값에 대한 정보를 수록하는 co64 박스(323)가 포함될 수 있다. 본 발명에서 설명하는 스테레오스코픽 영상의 샘플 관련 정보를 포함하는 박스를 별개로 구성할 경우, 해당 박스는 stbl 박스(315)의 내부에 포함될 수도 있다.
한편, 데이터 저장 제어부(40)는 입체영상 생성부(30)로부터 수신한 입체영상 데이터의 메타데이터에 대한 정보를 meta 콘테이너(400)를 생성하여 저장한다. 이로써, meta 콘테이너(400)에는 hdlr 박스(401), iloc 박스(402), iinf 박스(403), xml 박스(404), 및 bxml 박스(405)가 포함된다(도 5참조). 나아가, 데이터 저장 제어부(40)는 meta 콘테이너(400)에 스테레오스코픽 영상 정보를 수록하는 snmi 박스(406)를 더 포함시킬 수 있다. 또한, 비록 본 발명의 일 실시예에서, meta 콘테이너(400)를 moov 콘테이너(300)에 구비하는 것을 예시하였으나, 본 발명이 이를 한정하는 것은 아니다. 예컨대, 상기 meta 콘테이너(400)는 ftyp헤더(100)에 구비되거나 또는 별도의 콘테이너로서 마련될 수 있다. 예컨대, moov콘테이너(300)와 동일한 레벨의 콘테이너로 수성될 수 있고, trak 박스의 내부에 포함될 수도 있다.
hdlr 박스(401)에는 메타데이터의 타입을 정의하는 데이터가 수록된다. 그리고, iloc 박스(402)에는 스테레오스코픽 영상 또는 모노스코픽 영상을 이루는 각 아이템들의 식별코드와, 각각의 상기 아이템들의 길이에 대한 정보가 수록된다. 그리고, iinf 박스(403)에는 각 아이템에 대한 정보가 수록된다. xml 박스(404)에는 xml데이터가 수록되고, bxml 박스(405)에는 binary xml데이터가 수록된다. 또한, snmi 박스(406)에는 복수의 영상(예컨대, 좌영상 및 우영상)으로 이루어진 스테레오스코픽 영상의 크기, 스테레오스코픽 영상을 촬영한 카메라의 정보, 디스플레이 정보, 스테레오스코픽 영상의 구성정보가 수록될 수 있다. 예컨대, snmi 박스(406)에 포함된 정보는 데이터 저장 제어부(40)에 저장된 하기의 프로그램코드에 대한 연산을 수행하는 것에 의해 설정될 수 있다.
<프로그램코드 2>
aligned (8) class StereoscopicandMonoInformation box extend FullBox ('snmi') version = 0, 0) {
// compound image size
unsigned int (16) compound_image_width;
unsigned int (16) compound_image_height;
// stereoscopic samera information
unsgiend int (32) baseline;
unsigned int (32) focallength;
unsigned int (32) rotation;
unsigned int (32) convergence;
unsigned int (1) camera_setting;
unsigned int (7) reserved;
// stereoscopic display information
unsigend int (16) ViewingDisplaySize;
unsigend int (16) MaxVerticalDisparity;
int (16) MinofDisparity;
int (16) MaxofDisparity;
//
unsigend int (8) SteroScopi_ES_Type;
unsigend int (1) frame_sync;
unsigend int (1) LR_first;
unsigend int (6) reserved;
if( StereoScopic_ES_Type == 1 ) //side-by-side format
{
unsigned int (16) left_image_width;
unsigned int (16) right_image_width;
}
else if ( StereoScopic_ES_Type == 1 ) // vertical line interleaved format
{
unsigned int (16) odd_line_width;
unsigned int (16) odd_line_count;
unsigned int (16) even_line_width;
unsigned int (16) even_line_count;
}
else if ( StereoScopic_ES_Type == 3 ) // field sequential format
{
unsigned int (16) field_width;
unsigned int (16) field_height;
}
}
상기 프로그램코드 2에서, compound_image_width는 혼합영상의 디스플레이 폭이고, compound_image_height는 혼합영상의 디스플레이 높이이다. 그리고, 카메라의 정보를 나타내는 baseline은 좌영상 및 우영상을 촬영하는 두 카메라의 거리이고, focallength는 피사체와의 초점거리이고, rotation은 두 카메라 사이의 회전각이고, convergence는 중심초점과 baseline과의 거리이고, camera_setting은 하기의 표1에 따라 정의되는 카메라의 상세배열이다. left_image_width는 Side-by-Side format에서 좌영상의 폭을 나타내며, right_image_width는 Side-by-Side format에서 우영상의 폭을 나타낸다. 그리고, odd_line_width는 Vertical line interleaved format에서 홀수 열의 폭을 나타내며, odd_line_count는 홀수 열의 순서를 나타낸다. even_line_width는 Vertical line interleaved format에서 짝수 열의 폭을 나타내며, even_line_count는 홀수 열의 순서를 나타낸다. field_width는 Field sequential format에서 영상의 폭을 나타내며, field_height는 영상의 높이를 나타낸다.
Value Specification
0 Parallel arrangement
1 Cross arrangement
상기 표 1에서, Parallel arrangement는 좌영상 및 우영상을 촬영하는 각각의 카메라가 좌측과 우측에 각각 배열되어 있음을 나타내며, Cross arrangement는 좌영상 및 우영상을 촬영하는 각각의 카메라가 서로 교차되어 배열되어 있음을 나타낸다.
또한, 상기 프로그램코드 2에서, 디스플레이 장치의 정보를 나타내는 ViewingDisplaySize는 입체영상 시청자와 디스플레이 장치 사이의 광학거리이고, MaxVerticalDisparity는 3D효과에 사용되는 세로 부동(vertical disparity)의 최대값이고, MinofDisparity는 좌영상 및 우영상 사이의 최소 부동(disparity)이고, MaxofDisparity는 좌영상 및 우영상 사이의 최대 부동(disparity)이다. 그리고, StereoScopic_ES_Type은 하기 표2에 표기된 ES의 타입을 설정한 값이다.
StereoScopic Composition Type Identification
0 Side-by-Side format
1 Vertical line interleaved format
2 Frame sequential format
3 Field sequential format
4 Stereoscopic left view sequence
5 Stereoscopic right view sequence
상기 표2에서, Side-by-Side format은 좌영상 및 우영상이 도 2의 (a)와 같이 형성된 포맷이고, Vertical line interleaved format은 도 2의 (b)와 같이 형성된 포맷이고, Frame sequential format은 도 2의 (c)와 같이 형성된 포맷이다. Stereoscopic left view sequence는 좌영상으로 형성된 이미지이고, Stereoscopic right view sequence는 우영상만으로 형성된 이미지이다.
또한, frame_sync는 입체영상에 포함된 프레임 사이의 동기를 설정하기 위해 지정되는 값이고, LR_first는 좌영상 및 우영상 사이에서 초기에 인코딩될 이미지를 설정한 값이다. LR_first는 하기의 표3에 의해 지정된다.
Identification LR_First = 1 LR_First = 0
Left view sequence Right view sequence Left view sequence Right view sequence
Side-by-Side Left side Right side Right side Left side
Vertical line interleaved Odd line Even line Even line Odd line
Frame sequential Odd frame Even frame Even frame Odd frame
Field sequential Odd field Even field Even field Odd field
n ES Main media Sub media Sub media Main media
비록 본 발명의 실시예에서, ftyp콘테이너(100), mdat콘테이너(200), moov콘테이너(300), 및 meta 콘테이너(400)가 순차적으로 생성되어 메모리(50)에 저장되는 것을 예시하였다. 그러나, 본 발명이 이를 한정하는 것은 아니며, ftyp콘테이너(100), mdat콘테이너(200), moov콘테이너(300), 및 meta 콘테이너(400)를 생성하는 순서에 상관없이 입체영상 데이터가 ftyp콘테이너(100), mdat콘테이너(200), moov콘테이너(300), 및 trak박스(303), 및 스테레오스코픽 영상에 대한 정보를 구비한 meta 콘테이너(400)를 포함하는 포맷으로 메모리(50)에 저장되면 충분하다. 또한, 본 발명에서 설명하는 스테레오스코픽 영상 관련 정보를 담고 있는 박스 및 스테레오스코픽 영상에 관한 직접적인 영향을 주는 박스 외의 다른 박스의 포함여부에 관하여 본 발명은 한정하지 않는다. 예컨대, 본 발명에서 설명하는 스테레오스코픽 영상 관련 정보를 담고 있는 박스 및 스테레오스코픽 영상에 관한 직접적인 영향을 주는 박스는 ftyp콘테이너(100), trak박스(303), iloc 박스(402), iinf 박스(403), snmi 박스(406)를 포함할 수 있다.
상기와 같은 과정을 통해, 입체영상 생성부(30)에 의해 생성되는 입체영상 데이터를 ftyp콘테이너(100), mdat콘테이너(200), moov콘테이너(300), trak박스(303), 및 meta 콘테이너(400)를 포함하는 포맷으로 메모리(50)에 저장할 수 있다. 이로써, 입체영상 데이터를 국제 표준 규격인 ISO Base Media File format과 호환되도록 관리할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 스테레오스코픽 혼합영상 구성의 일 예시도이다. 도 8을 참조하면, 혼합영상에 구비된 스테레오스코픽 영상은 복수의 프레그먼트(fragement)로 이루어질 수 있다. 예컨대, 스테레오스코픽 영상은 S1, S2, 및 S3, S4, 및 S5의 프레그먼트를 구비할 수 있다. 상기 각 프레그먼트는 스테레오스코픽 영상 정보가 바뀌는 지점을 기준으로 구분될 수 있다.
도 9는 본 발명의 다른 실시예에 따른 입체영상 데이터의 저장 포맷의 일 예를 개념적으로 도시한 도면이다. 도 9를 참조하면, 본 실시예에 따른 입체영상 데이터의 저장 포맷은 ISO Base Media File Format에 기초하여 하나의 trak 박스(303)에 혼합영상 스트림의 구성정보를 수록함을 예시한다. meta 컨테이너(400)의 snmi 박스는, 모노스코픽 영상 및 복수의 영상(예컨대, 좌영상 및 우영상)으로 이루어진 스테레오스코픽 영상의 크기, 스테레오스코픽 영상을 촬영한 카메라의 정보, 디스플레이정보, 스테레오스코픽 영상의 구성정보를 수록한다. 특히, snmi 박스에는 스테레오스코픽 영상에 포함된 프레그먼트(fragement)의 개수를 정의하며, 각 프래그먼트 별로 영상의 크기, 카메라정보, 디스플레이정보, 영상의 구성정보를 수록한다. 또한, snmi 박스에는 스테레오스코픽 영상에 포함된 프래그먼트 중 서로 동일한 정보를 갖는 프래그먼트를 그룹핑하여, 이에 해당하는 정보를 수록한다. 상기 snmi박스(406)의 정보는 각 정보의 특성에 따라 각각 다른 박스로 구성될 수 있으며, 각 박스는 각각의 정보의 특성에 따라 서로 다른 위치에 구비될 수도 있다. 예컨대, 영상의 구성에 관한 정보 및 샘플 관련 정보는 샘플 테이블 박스의 하위 메타 박스로 구성하고, 카메라 정보 및 디스플레이 정보등을 담은 박스는 trak 콘테이너의 하위 메타 박스로 구성할 수도 있다.
또한, meta 컨테이너(400)의 iloc 박스(402)는 스테레오스코픽 영상의 영상 정보가 바뀌는 지점을 기준으로, 순차적으로 식별자(item_ID)를 할당하고, 해당 프래그먼트가 시작되는 위치의 주소(offset) 및 상기 프래그먼트의 길이(length)를 수록한다. 그리고, meta 컨테이너(400)의 iinf 박스(403)는, 프래그먼트별로 영상 종류 식별자(item_name)를 할당한다. 예컨대, 아이템이 스테레오스코픽 영상일 경우, 상기 영상 종류 식별자는 스테레오스코픽 영상임을 지시하는 'S'를 포함하여 순차적으로 할당될 수 있다. 즉, S1, S2, S3, ... Sn 등과 같이 설정될 수 있다. 그리고, 상기 아이템이 모노스코픽 영상일 경우, 상기 영상 종류 식별자는 모노스코픽 영상임을 지시하는 'Mm을 포함하여 순차적으로 할당될 수 있다. 즉, M1, M2, M3, ... Mn 등과 같이 설정될 수 있다
상기 iloc 박스(402) 및 iinf 박스(403)는 단일의 박스로 구성되는 것이 바람직하다.
나아가, 두 개의 개별 스트림(elementary stream)으로 구성된 혼합영상에도, 전술한 바와 같이 복수의 프레그먼트(fragement)로 이루어진 스테레오스코픽 영상이 구비될 수 있다. 도 10은 본 발명의 다른 실시예에 따른 입체영상 데이터의 저장 포맷의 다른 예를 개념적으로 도시한 도면이다. 도 10을 참조하면, 본 실시예에 따른 입체영상 데이터의 저장 포맷은 도 9에서와는 다르게 혼합영상을 두 개의 개별 스트림(elementary stream)으로 구성함을 예시한다. 예컨대, 좌 우 영상의 스트림을 각각의 개별 스트림으로 구성함을 예시한다. 이에 따라, 두 개의 trak 박스(303)를 구비하며, trak 박스(303)에 각 스트림의 구성정보를 수록한다.
snmi 박스는, 모노스코픽 영상 및 복수의 영상(예컨대, 좌영상 및 우영상)으로 이루어진 스테레오스코픽 영상의 크기, 스테레오스코픽 영상을 촬영한 카메라의 정보, 디스플레이정보, 스테레오스코픽 영상의 구성정보를 수록한다. 특히, snmi 박스에는 스테레오스코픽 영상에 포함된 프레그먼트(fragement)의 개수를 정의하며, 각 프래그먼트 별로 영상의 크기, 카메라정보, 디스플레이정보, 영상의 구성정보를 수록한다. 또한, snmi 박스에는 스테레오스코픽 영상에 포함된 프래그먼트 중 서로 동일한 정보를 갖는 프래그먼트를 그룹핑하여, 이에 해당하는 정보를 수록한다.
iloc 박스(402)는 각 영상 스트림에 대해 순차적으로 식별자(item_ID)를 할당하고, 해당 프래그먼트가 시작되는 위치의 주소(offset) 및 상기 프래그먼트의 길이(length)를 수록한다. 그리고, meta 컨테이너(400)의 iinf 박스(403)는, 각 프래그먼트별로 영상 종류 식별자(item_name)를 할당한다. 이때, 식별자(item_ID)의 할당은 스테레오스코픽 영상의 영상 정보가 바뀌는 지점을 기준으로 한다.
본 발명의 다른 실시예에 따른 입체 영상 데이터의 저장 포맷에 따르면, meta콘테이너(400)는 도 9 및 도 10과 같이 moov콘테이너(300)에 수록됨을 예시하였으나, 본 발명이 이를 한정하는 것은 아니다. 예컨대, meta콘테이너(400)는 ftyp헤더(100)에 수록되거나, 별도의 콘테이너로 구성될 수 있음은 물론이다.
한편, 데이터 저장 제어부(40)는 meta 콘테이너(400)의 snmi박스를 생성함에 있어서, 스테레오스코픽 영상이 프레그먼트 단위로 구분되어 있음을 고려한다. 즉, 데이터 저장 제어부(40)는 프로그램코드 3에 대응하는 연산을 수행하는 것에 의해 각 스테레오스코픽 영상에 포함된 프래그먼트의 수(item_count)를 확인하고, 순차적으로 item_ID를 할당한다. 또한, 데이터 저장 제어부(40)는 서로 동일한 정보를 포함하는 프래그먼트가 존재하는 경우, 별도의 식별자(dependence flag)를 이용하여 표시한다. 그리고, 프로그램코드 3에 대응하는 연산을 수행하는 것에 의해 서로 동일한 정보를 포함하는 프래그먼트에 대해서는 별도의 item_ID를 할당한다. 예컨대, 상기 별도의 item_ID는 dependence_item_ID일 수 있다. 별도의 item_ID 즉, dependence_item_ID는 해당 프래그먼트가 특정 item_ID의 프래그먼트와 같은 정보를 담고 있는다는 것을 알려주기 위한 것으로 기존의 item_ID를 참조하여 사용할 수 있다.
<프로그램코드 3>
Syntax
aligned (8) class StereoscopicandMonoInformation box extend FullBox ( 'snmi' , version = 0, 0) {
// stereoscopic visual type information
unsigned int (8) Stereoscopic_Composition_Type;
unsigned int (1) LR_First;
unsigned int (1) Is_VideoSafety;
unsigned int (6) reserved;
if ( Is_VideoSafety ) {
}
unsigned int (16) item_count;
for ( i=0; i<item_count; i++ ) {
unsigend int (16) item_ID;
unsigned int (1) Is_StereoScopic_Information;
unsigned int (7) reserved;
if (Is_StereoScopic_Information) {
unsigned int (1) dependence_flag;
unsigned int (7) reserved;
if ( dependence_flag == 1 ) {
unsigned int (16) dependence_item_ID;
} else {
// stereoscopic camera information
unsigned int (1) Is_CamParams;
// stereoscopic display information
unsigned int (1) Is_DisplayInfomation;
unsigned int (6) reserved;
if(Is_CamParams) {
unsgiend int (32) baseline;
unsigned int (32) focallength;
unsigned int (32) ConvergenceDistance;
unsigned int (1) Is_ camera_cross;
unsigned int (7) reserved;
if (Is_ camera_cross) {
unsigned int (32) rotation[];
}
}
if ( Is_DisplayInformation ) {
unsigend int (16) ViewingDistance;
int (16) MinofDisparity;
int (16) MaxofDisparity;
}
}
}
}
}
또한, 데이터 저장 제어부(40)는 서로 동일한 정보를 포함하는 프래그먼트가 존재하는 경우, 별도의 식별자(dependence flag)를 이용하여 표시한다. 그리고, 프로그램코드 3에 대응하는 연산을 수행하는 것에 의해 서로 동일한 정보를 포함하는 프래그먼트에 대해서는 별도의 item_ID를 할당한다. 예컨대, 상기 별도의 item_ID는 dependence_item_ID일 수 있다.
또한, 데이터 저장 제어부(40)는 프로그램코드 4에 대응하는 연산을 수행하는 것에 의해 서로 동일한 정보를 포함하는 프래그먼트를 그룹화할 수 있다. 즉, ISO Base Media File format에서 제공하는 extent_count를 활용하여 스테레오스코픽 영상에 포함된 서로 다른 프레그먼트의 종류의 수를 연산하여 표시하고, 각 종류별로 스테레오스코픽 영상에 관련된 정보를 기재한다.
<프로그램코드 4>
Syntax
aligned (8) class StereoscopicandMonoInformation box extend FullBox ('snmi' version = 0, 0) {
// stereoscopic visual type information
unsigned int (8) Stereoscopic_Composition_Type;
unsigned int (1) LR_First;
unsigned int (1) Is_VideoSafety;
unsigned int (6) reserved;
if ( Is_VideoSafety ) {
}
unsigned int (16) item_count;
for ( i=0; i<item_count; i++ ) {
unsigend int (16) item_ID;
unsigned int (16) extent_count;
for ( j=0; j<extent_count; j++ ) {
// stereoscopic camera information
unsigned int (1) Is_CamParams;
// stereoscopic display information
unsigned int (1) Is_DisplayInfomation;
unsigned int (6) reserved;
if(Is_CamParams) {
unsgiend int (32) baseline;
unsigned int (32) focallength;
unsigned int (32) ConvergenceDistance;
unsigned int (1) Is_ camera_cross;
unsigned int (7) reserved;
if (Is_ camera_cross) {
unsigned int (32) rotation[];
}
}
if ( Is_DisplayInformation ) {
unsigend int (16) ViewingDistance;
int (16) MinofDisparity;
int (16) MaxofDisparity;
}
}
}
}
}
나아가, 데이터 저장 제어부(40)는 각 스테레오 스코픽 영상에 포함된 프래그먼트의 수(item_count)에 대응하는 item_ID를 할당하기 위한 프로그램코드 3에 대응하는 연산과, 서로 동일한 정보를 포함하는 프래그먼트를 그룹화기 위한 프로그램코드 4에 대응하는 연산을 통합하여 수행하는 것이 가능하다. 이러한, 통합적인 연산의 수행은 프로그램코드 5에 대응하는 연산으로서 구현될 수 있다.
<프로그램코드 5>
Syntax
aligned (8) class StereoscopicandMonoInformation box extend FullBox ('snmi' version = 0, 0) {
// stereoscopic visual type information
unsigned int (8) Stereoscopic_Composition_Type;
unsigned int (1) LR_First;
unsigned int (1) Is_VideoSafety;
unsigned int (6) reserved;
if ( Is_VideoSafety ) {
}
unsigned int (16) item_count;
for ( i=0; i<item_count; i++ ) {
unsigend int (16) item_ID;
unsigned int (16) extent_count;
unsigned int (8) Is_extent_information[extent_count];
for ( j=0; j<extent_count; j++ ) {
if ( Is_extent_information[j] ) {
unsigned int (16) dependence_extent_index;
} else {
// stereoscopic camera information
unsigned int (1) Is_CamParams;
// stereoscopic display information
unsigned int (1) Is_DisplayInfomation;
unsigned int (6) reserved;
if(Is_CamParams) {
unsgiend int (32) baseline;
unsigned int (32) focallength;
unsigned int (32) ConvergenceDistance;
unsigned int (1) Is_ camera_cross;
unsigned int (7) reserved;
if (Is_ camera_cross) {
unsigned int (32) rotation[];
}
}
if ( Is_DisplayInformation ) {
unsigend int (16) ViewingDistance;
int (16) MinofDisparity;
int (16) MaxofDisparity;
}
}
}
}
}
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 수정 및 변형이 가능함은 물론이다.
도 1은 본 발명이 적용되는 스테레오스코픽 영상촬영 장치의 블록 구성도,
도 2는 본 발명의 일 실시예에 따른 입체영상에 포함된 스테레오스코픽 영상 구성의 예시도,
도 3a 및 3b는 본 발명의 일 실시예에 따른 입체영상 데이터의 저장 포맷의 구성도,
도 4는 본 발명의 일 실시예에 따른 입체영상 데이터의 저장 포맷에 포함된 moov 콘테이너의 상세 구성도,
도 5는 본 발명의 일 실시예에 따른 입체영상 데이터의 저장 포맷에 포함된 meta 콘테이너의 상세 구성도,
도 6은 본 발명의 일 실시예에 따른 입체영상 데이터의 저장 포맷의 일 예에 따른 개념도,
도 7은 본 발명의 일 실시예에 따른 입체영상 데이터의 저장 포맷의 다른 예에 따른 개념도,
도 8은 본 발명의 또 다른 실시예에 따른 스테레오스코픽 영상 구성의 일 예시도,
도 9는 본 발명의 또 다른 실시예에 따른 입체영상 데이터의 저장 포맷의 일 예에 따른 개념도,
도 10은 본 발명의 다른 실시예에 따른 입체영상 데이터의 저장 포맷의 다른 예에 따른 개념도.

Claims (20)

  1. 입체영상을 기록매체에 저장하는 방법에 있어서,
    모노스코픽 영상 및 스테레오스코픽 영상을 구비한 혼합영상 또는 단일의 스테레오스코픽 영상임을 지시하는 영상종류정보를 파일타입해더 필드에 적재하는 과정과,
    입체영상에 포함된 미디어 객체들의 시각(time) 및 공간적 관계를 나타내는 장면기술정보, 각각의 미디어 객체를 구성하는 부호화 스트림의 구성관계 및 각각의 미디어 객체의 객체 속성을 나타내는 객체구성정보, 및 상기 부호화 스트림의 구성정보를 구비한 영상구성정보를 미리 정해진 영상구성정보 컨테이너 필드에 객체 기반의 구조로 적재하는 과정과,
    실제적으로 저장할 미디어데이터를 데이터 컨테이너 필드에 적재하는 과정과,
    입체영상의 재생에 요구되는 정보를 구비한 메타데이터를 메타 콘테이너 필드에 적재하는 과정을 포함하는 것을 특징으로 하는 입체영상 데이터의 저장방법.
  2. 제1항에 있어서, 상기 메타 콘테이너 필드는 상기 영상구성정보 컨테이너 필드 내에 구비되는 것을 특징으로 하는 입체영상 데이터의 저장방법.
  3. 제2항에 있어서, 상기 메타 콘테이너 필드는 상기 영상구성정보 컨테이너 필 드와 별도의 필드로 구성되는 것을 특징으로 하는 입체영상 데이터의 저장방법.
  4. 제2항 또는 제3항에 있어서, 상기 메타데이터는 혼합영상 및 단일의 스테레오스코픽 영상의 구성정보, 상기 혼합영상 및 단일의 스테레오스코픽 영상에 포함된 영상의 크기, 촬영정보, 및 디스플레이정보를 포함하며,
    상기 메타데이터 필드에 마련된 snmi 박스에 수록하는 것을 특징으로 하는 입체영상 데이터의 저장방법.
  5. 제4항에 있어서, 상기 메타데이터는 상기 혼합영상에 포함된 모노스코픽 영상 및 스테레오스코픽 영상이 저장된 위치정보, 상기 모노스코픽 영상 및 스테레오스코픽 영상의 데이터 크기정보, 및 상기 모노스코픽 영상 및 스테레오스코픽 영상 종류 식별자를 포함하며,
    상기 위치정보 및 길이정보는 상기 메타데이터 필드에 마련된 iloc박스에 수록하며,
    상기 영상 종류 식별자는 상기 메타데이터 필드에 마련된 iinf박스에 수록하는 것을 특징으로 하는 입체영상 데이터의 저장방법.
  6. 제4항에 있어서, 상기 촬영정보는 복수의 카메라 렌즈 사이의 거리, 피사체와의 초점거리, 객체를 중심으로 한 회전각, 세로 부동(disparity)의 최대값, 복수의 카메라 렌즈를 통해 촬영되는 영상 사이의 최소 및 최대 부동값(disparity)을 포함하는 것을 특징으로 하는 입체영상 데이터의 저장방법.
  7. 제4항에 있어서, 상기 snmi 박스는 각 미디어 데이터의 프레임율이 다른 경우, 기준이 되어지는 미디어 데이터를 지시하는 정보와, 합성영상의 타입에 따라 먼저 압축되어지는 미디어 데이터를 지시하는 정보를 포함하는 것을 특징으로 하는 입체영상 데이터의 저장방법.
  8. 제2항 또는 제3항에 있어서, 상기 스테레오스코픽 영상은 적어도 하나의 단편(fragment)으로 이루어진 것을 특징으로 하는 입체영상 데이터의 저장방법.
  9. 제8항에 있어서, 상기 스테레오스코픽 영상이 복수의 단편(fragment)을 포함함에 따라, 동일한 영상 정보를 구비하는 단편(fragment)을 상기 메타 콘테이너에 그룹화하여 수록하는 것을 특징으로 하는 입체영상 데이터의 저장방법.
  10. 제9항에 있어서, 서로 다른 영상 정보를 구비한 단편(fragment)의 수를 연산하고, 연산된 단편의 수를 기준으로 상기 메타 콘테이너에 각 단편(fragment)이 지시하는 영상 정보를 수록하는 것을 특징으로 하는 입체영상 데이터의 저장방법.
  11. 입체영상이 저장된 기록매체에 있어서,
    모노스코픽 영상 및 스테레오스코픽 영상을 구비한 혼합영상 또는 단일의 스 테레오스코픽 영상임을 지시하는 영상종류정보를 수록하는 파일타입 콘테이너와,
    입체영상에 포함된 미디어 객체들의 시각(time) 및 공간적 관계를 나타내는 장면기술정보, 각각의 미디어 객체를 구성하는 부호화 스트림의 구성관계 및 각각의 미디어 객체의 객체 속성을 나타내는 객체구성정보, 및 상기 부호화 스트림의 구성정보를 구비한 영상구성정보를 수록하는 영상구성정보 컨테이너와,
    실제적으로 저장할 미디어데이터를 수록하는 데이터 컨테이너와,
    입체영상의 재생에 요구되는 정보를 구비한 메타데이터를 수록하는 메타 콘테이너를 포함하는 것을 특징으로 하는 입체영상 데이터 기록매체.
  12. 제11항에 있어서, 상기 메타 콘테이너는 상기 영상구성정보 컨테이너 내에 구비되는 것을 특징으로 하는 입체영상 데이터 기록매체.
  13. 제3항에 있어서, 상기 메타 콘테이너는 상기 영상구성정보 컨테이너와 별도의 콘테이너로 구성되는 것을 특징으로 하는 입체영상 데이터 기록매체.
  14. 제12항 또는 제13항에 있어서, 상기 메타데이터는 혼합영상 및 단일의 스테레오스코픽 영상의 구성정보, 상기 혼합영상 및 단일의 스테레오스코픽 영상에 포함된 영상의 크기, 촬영정보, 및 디스플레이정보를 포함하며,
    상기 메타데이터는 상기 메타데이터에 마련된 snmi 박스에 수록하는 것을 특징으로 하는 입체영상 데이터 기록매체.
  15. 제14항에 있어서, 상기 메타데이터는 상기 혼합영상에 포함된 모노스코픽 영상 및 스테레오스코픽 영상이 저장된 위치정보, 상기 모노스코픽 영상 및 스테레오스코픽 영상의 데이터 크기정보, 및 상기 모노스코픽 영상 및 스테레오스코픽 영상 종류 식별자를 포함하며,
    상기 위치정보 및 길이정보는 상기 메타데이터 필드에 마련된 iloc박스에 수록하며,
    상기 영상 종류 식별자는 상기 메타데이터 필드에 마련된 iinf박스에 수록하는 것을 특징으로 하는 입체영상 데이터 기록매체.
  16. 제14항에 있어서, 상기 촬영정보는 복수의 카메라 렌즈 사이의 거리, 피사체와의 초점거리, 객체를 중심으로 한 회전각, 세로 부동(disparity)의 최대값, 복수의 카메라 렌즈를 통해 촬영되는 영상 사이의 최소 및 최대 부동값(disparity)을 포함하는 것을 특징으로 하는 입체영상 데이터 기록매체.
  17. 제14항에 있어서, 상기 snmi 박스는 각 미디어 데이터의 프레임율이 다른 경우, 기준이 되어지는 미디어 데이터를 지시하는 정보와, 합성영상의 타입에 따라 먼저 압축되어지는 미디어 데이터를 지시하는 정보를 포함하는 것을 특징으로 하는 입체영상 데이터 기록매체.
  18. 제12항 또는 제13항에 있어서, 상기 스테레오스코픽 영상은 적어도 하나의 단편(fragment)으로 이루어진 것을 특징으로 하는 입체영상 데이터 기록매체.
  19. 제18항에 있어서, 상기 스테레오스코픽 영상이 복수의 단편(fragment)을 포함함에 따라, 동일한 영상 정보를 구비하는 단편(fragment)을 상기 메타 콘테이너에 그룹화하여 수록하는 것을 특징으로 하는 입체영상 데이터 기록매체.
  20. 제19항에 있어서, 상기 메타 콘테이너는 서로 다른 영상 정보를 구비한 단편(fragment)의 수를 연산한 정보를 수록하는 것을 특징으로 하는 입체영상 데이터 기록매체.
KR1020080102784A 2007-10-19 2008-10-20 입체영상 데이터를 수록한 기록매체 및 상기 입체영상 데이터를 기록하는 방법 KR101533114B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020070105831 2007-10-19
KR20070105831 2007-10-19
KR1020070131535 2007-12-14
KR20070131535 2007-12-14

Publications (2)

Publication Number Publication Date
KR20090040245A true KR20090040245A (ko) 2009-04-23
KR101533114B1 KR101533114B1 (ko) 2015-07-03

Family

ID=40567991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080102784A KR101533114B1 (ko) 2007-10-19 2008-10-20 입체영상 데이터를 수록한 기록매체 및 상기 입체영상 데이터를 기록하는 방법

Country Status (8)

Country Link
US (1) US8922621B2 (ko)
EP (1) EP2213093B1 (ko)
JP (1) JP5231563B2 (ko)
KR (1) KR101533114B1 (ko)
CN (1) CN101868970B (ko)
BR (1) BRPI0818398B1 (ko)
MX (1) MX2010004275A (ko)
WO (1) WO2009051457A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013115624A1 (ko) * 2012-02-02 2013-08-08 삼성전자 주식회사 멀티미디어 통신 시스템에서 장면 구성 정보 송/수신 장치 및 방법
US9305602B2 (en) 2009-06-19 2016-04-05 Electronics And Telecommunications Research Institute Object-based audio system, object-based audio providing method, and object-based audio playing method using preset function
KR20190010105A (ko) 2017-07-21 2019-01-30 안주신 퀵커플러
US20220256097A1 (en) * 2019-10-25 2022-08-11 Autel Robotics Co., Ltd. Method, system and apparatus for implementing omnidirectional vision obstacle avoidance and storage medium

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
KR101530713B1 (ko) * 2008-02-05 2015-06-23 삼성전자주식회사 영상 파일을 생성하고 표시하기 위한 장치 및 방법
EP2088789A3 (en) * 2008-02-05 2012-08-15 Samsung Electronics Co., Ltd. Apparatus and method for generating and displaying media files
CN102461183B (zh) 2009-06-16 2015-08-19 Lg电子株式会社 广播发射机、广播接收机及其3d视频处理方法
JP5227910B2 (ja) * 2009-07-21 2013-07-03 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム画像表示方法及びゲーム画像表示プログラム
EP2460360A1 (en) * 2009-07-27 2012-06-06 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
JP2011087195A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
WO2011049519A1 (en) * 2009-10-20 2011-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for multi-view video compression
WO2011061973A1 (ja) * 2009-11-18 2011-05-26 日本ビクター株式会社 立体映像表示装置および動きベクトル導出方法
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
KR20110096494A (ko) * 2010-02-22 2011-08-30 엘지전자 주식회사 전자 장치 및 입체영상 재생 방법
CN102860019B (zh) * 2010-04-28 2015-07-29 富士胶片株式会社 立体图像再生装置及方法、立体摄像装置、立体显示器装置
CN102860017B (zh) 2010-04-28 2015-06-10 富士胶片株式会社 立体摄像装置及其制造方法
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8640182B2 (en) 2010-06-30 2014-01-28 At&T Intellectual Property I, L.P. Method for detecting a viewing apparatus
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
CN105812827B (zh) 2010-07-21 2019-04-16 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
JP5652642B2 (ja) * 2010-08-02 2015-01-14 ソニー株式会社 データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8947511B2 (en) * 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
KR101212170B1 (ko) * 2010-12-10 2012-12-13 엘지디스플레이 주식회사 패턴드 리타더를 이용한 입체 영상 표시 장치 및 그 구동 방법
JP5750457B2 (ja) * 2011-01-25 2015-07-22 富士フイルム株式会社 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法
JP5695972B2 (ja) * 2011-05-20 2015-04-08 日立マクセル株式会社 コンテンツ受信機およびコンテンツ情報出力方法
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
WO2013121823A1 (ja) * 2012-02-16 2013-08-22 ソニー株式会社 送信装置、送信方法および受信装置
CN102780897A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种单文件视频素材支持3d技术的方法
KR20150018125A (ko) * 2013-08-09 2015-02-23 엘지전자 주식회사 전자 디바이스 및 전자 디바이스와 통신하는 단말기
US9699390B2 (en) * 2014-09-02 2017-07-04 Htc Corporation Controlling method for image capturing and image integration
CN107818594A (zh) * 2017-09-06 2018-03-20 北京矩阵空间科技有限公司 三维模型文件格式***及读取方法
US11509878B2 (en) * 2018-09-14 2022-11-22 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations for network based media processing
CN109600601A (zh) * 2018-11-23 2019-04-09 维沃移动通信有限公司 一种存储3d图像的方法及终端设备
CN111953909B (zh) * 2019-05-16 2022-02-01 佳能株式会社 图像处理设备、图像处理方法和存储介质
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
EP3958566A1 (en) * 2020-08-17 2022-02-23 Axis AB Wearable camera and a method for encoding video captured by the wearable camera
CN115412760A (zh) * 2022-08-31 2022-11-29 海宁奕斯伟集成电路设计有限公司 视频帧图像的显示装置及方法
EP4336482A1 (en) * 2022-09-12 2024-03-13 Nokia Technologies Oy An apparatus for projecting images towards a user

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0944269B1 (en) 1996-12-04 2002-11-13 Matsushita Electric Industrial Co., Ltd. Optical disc for high resolution and three-dimensional image recording, optical disc reproducing device, and optical disc recording device
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
JP2001238181A (ja) * 2001-01-12 2001-08-31 Sanyo Electric Co Ltd 立体情報記録媒体
US20030030675A1 (en) * 2001-08-09 2003-02-13 International Business Machines Corporation Entry panel processing system
US7277121B2 (en) 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
GB0319697D0 (en) * 2003-08-21 2003-09-24 Falanx Microsystems As Method of and apparatus for differential encoding and decoding
KR100540172B1 (ko) * 2003-09-04 2006-01-10 한국전자통신연구원 객체기반 다시점 비디오 서비스 시스템 및 그 방법
ATE372563T1 (de) * 2003-09-30 2007-09-15 Koninkl Philips Electronics Nv Bildwiedergabe mit interaktiver bewegungsparallaxe
US7979886B2 (en) * 2003-10-17 2011-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
RU2007143314A (ru) * 2005-04-22 2009-05-27 Конинклейке Филипс Электроникс, Н.В. (Nl) Автостереоскопический дисплей со смешанным режимом для одновременного отображения двух- и трехмерных изображений
KR100703715B1 (ko) * 2005-05-17 2007-04-06 한국전자통신연구원 다시점 3차원 동영상 송수신 시스템
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
US20100161686A1 (en) * 2007-06-19 2010-06-24 Electronic And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
EP2198625A4 (en) 2007-10-10 2013-11-06 Korea Electronics Telecomm METADATA STRUCTURE FOR STORING AND REPRODUCING STEREOSCOPIC DATA AND METHOD FOR STORING A STEREOSCOPIC CONTENT FILE USING THESE METADATA

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305602B2 (en) 2009-06-19 2016-04-05 Electronics And Telecommunications Research Institute Object-based audio system, object-based audio providing method, and object-based audio playing method using preset function
WO2013115624A1 (ko) * 2012-02-02 2013-08-08 삼성전자 주식회사 멀티미디어 통신 시스템에서 장면 구성 정보 송/수신 장치 및 방법
US9794648B2 (en) 2012-02-02 2017-10-17 Samsung Electronics Co., Ltd. Apparatus and method for transceiving scene composition information in multimedia communication system
US10368143B2 (en) 2012-02-02 2019-07-30 Samsung Electronics Co., Ltd. Apparatus and method for transceiving scene composition information in multimedia communication system
US10390107B2 (en) 2012-02-02 2019-08-20 Samsung Electronics Co., Ltd. Apparatus and method for transceiving scene composition information in multimedia communication system
KR20190010105A (ko) 2017-07-21 2019-01-30 안주신 퀵커플러
US20220256097A1 (en) * 2019-10-25 2022-08-11 Autel Robotics Co., Ltd. Method, system and apparatus for implementing omnidirectional vision obstacle avoidance and storage medium

Also Published As

Publication number Publication date
BRPI0818398B1 (pt) 2021-02-23
KR101533114B1 (ko) 2015-07-03
CN101868970A (zh) 2010-10-20
US8922621B2 (en) 2014-12-30
CN101868970B (zh) 2015-01-21
WO2009051457A3 (en) 2009-06-04
US20090122134A1 (en) 2009-05-14
EP2213093A2 (en) 2010-08-04
JP2011502382A (ja) 2011-01-20
MX2010004275A (es) 2010-07-29
WO2009051457A2 (en) 2009-04-23
EP2213093A4 (en) 2010-12-08
EP2213093B1 (en) 2015-10-14
JP5231563B2 (ja) 2013-07-10

Similar Documents

Publication Publication Date Title
KR101533114B1 (ko) 입체영상 데이터를 수록한 기록매체 및 상기 입체영상 데이터를 기록하는 방법
US9781403B2 (en) Method and apparatus for generating stereoscopic file
EP2001235B1 (en) MPEG-4 format extension for recording stereoscopic or synthetic 3D video data with related metadata
EP2757788B1 (en) Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
KR101288932B1 (ko) 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
EP2071853B1 (en) System and method for generating and reproducing image file including 2D image and 3D stereoscopic image
US8396906B2 (en) Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
US20090208119A1 (en) Method for generating and playing image files for slideshows
US20090066785A1 (en) System and method for generating and reproducing 3d stereoscopic image file including 2d image
CN103202021A (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
KR101480186B1 (ko) 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
KR101434674B1 (ko) 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
KR101396619B1 (ko) 3ｄ 영상에 관한 부가 정보를 포함하는 3ｄ 영상파일을생성 및 재생하기 위한 시스템 및 방법
KR101453084B1 (ko) 3ｄ 영상 파일을 생성 및 재생하기 위한 휴대 단말기 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 4