KR20080108654A - 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법 - Google Patents

2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20080108654A
KR20080108654A KR1020070056475A KR20070056475A KR20080108654A KR 20080108654 A KR20080108654 A KR 20080108654A KR 1020070056475 A KR1020070056475 A KR 1020070056475A KR 20070056475 A KR20070056475 A KR 20070056475A KR 20080108654 A KR20080108654 A KR 20080108654A
Authority
KR
South Korea
Prior art keywords
image data
image
stereoscopic
information
file
Prior art date
Application number
KR1020070056475A
Other languages
English (en)
Other versions
KR101388265B1 (ko
Inventor
이건일
최광철
송재연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070056475A priority Critical patent/KR101388265B1/ko
Priority to US12/136,507 priority patent/US8457386B2/en
Priority to PCT/KR2008/003253 priority patent/WO2008153312A2/en
Priority to EP08766215.1A priority patent/EP2153667B1/en
Priority to JP2010512070A priority patent/JP5500729B2/ja
Publication of KR20080108654A publication Critical patent/KR20080108654A/ko
Priority to US13/909,753 priority patent/US8644597B2/en
Priority to JP2013176714A priority patent/JP2014027665A/ja
Application granted granted Critical
Publication of KR101388265B1 publication Critical patent/KR101388265B1/ko
Priority to JP2015245156A priority patent/JP6320366B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 2D 영상 미디어 표준(Two-Dimensional Image Media Standards)을 기반으로 3D 입체영상 파일(Three-Dimensional Image Files)을 생성 및 재생하기 위한 시스템 및 방법에 관한 것으로서, 제1영상데이터와 상기 제1영상데이터와 동기화되어 입체영상을 생성하는데 이용되는 제2영상데이터를 포함하는 데이터영역과, 상기 제1영상데이터의 정보를 포함하는 헤더영역과, 상기 제2영상데이터의 정보를 포함하는 메타데이터영역으로 구성되는 입체영상 파일을 생성하는 입체영상 파일 생성장치와, 상기 생성된 입체영상 파일이 입력되면 상기 제1영상데이터의 정보 및 상기 제2영상데이터의 정보를 분석하여 상기 제1영상데이터와 상기 제2영상데이터를 합성함으로써 입체영상 파일을 재생하는 입체영상 파일 재생장치를 포함한다.
입체영상 파일, 제1영상데이터, 제2영상데이터

Description

2Ｄ 영상 미디어 표준을 기반으로 3Ｄ 입체영상 파일을 생성 및 재생하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING AND PLAYING THREE DIMENSIONAL IMAGE FILES BASED ON TWO DIMENSIONAL IMAGE MEDIA STANDARDS}
도 1은 종래 표준기술에 따른 2D 영상 파일의 저장 포맷에 대한 블록 구성도
도 2a는 본 발명의 일 실시 예에 따른 3D 입체영상 파일의 저장 포맷에 대한 블록 구성도
도 2b는 본 발명의 다른 실시 예에 따른 3D 입체영상 파일의 저장 포맷에 대한 블록 구성도
도 2c는 본 발명의 또 다른 실시 예에 따른 3D 입체영상 파일의 저장 포맷에 대한 블록 구성도
도 3은 본 발명의 일 실시 예에 따른 입체영상 파일 생성장치에 대한 블록 구성도
도 4는 본 발명의 일 실시 예에 따른 입체영상 파일 재생장치에 대한 블록 구성도
도 5는 본 발명의 일 실시 예에 따른 입체영상 파일을 생성하기 위한 방법에 대한 순서도
도 6은 본 발명의 일 실시 예에 따른 입체영상 파일을 재생하기 위한 방법에 대한 순서도
본 발명은 2D 영상 미디어 표준(Two-Dimensional Image Media Standards)을 기반으로 3D 입체영상 파일(Three-Dimensional Image Files)을 생성 및 재생하기 위한 시스템 및 방법에 관한 것이다.
멀티미디어 관련 국제 표준화 기구인 MPEG(Moving Picture Experts Group)은 MPEG-1을 시작으로 하여 현재는 MPEG-2, MPEG-4, MPEG-7, MPEG-21의 표준화 작업을 진행하고 있다. 이처럼 여러 가지 표준이 개발됨에 따라 서로 다른 표준 기술을 조합하여 하나의 프로파일을 만들어야 할 필요성이 대두되으며, 이러한 움직임의 하나로서 MPEG-A(MPEG Application: ISO/ICE 230000) 멀티미디어 응용 표준화 활동이 있다. MPEG-A 활동의 하나로서 다양한 멀티미디어 응용 형식(Multimedia Application Format: MAF)을 만들고 있는데, 이러한 멀티미디어 응용 형식은 기존의 MPEG 표준들 뿐만 아니라 비 MPEG 표준들을 함께 조합하여 표준의 활용 가치를 높이는 것을 목적으로 한다. 이렇듯 별도의 표준을 새로 만드는 노력없이 이미 검증된 표준 기술을 쉽게 조합함으로써 멀티미디어 응용 형식을 만들 수 있으며 그 효용가치를 극대화할 수 있다. 현재까지는 DAB MAF(Digital Audio Broadcasting MAF), DMB MAF(Digital Multimedia Broadcasting MAF) 등의 표준화가 진행되고 있으나, 3D 입체영상을 저장하기 위한 파일 포맷에 관해서는 아직 표준화가 진행되고 있지 않다.
3D 입체영상을 구현하기 위한 최근의 영상 기술로서는 Barrier LCD가 장착된 휴대 단말기에서나 입체영상을 재생할 수 있을 뿐, 일반적인 휴대 단말기에서 3D 입체영상을 재생할 수 있는 기술이나 이를 위한 입체영상의 저장 포맷 등에 관해서는 전혀 알려진 바 없다.
위에서 본 바와 같이, 본 발명은 3D 입체영상을 일반 휴대단말기에서도 재생할 수 있도록 하는 시스템 및 방법을 제공한다.
이를 위해 3D 입체영상을 생성 및 재생하기 위한 입체영상 파일 포맷을 제공한다. MPEG-A의 멀티미디어 응용 형식에 관한 표준화 활동의 일환으로서, ISO 14496-12에서 규정하는 2D 영상 파일 포맷을 일부 변경한 입체영상 파일 포맷을 제공한다.
이러한 입체영상 파일 포맷에 의해 2D 영상 파일과 3D 입체영상 파일의 생성 및 재생을 모두 다룰 수 있도록 한다.
한편, 이러한 3D 입체영상 파일의 생성 및 재생이 가능한 시스템 및 방법을 제공한다.
상기 기술적 과제를 해결하기 위하여 본 발명은 제1영상데이터와 상기 제1영상데이터와 동기화되어 입체영상을 생성하는데 이용되는 제2영상데이터를 포함하는 데이터영역과, 상기 제1영상데이터의 정보를 포함하는 헤더영역과, 상기 제2영상데 이터의 정보를 포함하는 메타데이터영역으로 구성되는 입체영상 파일을 생성하는 입체영상 파일 생성장치와, 상기 생성된 입체영상 파일이 입력되면 상기 제1영상데이터의 정보 및 상기 제2영상데이터의 정보를 분석하여 상기 제1영상데이터와 상기 제2영상데이터를 합성함으로써 입체영상 파일을 재생하는 입체영상 파일 재생장치를 포함하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템을 제공한다.
상기 기술적 과제를 해결하기 위하여 본 발명은 소정의 피사체에 대해 좌시점 영상을 촬영하여 제1영상데이터를 출력하고, 상기 피사체에 대해 우시점 영상을 촬영하여 상기 제2영상데이터를 출력하는 촬영단계와, 상기 제1영상데이터 및 상기 제2영상데이터를 전처리하는 전처리단계와, 상기 전처리된 제1영상데이터 및 제2영상데이터를 저장하는 저장단계와, 상기 전처리된 제1영상데이터 및 제2영상데이터를 인코딩하는 부호화단계와, 상기 인코딩된 제1영상데이터 및 제2영상데이터를 포함하는 데이터영역과, 상기 제1영상데이터의 정보를 포함하는 헤더영역과, 상기 제2영상데이터의 정보를 포함하는 메타데이터영역으로 구성되는 입체영상 파일을 생성하는 파일생성단계를 포함하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 방법을 제공한다.
상기 기술적 과제를 해결하기 위하여 본 발명은 상기 입체영상 파일에 포함된 상기 제1영상데이터의 정보 및 상기 제2영상데이터의 정보를 분석하여 상기 제1영상데이터 및 상기 제2영상데이터를 추출하는 영상추출단계와, 상기 추출된 제1영상데이터 및 제2영상데이터를 저장하는 저장단계와, 상기 저장된 제1영상데이터 및 제2영상데이터를 디코딩하는 복호화단계와, 상기 디코딩된 제1영상데이터 및 제2영상데이터를 입체영상으로 합성하여 재생하는 재생단계와, 상기 합성하여 재생되는 입체영상을 표시하는 표시단계를 더 포함함을 특징으로 하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 방법을 제공한다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명한다. 도면에서 동일한 구성 요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
먼저 본 발명에 의한 3D 입체영상을 저장하기 위한 포맷을 설명하기 전에, 도 1을 참조하여 종래 표준기술에 의한 2D 영상 파일의 저장 포맷에 대한 블록 구성을 살펴보면 다음과 같다. 도 1은 종래 ISO 14496-12에 따른 2D 영상 파일의 포맷(100)을 나타내고 있다. 이에 따르면, 2D 영상 파일 포맷(100)은 Moov영역과 Mdat영역으로 구성된다. 여기서 Mdat영역은 파일 포맷 중 데이터영역으로서, 각 트랙에 실제 영상데이터 및 음성데이터를 포함한다. 각 트랙에는 영상데이터와 음성데이터가 프레임 단위로 저장된다. Moov영역은 파일 포맷 중 헤더영역에 해당하며, 객체 기반의 구조로 구성되어 있다. 이는 프레임 레이트(Frame Rate), 비트 레이트(Bit Rate), 이미지 크기 등의 컨텐츠 정보과 FF/REW 등의 재생 기능을 지원하기 위한 동기화 정보 등의 파일 재생을 위한 모든 정보를 포함하고 있다. 특히, 영상데이터 및 음성데이터의 전체 프레임수, 각 프레임의 크기 등의 정보를 포함하 여 재생시에 Moov영역을 분석(Parsing)하여 영상데이터 및 음성데이터를 복원하여 재생할 수 있다.
다음으로 도 2a를 참조하여 본 발명의 일 실시 예를 살펴보면 다음과 같다. 도 2a는 본 발명의 일 실시 예에 따른 3D 입체영상 파일의 저장 포맷에 대한 블록 구성도이다. 본 발명은 기본적으로 도 1에 나타난 2D 영상 파일 포맷에 메타데이터영역만을 추가함으로써 3D 입체영상 파일 포맷(200)을 구성한다. 그러므로 2D 영상 파일 포맷의 구조 및 기능에 대해서는 중요한 변경없이 그대로 그 기능을 이용할 수 있다. 데이터영역인 Mdat영역은 음성데이터 트랙과 제1영상트랙 및 제2영상트랙을 포함한다. 제1영상트랙에는 제1영상데이터를 포함하고 있으며, 제2 영상트랙에는 제2영상데이터를 포함하고 있다. 여기서 제1영상데이터 및 제2영상데이터는 인간 시각 특성을 활용하여 생성한 데이터로서, 소정의 피사체에 대해 제1카메라 및 제2카메라를 이용하여 좌시점 영상과 우시점 영상을 촬영하여 생성한 영상데이터이다. 이처럼 사용자의 좌안과 우안에 분리된 영상을 생성하여 재생함으로써 사용자는 입체감을 느끼게 된다. 제1영상데이터와 제2영상데이터 중 어느 하나만을 재생하게 되면 2D 영상을 감상할 수 있으며, 제1영상데이터와 제2영상데이터를 합성하여 재생하게 되면 3D 입체영상을 감상할 수 있게 된다. 헤더영역인 Moov영역에는 제1영상트랙의 정보와 음성트랙의 정보를 포함하고 있으며, 메타데이터영역에는 제2영상트랙의 정보를 포함하고 있다. 이러한 트랙 정보는 각 데이터의 전체 프레임 수, 프레임 크기 등의 정보를 포함하고 있으므로, 입체영상으로 재생시에는 이러한 정보를 분석하여 각 데이터들을 합성할 수 있다.
다음으로 도 2b를 참조하여 본 발명의 다른 일 실시 예를 살펴보면 다음과 같다. 도 2b는 본 발명의 다른 일 실시 예에 따른 3D 입체영상 파일의 저장 포맷에 대한 블록 구성도이다. 본 발명의 3D 입체영상 파일의 저장 포맷(210)은 역시 데이터영역인 Mdat영역, 헤더영역인 Moov영역, 메타데이터영역으로 구성된다. 다만, 3D 입체영상 파일의 저장 포맷(200)과 다른 점은 영상트랙이 두 개가 아닌 하나이며, 하나의 영상트랙에 제1영상데이터와 제2영상데이터가 모두 포함되어 있는 점이다. 저장 방식은 제1영상데이터 또는 제2영상데이터 중 어느 하나를 먼저 저장하고, 나머지를 저장하는 방식이다. 이로서 영상데이터를 하나의 트랙만으로 구성할 수 있다. Moov영역에는 제1영상데이터의 전체 프레임 수, 프레임 크기, 영상트랙에서 제1영상데이터가 저장되어 있는 시작 주소에 관한 정보가 있으며, 메타데이터영역에는 제2영상데이터의 전체 프레임 수, 프레임 크기, 영상트랙에서 제2영상데이터가 저장되어 있는 시작 주소에 관한 정보가 있다. 이로서 제1영상데이터 및 제2영상데이터를 3D 입체영상으로 합성하여 재생하는 것이 가능하다.
다음으로 도 2c를 참조하여 본 발명의 다른 일 실시 예를 살펴보면 다음과 같다. 도 2c는 본 발명의 또 다른 실시 예에 따른 3D 입체영상 파일의 저장 포맷에 대한 블록 구성도이다. 본 발명의 3D 입체영상 파일의 저장 포맷(220) 역시 데이터영역인 Mdat영역, 헤더영역인 Moov영역, 메타데이터영역으로 구성된다. 다만, 3D 입체영상 파일의 저장 포맷(210)처럼 영상트랙이 하나이지만, 하나의 영상트랙에 제1영상데이터와 제2영상데이터가 교대로 저장되어 있는 점이다. 그러므로 헤더영역인 Moov영역에는 제1영상데이터의 전체 프레임 수, 프레임 크기, 영상트랙에 서 제1영상데이터가 저장되어 있는 시작 주소에 관한 정보 뿐 아니라, 영상트랙에서 제1영상데이터 이후 다음 제1영상데이터가 나오기 배치되기까지의 옵셋(Offset) 정보를 포함하고 있다. 메터데이터영역 역시 제2영상데이터의 전체 프레임 수, 프레임 크기, 영상트랙에서 제2영상데이터가 저장되어 있는 시작 주소에 관한 정보 뿐 아니라, 영상트랙에서 제2영상데이터 이후 다음 제2영상데이터가 나오기 배치되기까지의 옵셋(Offset) 정보를 포함하고 있다.
다음으로 이러한 3D 입체영상 파일 포맷(200,210,220)을 이용하여 입체영상 파일을 생성하고 재생할 수 있는 시스템에 관하여 설명한다.
도 3은 본 발명의 일 실시 예에 따른 입체영상 파일 생성장치에 대한 블록 구성도이다. 도 3을 참조하면, 입체영상 파일 생성장치(300)는 제1카메라(310), 제2카메라(312), 영상신호처리부(320), 저장부(330), 부호부(340), 파일생성부(350)를 포함한다.
제1카메라(310)는 소정의 피사체에 대해 좌시점 영상 또는 우시점 영상을 촬영하여 제1영상데이터를 출력하고, 제2카메라(320)는및 상기 피사체에 대해 제1카메라(310)과 다른 시점의 영상을 촬영하여 제2영상데이터를 출력한다.
제1카메라(310)와 제2카메라(320)에서 출력된 제1영상데이터와 제2영상데이터는 영상신호처리부(320)에 의해 전처리된다. 여기서 전처리 동작이란 외부의 영상값 즉 빛과 컬러 성분을 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 타입의 센서를 통해 인식된 아날로그 값을 디지털 값으로 변환하는 것이다.
저장부(330)에서는 영상신호처리부(320)에 의해 전처리된 제1영상데이터 및 제2영상데이터를 저장한다. 그리고 부호부(340)는 저장된 제1영상데이터 및 제2영상데이터를 인코딩한다. 부호부(340)의 인코딩 동작은 데이터의 압축에 관한 것으로서, 필요에 따라서 생략될 수 있다.
파일 생성부(350)는 부호부(340)에서 인코딩된 제1영상데이터 및 제2영상데이터를 이용하여 입체영상 파일을 생성한다. 이때 제1영상데이터 및 제2영상데이터는 데이터영역에 저장하며, 헤더영역에는 제1영상데이터를 분석하기 위한 정보를 저장하고, 메타데이터영역에는 제2영상데이터를 분석하기 위한 정보를 저장한다.
도 4는 본 발명의 일 실시 예에 따른 입체영상 파일 재생장치에 대한 블록 구성도이다. 도 4를 참조하면, 입체영상 파일 재생장치(400)는 파일분석부(410), 저장부(420), 복호부(430), 재생부(440), 표시부(450)를 포함한다.
파일분석부(410)는 입체영상 파일 생성장치(300)의 파일생성부(350)에서 생성한 입체영상 파일을 수신하여 입체영상 파일을 분석하는데 이용한다. 이때 헤더영역과 메타데이터영역에 각각 저장된 제1영상데이터의 정보 및 제2영상데이터의 정보를 분석한 후, 데이터영역에 저장된 제1영상데이터 및 제2영상데이터를 추출한다. 그리고, 저장부(420)에 이를 저장한다.
복호부(430)는 저장부(420)에 저장된 제1영상데이터 및 제2영상데이터를 디코딩한다. 이는 입체영상 파일 생성장치(300)에서 부호부(340)를 사용하여 인코딩한 경우에 사용하게 된다.
재생부(440)는 디코딩된 제1영상데이터 및 제2영상데이터를 입체영상으로 합 성하여 재생한다. 이때 입체영상 파일의 헤더영역과 메타데이터영역에 저장된 정보를 이용하여 합성하게 된다. 여기서 재생부(440)가 메타데이터영역에 저장된 제2영상데이터의 정보를 참조하지 않는 경우에는 제1영상데이터만을 재생하게 되므로, 일반적인 2D 영상으로 재생하게 된다. 그리고, 3D 입체영상을 재생할 수 없는 기존의 재생장치가 3D 입체영상 파일을 수신하더라도 메타데이터영역을 참조하지 않고 종래 표준에 따른 Moov영역만 참조하면 되므로 2D 영상의 재생이 가능하다. 이처럼 본 발명에 따른 3D 입체영상 파일 포맷은 기존의 2D 영상과 3D 입체영상의 재생에 관하여 호환성이 있는 파일 포맷이다. 표시부(450)는 재생부(440)에서 합성하여 재생하는 입체영상을 표시한다.
다음으로 이러한 3D 입체영상 파일 포맷(200,210,220)을 이용하여 입체영상 파일을 생성하고 재생할 수 있는 방법에 관하여 설명한다.
도 5는 본 발명의 일 실시 예에 따른 입체영상 파일을 생성하기 위한 방법에 대한 순서도이다. 도 5를 참조하면, 촬영단계(S510), 전처리단계(S520), 저장단계(S530), 부호화단계(S540), 파일생성단계(S550)를 포함한다.
여기서 촬영단계(S510)는 소정의 피사체에 대해 좌시점 영상 또는 우시점 영상을 촬영하여 제1영상데이터를 출력하고, 나머지 시점의 영상을 촬영하여 제2영상데이터를 출력한다.
전처리단계(S520)는 제1영상데이터와 제2영상데이터를 전처리하는 단계로서, CCD(Charge Coupled Device) 또는 CMOS 타입의 센서를 통해 인식된 제1영상데이터 및 제2영상데이터를 아날로그에서 디지털로 변환한다.
저장단계(S530)는 전처리단계(S520)에서 전처리된 제1영상데이터 및 제2영상데이터를 저장부(330)에 저장한다. 그리고 부호화단계(S540)에서는 저장부(330)에 저장된 제1영상데이터 및 제2영상데이터를 압축한다. 부호화단계(S540)는 생략 가능하다.
파일생성단계(S550)에서는 부호부(340)에서 인코딩된 제1영상데이터 및 제2영상데이터를 이용하여 입체영상 파일을 생성한다. 이때 제1영상데이터 및 제2영상데이터는 데이터영역에 저장하며, 헤더영역에는 제1영상데이터를 분석하기 위한 정보를 저장하고, 메타데이터영역에는 제2영상데이터를 분석하기 위한 정보를 저장한다.
도 6은 본 발명의 일 실시 예에 따른 입체영상 파일을 재생하기 위한 방법에 대한 순서도이다. 도 6을 참조하면, 입체영상 파일을 재생하기 위한 방법은 영상추출단계(S610), 저장단계(S620), 복호화단계(S630), 재생단계(S640), 표시단계(S650)를 포함한다. 도 6의 방법은 도 5에서 생성된 입체영상 파일을 재생하기 위한 방법이다.
여기서 영상추출단계(S610)는 입체영상 파일의 헤더영역에 저장된 제1영상데이터의 정보 및 메타데이터영역에 저장된 제2영상데이터의 정보를 분석하여 제1영상데이터 및 제2영상데이터를 추출한다.
저장단계(S620)에서는 영상추출단계(S160)에서 추출된 제1영상데이터 및 제2영상데이터를 저장부(420)에 저장한다. 그리고 복호화단계(S630)에서 저장부(420)에 저장된 제1영상데이터 및 제2영상데이터를 디코딩한다. 입체영상 파일을 생성 하기 위한 방법에서 부호화단계(S540)이 생략된 경우 복호화단계(S630) 역시 생략된다.
재생단계(S640)는 복호화단계(S630)에서 디코딩된 제1영상데이터 및 제2영상데이터를 입체영상으로 합성하여 재생한다. 만약 입체영상 파일의 데이터영역에 제2영상데이터가 포함되어 있지 않거나, 재생부(440)에서 입체영상 파일의 메타데이터영역에 저장된 제2영상데이터의 정보를 참조하지 않는 경우에는 입체영상이 아닌 일반적인 2D 영상이 재생된다. 따라서 사용자의 선택에 의해서도 2D 영상이나 3D 입체영상을 선택하여 재생할 수도 있으며, 3D 입체영상의 재생을 지원하지 않는 기존의 재생장치에서 3D 입체영상 파일을 수신하더라도 2D 영상으로 재생할 수 있다. 표시단계(S650)에서는 위 재생단계(S640)에서 합성되어 재생되는 입체영상 파일을 표시부(450)에 표시한다. 이러한 표시부는 일반적인 LCD에서도 재생이 가능하다.
상기한 바와 같이 구성된 본 발명에 의해, 입체영상 파일 포맷의 규정에 있어서 이미 검증된 표준 기술을 이용함으로써 새로운 표준으로서의 검증 절차를 간소화할 수 있고, 새로운 입체영상 파일 포맷으로 2D 영상 파일 또는 3D 입체영상 파일 중 선택하여 생성 및 재생할 수 있는 효과가 있다.

Claims (13)

  1. 2D 영상 미디어 표준(Two-Dimensional Image Media Standards)을 기반으로 3D 입체영상 파일(Three-Dimensional Image Files)을 생성 및 재생하기 위한 시스템에 있어서,
    제1영상데이터와 상기 제1영상데이터와 동기화되어 입체영상을 생성하는데 이용되는 제2영상데이터를 포함하는 데이터영역과, 상기 제1영상데이터의 정보를 포함하는 헤더영역과, 상기 제2영상데이터의 정보를 포함하는 메타데이터영역으로 구성되는 입체영상 파일을 생성하는 입체영상 파일 생성장치와,
    상기 생성된 입체영상 파일이 입력되면 상기 제1영상데이터의 정보 및 상기 제2영상데이터의 정보를 분석하여 상기 제1영상데이터와 상기 제2영상데이터를 합성함으로써 입체영상 파일을 재생하는 입체영상 파일 재생장치를 포함하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템.
  2. 제1항에 있어서,
    상기 입체영상 파일 재생장치가,
    상기 제2영상데이터의 정보는 분석하지 않고, 상기 제1영상데이터의 정보만 분석하여 상기 제1영상데이터를 재생함을 특징으로 하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템.
  3. 제1항에 있어서,
    상기 데이터영역이, 상기 제1영상데이터를 포함하는 제1영상트랙과 상기 제2영상데이터를 포함하는 제2영상트랙을 포함함을 특징으로 하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템.
  4. 제3항에 있어서,
    상기 제1영상데이터의 정보 또는 상기 제2영상데이터의 정보가, 상기 제1영상데이터 또는 상기 제2영상데이터의 프레임 수, 프레임 크기를 포함함을 특징으로 하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템.
  5. 제1항에 있어서,
    상기 데이터영역이, 상기 제1영상데이터가 먼저 저장된 후 상기 제2영상데이터가 저장되는 영상트랙을 포함함을 특징으로 하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템.
  6. 제5항에 있어서,
    상기 제1영상데이터의 정보 또는 상기 제2영상데이터의 정보가, 상기 제1영상데이터 또는 상기 제2영상데이터의 프레임 수, 프레임 크기, 시작 주소를 포함함을 특징으로 하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템.
  7. 제1항에 있어서,
    상기 데이터영역이, 상기 제1영상데이터와 상기 제2영상데이터가 소정의 프레임씩 교대로 저장되는 영상트랙을 포함함을 특징으로 하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템.
  8. 제7항에 있어서,
    상기 제1영상데이터의 정보 또는 상기 제2영상데이터의 정보가, 상기 제1영상데이터 또는 상기 제2영상데이터의 프레임 수, 프레임 크기, 시작 주소 및 상기 교대로 저장되는 프레임에 관한 옵셋정보를 포함함을 특징으로 하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템.
  9. 제1항에 있어서,
    상기 입체영상 파일 생성장치가,
    소정의 피사체에 대해 좌시점 영상을 촬영하여 상기 제1영상데이터를 출력하는 제1카메라 및 상기 피사체에 대해 우시점 영상을 촬영하여 상기 제2영상데이터를 출력하는 제2카메라와,
    상기 제1카메라 및 상기 제2카메라가 출력하는 상기 제1영상데이터 및 상기 제2영상데이터를 전처리하는 영상신호 처리부와,
    상기 전처리된 제1영상데이터 및 제2영상데이터를 저장하는 저장부와,
    상기 저장된 제1영상데이터 및 제2영상데이터를 인코딩하는 부호부와,
    상기 인코딩된 제1영상데이터 및 제2영상데이터를 이용하여 상기 입체영상 파일을 생성하는 파일 생성부를 포함하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템.
  10. 제1항에 있어서,
    상기 입체영상 파일 재생장치가,
    상기 제1영상데이터의 정보 및 상기 제2영상데이터의 정보를 분석하여 상기 제1영상데이터 및 상기 제2영상데이터를 추출하는 파일 분석부와,
    상기 추출된 제1영상데이터 및 제2영상데이터를 저장하는 저장부와,
    상기 저장된 제1영상데이터 및 제2영상데이터를 디코딩하는 복호부와,
    상기 디코딩된 제1영상데이터 및 제2영상데이터를 이용하여 입체영상으로 합성하여 재생하는 재생부와,
    상기 합성하여 재생되는 입체영상을 표시하는 표시부를 포함하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템.
  11. 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템에 있어서,
    ISO 14496-12에 따른 2D 영상파일 포맷의 MDAT 영역 및 MOOV 영역과, 입체영 상을 생성하기 위해 이용되는 영상데이터의 정보를 포함하는 Metadata영역으로 구성되는 3D 입체영상파일 포맷에 따라 3D 입체영상 파일을 생성 및 재생함을 특징으로 하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 시스템.
  12. 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 방법에 있어서,
    소정의 피사체에 대해 좌시점 영상을 촬영하여 제1영상데이터를 출력하고, 상기 피사체에 대해 우시점 영상을 촬영하여 상기 제2영상데이터를 출력하는 촬영단계와,
    상기 제1영상데이터 및 상기 제2영상데이터를 전처리하는 전처리단계와,
    상기 전처리된 제1영상데이터 및 제2영상데이터를 저장하는 저장단계와,
    상기 저장된 제1영상데이터 및 제2영상데이터를 인코딩하는 부호화단계와,
    상기 인코딩된 제1영상데이터 및 제2영상데이터를 포함하는 데이터영역과, 상기 제1영상데이터의 정보를 포함하는 헤더영역과, 상기 제2영상데이터의 정보를 포함하는 메타데이터영역으로 구성되는 입체영상 파일을 생성하는 파일생성단계를 포함하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 방법.
  13. 제12항에 있어서,
    상기 입체영상 파일에 포함된 상기 제1영상데이터의 정보 및 상기 제2영상데이터의 정보를 분석하여 상기 제1영상데이터 및 상기 제2영상데이터를 추출하는 영상추출단계와,
    상기 추출된 제1영상데이터 및 제2영상데이터를 저장하는 저장단계와,
    상기 저장된 제1영상데이터 및 제2영상데이터를 디코딩하는 복호화단계와,
    상기 디코딩된 제1영상데이터 및 제2영상데이터를 입체영상으로 합성하여 재생하는 재생단계와,
    상기 합성하여 재생되는 입체영상을 표시하는 표시단계를 더 포함함을 특징으로 하는, 2D 영상 미디어 표준을 기반으로 3D 입체영상 파일을 생성 및 재생하기 위한 방법.
KR1020070056475A 2007-06-11 2007-06-11 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법 KR101388265B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020070056475A KR101388265B1 (ko) 2007-06-11 2007-06-11 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
US12/136,507 US8457386B2 (en) 2007-06-11 2008-06-10 System and method for generating and regenerating 3D image files based on 2D image media standards
PCT/KR2008/003253 WO2008153312A2 (en) 2007-06-11 2008-06-11 System and method for generating and regenerating 3d image files based on 2d image media standards
EP08766215.1A EP2153667B1 (en) 2007-06-11 2008-06-11 System and method for generating and regenerating 3d image files based on 2d image media standards
JP2010512070A JP5500729B2 (ja) 2007-06-11 2008-06-11 ２ｄ映像メディア標準に基づいて３ｄ立体映像ファイルを生成及び再生するシステム及び方法
US13/909,753 US8644597B2 (en) 2007-06-11 2013-06-04 System and method for generating and regenerating 3D image files based on 2D image media standards
JP2013176714A JP2014027665A (ja) 2007-06-11 2013-08-28 ２ｄ映像メディア標準に基づいて３ｄ立体映像ファイルを生成及び再生するシステム及び方法
JP2015245156A JP6320366B2 (ja) 2007-06-11 2015-12-16 ２ｄ映像メディア標準に基づいて３ｄ立体映像ファイルを生成及び再生するシステム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070056475A KR101388265B1 (ko) 2007-06-11 2007-06-11 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20080108654A true KR20080108654A (ko) 2008-12-16
KR101388265B1 KR101388265B1 (ko) 2014-04-22

Family

ID=40095953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070056475A KR101388265B1 (ko) 2007-06-11 2007-06-11 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법

Country Status (5)

Country Link
US (2) US8457386B2 (ko)
EP (1) EP2153667B1 (ko)
JP (3) JP5500729B2 (ko)
KR (1) KR101388265B1 (ko)
WO (1) WO2008153312A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101387212B1 (ko) * 2007-06-12 2014-04-21 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP2011142585A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
US9106935B2 (en) * 2010-03-05 2015-08-11 Samsung Electronics Co., Ltd Method and apparatus for transmitting and receiving a content file including multiple streams
US20110316971A1 (en) * 2010-06-28 2011-12-29 Jianping Zhou Single pipeline stereo image capture
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
CN103024288B (zh) * 2012-12-26 2017-12-29 新奥特（北京）视频技术有限公司 一种3d文件时间矫正的方法和装置
CN110545479B (zh) * 2018-05-29 2021-07-06 北京字节跳动网络技术有限公司 媒体播放的加载控制方法、装置及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4630097A (en) * 1983-08-16 1986-12-16 Marks Alvin M 2D/3D compatible polarized color TV system
JPH0730925A (ja) * 1993-06-25 1995-01-31 Matsushita Electric Ind Co Ltd 光ディスク記録再生装置及び光ディスク
US5596421A (en) 1993-06-03 1997-01-21 Matsushita Electric Industrial Co., Ltd. Optical disk recorder for video signals and an optical disk for use therein
JPH06350968A (ja) 1993-06-03 1994-12-22 Matsushita Electric Ind Co Ltd 光ディスク記録再生装置及び光ディスク
TW436777B (en) 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
EP2259585B1 (en) 1996-12-04 2013-10-16 Panasonic Corporation Optical disk for high resolution and three dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
JP2001126407A (ja) 1999-10-27 2001-05-11 Sony Corp 情報管理方法及び装置
JP3819669B2 (ja) * 2000-04-13 2006-09-13 三洋電機株式会社 ディジタルカメラ
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
JP4251864B2 (ja) * 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
JP2004274091A (ja) * 2003-01-15 2004-09-30 Sharp Corp 画像データ作成装置、画像データ再生装置、画像データ記録方式および画像データ記録媒体
JP2004274253A (ja) * 2003-03-06 2004-09-30 Sharp Corp 映像記録装置および映像送信装置
JP2004336255A (ja) * 2003-05-02 2004-11-25 Sony Corp データ処理装置、ビデオデータの編集方法及び編集プログラム
JP2005026800A (ja) 2003-06-30 2005-01-27 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
KR100576544B1 (ko) * 2003-12-09 2006-05-03 한국전자통신연구원 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
JP4347724B2 (ja) * 2004-03-05 2009-10-21 富士フイルム株式会社 画像ファイル生成装置および方法ならびに画像ファイル再生装置および方法
JP2006074531A (ja) 2004-09-03 2006-03-16 Canon Inc データ記録再生装置及び方法
WO2007113725A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. Efficient encoding of multiple views
KR100716142B1 (ko) 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
KR100962696B1 (ko) 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101387212B1 (ko) * 2007-06-12 2014-04-21 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법

Also Published As

Publication number Publication date
US8457386B2 (en) 2013-06-04
EP2153667A4 (en) 2013-10-16
WO2008153312A3 (en) 2009-02-12
JP2014027665A (ja) 2014-02-06
US8644597B2 (en) 2014-02-04
JP2010529803A (ja) 2010-08-26
US20080304766A1 (en) 2008-12-11
US20130286159A1 (en) 2013-10-31
JP2016103830A (ja) 2016-06-02
JP6320366B2 (ja) 2018-05-09
JP5500729B2 (ja) 2014-05-21
EP2153667B1 (en) 2017-05-03
WO2008153312A2 (en) 2008-12-18
EP2153667A2 (en) 2010-02-17
KR101388265B1 (ko) 2014-04-22

Similar Documents

Publication Publication Date Title
KR101362647B1 (ko) 2ｄ 영상을 포함하는 3ｄ 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법
KR101387212B1 (ko) 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
KR101388265B1 (ko) 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
JP5274359B2 (ja) 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
WO2009075495A1 (en) System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
US20090195640A1 (en) Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3d) data, and method and apparatus for displaying temporally partial 3d data of stereoscopic image
US20080252719A1 (en) Apparatus, method, and system for generating stereo-scopic image file based on media standards
KR20090088772A (ko) 슬라이드 쇼를 위한 영상파일을 생성 및 재생하기 위한시스템 및 방법
KR20090123743A (ko) 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
AU2009210926B2 (en) Apparatus and method for generating and displaying media files
KR20080039797A (ko) 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
KR101480186B1 (ko) 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
KR101396619B1 (ko) 3ｄ 영상에 관한 부가 정보를 포함하는 3ｄ 영상파일을생성 및 재생하기 위한 시스템 및 방법
KR20090026012A (ko) 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
US20130287361A1 (en) Methods for storage and access of video data while recording
KR101453084B1 (ko) 3ｄ 영상 파일을 생성 및 재생하기 위한 휴대 단말기 및 방법
Kim et al. Efficient stereoscopic contents file format on the basis of ISO base media file format

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee