CN101388988A - 用于记录三维视频数据的方法及其介质 - Google Patents

用于记录三维视频数据的方法及其介质 Download PDF

Info

Publication number
CN101388988A
CN101388988A CNA2008101737202A CN200810173720A CN101388988A CN 101388988 A CN101388988 A CN 101388988A CN A2008101737202 A CNA2008101737202 A CN A2008101737202A CN 200810173720 A CN200810173720 A CN 200810173720A CN 101388988 A CN101388988 A CN 101388988A
Authority
CN
China
Prior art keywords
information
media object
metadata
configuration
indication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101737202A
Other languages
English (en)
Other versions
CN101388988B (zh
Inventor
郑度泳
朴泰诚
吴润济
徐德荣
朴光勋
金奎宪
李润辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Original Assignee
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Industry Academic Cooperation Foundation of Kyung Hee University filed Critical Samsung Electronics Co Ltd
Priority to CN201110325043.3A priority Critical patent/CN102427545B/zh
Publication of CN101388988A publication Critical patent/CN101388988A/zh
Application granted granted Critical
Publication of CN101388988B publication Critical patent/CN101388988B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种用于将包括已经通过转换由支持三维图像拍摄的设备输入的图像而生成的三维图像的场景存储到记录介质中的方法，包括：在预定的文件类型字段中，装载指示单一立体图像以及合成图像之一的图像类型信息；在配置性信息容器字段中，装载指示该三维图像中包括的多个媒体对象之间的时间和空间关系的场景描述符信息、指示每个媒体对象的对象属性和所述每个媒体对象的编码流之间的配置性关系的对象配置性信息、编码流的配置性信息、多个媒体对象之间的第一元数据、和每个媒体对象与其编码流之间的第二元数据；以及在媒体数据容器字段中，装载每个媒体对象的比特流、用于第一元数据的比特流、和用于第二元数据的比特流。

Description

用于记录三维视频数据的方法及其介质
技术领域
本发明涉及一种用于记录三维视频数据的记录介质和方法，且更具体地，涉及一种用于以具有与MPEG 14496-12ISO基本媒体格式兼容的结构的格式来生成和存储三维视频数据的方法。
背景技术
典型的媒体文件格式基本地包括：用于记录媒体信息的报头部分和用于存储压缩后的媒体数据的视频数据部分。然而，尽管典型的媒体文件格式适于存储简单的视频数据，但其不适于作为用于存储各种类型的媒体的一般结构。
在这点上，作为国际标准化组织的运动图像专家组(MPEG)在标准ISO/IEC 14496中定义MPEG-4 ISO基本媒体文件格式作为可普遍应用于各种应用的基本文件格式。已经设计ISO基本媒体文件格式来在多个容器中分层次地存储压缩后的媒体流和关于该媒体流的数据(例如，诸如配置性信息)。虽然ISO基本媒体文件格式并没有基本地定义编码或解码方案，但却定义了用于有效存储编码或解码媒体流的基本结构。
 
部分 编号 标题 描述
部分1 ISO/IEC14496-1 *** 描述视频和音频的同步和多路复用。例如，传输流。                  
部分2 ISO/IEC14496-2 可视 用于可视数据(视频、静止纹理、合成图像等)的压缩编解码器。部分2中的多个“简档(profiles)”中的一个是高级简单简档(advanced simpleprofile，ASP)。                 
部分3 ISO/IEC14496-3 音频 用于对音频信号进行感知编码的压缩编解码器的集合，包括高级音频编码(AAC)和其它音频/语音编码工具的  
 
一些变化。
部分4 ISO/IEC14496-4 一致性 描述用于测试与标准的其它部分的一致性的过程。                  
部分5 ISO/IEC14496-5 参考软件 提供用于展示和阐明标准的其它部分的软件。                        
部分6 ISO/IEC14496-6 传递多媒体集成框架(DMIF)。  
部分7 ISO/IEC14496-7 优化参考软件 提供如何进行改善的实现的示例(例如，关于Part5)。               
部分8 ISO/IEC14496-8 IP网络上的承载 指定用于在IP网络上承载MPEG-4内容的方法。                    
部分9 ISO/IEC14496-9 参考硬件 提供用于展示如何实现标准其它部分的硬件设计。                    
部分10   ISO/IEC14496-10 高级视频编码(AVC)        技术上等同于ITU-T H.264标准的用于视频信号的编解码器。        
部分11   ISO/IEC14496-11 场景描述和应用引擎(“BIFS”) 可被应用于具有多个简档的丰富的交互内容，包括2D和3D版本。        
部分12   ISO/IEC14496-12 ISO基本媒体文件格式       用于存储媒体内容的文件格式。
部分13   ISO/IEC14496-13 知识产权管理和保护(IPMP)扩展。          
部分14   ISO/IEC14496-14 MPEG-4文件格式           基于部分12的用于MPEG-4内容的指定的容器文件格式。            
部分15   ISO/IEC14496-15 AVC文件格式 用于基于部分12来存储部分10视频。
部分16   ISO/IEC14496-16 动画框架扩展(AFX)。     
部分17   ISO/IEC14496-17 定时文本字幕格式。          
 
部分18   ISO/IEC14496-18 字体压缩和流(用于OpenType字体)。       
部分19   ISO/IEC14496-19 合成纹理流。
部分20   ISO/IEC14496-20 轻量级应用场景表示(LASeR)。 
部分21   ISO/IEC14496-21 MPEG-J图形框架扩展(GFX)  (还未完成-在2005年7月处于“FCD”阶段，2006年1月FDIS)。
部分22   ISO/IEC14496-22 基于OpenType的开放字体格式规范(OFFS)      (还未完成-在2005年7月达到“CD”阶段)              
部分23   ISO/IEC14496-23 符号音乐表示(SMR)        (还未完成-在2006年10月达到“FCD”阶段)              
然而，具有为了存储二维视频所定义的结构的这种媒体文件格式不适于存储包括立体图像和各种媒体数据的三维视频。因而，需要考虑立体图像的结构而定义的数据存储格式。同时地，需要这种立体图像具有与作为国际标准的ISO基本媒体文件格式兼容的数据存储格式，以便其可以应用于各种多媒体应用。具体地，数据存储格式必须与图7A中所参考的14496-12 ISO基本媒体文件格式兼容。
发明内容
相应地，已经作出了本发明以解决现有技术中出现的上述问题，并且本发明提供了附加优点。特别地，本发明提供一种包括关于立体图像的配置的信息且与作为国际标准的ISO基本媒体文件格式兼容的数据存储格式、和一种用于生成该数据存储格式的方法。
根据本发明的一方面，提供了一种用于将已经通过转换由支持三维图像拍摄的设备输入的图像而生成的三维图像存储到记录介质中的方法，该方法包括步骤：在预定的文件类型字段中，装载指示单一立体图像、以及包括单视场图像和立体图像的合成图像之一的图像类型信息；在配置性信息容器字段中，装载指示该三维图像中包括的多个媒体对象之间的时间和空间关系的场景描述符信息、指示所述多个媒体对象的每个媒体对象的对象属性和多个媒体对象的多个编码流之间的配置性关系的对象配置性信息、多个编码流的每个流的配置性信息、多个媒体对象之间的第一元数据、及所述多个媒体对象的每个媒体对象和所述多个编码流的一个编码流之间的第二元数据；以及在媒体数据容器字段中，装载该三维图像中包括的多个媒体对象的每个媒体对象的比特流、用于第一元数据的比特流、和用于第二元数据的比特流。
所述对象配置性信息包括：指示场景中包括的多个媒体对象的对象数目的信息；指示所述多个对象的每个对象是否是立体图像的信息；指示所述多个对象中的每个对象是否需要元数据的信息；指示每个对象中包括的多个编码流的数目的信息；当元数据被应用于所述多个对象的对象时，指示包括要被应用的元数据的轨道的信息；以及指示包括所述多个编码流的编码流的轨道的信息。
所述对象配置性信息可进一步包括：指示包括可应用于整个立体图像的元数据的轨道的信息。
根据本发明的另一方面，提供了一种其中装载三维图像的计算机可读介质，该介质包括：文件类型字段，包含指示单一立体图像、以及包括单视场图像和立体图像的合成图像之一的图像类型信息；配置性信息容器字段，包含指示该三维图像中包括的多个媒体对象之间的时间和空间关系的场景描述符信息、指示所述多个媒体对象的每个媒体对象的对象属性和多个媒体对象的多个编码流之间的配置性关系的对象配置性信息、多个编码流的配置性信息、多个媒体对象之间的第一元数据、及多个媒体对象的每个媒体对象和多个编码流的对应的编码流之间的第二元数据；以及媒体数据容器字段，包含该三维图像中包括的每个媒体对象的比特流、用于第一元数据的比特流、和用于第二元数据的比特流。
根据本发明的另一方面，提供了一种用于将已经通过转换由支持三维图像拍摄的设备输入的图像而生成的三维图像存储到记录介质中的方法，该方法包括：在预定的文件类型字段中，装载指示单一立体图像、以及包括单视场图像和立体图像的合成图像之一的图像类型信息；在配置性信息容器字段中，装载指示多个媒体对象的每个媒体对象的对象属性和包括与该三维图像中包括的多个媒体对象的每个媒体对象对应的编码流的多个编码流的编码流之间的配置性关系的对象配置性信息、多个编码流的每个编码流的配置性信息、所述多个媒体对象的媒体对象之间的第一元数据、和每个媒体对象与其对应的编码流之间的第二元数据；以及在媒体数据容器字段中，装载该三维图像中包括的每个媒体对象的比特流、用于第一元数据的比特流、和用于第二元数据的比特流，其中，可选择性地在配置性信息容器字段中，装载指示该三维图像中包括的所述多个媒体对象的媒体对象之间的时间和空间关系的场景描述符信息，以及多个编码流的配置性信息包括关于是否装载场景描述符信息的信息。
场景的所述场景描述符信息包括：初始场景描述符信息字段，包含关于初始访问指针和场景描述的信息；场景信息字段，包含关于该场景中包括的多个媒体对象的配置性关系的信息；以及对象配置性信息字段，包含关于所述多个媒体对象的每个媒体对象的属性的信息。
当该配置性信息容器字段包括初始场景描述符信息时，编码流的配置性信息包含关于该初始场景描述符信息中包括的多个媒体对象的解码器信息。
当该配置性信息容器字段不包括初始场景描述符信息时，编码流的配置性信息包含关于该立体图像中包括的多个媒体对象的解码器信息。
该媒体类型可以是基于MPEG-4***中定义的对象类型标志(OTI)设置的信息。
该第一元数据包括关于编码流的比特流的长度和该编码流的标识符的信息，而该第二元数据包括关于每个编码流的名称和内容类型的信息，及编码信息。
根据本发明的另一方面，提供了一种其中装载三维图像的计算机可读介质，该介质包括：预定的文件类型字段，包含指示单一立体图像、以及包括单视场图像和立体图像的合成图像之一的图像类型信息；配置性信息容器字段，包含指示多个媒体对象的每个媒体对象的对象属性和该三维图像中包括的媒体对象的多个编码流之间的配置性关系的对象配置性信息、编码流的配置性信息、媒体对象之间的第一元数据、和每个媒体对象及编码流之间的第二元数据；以及媒体数据容器字段，包含该三维图像中包括的每个媒体对象的比特流、用于第一元数据的比特流、和用于第二元数据的比特流，其中，可选择性地在配置性信息容器字段中，装载指示该三维图像中包括的多个媒体对象的媒体对象之间的时间和空间关系的场景描述符信息，以及编码流的配置性信息包括关于是否装载场景描述符信息的信息。
附图说明
通过接下来结合附图的详细描述，本发明的上述和其它方面、特征和优点将更加明显，其中：
图1是应用了本发明的立体图像拍摄设备的方框图；
图2图示了根据本发明实施例的三维图像中包括的立体图像的示例；
图3图示了根据本发明实施例的三维图像数据的存储格式；
图4图示了根据本发明实施例的用于生成存储格式中包括的ssod字段的程序的示例；
图5图示了根据本发明实施例的用于生成存储格式中包括的ssod字段的程序的示例；
图6图示了根据本发明另一实施例的用于存储三维图像数据的格式；
图7A、7B、7C、和7D图示了根据本发明另一实施例的用于生成存储格式中包括的mpss字段的程序的示例；
图8图示了根据本发明另一实施例的在包括场景描述符信息的情况下的数据存储格式的结构；以及
图9图示了根据本发明另一实施例的在不包括场景描述符信息的情况下的数据存储格式的结构。
具体实施方式
在下文中，将参考附图描述本发明的实施例。为了清楚和简明的目的，将省略对在这里所合并的已知功能和配置的详细描述，因为它可造成本发明的主题有些不清楚。
本发明最新提供了作为在仅一个MS中使用的特定CID的专用(private)传输CID。在参考图2描述用于分配传输CID的传统方案之后，将参考图3更详细地描述该专用传输CID。
图1是应用了本发明的立体图像拍摄设备的方框图。
立体图像拍摄设备包括：图像输入单元10、编码器20、三维图像发生器30、数据存储控制器40、存储器50、和显示器60。
图像输入单元10与用于输入生成立体图像必需的多个图像的装置对应，且包括：通过其以各种角度来投影从对象反射的特定波长的颜色信号的多个镜头、以及用于将通过镜头输入的颜色信号转化为电信号的多个传感器模块(包括传感器的模块，例如：CCD，CMOS等)。此外，图像输入单元10还包括视频信号处理设备，其将从多个传感器模块输入的数据转换为包括时间/空间信息的图像信号，从而生成和传感器模块一样多条的图像数据。例如，当立体图像包括左侧图像和右侧图像的媒体数据的组合时，图像输入单元10包括用于拍摄对象左侧部分的镜头和传感器模块、以及用于拍摄对象右侧部分的镜头和传感器模块，这样，图像输入单元10通过使用从所述两个传感器模块输入的数据，来生成包括左侧图像和右侧图像的三维图像。
编码器20编码从图像输入单元10输出的图像数据(包括左侧图像数据和右侧图像数据)，并且可使用典型的动态图像编码方案(例如，MPEG-1、MPEG-2、MPEG-3、MPEG-4、H.264方案)。
三维图像发生器30考虑与拍摄对象的距离、拍摄角度、拍摄设备的运动等，从多条编码后的媒体数据生成三维图像数据。
其间，如果用户长时间观看仅包括立体图像的三维图像，则用户的眼睛比当用户观看单视场(monoscopic)图像时感觉更疲劳。由于这个原因，用户很难长时间观看仅包括立体图像的三维图像。因而，为了减少眼睛的疲劳和确保长时间观看三维图像，优选地，三维图像数据包括组合单视场图像和立体图像的合成图像，而不是仅包括立体图像。可以在拍摄设备的用户的控制下或者根据在拍摄设备中预先设定的预定条件下，恰当地组合立体图像和单视场图像。所述预定条件可被设计来以预定的时间间隔周期性地拍摄立体图像或单视场图像，或者根据所拍摄对象的特性或类型来可选择性地拍摄立体图像和单视场图像。
而且，立体图像可进一步包括：诸如话音信息和文本信息的各种媒体对象，并且立体图像拍摄设备可包括：用于将所生成的话音信号转换为电子信号的传声器、用于压缩音频信号的话音压缩单元、用于从外部输入话音信息的与话音输入终端连接的话音信息输入接口。此外，立体图像拍摄设备还可包括用于从外部输入文本信息的文本信息输入接口。
此外，三维图像发生器30还向数据存储控制器40提供包括三维图像的图像、话音、和文本信息的三维图像配置性信息。
数据存储控制器40在存储器50中存储从所述三维图像配置性信息所生成的三维图像数据以及从三维图像发生器30所提供的三维图像数据。此外，显示器60输出由三维图像发生器30生成的三维图像。
此外，根据本发明的立体图像拍摄设备可包括通信模块70。该通信模块70可以是能够向外部器件(诸如，移动终端、PDA、具有无线LAN的便携式终端、支持USB或串行通信的个人计算机)传送存储器50中存储的三维图像的接口。
在下文中，将描述数据存储控制器40在存储器50中存储三维图像数据的方法。
为了有效存储包括立体图像和多个媒体对象的三维图像，根据本发明实施例的存储三维图像数据的方法与基于对象来存储三维图像的方法对应。尤其是，当三维图像包括立体图像和各种媒体对象的组合时(参考图2)，该方法单独地存储三维图像的整体配置性信息、三维图像中包括的每个媒体的对象的类型(即，对象是否为三维图像)、以及用于每个媒体对象的元数据。
图3图示了根据本发明实施例的三维图像数据的存储格式。参考图3，由数据存储控制器40在存储器50中存储的三维图像数据的存储格式包括：ftyp报头101、moov容器102，和mdat容器103。数据存储控制器40在ftyp报头101中记录文件名、版本信息、文件类型、以及文件的兼容信息。文件类型包括有关三维图像是否包括从立体图像、单视场图像、静态图像、音频图像、及文本媒体之中选择的一个或多个的信息。
此外，基于对象编码的三维图像的配置性信息包含在moov容器102中。而且，用于基于对象编码的三维图像中包括的媒体数据的比特流包含在mdat容器103中。
特别地，moov容器102包括包含用于指示媒体对象间的时间和空间关系的场景描述符信息的字段，其包括：初始对象描述符(IOD)轨道104、用于场景的二进制格式(BIFS)轨道105、以及对象描述符(OD)轨道106。IOD轨道104包括有关BIFS轨道和OD轨道以及三维图像中包括的所有媒体对象的简档信息。BIFS轨道105包括每个场景中包括的媒体对象的配置性关系的信息。此外，OD轨道106包含有关每个媒体对象的属性的信息。
根据如上面描述的本发明实施例，媒体对象的配置性关系的信息包含在BIFS轨道105中。然而，本发明并不局限于这个实施例，并且包括其中媒体对象的配置性关系的信息可以包含在轨道中的任何实施例。例如，除了BIFS轨道105之外，媒体对象的配置性关系的信息可包含在轻量级应用场景表达(LASeR)轨道中。
此外，moov容器102包括：包含三维图像中包括的多个媒体对象的元信息的第一元数据轨道111、和包含所述多个媒体对象的每个媒体对象中包括的编码流的元信息的第二元数据轨道112。
moov容器102包括：包含所述多个媒体对象的每个媒体对象中包括的编码流的配置性信息的流信息轨道113。在这里，图像的媒体对象可以被不同地定义为立体图像的组合。
编码流的配置性信息包括关于配置立体图像和单视场图像的合成图像的配置性信息。
其间，OD轨道106包括：包含参考信息的tref字段107。tref字段107包括：不仅包含立体图像、还包含媒体对象和有关与所述媒体对象对应的元数据的对象描述符信息的ssod字段108。
特别地，ssod字段108包括：定义配置场景的所述多个媒体对象的媒体对象的数目的信息、以及定义所述多个媒体对象的每个媒体对象是否是立体图像的信息。此外，ssod字段108包括：定义是否存在包含所述多个媒体对象的每个媒体对象的元数据的第一元数据轨道111的信息。另外，当用于每个媒体对象的第一元数据轨道111存在时，ssod字段108可进一步包括指示与媒体对象对应的第二元数据轨道112的信息。
可通过与图4所示的程序对应的操作来生成如上面描述的ssod字段108。在图4中，立体od入口计数(stereoscopic_od_entry_count)指示用于由场景所指示的立体图像的OD的数目，以及立体od类型(stereoscopic_od_type)指示所配置的OD是否是立体图像。例如，当stereoscopic_od_type被设置为
“1”时，其指示OD是立体图像。元数据标志(metadata-flag)指示所配置的OD是否需要元数据。例如，当metadata-flag被设置为“1”时，其指示OD需要元数据。立体es入口计数(stereoscopic_es_entry_count)指示所配置的OD的ES的数目。元数据轨道标识(metadata-track-ID)指示要被应用到所配置的OD的元数据的轨道ID，以及轨道标识(track-ID)指示与ES对应的轨道ID。
tref字段107进一步包括：包含能够指向第一元容器轨道111的信息的ssom字段109。使得访问整体内容的元数据更加便利的ssom字段109包含指示第一元数据111的信息。可以通过与图5所示的程序对应的操作来生成如上面描述的ssom容器109。在图5中，track-ID是指用于可应用于整个立体文件的元数据的轨道标识符。
此外，mdat容器103包含三维图像中包括的每个媒体对象的编码流。
在仅包括立体图像的单一类型内容的情况下，应以对应的文件格式来描述用于解码组成单一类型内容的立体图像的解码器信息。此外，在包括立体图像和媒体对象的合成内容的情形下，一个场景可包括多个媒体对象。因此，可基于用于多个媒体对象的时间空间配置性信息来存储合成内容。另外，在基于多个媒体对象的配置性信息来存储合成内容的情况下，应以文件格式来描述用于根据其每个编码流来解码多个媒体对象的解码器信息。
如上所述，包括不同类型的内容的三维图像需要不同的解码器信息。因此，为了存储包括不同类型的内容的三维图像，应为不同类型的内容定义不同的解码器信息。总之，需要能够支持包括不同类型的内容的所有三维图像的有效的存储方法。
在下文中，将详细描述用于以能够支持包括单一类型内容的三维图像和包括合成内容的三维图像两者的文件格式来存储三维图像的方法。
图6图示了根据本发明另一实施例的用于存储三维图像数据的格式。参考图6，由数据存储控制器40在存储器50中存储的三维图像数据的存储格式包括：ftyp报头201、moov容器202、和mdat容器203。
根据本发明当前实施例的ftyp报头201和mdat容器203分别包含与根据本发明先前实施例的ftyp报头101和mdat容器103相同的数据。因此，这里将省略对ftyp报头201和mdat容器203的详细描述。
可以基于多个媒体对象来存储包括合成内容的三维图像。当基于多个媒体对象来存储包括合成内容的三维图像时，数据存储控制器40在moov容器202中装载包含用于指示多个媒体对象间的时间和空间关系的场景描述符信息的字段，其包括：IOD轨道204、BIFS轨道205、和OD轨道206。IOD轨道204包括有关BIFS轨道和OD轨道以及三维图像中包括的多个媒体对象的简档信息。BIFS轨道205包括每个场景中包括的多个媒体对象的配置性关系的信息。此外，OD轨道206包含有关多个媒体对象的每个媒体对象的属性的信息。应当注意到所述多个可以为单一媒体对象，即，至少一个媒体对象。
此外，数据存储控制器40在moov容器202中装载对象单元207和208的多个流轨道，该对象单元207和208包含多个媒体对象的每个媒体对象中包括的基本流(ES)。对象单元207和208的多个流轨道中包括的每个编码流轨道包含用于根据内容的场景描述符的存在或不存在来不同地存储解码器信息的定义。用于不同地存储解码器信息的定义包含在mpss容器209中。
可通过与图7A、7B、7C、和7D所示的示例程序对应的操作来生成mpss容器209。
下面的表1示出了有关图7A、7B、7C、和7D所示的立体ES的详细信息。
表1
 
值 内容
Mpss 立体可视采样入口
mp4v 可视采样入口
mp4a 音频采样入口
此外，立体组合类型(StereoScopic_Composition Type)包括有关包括一个ES的立体数据的图像配置的信息。下面的表2示出了信息的指示。
表2
 
值 内容
000 具有根据时间而交叉的帧的立体数据
001 并排(side by side)配置的立体数据
010 以由上而下(top-down)的方式配置的立体数据
011 具有根据字段而垂直交叉的帧的立体数据
100 具有根据字段而水平交叉的帧的立体数据
当StereoScopic_CompositionType为“0b001”时，宽带或高度(width_or_height)指示图像的宽度；当StereoScopic_CompositionType为“0b010”，其指示图像的高度；当StereoScopic_CompositionType为“0b011”时，其指示每个字段的垂直交叉的垂直线的数目；以及当StereoScopic_CompositionType为“0b100”时，其指示每个字段的水平交叉的水平线的数目。
当StereoScopic_CompositionType为“0b001”和“0b010”时，奇数字段计数(odd_field_count)包括“0”，当StereoScopic_CompositionType为“0b011”和“0b100”时，其包括奇数字段的数目。
当StereoScopic_CompositionType为“0b001”和“0b010”时，偶数字段计数(even_field_count)包括“0”，以及当StereoScopic_CompositionType为“0b011”和“0b100”时，其包括偶数字段的数目。
立体ES帧同步(StereoScopic_ES_FrameSync)指示左侧图像(或奇数字段)和右侧图像(或偶数字段)的帧速率间的差异，且包括用于当帧速率不同时指示同步方法的信息。下面的表3示出了通过该信息的指示。
表3
Figure A200810173720D00171
立体图像信息差异(StereoScopic_ImageInformationDifference)包括用于指示左侧图像(或奇数字段)和右侧图像(或偶数字段)的图像信息间的图像信息的差异的信息。下面的表4示出了通过该信息的指示。
表4
Figure A200810173720D00172
Figure A200810173720D00181
Y或R差异(Y_or_R_difference)指示图像信息Y差值或R差值，Cb或G差异(Cb_or_G_difference)指示图像信息Cb差值或G差值，且Cr或B差异(Cr_or_B_difference)指示图像信息Cr差值或B差值。
此外，立体ES类型(StereoScopic_ES_Type)指示有关ES的立体类型的信息。下面的表5示出了那个信息。
表5
 
值 内容
00 左侧图像
01 右侧图像
10 参考图像
11 附加数据
流类型(StreamType)指示ES流的类型，且与14496-1中ES描述符(ES_Descriptor)的解码器配置描述符(DecoderConfigDescriptor)的StreamType执行相同的功能(参见ISO基本媒体文件格式的14496-18.6.6的“StreamType Values(流类型值)”表)。
对象类型指示(ObjectTypeIndication)指示ES流的必需的解码器，其与14496-1中ES_Descriptor的DecoderConfigDescriptor的ObjectTypeIndication执行相同的功能(参见ISO基本媒体文件格式的14496-1 8.6.6的“ObjectTypeIndication Values(对象类型指示值)”表)。
解码器特定信息长度(DecoderSpecificInfoLength)指示解码器特定信息流(DecoderSpecificInfoStream)的长度，且与14496-1中ES_Descriptor的DecoderSpecificInfoLength执行相同的功能。
其间，图8是图示了根据本发明另一实施例的在包括场景描述符信息的情况下的数据存储格式的结构，而图9图示了根据本发明另一实施例的在不包括场景描述符的情况下的数据存储格式的结构。
如图8所示，当具有合成内容的三维图像包括场景描述符信息时，该三维图像不可避免地包括IOD信息。因此，通过确定它是否包括包含IOD信息的IOD字段，可能确定该三维图像是否包括场景描述符信息。因此，如果moov容器包含IOD信息，则有关三维图像的解码器信息存储在MPEG-4***中定义的ES描述符(ESD)中。
相反地，如图9所示，当具有单一类型内容的三维图像不包括IOD信息时，有关三维图像的解码器信息存储在mpss字段中。存储在mpss字段中的解码器信息包括：流类型、流的媒体对象的类型(例如，MPEG-4***中定义的对象类型(Object type)指示)、简档信息、以及解码器还原媒体对象所需的详细信息(例如，图像的宽度)。
通过与图7A、7B、7C、和7D所示的程序对应的操作，尤其是通过图7B的操作300和图7D的操作350，数据存储控制器40可以考虑场景描述符号信息的存在或不存在而有效地存储有关三维图像的解码器信息。
另外，数据存储控制器40装载包含有关moov容器212中的对应的元数据的信息的元信息字段210。元信息字段210包括iloc字段211和iinf字段212。iloc字段211包含编码流的标识符(例如，Item_ID)、和有关该编码流的比特流的长度的信息(例如，偏移和长度)，而iinf字段212包含每个编码流的名称、内容类型、和编码信息。
尽管已经参考本发明的特定示范实施例示出和描述了本发明，但是本领域技术人员将理解，可以在其中进行形式和细节上的各种改变，而不脱离通过所附权利要求所限定的本发明的精神和范围。

Claims (22)

1.一种用于将已经通过转换由支持三维图像拍摄的设备输入的图像而生成的三维图像存储到记录介质中的方法，该方法包括:
在预定的文件类型字段中，装载指示单一立体图像、以及包括单视场图像和立体图像的合成图像之一的图像类型信息；
在配置性信息容器字段中，装载指示该三维图像中包括的多个媒体对象之间的时间和空间关系的场景描述符信息、指示所述多个媒体对象的每个媒体对象的对象属性和多个媒体对象的编码流之间的配置性关系的对象配置性信息、编码流的配置性信息、媒体对象之间的第一元数据、和每个媒体对象与其编码流之间的第二元数据；以及
在媒体数据容器字段中，装载该三维图像中包括的每个媒体对象的比特流、用于第一元数据的比特流、和用于第二元数据的比特流。
2.根据权利要求1的方法，其中所述对象配置性信息包括:
指示场景中包括的对象的数目的信息；
指示对象是否是立体图像的信息；
指示对象是否需要元数据的信息；
指示对象中包括的编码流的数目的信息；
当元数据被应用于对象时，指示包括要被应用的元数据的轨道的信息；
以及
指示包括编码流的轨道的信息。
3.根据权利要求2的方法，其中所述对象配置性信息进一步包括:指示包括可应用于整个立体图像的元数据的轨道的信息。
4.根据权利要求1的方法，进一步包括:装载合成图像的配置性信息。
5.一种其中装载三维图像的计算机可读介质，该介质包括:
文件类型字段，包含指示单一立体图像、以及包括单视场图像和立体图像的合成图像之一的图像类型信息；
配置性信息容器字段，包含指示该三维图像中包括的多个媒体对象之间的时间和空间关系的场景描述符信息、指示所述多个媒体对象的每个媒体对象的对象属性和所述多个媒体对象的每个媒体对象的编码流之间的配置性关系的对象配置性信息、编码流的配置性信息、媒体对象之间的第一元数据、和每个媒体对象与其编码流之间的第二元数据；以及
媒体数据容器字段，包含该三维图像中包括的所述多个媒体对象的每个媒体对象的比特流、用于第一元数据的比特流、和用于第二元数据的比特流。
6.根据权利要求5的介质，其中所述对象配置性信息包括:
指示场景中包括的对象的数目的信息；
指示对象是否为立体图像的信息；
指示对象是否需要元数据的信息；
指示对象中包括的编码流的数目的信息；
当元数据被应用于对象时，指示包括要被应用的元数据的轨道的信息；以及
指示包括编码流的轨道的信息。
7.根据权利要求6的介质，其中所述对象配置性信息进一步包括:指示包括可应用于整个立体图像的元数据的轨道的信息。
8.根据权利要求5的介质，进一步包括:包含合成图像的配置性信息的字段。
9.一种用于将已经通过转换由支持三维图像拍摄的设备输入的图像而生成的三维图像存储到记录介质中的方法，该方法包括:
在预定的文件类型字段中，装载指示单一立体图像、以及包括单视场图像和立体图像的合成图像之一的图像类型信息；
在配置性信息容器字段中，装载指示多个媒体对象的每个媒体对象的对象属性和该三维图像中包括的每个媒体对象的编码流之间的配置性关系的对象配置性信息、每个编码流的配置性信息、媒体对象之间的第一元数据、和每个媒体对象与其编码流之间的第二元数据；以及
在媒体数据容器字段中，装载该三维图像中包括的每个媒体对象的比特流、用于第一元数据的比特流、和用于第二元数据的比特流，
其中，可选择性地在配置性信息容器字段中，装载指示该三维图像中包括的所述多个媒体对象的媒体对象之间的时间和空间关系的场景的场景描述符信息，以及
编码流的配置性信息包括关于是否装载场景描述符信息的信息。
10.根据权利要求9的方法，其中所述场景描述符信息包括:
初始场景描述符信息字段，包含关于初始访问指针和场景描述的信息；
场景信息字段，包含关于该场景中包括的多个媒体对象的配置性关系的信息；以及
对象配置性信息字段，包含关于该场景中包括的多个媒体对象的每个媒体对象的属性的信息。
11.根据权利要求10的方法，其中，当该配置性信息容器字段包括初始场景描述符信息时，编码流的配置性信息包含关于该初始场景描述符信息中包括的多个媒体对象的每个媒体对象的解码器信息。
12.根据权利要求10的方法，其中，当该配置性信息容器字段不包括初始场景描述符信息时，编码流的配置性信息包含关于该立体图像中包括的多个媒体对象的每个媒体对象的解码器信息。
13.根据权利要求12的方法，其中关于该立体图像中包括的多个媒体对象的每个媒体对象的解码器信息包括:编码流的类型、编码流的媒体类型、简档信息、和关于图像的详细信息。
14.根据权利要求13的方法，其中该媒体类型与基于由ISO/IEC14496MPEG-4***定义的对象类型指示(OTI)设置的信息对应。
15.根据权利要求9的方法，其中，该第一元数据包括关于编码流的比特流的长度和该编码流的标识符的信息，而该第二元数据包括关于每个编码流的名称和内容类型的信息、及编码信息。
16.一种其中装载包括三维图像的场景的计算机可读介质，该介质包括:
预定的文件类型字段，包含指示单一立体图像、以及包括单视场图像和立体图像的合成图像之一的图像类型信息；
配置性信息容器字段，包含指示多个媒体对象的每个的对象属性和该三维图像中包括的多个媒体对象的编码流之间的配置性关系的对象配置性信息、编码流的配置性信息、多个媒体对象之间的第一元数据、和每个媒体对象与其编码流之间的第二元数据；以及
媒体数据容器字段，包含该三维图像中包括的所述多个媒体对象的每个媒体对象的比特流、用于第一元数据的比特流、和用于第二元数据的比特流，
其中，可选择性地在配置性信息容器字段中，装载指示该三维图像中包括的多个媒体对象之间的时间和空间关系的场景描述符信息，以及
编码流的配置性信息包括关于是否装载场景描述符信息的信息。
17.根据权利要求16的介质，其中所述场景描述符信息包括:
初始场景描述符信息字段，包含关于初始访问指针和场景描述的信息；
场景信息字段，包含关于该场景中包括的多个媒体对象的配置性关系的信息；以及
对象配置性信息字段，包含关于该场景中包括的所述多个媒体对象的每个媒体对象的属性的信息。
18.根据权利要求17的介质，其中，当该配置性信息容器字段包括初始场景描述符信息时，编码流的配置性信息包含关于该初始场景描述符信息中包括的多个媒体对象的解码器信息。
19.根据权利要求17的介质，其中，当配置性信息容器字段不包括初始场景描述符信息时，编码流的配置性信息包含关于该立体图像中包括的多个媒体对象的解码器信息。
20.根据权利要求19的介质，其中关于该立体图像中包括的媒体对象的解码器信息包括:编码流的类型、编码流的媒体类型、简档信息、和关于图像的详细信息。
21.根据权利要求20的介质，其中该媒体类型与基于由ISO/IEC14496MPEG-4***定义的对象类型指示(OTI)设置的信息对应。
22.根据权利要求16的介质，其中，该第一元数据包括关于编码流的比特流的长度和该编码流的标识符的信息，而该第二元数据包括关于每个编码流的名称和内容类型的信息、和编码信息。
CN2008101737202A 2007-06-08 2008-06-10 用于记录三维视频数据的方法 Expired - Fee Related CN101388988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110325043.3A CN102427545B (zh) 2007-06-08 2008-06-10 将三维图像存储到记录介质中的方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20070056343 2007-06-08
KR56343/07 2007-06-08
KR59662/07 2007-06-18
KR20070059662 2007-06-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201110325043.3A Division CN102427545B (zh) 2007-06-08 2008-06-10 将三维图像存储到记录介质中的方法

Publications (2)

Publication Number Publication Date
CN101388988A true CN101388988A (zh) 2009-03-18
CN101388988B CN101388988B (zh) 2012-05-23

Family

ID=39745005

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008101737202A Expired - Fee Related CN101388988B (zh) 2007-06-08 2008-06-10 用于记录三维视频数据的方法
CN201110325043.3A Expired - Fee Related CN102427545B (zh) 2007-06-08 2008-06-10 将三维图像存储到记录介质中的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201110325043.3A Expired - Fee Related CN102427545B (zh) 2007-06-08 2008-06-10 将三维图像存储到记录介质中的方法

Country Status (4)

Country Link
US (1) US8786593B2 (zh)
EP (1) EP2001235B1 (zh)
KR (1) KR101499252B1 (zh)
CN (2) CN101388988B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651809B (zh) * 2009-09-22 2011-06-01 西安交通大学 双目立体显示视频处理的存储器存储及读写控制方法
CN103428463A (zh) * 2012-05-19 2013-12-04 腾讯科技（深圳）有限公司 3d视频源存储方法和装置及3d视频播放方法和装置
CN105611171A (zh) * 2016-01-07 2016-05-25 北京东方云图科技有限公司 一种利用多终端联机拍摄视频文件的方法和装置
CN109716759A (zh) * 2016-09-02 2019-05-03 联发科技股份有限公司 提升质量递送及合成处理
CN113170088A (zh) * 2018-10-08 2021-07-23 三星电子株式会社 用于生成包括三维视频内容的媒体文件的方法和装置，以及用于重放三维视频内容的方法和装置
WO2024008005A1 (zh) * 2022-07-07 2024-01-11 抖音视界(北京)有限公司 用于影像拍摄的方法、装置、设备和存储介质
US11997409B2 (en) 2019-10-30 2024-05-28 Beijing Bytedance Network Technology Co., Ltd. Video processing method and apparatus, and terminal and storage medium

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
KR100924757B1 (ko) * 2008-01-25 2009-11-05 전자부품연구원 입체형 비디오 파일 포맷 및 그에 따른 입체형 비디오파일을 기록한 컴퓨터로 판독 가능한 기록매체
KR101176065B1 (ko) * 2008-12-22 2012-08-24 한국전자통신연구원 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법
US9215435B2 (en) 2009-06-24 2015-12-15 Dolby Laboratories Licensing Corp. Method for embedding subtitles and/or graphic overlays in a 3D or multi-view video data
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
US8624959B1 (en) * 2009-09-11 2014-01-07 The Boeing Company Stereo video movies
US9426441B2 (en) * 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
US9912994B2 (en) 2014-07-03 2018-03-06 Mobiledirect, Inc. Interactive distributed multimedia system
US10536721B2 (en) * 2017-01-09 2020-01-14 Qualcomm Incorporated Restricted scheme design for video
US10878859B2 (en) 2017-12-20 2020-12-29 Micron Technology, Inc. Utilizing write stream attributes in storage write commands
US11803325B2 (en) * 2018-03-27 2023-10-31 Micron Technology, Inc. Specifying media type in write commands

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1109667A (zh) 1994-04-01 1995-10-04 王建勋 立体彩色电视图像的摄制与重现方法
AU761202B2 (en) * 1997-09-22 2003-05-29 Sony Corporation Generation of a bit stream containing binary image/audio data that is multiplexed with a code defining an object in ascii format
US7185049B1 (en) * 1999-02-01 2007-02-27 At&T Corp. Multimedia integration description scheme, method and system for MPEG-7
US6593936B1 (en) * 1999-02-01 2003-07-15 At&T Corp. Synthetic audiovisual description scheme, method and system for MPEG-7
US6532008B1 (en) * 2000-03-13 2003-03-11 Recherches Point Lab Inc. Method and apparatus for eliminating steroscopic cross images
US20030084180A1 (en) * 2001-10-31 2003-05-01 Tomohiro Azami Metadata receiving apparatus, receiving method, metadata receiving program, computer-readable recording medium recording therein metadata receiving program, metadata sending apparatus, and transmitting method
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2003173625A (ja) * 2001-12-04 2003-06-20 Hitachi Ltd ファイル変換方法、ファイル変換装置、及びファイル生成装置
US7266563B2 (en) * 2001-12-28 2007-09-04 Fotomedia Technologies, Llc Specifying, assigning, and maintaining user defined metadata in a network-based photosharing system
US8214655B2 (en) * 2002-03-29 2012-07-03 Kabushiki Kaisha Toshiba Data structure of multimedia file format, encrypting method and device thereof, and decrypting method and device thereof
US20040117822A1 (en) * 2002-12-11 2004-06-17 Jeyhan Karaoguz Method and system for personal media program production in a media exchange network
US7907150B2 (en) * 2003-08-09 2011-03-15 Doubleshot, Inc. Method of fusion or merging imagery data for improved visual perception using monoscopic and stereographic fusion and retinal decay techniques
US7979886B2 (en) * 2003-10-17 2011-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
ATE551837T1 (de) * 2003-12-02 2012-04-15 Panasonic Corp Verfahren und einrichtung zum verteilen von av- inhalt in einem dateiformat des download-typs
JP2007525906A (ja) * 2004-02-27 2007-09-06 ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． 立体３ｄビデオイメージディジタルコーディングのシステムおよび方法
US20050278375A1 (en) * 2004-05-26 2005-12-15 Stephanie Mitchko Asset management system and associated methods
EP1820351A4 (en) * 2004-12-10 2010-04-21 Korea Electronics Telecomm DEVICE FOR UNIVERSAL CODING FOR MULTI-VIEW VIDEO
CN101292538B (zh) * 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651809B (zh) * 2009-09-22 2011-06-01 西安交通大学 双目立体显示视频处理的存储器存储及读写控制方法
CN103428463A (zh) * 2012-05-19 2013-12-04 腾讯科技（深圳）有限公司 3d视频源存储方法和装置及3d视频播放方法和装置
CN103428463B (zh) * 2012-05-19 2016-10-12 腾讯科技（深圳）有限公司 3d视频源存储方法和装置及3d视频播放方法和装置
CN105611171A (zh) * 2016-01-07 2016-05-25 北京东方云图科技有限公司 一种利用多终端联机拍摄视频文件的方法和装置
CN105611171B (zh) * 2016-01-07 2018-12-21 贵州金意米科技有限公司 一种利用多终端联机拍摄视频文件的方法和装置
CN109716759B (zh) * 2016-09-02 2021-10-01 联发科技股份有限公司 提升质量递送及合成处理
CN109716759A (zh) * 2016-09-02 2019-05-03 联发科技股份有限公司 提升质量递送及合成处理
CN113170088A (zh) * 2018-10-08 2021-07-23 三星电子株式会社 用于生成包括三维视频内容的媒体文件的方法和装置，以及用于重放三维视频内容的方法和装置
US11606576B2 (en) 2018-10-08 2023-03-14 Samsung Electronics Co., Ltd. Method and apparatus for generating media file comprising 3-dimensional video content, and method and apparatus for replaying 3-dimensional video content
CN113170088B (zh) * 2018-10-08 2023-10-03 三星电子株式会社 用于生成包括三维视频内容的媒体文件的方法和装置，以及用于重放三维视频内容的方法和装置
US11997409B2 (en) 2019-10-30 2024-05-28 Beijing Bytedance Network Technology Co., Ltd. Video processing method and apparatus, and terminal and storage medium
WO2024008005A1 (zh) * 2022-07-07 2024-01-11 抖音视界(北京)有限公司 用于影像拍摄的方法、装置、设备和存储介质
CN117425057A (zh) * 2022-07-07 2024-01-19 抖音视界(北京)有限公司 用于影像拍摄的方法、装置、设备和存储介质
US12015841B2 (en) 2022-07-07 2024-06-18 Douyin Vision (Beijing) Co., Ltd. Method, apparatus, device and storage medium for image shooting
US12035034B2 (en) 2022-07-07 2024-07-09 Douyin Vision (Beijing) Co., Ltd. Method, apparatus, device and storage medium for image shooting

Also Published As

Publication number Publication date
EP2001235B1 (en) 2013-05-22
US8786593B2 (en) 2014-07-22
CN102427545A (zh) 2012-04-25
EP2001235A1 (en) 2008-12-10
KR20080108061A (ko) 2008-12-11
US20080303813A1 (en) 2008-12-11
CN101388988B (zh) 2012-05-23
CN102427545B (zh) 2016-08-10
KR101499252B1 (ko) 2015-03-09

Similar Documents

Publication Publication Date Title
CN101388988B (zh) 用于记录三维视频数据的方法
Wien et al. Standardization status of immersive video coding
US8508579B2 (en) System and method for generating and reproducing 3D stereoscopic image file including 2D image
CN101711483B (zh) 用于立体图像编码数据文件的格式
KR101533114B1 (ko) 입체영상 데이터를 수록한 기록매체 및 상기 입체영상 데이터를 기록하는 방법
US9602802B2 (en) Providing frame packing type information for video coding
US8570365B2 (en) Method and apparatus for generating stereoscopic file
US8842903B2 (en) System and method for generating and reproducing image file including 2D image and 3D stereoscopic image
KR102559862B1 (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
CN107534801A (zh) 用于处理图像序列轨道的方法、装置和计算机程序产品
CN101971639B (zh) 用于生成和显示媒体文件的装置和方法
CN101562036A (zh) 用于生成和播放用于幻灯片的图像文件的***和方法
KR101480186B1 (ko) 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
KR101434674B1 (ko) 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
KR100959534B1 (ko) Ｍａｆ 파일 포맷을 구성하는 방법 및 이를 이용한 비디오 신호의 디코딩 장치
KR101453084B1 (ko) 3ｄ 영상 파일을 생성 및 재생하기 위한 휴대 단말기 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120523

Termination date: 20210610

CF01 Termination of patent right due to non-payment of annual fee