CN101711483A - 用于立体图像编码数据文件的格式 - Google Patents

用于立体图像编码数据文件的格式 Download PDF

Info

Publication number
CN101711483A
CN101711483A CN200880019052A CN200880019052A CN101711483A CN 101711483 A CN101711483 A CN 101711483A CN 200880019052 A CN200880019052 A CN 200880019052A CN 200880019052 A CN200880019052 A CN 200880019052A CN 101711483 A CN101711483 A CN 101711483A
Authority
CN
China
Prior art keywords
information
image
frame
container
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880019052A
Other languages
English (en)
Other versions
CN101711483B (zh
Inventor
金奎宪
李润辰
朴光勋
徐德荣
千胜文
吴镕协
丁泰燮
边大燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TLI Inc
Original Assignee
Industry Academic Cooperation Foundation of Kyung Hee University
Enhanced Chip Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Kyung Hee University, Enhanced Chip Technology Inc filed Critical Industry Academic Cooperation Foundation of Kyung Hee University
Publication of CN101711483A publication Critical patent/CN101711483A/zh
Application granted granted Critical
Publication of CN101711483B publication Critical patent/CN101711483B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供了一种用于构建立体图像编码数据文件的方法。所述立体图像编码数据文件包括文件类型声明单元，该单元用于指示所述文件是否是立体图像；元数据单元，包括一个或多个轨道容器，该轨道容器用于容纳立体图像编码数据的元数据；和图像数据单元，包括一个或多个立体图像数据容器，该立体图像数据容器用于容纳立体图像编码数据的图像信息。

Description

用于立体图像编码数据文件的格式
技术领域
本发明涉及数据文件格式，特别是，涉及用于存储或发送立体图像编码数据(即，被编码的立体图像数据)的文件格式，或为存储或发送立体图像编码数据而构造文件的方法。
背景技术
双目立体图像(在下文中称作“立体图像”)表示通过使用独立的左右照相机对对象拍照而获得的左右图像对。虽然该左右图像是通过对同一个对象拍照而获得的，但是其视点不同。因此，由于对象的表面特性、光源位置等，图像信息也会不同。对象的左右图像之间的图像信息差称为视差。
立体图像通常表示使用左右照相机所获得的图像。从广义上讲，立体图像还包括通过向平面图像使用预定转换算法而产生的三维图像。该立体图像通常可用于向所显示的对象添加三维效果。
有多种方法可通过使用立体图像来向平板显示设备所再现的图像添加三维效果，该平面显示设备例如是液晶显示屏(LCD)和等离子显示屏(PDP)。其中一种方法使用了栅栏式(barrier type)显示设备。由于栅栏式显示设备可以同时显示平面图像和立体图像，因此，栅栏式显示设备被追捧为下一代显示设备之一。
在栅栏式显示设备中，在平面显示设备的前表面中附有或包含栅栏极化板。该栅栏极化板包括线形的栅栏式样(pattern)。通过该栅栏式样，左眼只能观看到所显示图像的左部分。通过该栅栏式样，右眼只能观看到所显示图像的右部分。存在多种类型的栅栏式样。通常，包括垂直和水平线型。因此，可将栅栏式样分为条型、锯齿型和斜线型。这些类型的栅栏式样能对所显示的图像的三维效果造成差异。
另一方面，可根据现有编码标准进行编码的静止图片或运动图片(在整个说明书中，图像都同时包括静止图像和运动图像)的平面图像数据大多可分为两类并存储。一类是直接与图像的像素值有关的图像信息。另一类是元数据，是用于对图像信息进行解码和显示所需的附加信息。虽然图像信息根据对图像进行编码所用的国际标准的类型而有不同，但是图像信息可以包括纹理信息和运动信息，该纹理信息例如是亮度和色度。另外，图像信息还可以进一步包括背景和物体的形状信息。元数据包括除图像信息外，用于再现和显示图像信息所需的附加数据。
可以任意地将图像信息与元数据区分开。区分方法可以根据国际标准或数据分类标准的内容。在本说明书中，“图像数据”通常同时表示图像信息和元数据。在一些情况下，图像数据可能仅指图像数据。本说明书各部分中所包含的图像数据的意思需要分别根据内容来进行分析。例如，图1的图像数据单元中的“图像数据”仅指图像信息。但是，本发明的发明名称中的图像数据同时表示图像数据和元数据。
图1是结构图，用于表示现有的用于存储平面图像编码数据的文件格式。参考图1，现有的文件格式10包括基本报头单元12和图像数据单元14。图像数据单元14包括图像编码数据的图像信息，例如纹理信息、形状信息和/或运动信息。基本报头单元12包括除图像数据单元14中的图像信息以外的附加数据。但是，现有的图像数据的文件格式10适合存储和/或发送平面图像编码数据，该现有的文件格式10不适合存储和/或发送立体图像编码数据。与平面图像不同，立体图像通过使用左右照相机来获得左右图像对，并通过使用多种方式将所获得的左右图像对进行结合来对立体图像进行编码。另外，使用特定的显示设备，例如栅栏式显示屏，来再现该立体图像。
发明内容
由于与现有的平面图像不同，立体图像包含左右图像对，因此可以以多种方式来构建所要编码的帧(编码帧)。例如，可以通过将左右图像对进行结合来构建编码帧。有多种方式来将左右图像进行结合。有多种方法可通过左右图像对来设置两个或多个编码帧。由于存在多种方法可通过使用左右图像对来构建编码帧，因此对图像进行编码会产生图像数据和元数据的各种值、类型和特征。但是，前述的文件格式不适于***地构建和存储各种类型的信息和衍生数据。
因此，本发明提供一种方法，用于构建文件格式或文件，该文件格式或文件可有效并***地存储立体图像编码数据。
立体图像编码数据是通过对由单独的左右照相机对所获得的图像进行编码而获得的。左右照相机的特征，例如左右照相机的距离和帧率的差异，会对所再现的三维图像的图像质量或三维效果有所影响。另外，该立体图像编码数据可通过使用专门设计的显示设备来再现或以多种方式显示。显示设备或显示方法的特征都对三维图像的图像质量或三维效果有所影响。因此，为了再现最适于显示设备的三维图像，在立体图像编码数据的图像数据中必须包含有关拍照的照相机和/或显示设备的信息以及有关显示方法的信息。使用现有的文件格式很难满足这一需求。
因此，本发明还提供一种方法，用于构建立体图像编码数据的文件格式或文件，该方法能够通过反映拍照的照相机和/或显示设备或显示方法的特征来显示逼真的三维图像。
另一方面，在建立了国际多媒体标准的运动图像专家组(MPGE)中，定义了国际标准组织(ISO)基本媒体文件格式。在联合图像专家组(JPEG)2000的第12部分和ISO/IEC 15444-12中所公开的ISO基本媒体文件格式提供了用于以后应用的基本文件格式。另外，在MPEG中，定义了适用于相应应用目的的多媒体应用文件格式(MAF)。在MAF与ISO基本媒体文件格式相兼容的情况下，可以获得各种使用了立体图像的业务。
因此，本发明还提供一种方法，用于构建与ISO基本媒体文件格式相兼容的立体图像编码数据文件及其格式。
根据本发明的一方面，提供一种立体图像编码数据文件的格式，该格式包括：文件类型声明单元，用于指示所述文件是否是立体图像；元数据单元，包括一个或多个轨道(track)容器，该轨道容器用于容纳立体图像编码数据的元数据；和图像数据单元，包括一个或多个立体图像数据容器，该立体图像数据容器用于容纳立体图像编码数据的图像信息。
在本发明的上述方面中，所述文件类型声明单元可以包括第一信息和第二信息，该第一信息用于指示该文件是否与立体图像有关，该第二信息用于指示构成该文件的元素流(ES)的数量。在这种情况下，轨道容器的数量和立体图像数据容器的数量可以与该第二信息相同。
此外，所述轨道容器可以包括处理器(handler)参考容器和媒体信息容器，该处理器参考容器用于指示相应ES的类型，该媒体信息容器用于容纳相应ES的元数据。
在这种情况下，所述媒体信息容器可以包括立体报头容器，该用于容纳可指示编码帧尺寸的信息。此外，所述立体报头容器可以包括容器，该容器用于容纳可指示用于获取立体图像的左右照相机之间距离的信息，和/或容器，该容器用于容纳可指示用于显示立体图像的栅栏式显示设备的栅栏式样的信息和/或可指示栅栏式样的间隔的信息。
此外，媒体信息容器可包括采样描述容器，该容器用于对相应ES的描述进行定义。在这种情况下，该采样描述容器可以包括ES类型信息，该ES类型信息用于指示构建编码帧的方法。
例如，当所述文件类型声明单元的第二信息表明ES的数量为1时，由ES类型信息所指示的编码帧可以为第一类型到第五类型中的一种类型。在第一种类型中，左图像和右图像在时间轴的方向上以帧为单元交替排列。在第二种类型中，左图像和右图像并排排列。在第三种类型中，左图像和右图像按从上到下的方式排列。在第四种类型中，左图像和右图像的垂直像素线交替排列。在第五种类型中，左图像和右图像的水平像素线交替排列。在这种情况下，ES类型信息可以指示第二类型到第五类型中的一种类型，且采样描述容器可以进一步包括有关构成编码帧的左图像和右图像的帧率的信息和/或视差信息。
在此，有关帧率的信息可以包括有关左图像的帧率是否与右图像的帧率相同的信息以及在左图像和右图像的帧率不同的情况下，用于当显示立体图像时，将左图像和右图像的帧率相互匹配的信息。视差信息可以包括有关左图像和右图像间是否存在视差的信息以及在左图像和右图像间存在视差的情况下，用于修正该视差的信息。
此外，当文件类型声明单元的第二信息表明ES的数量为2时，由ES类型信息所指示的编码帧可以是左图像、右图像、参考图像和差分图像中的一个。
如下文所述，由于根据本发明实施例的文件格式具有分层结构以及能够***地存储立体图像特殊元数据的结构，因此能够有效地构建和存储立体图像编码数据。此外，由于根据本发明实施例的文件格式具有能够包括关于拍摄照相机和/或用于获得立体图像的显示设备的特征的信息的结构，因此能够通过使用所存储和编码的立体图像数据来显示逼真的三维图像。此外，根据本发明实施例的用于存储立体图像编码数据的文件格式能够与作为国际标准的ISO基本媒体文件格式相兼容。
附图说明
图1是结构图，表示现有用于存储平面图像编码数据的文件格式。
图2表示整个合成图像的结构，其中左右图像并排排列组成编码帧。
图3表示整个合成图像的结构，其中左右图像的像素线交替排列组成编码帧。
图4表示整个合成图像的结构，其中左右图像以帧为单元顺序排列组成编码帧。
图5表示包括左右图像的编码帧的结构。
图6表示包括参考图像和差分图像的编码帧的结构。
图7表示包括参考图像和多个差分图像的编码帧的结构。
图8是结构图，表示根据本发明实施例用于存储立体图像编码数据的文件格式。
图9是结构图，表示图8的立体轨道容器的结构。
图10表示图8和图9中所示的文件格式的分层结构。
图11表示图8的ssty框的语法示例。
图12表示图9的hdlr框的语法示例。
图13表示图9的立体报头框的语法示例。
图14表示图9的立体照相机信息框的语法示例。
图15表示图9的立体显示信息框的语法示例。
图16至图19表示mpss框的语法示例。
具体实施方式
在下文中，将结合附图详细地描述本发明的示例实施例。以下实施例应理解为仅用于描述，而不是用于进行限制。虽然通过特定术语对本发明实施例进行描述，但是这些描述仅是为了进行表述，应当理解，可以进行改变和变化而不偏离本发明的精神。类似地，虽然本发明是参考所附附图进行特定表示和描述的，但是本领域技术人员应当理解，可以对其进行形式和细节上的各种改变，而不偏离本发明的精神和范围。
在对本发明实施例进行描述之前，将描述对根据本发明实施例的立体图像编码数据文件格式进行定义所考虑的因素。这些考虑因素基于立体图像不同于平面图像的特点。
第一个考虑因素涉及使用左右图像构建编码帧的方法。构建编码帧的方法对立体图像编码数据的结构具有直接影响。例如，用于构建图像编码数据的元素流(ES)的数量取决于构建编码帧的方法。即使是在ES数量相同的情况下，也有多种构建编码帧的方法。
首先，可使用左右图像来生成编码帧。在下文中，通过使用左右图像而生成的帧称作“整体合成图像”或“合成图像”。通过对整体合成图像进行编码而生成的立体图像数据是使用ES进行构建的。有多种方法可使用左右图像对来构建整体合成图像。图2至图4示出了构建整体合成图像的示例方法。
在一种构建整体合成图像的方法中，左右图像并排排列。图2表示了这种方法。参考图2，在编码帧，例如整体合成图像22中，左右图像并排排列。可替换地，在编码帧，例如整体合成图像24中，左右图像按从上到下的方式排列。在这种情况下，组成整体合成图像22或24的左右图像的位置可以互换。
在另一种构建整体合成图像的方法中，将左右图像以区为单元***。图3表示了这种排列方式。参考图3，整体合成图像32可以是左图像的垂直像素线与右图像的垂直像素线相互交替排列的帧，或是左图像的水平像素线与右图像的水平像素线相互交替排列的帧。构成整体合成图像32或34的左右图像的像素线的位置可以互换。
而在另一种构建整体合成图像的方法中，左右图像以帧为单元顺序排列。图4表示了这种排列方式。参考图4，整体合成图像40是通过在时间轴的方向，以帧为单元交替排列左右图像来构建的。在该整体合成图像40的情况中，左图像的像素和右图像的像素不在一个编码帧中同时存在。
下面参考图5和6，将描述通过使用左右图像对来生成两个编码帧的情况。在两个编码帧的情况中，使用两个ES来构建通过对两个帧进行编码所产生的图像数据。
参考图5，如图所示，左右图像52a和52b是编码帧。当对帧52a和52b进行编码时，使用两个元素流ES1和ES2来构建图像编码数据，这两个元素流表示各自的图像。另一方面，参考图6，可以使用参考图像54a和差分图像54b来构建编码帧。在这种情况下，左右图像中的一个是要作为参考图像54a的编码帧。利用与参考图像的差分(差异)构建的差分图像54b是另一个编码帧。
图7表示了有三个编码帧的情况。参考图7，连续的(n+1)/2个帧中的左右图像中的一个是作为参考图像62的编码帧。除该参考图像以外的其他图像是作为差分图像62a至62n的编码帧。当对编码帧进行编码时，使用(n+1)个元素流ES1至ES(n+1)来构建图像编码数据。
可以使用现有的图像编码方法来对前述一个或多个编码帧或编码帧序列进行编码。现有的图像编码方法包括静态图像(例如，JPEG)编码方法，或对运动图片(例如，MPEG-1、MPEG-2、MPEG-4、H.264/AVC、VC-1等)进行编码的方法。之后，通过使用现有图像编码方法所编码的图像数据可直接发送至支持该编码方法的显示设备进行再现。可替换地，可在存储介质中存储该图像数据，并由显示设备再现。
如上所述，在立体图像的情况中，有多种方法来构建编码帧。可以使用两个或多个ES来构建立体图像编码数据。即使是在有相同数量ES的情况中，也有多种方法来构建编码帧。因此，衍生数据或再现所述图像数据所需的数据可以是变化的。用于存储该立体图像编码数据的文件格式应当适于存储构建编码帧的方法和该方法的衍生数据。
对存储立体图像编码数据文件格式进行定义的第二个考虑因素是使用以预定间隔相互分开的左右照相机，以获得立体图像。这是由于必须向显示设备提供左右照相机的信息，以有效地再现和/或提高所再现的三维图像的图像质量或三维效果。因此，立体图像编码数据可以额外地包括左右照相机的信息。考虑到该额外包括的有关左右照相机的信息，因此必须定义用于存储立体图像编码数据的文件格式。
有关左右照相机的信息具有多种类型。例如，该多种类型的信息包括有关左右照相机之间的距离的信息；使用左右照相机所采集的左右图像每秒的帧数(帧/秒，fps)，即帧率；有关左右图像同步的信息和/或有关左右照相机类型的信息。此外，在一些情况下，该多种类型的信息还可以包括左右图像间的视差信息。
对存储立体图像编码数据的文件格式进行定义的第三个考虑因素是使用与现有显示设备不同的专门显示设备来再现立体图像(例如，栅栏式显示设备)。这是由于所再现的图像数据必须适于显示设备，以通过使用专门的显示设备来再现三维图像。此外，由于有关显示设备特征的信息会对三维图像的图像质量或三维效果产生影响，因此必须考虑该信息或额外所需的信息，以对立体图像编码数据文件的格式进行定义。
有关显示设备的信息具有多种类型。例如，在再现设备是栅栏式显示设备的情况下，该各种类型的信息包括有关最适于再现立体图像编码数据的栅栏式样的信息。如上所述，该栅栏式样是以垂直或水平线的方式位于栅栏极化板上的。微小的(minute)线形会对三维图像的图像质量产生影响。此外，有关栅栏式样的间隔(该间隔基于栅栏式样在显示设备上的位置)的信息(有关该间隔是否不论其位置都是常量、或者该间隔取决于其位置的信息)也会对三维图像的图像质量产生影响。
图8和图9是结构图，表示根据本发明实施例的用于存储立体图像编码数据的文件格式。图9是表示图8的立体轨道容器210的结构的结构图。另外，图10表示图8和图9所示的文件格式的分层结构。参考图8至图10可知，根据本发明实施例的文件格式是基于ISO基本媒体文件格式的。
首先参考图8和图10，根据本发明实施例的文件格式主要包括文件类型声明单元(ftyp)100、元数据单元(moov)200和图像数据单元(mdat)300。
文件类型声明单元100用于表示为立体图像使用了相应的文件。在为立体图像使用了文件的情况下，文件类型声明单元100可以包括有关组成该立体图像的ES的数量的信息。如图8和图10所示，文件类型声明单元100是ftyp容器的子分类，其包括一框，该框用于包括指示该文件是否是立体类型的信息和/或有关组成该立体图像的ES的数量的信息。该框可以是立体类型框(ssty)110，如图8和图10所示。这样，立体图像解码器就能够识别出该文件是否与立体图像有关和/或识别出组成该立体图像的ES的数量。这在下面进行简述。
ssty(Stereoscopic Type)
-Box Type：‘ssty’
-Container：File Type Box(‘ftyp’)
-Mandatory：Yes
-Quantity：Exactly one
通过前面的叙述可知，在立体图像编码数据的情况下，ssty框110是必不可少的部分。在ftyp容器中仅有一个ssty框。图11表示了ssty框110的语法示例。在图11中，元素‘Stereoscopic_Type’指示文件是否是立体文件。例如，该元素的值可按表1进行分配。另外，元素‘StereoScopic_ES_Count’指示组成该立体文件的ES的数量。
表1
[表1]
  值   内容
  0   文件不是立体数据文件
  1   文件是立体数据文件
参考图8和图10，作为元数据单元200的moov容器包括一个或多个轨道容器210或220，该轨道容器210或220用于存储文件的元数据。在文件是立体图像文件的情况下，该moov容器包括与组成该文件的ES的数量相对应的立体轨道容器210，例如，用于元素流ES1的立体轨道容器轨道1(立体)，用于元素流ES2的立体轨道容器轨道2(立体)，……和立体轨道容器轨道(n)(立体)(此处，n为大于或等于一的整数)。另一方面，在文件不是立体图像文件的情况下，moov容器包括非立体的轨道容器220，例如，用于平面图像和音频或文本文件的元数据的轨道容器轨道(非立体)。由于本发明涉及立体图像，因此在下文中，将参考图9和图10对立体轨道容器210的结构进行描述。
立体轨道容器210包括媒体容器(媒体)211。将该媒体容器211定义为其包括有关存储在容器(该容器被称之为轨道)的媒体流的信息。该媒体容器211包括处理器参考框(hdlr)212和媒体信息容器(minf)(未示出)。该媒体信息容器(minf)可以是用于包括有关ES所表示的图像的尺寸的信息的框(该框可以是立体报头框(sshd)213，其名称可变)和采样表框(stbl)216。
所述处理器参考框212包括有关ES流类型定义的信息。在ES是通过对立体图像进行编码所得数据的情况下，可以例如将处理器参考框212中所包含的信息值表示为“ssvi”。该处理器参考框212被表示如下。
hdlr(Handler Reference)
-Box Type：‘hdlr’
-Container：Media Box(‘media’)
-Mandatory：Yes
-Quantity：Exactly one
通过前面的叙述可知，hdlr框212是不可缺少的部分。在媒体容器211中仅有一个处理器参考框212。图12表示hdlr框211的语法示例。在图12中，使用元素‘handler_type’来定义媒体数据的流类型。表2表示流类型的示例，在该示例中，对现有流的定义包括对本发明的立体图像流的定义。
表2
[表2]
  值   内容
  ssvi   立体可视数据
  soun   音频数据
  vide   可视数据
  text   文本数据
  hint   提示数据
立体报头框213包括有关由ES所表示的图像的尺寸的信息。例如，立体报头框213可以包括有关ES所表示的立体合成图像的宽度和/或高度的信息。图13表示立体报头框213的语法示例。在图13中，元素‘StereoScopic_CompoundImageWidth’表示立体合成图像的宽度，而元素‘StereoScopic_CompoundImageHeight’表示立体合成图像的高度。该立体报头框213被表示如下。
sshd(stereoscopic header)
-Box Type：‘sshd’，‘vmhd’，‘smhd’，‘hmhd’
-Container：MediaInformation Box(‘minf’)
-Mandatory：Yes(must be present)
-Quantity：Exactly One
通过前面的叙述可知，sshd框213是不可缺少的部分。在minf容器(未示出)中仅有一个立体报头框213。该minf容器可以除sshd框213以外，进一步包括报头框，以用于另一种类型的媒体。表3表示了包括在minf容器中的报头框的值的示例。
表3
[表3]
  值   内容
  sshd   立体可视媒体报头
  smhd   音频媒体报头
  vmhd   可视媒体报头
  hmhd   提示媒体报头
  nmhd   空白媒体报头
参考图9和图10，立体报头框213进一步包括框，该框用于包括有关获取立体图像的左右照相机的信息；以及框，该框用于包括有关显示立体图像的显示设备的信息。所述框可以是立体照相机信息框(ssci)214和立体显示信息框(ssdi)215。所述框的名称可变。
所述立体照相机信息框(ssci)214可以包括有关左右照相机的信息，例如，有关左右照相机之间的距离的信息。所述立体照相机信息框214被概述如下。
ssci(stereoscopic Camera Information)
-Box Type：‘ssci’
-Container：Stereoscopic Header Box(‘sshd’)
-Mandatory：No
-Quantity：Zero or One
通过上述概述可知，ssci框214是可选的部分。在立体报头框213中包含ssci框214的情况下，在作为容器的sshd框213中仅存在一个sshd框214。图12表示ssci框214的语法示例。在图14中，元素‘StereoScopicCamera_Left_Right-Distance’表示左右照相机之间的距离。
所述立体显示信息框215可以包括有关显示设备的信息，例如，有关栅栏式样类型的信息和/或有关栅栏式样的间隔的信息。立体显示信息框215被概述如下。
ssdi(stereoscopic Display Information)
-Box Type：‘ssdi’
-Container：Stereoscopic Header Box(‘sshd’)
-Mandatory：No
-Quantity：Zero or One
通过上述概述可知，ssdi框215是可选的部分。在sshd框213中包含ssdi框215的情况下，作为容器的sshd框213中仅存在一个ssdi框215。图15表示ssdi框215的语法示例。在图15中，元素‘StereoScopic_Barrier_Pattern’表示栅栏式样的类型。例如，可按表4来分配类型值。此外，元素‘StereoScopic_Barrier_Distance’表示栅栏式样的间隔。当该间隔值为0时，表示非固定比率。当该间隔值为1时，表示固定比率。此处，固定比率表示不论栅栏式样在显示设备上的位置如何，栅栏式样的间隔都是常量。而非固定比率表示栅栏式样的间隔取决于其在显示设备上的位置(例如，在中央或边缘部分)。
表4
[表4]
  值   内容
  00   条型
  01   锯齿型
  10   斜线型
参考图9和图10，采样表框216用作时间/空间映射的容器，该框包括采样描述框(stsd)217。该采样描述框217用于对轨道容器210中所定义的媒体流(ES)的描述进行定义，该框217包括用于指示立体可视采样项的框。该框可以称作mpss框218。该框并不限于此。所述采样描述框217除mpss框218以外，还可进一步包括mp4v框，用于指示可视采样项；以及mp4a框，用于指示音频采样项；等等。
所述mpss框218是用于公开有关组成立体图像编码数据的ES的详细信息的框容器。该mpss框218被概述如下。
mpss(stereoscopic Visual Sample Entry)
-Box Type：‘mpss’，‘mp4v’，‘mp4a’
-Container：Stereoscopic Table Box(‘stbl’)
-Mandatory：Yes
-Quantity：Exactly One
通过上述概述可知，mpss框218是不可缺少的部分。在stbl容器217中仅有一个mpss框218。所述stbl容器217除mpss框218以外，还可进一步包括另一种类型的媒体的采样项。表5示出了包含在stbl容器217中的采样项的示例。
表5
[表5]
  值   内容
  mpss   立体可视采样项
  mp4v   可视采样项
  mp4a   音频采样项
所述mpss框218包括有关构建编码帧的方法的信息、各种类型的衍生信息等。该mpss框218中所包括的信息可以根据构建立体图像编码数据的ES的数量和/或与ES相对应的编码帧的类型而变化。特别是，mpss框218可以包括有关编码帧类型的信息(构建方法)、有关左右图像帧率、构建编码帧的图像的尺寸、构建编码帧的区线数量的信息和/或构建编码帧的左右图像的视差信息。在下文中，将基于立体图像编码数据的ES的数量来详细描述mpss框218中所包括的信息内容。
首先，描述存在ES的情况。在一个ES的情况下，可采用图2至图4的方法之一用作构建编码帧的方法。在图2至图4中示出了五种构建编码帧的方法。mpss框218中所包括的信息必须能够支持上述五种类型。因此，mpss框218包括用于指示构成ES的编码帧的类型的信息。将帧的类型表示为‘StereoScopic_CompositionType’。可使用例如表6中的三个比特来分配类型值。表6示出了一个示例。
表6
[表6]
  值  内容
  000  左右图像在时间轴方向以帧为单元交替排列(参考图4)
  001  左右图像并排排列(参考图2左图)
  010  左右图像按从上到下的方式排列(参考图2右图)
  011  左右图像的垂直像素线交替排列(参考图3左图)
  100  左右图像的水平像素线交替排列(参考图3右图)
在编码帧是图2和图3中所示的帧22、24、32或34的情况下，mpss框218可进一步包括有关编码帧尺寸的信息。例如，在编码帧是图2左图所示的帧的情况下，mpss框218可以包括有关图像宽度的信息。在编码帧是图2右图所示的帧的情况下，mpss框218可以包括有关图像高度的信息。在编码帧是图3左图所示的帧的情况下，mpss框218可以包括有关以区为单元***的垂直线的宽度的信息。在编码帧是图3右图所示的帧的情况下，mpss框218可以包括有关以区为单元***的水平线的宽度的信息。
可将有关编码帧的信息表示为‘width_or_height’。例如，如果表6中所公开的StereoScopic_CompositionType的值为ob001，则‘width_or_height’的值可以表示图像宽度。如果StereoScopic_CompositionType的值为0b010，则‘width_or_height’的值可以表示以区为单元***的垂直线的高度。如果StereoScopic_CompositionType的值为0b100，则‘width_or_height’的值可以表示以区为单元***的水平线的高度。
此外，在编码帧是图2和图3所示的帧22、24、32或34的情况下，mpss框218可以包括有关线的数量的信息，该线构成组成编码帧的合成图像的奇偶线区。例如，在帧是图2中所示的帧22或24的情况下，mpss框218可以包括有关构成奇数线区的线的数量的信息，和/或有关构成偶数线区的线的数量的信息。
可将有关构成奇数线区的线的数量的信息表示为‘odd_field_count’。可将有关构成偶数线区的线的数量的信息表示为‘even_field_count’。例如，如果表6中所公开的StereoScopic_CompositionType的值为0b001或0b010，则‘odd_field_count’和‘even_field_count’的值都为0。如果StereoScopic_CompositionType的值为0b011或0b100时，‘odd_field_count’和‘even_field_count’的值则可以分别表示奇数线的数量和偶数线的数量。
所述mpss框218可以进一步包括有关奇数线区的帧率与偶数线区的帧率是否相同的信息，和有关在奇数和偶数线区的帧率不同的情况下，所使用的同步方法的信息。此处，在两个图像的帧率相互不同的情况下，有关同步方法的信息可以是有关参考图像的信息，该参考图像在显示立体图像时，将帧率相互匹配。也就是说，有关同步方法的信息可以是有关参考图像的信息。可将有关帧率和/或同步方法的信息表示为‘StereoScopic_ES_FrameSync’，并按照表7所示使用两个比特来进行分配。表7表示有一个ES的示例情况。
表7
[表7]
  值   内容
  00   左图像(奇数线区)的帧率与右图像(偶数线区)的帧率相同
  01   左图像的帧率与右图像的不同，且左图像(或奇数线区)为参考图像
  10   左图像的帧率与右图像的不同，且右图像(或偶数线区)为参考图像
所述mpss框218可以进一步包括有关视差存在的信息，也就是，奇数线和偶数线区之间的图像信息的差异(例如，Y/Cb/Cr值或R/G/B值)和在存在视差的情况下的视差值(有关视差的信息)。在此，视差值表示有关一个图像(或区)相对于另一个图像(或区)的差异值的信息。使用该视差信息来修正所显示的立体图像的三维效果。
可将包含在视差信息中的有关视差存在的信息表示为‘StereoScopic_ImageInformationDifference’，并按表8所示使用两个比特来进行分配。表8表示了有一个ES的示例情况。
表8
[表8]
  值   内容
  00   左右图像(奇数线区和偶数线区)间的视差为零
  01   视差不为零，且左图像(或奇数线区)为参考图像
  10   视差不为零，且右图像(或偶数线区)为参考图像
可将包含在视差信息中的视差值表示为图像信息的差异。有多种方法来表示图像信息。通常的方法是Y/Cb/Cr或R/G/B方法。因此，可以使用以下方法来表示视差值。
Y_or_R_difference：Y或R值的图像信息的差异
Cb_or_G_difference：Cb或G值的图像信息的差异
Cr_or_B_difference：Cr值或B值的图像信息的差异
下面将描述具有两个ES的情况。在两个ES的情况中，可例如按照图5或6所描述的方法之一来构造编码帧。在两个ES的情况中，moov容器200包括两个轨道容器，为轨道1和轨道2容器。每个轨道容器都可以包括相应ES的元数据信息。在下文中，将描述一个ES的情况与两个ES的情况之间的不同。
在有两个立体图像编码数据的ES的情况下，mpss框218包括有关构成相应ES的编码帧类型的信息。参考图5和图6，由于编码帧的类型可以包括左图像、右图像、参考图像和差分图像，因此，mpss框218包含有关帧类型的信息。将编码帧的类型表示为‘StereoScopic_ES_Type’。可按表9使用两个比特来分配类型值。表9示出了一个示例。
表9
[表9]
  值   内容
  00   左图像
  01   右图像
  10   参考图像
  11   差分图像
所述mpss框218可以进一步包括有关左图像的帧率是否与右图像的帧率相同的信息和有关在左右图像的帧率相互不同的情况下的同步方法的信息。只有在编码帧是图5所示的帧的情况下(由左右图像所构建的帧)，mpss框218才包括有关帧率的信息。在编码帧是图6所示的帧的情况下，mpss框218并不包括有关帧率的信息。可将有关帧率和/或同步方法的信息表示为‘StereoScopic_ES_FrameSync’，并按照表10所示使用两个比特来进行分配。在此，表10表示存在两个ES的示例情况。
表10
[表10]
  值   内容
  00   左图像的帧率与右图像的相同，或不需要有关帧率的信息
  01   左图像的帧率与右图像的不同，且相应ES的帧为参考图像
  10   左图像的帧率与右图像的不同，且相应ES的相对帧为参考图像
所述mpss框218可以进一步包括有关视差存在的信息，也就是，左右图像的图像信息之间的差异(例如，Y/Cb/Cr值或R/G/B值)和在存在视差的情况下的视差值(有关视差的信息)。只有在编码帧是图5所示的帧的情况下(由左右图像所构建的帧)，mpss框218才包括视差信息。在编码帧是图6所示的帧的情况下，mpss框218不包括视差信息。可将该视差信息表示为‘StereoScopic_ImageInformationDifference’，并按表11使用两个比特来进行分配。在此，表10表示存在两个ES的示例情况。
表11
[表11]
  值   内容
  00   左右图像间的视差为零，或不考虑
  01   视差不为零，且相应ES的帧为参考图像
  10   视差不为零，且相应ES的相对帧为参考图像
作为图像信息差异的视差值可以不包含在相应ES的mpss框218中，而是包含在与相应ES相对的另一个ES的mpss框中。在这种情况下，有关视差存在的信息和有关视差值的信息可以分布于两个ES中。
在用于表示编码帧类型的立体ES类型对应于图6所示的图像的情况下，将该编码帧划分为参考图像和差分图像。因此，在‘StereoScopic_ES_Type’指示参考图像或差分图像的情况下，帧率信息和视差信息对于ES而言并非是必须的。因此，在有两个ES情况下，如果编码帧是图6所示的图像，则mpss框218不包括所述信息。
下面，将描述有三个或更多ES的情况。在有三个或更多ES的情况中，编码帧如图7所示。图7的帧与图6的帧相同，其帧都是由参考图像和差分图像所构建的。因此，在三个或更多ES的情况下，mpss框218中所包括的信息与两个ES且编码帧的类型是图6所示的图像的情况相同。因此省略对该信息的描述。
在图16至图19中示出了包括前述信息的mpss框218的语法示例。虽然图16至图19中所示的语法应当以一个语法进行完全表示，但是由于本说明书空间的限制而将其分开表示。因此，图16中所示的语法与图17中所示的语法顺序相连。随后，图18和图19的语法在图17的语法之后。由于已经详细描述了这些语法，因此将省略对这些语法的描述。
接下来，参考图8，作为图像数据单元的mdat容器(mdat)300包括编码帧的图像编码信息。该mdat容器包括一个或多个立体图像数据容器(立体图像数据)310。每个立体图像数据容器310都对应于元数据单元200中所包括的每个轨道容器(轨道)210。因此，图像数据单元300包括与ES数量相对应的多个立体图像数据容器310。由于每个立体图像数据容器310中所包含的图像数据类型都与现有的图像数据相类似，因此，在下文中将省略对这些图像数据类型的描述。
虽然以特定方式表示了本发明，并结合其典型实施例进行了描述，但是本领域技术人员应当理解，可以对其形式和细节进行各种变化，而不偏离本发明如所附权利要求所定义的精神和范围。
工业实用性
本发明涉及立体图像编解码。

Claims (14)

1.一种用于构建立体图像编码数据文件的方法，其中所述文件包括：
文件类型声明单元，用于指示所述文件是否是立体图像；
元数据单元，包括一个或多个轨道容器，该轨道容器用于容纳立体图像编码数据的元数据；和
图像数据单元，包括一个或多个立体图像数据容器，该立体图像数据容器用于容纳立体图像编码数据的图像信息。
2.根据权利要求1所述的方法，其中所述文件类型声明单元包括第一信息和第二信息，所述第一信息用于指示所述文件是否与立体图像有关，所述第二信息用于指示构成所述文件的元素流(ES)的数量。
3.根据权利要求2所述的方法，其中所述轨道容器的数量和所述立体图像数据容器的数量与所述第二信息所指示的数量相同。
4.根据权利要求2所述的方法，其中，所述轨道容器包括：
处理器参考容器，用于指示相应ES的类型；和
媒体信息容器，用于容纳所述相应ES的元数据。
5.根据权利要求4所述的方法，其中所述媒体信息容器包括立体报头容器，该立体报头容器容纳指示编码帧尺寸的信息。
6.根据权利要求5所述的方法，其中所述立体报头容器包括容器，该容器用于容纳指示被用于获取立体图像的左照相机和右照相机之间的距离的信息。
7.根据权利要求5所述的方法，其中所述立体报头容器包括容器，该容器用于容纳指示被用于显示所述立体图像的栅栏式显示设备的栅栏式样的距离的信息，和/或指示所述栅栏式样的间隔的信息。
8.根据权利要求4所述的方法，其中所述媒体信息容器包括采样描述容器，该容器用于对所述相应ES的描述进行定义。
9.根据权利要求8所述的方法，其中所述采样描述容器包括ES类型信息，该信息用于指示构建编码帧的方法。
10.根据权利要求9所述的方法，
其中所述文件类型声明单元的第二信息指示ES的数量为1，
其中所述ES类型信息所指示的编码帧为第一类型至第五类型中的一种类型，
其中在第一类型中，左图像和右图像在时间轴方向以帧为单元交替排列，
其中在第二类型中，左图像和右图像并排排列，
其中在第三类型中，左图像和右图像按从上到下的方式排列，
其中在第四类型中，左图像和右图像的垂直像素线交替排列，和
其中在第五类型中，左图像和右图像的水平像素线交替排列。
11.根据权利要求10所述的方法，
其中所述ES类型信息指示所述第二类型至第五类型中的一种类型，且
其中所述采样描述容器进一步包括有关构成编码帧的左图像和右图像的帧率的信息，和/或视差信息。
12.根据权利要求11所述的方法，其中有关所述帧率的信息包括有关左图像的帧率是否与右图像的帧率相同的信息，以及在左图像和右图像的帧率相互不同的情况下，在显示立体图像时，用于将左图像和右图像的帧率相互匹配的信息。
13.根据权利要求11所述的方法，其中所述视差信息包括关于左图像和右图像之间是否存在视差的信息，以及当左图像和右图像之间存在视差时，用于修正该视差的信息。
14.根据权利要求9所述的方法，
其中所述文件类型声明单元的第二信息指示ES的数量为2，且
其中由所述ES类型信息所指示的编码帧为左图像、右图像、参考图像和差分图像之一。
CN2008800190526A 2007-06-07 2008-06-05 用于立体图像编码数据文件的格式 Expired - Fee Related CN101711483B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20070055620 2007-06-07
KR10-2007-0055620 2007-06-07
KR1020070075212A KR100962696B1 (ko) 2007-06-07 2007-07-26 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
KR10-2007-0075212 2007-07-26
PCT/KR2008/003145 WO2008150111A1 (en) 2007-06-07 2008-06-05 Format for encoded stereoscopic image data file

Publications (2)

Publication Number Publication Date
CN101711483A true CN101711483A (zh) 2010-05-19
CN101711483B CN101711483B (zh) 2012-05-30

Family

ID=40368088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800190526A Expired - Fee Related CN101711483B (zh) 2007-06-07 2008-06-05 用于立体图像编码数据文件的格式

Country Status (6)

Country Link
US (1) US20100171812A1 (zh)
EP (1) EP2174512A4 (zh)
JP (1) JP2010530160A (zh)
KR (2) KR100962696B1 (zh)
CN (1) CN101711483B (zh)
WO (1) WO2008150111A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340681A (zh) * 2010-07-26 2012-02-01 深圳市锐取软件技术有限公司 3d立体视频单文件双视频流录制方法
CN102404577A (zh) * 2011-12-01 2012-04-04 无锡太行电子技术有限公司 3d立体视频编码存储方法
CN102959952A (zh) * 2010-06-27 2013-03-06 Lg电子株式会社 数字接收器以及在数字接收器中处理字幕数据的方法
CN103026706A (zh) * 2010-07-21 2013-04-03 杜比实验室特许公司 用于多层帧兼容视频传输的***及方法
CN103069812A (zh) * 2010-06-09 2013-04-24 三星电子株式会社 提供基于分段的多媒体流服务的方法及装置、接收基于分段的多媒体流服务的方法及装置
CN103081480A (zh) * 2010-09-03 2013-05-01 索尼公司 图像处理装置和方法
CN103155559A (zh) * 2010-10-12 2013-06-12 杜比实验室特许公司 用于帧兼容视频传输的联合层优化
CN104904233A (zh) * 2012-11-29 2015-09-09 三星电子株式会社 用于封装国际标准化组织基媒体文件中的运动图像专家组媒体传输资源的方法和装置
CN111567057A (zh) * 2018-01-12 2020-08-21 索尼公司 信息处理装置和方法
US10869016B2 (en) 2018-04-12 2020-12-15 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding virtual reality content
US10939086B2 (en) 2018-01-17 2021-03-02 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding virtual reality content
US10944977B2 (en) 2018-04-03 2021-03-09 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding overlay compositions

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SI3920538T1 (sl) 2007-04-12 2023-08-31 Dolby International Ab Razpostavljanje pri kodiranju in dekodiranju videa
KR101388265B1 (ko) 2007-06-11 2014-04-22 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
US8400497B2 (en) * 2007-09-07 2013-03-19 Samsung Electronics Co., Ltd Method and apparatus for generating stereoscopic file
KR100959534B1 (ko) * 2007-10-08 2010-05-27 엘지전자 주식회사 Ｍａｆ 파일 포맷을 구성하는 방법 및 이를 이용한 비디오 신호의 디코딩 장치
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
KR101480186B1 (ko) * 2007-12-10 2015-01-07 삼성전자주식회사 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
EP2088789A3 (en) * 2008-02-05 2012-08-15 Samsung Electronics Co., Ltd. Apparatus and method for generating and displaying media files
KR101530713B1 (ko) * 2008-02-05 2015-06-23 삼성전자주식회사 영상 파일을 생성하고 표시하기 위한 장치 및 방법
DK2308239T3 (en) 2008-07-20 2017-08-07 Dolby Laboratories Licensing Corp COMPATIBLE Stereoscopic Video Delivery
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
KR101154051B1 (ko) * 2008-11-28 2012-06-08 한국전자통신연구원 다시점 영상 송수신 장치 및 그 방법
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
KR101176065B1 (ko) * 2008-12-22 2012-08-24 한국전자통신연구원 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법
KR101547151B1 (ko) * 2008-12-26 2015-08-25 삼성전자주식회사 영상 처리 방법 및 장치
RU2536388C2 (ru) * 2009-01-20 2014-12-20 Конинклейке Филипс Электроникс Н.В. Передача данных 3d изображения
RU2543954C2 (ru) 2009-01-26 2015-03-10 Томсон Лайсенсинг Упаковка кадров для кодирования видео
JP4985807B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
JP5562408B2 (ja) 2009-04-20 2014-07-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 指揮された補間およびデータの後処理
GB2470402A (en) * 2009-05-21 2010-11-24 British Broadcasting Corp Transmitting three-dimensional (3D) video via conventional monoscopic (2D) channels as a multiplexed, interleaved data stream
JP5185202B2 (ja) 2009-06-03 2013-04-17 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
US9215435B2 (en) 2009-06-24 2015-12-15 Dolby Laboratories Licensing Corp. Method for embedding subtitles and/or graphic overlays in a 3D or multi-view video data
JP5428697B2 (ja) * 2009-09-16 2014-02-26 ソニー株式会社 受信装置、受信方法、送信装置およびコンピュータプログラム
JP2011087194A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8817072B2 (en) * 2010-03-12 2014-08-26 Sony Corporation Disparity data transport and signaling
IT1399417B1 (it) * 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
WO2011132937A2 (en) 2010-04-20 2011-10-27 Samsung Electronics Co., Ltd. Interface apparatus and method for transmitting and receiving media data
CN103081478A (zh) 2010-06-24 2013-05-01 电子部品研究院 用于配置立体运动图片文件的方法
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
US9584793B2 (en) 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks
US9357199B2 (en) 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3459721B2 (ja) * 1995-05-22 2003-10-27 キヤノン株式会社 立体画像表示方法及びそれを用いた立体画像表示装置
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2003173625A (ja) * 2001-12-04 2003-06-20 Hitachi Ltd ファイル変換方法、ファイル変換装置、及びファイル生成装置
WO2003092303A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP2005026800A (ja) 2003-06-30 2005-01-27 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
ATE551837T1 (de) * 2003-12-02 2012-04-15 Panasonic Corp Verfahren und einrichtung zum verteilen von av- inhalt in einem dateiformat des download-typs
EP1727090A1 (en) * 2004-02-27 2006-11-29 Tdvision Corporation S.A. DE C.V. Method and system for digital decoding 3d stereoscopic video images
JP4589651B2 (ja) * 2004-04-26 2010-12-01 オリンパス株式会社 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法
JP2006013760A (ja) * 2004-06-24 2006-01-12 Matsushita Electric Ind Co Ltd 管理ファイルを生成する電子機器、３次元画像データを生成する電子機器、管理ファイル生成方法、３次元画像データ生成方法および管理ファイルのファイル構造
JP4529556B2 (ja) * 2004-06-24 2010-08-25 パナソニック株式会社 立体視用の画像ファイルを生成する電子機器、３次元画像データを生成する電子機器、画像ファイル生成方法、３次元画像データ生成方法および画像ファイルのファイル構造
KR100704664B1 (ko) * 2005-06-07 2007-04-09 삼성전자주식회사 프레임송출장치 및 프레임수신장치
JP4630150B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 立体画像記録装置及びプログラム
KR100704938B1 (ko) 2006-08-25 2007-04-09 주식회사 이시티 스테레오스코픽 영상의 부호화/복호화 방법 및 장치
KR100716142B1 (ko) 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103069812B (zh) * 2010-06-09 2015-12-16 三星电子株式会社 提供基于分段的多媒体流服务的方法及装置、接收基于分段的多媒体流服务的方法及装置
US9674502B2 (en) 2010-06-09 2017-06-06 Samsung Electronics Co., Ltd. Method for providing fragment-based multimedia streaming service and device for same, and method for receiving fragment-based multimedia streaming service and device for same
CN103069812A (zh) * 2010-06-09 2013-04-24 三星电子株式会社 提供基于分段的多媒体流服务的方法及装置、接收基于分段的多媒体流服务的方法及装置
CN102959952A (zh) * 2010-06-27 2013-03-06 Lg电子株式会社 数字接收器以及在数字接收器中处理字幕数据的方法
CN103026706A (zh) * 2010-07-21 2013-04-03 杜比实验室特许公司 用于多层帧兼容视频传输的***及方法
CN103026706B (zh) * 2010-07-21 2016-04-20 杜比实验室特许公司 用于多层帧兼容视频传输的***及方法
CN102340681A (zh) * 2010-07-26 2012-02-01 深圳市锐取软件技术有限公司 3d立体视频单文件双视频流录制方法
CN103081480A (zh) * 2010-09-03 2013-05-01 索尼公司 图像处理装置和方法
CN103155559B (zh) * 2010-10-12 2016-01-06 杜比实验室特许公司 用于帧兼容视频传输的联合层优化
CN103155559A (zh) * 2010-10-12 2013-06-12 杜比实验室特许公司 用于帧兼容视频传输的联合层优化
CN102404577A (zh) * 2011-12-01 2012-04-04 无锡太行电子技术有限公司 3d立体视频编码存储方法
CN104904233A (zh) * 2012-11-29 2015-09-09 三星电子株式会社 用于封装国际标准化组织基媒体文件中的运动图像专家组媒体传输资源的方法和装置
CN104904233B (zh) * 2012-11-29 2019-02-01 三星电子株式会社 用于封装国际标准化组织基媒体文件中的运动图像专家组媒体传输资源的方法和装置
US11716370B2 (en) 2012-11-29 2023-08-01 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of Motion Picture Experts Group Media Transport assets in International Organization for Standardization Base Media Files
US11290510B2 (en) 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
CN111567057A (zh) * 2018-01-12 2020-08-21 索尼公司 信息处理装置和方法
US11729366B2 (en) 2018-01-12 2023-08-15 Sony Group Corporation Information processing apparatus and method
TWI734951B (zh) * 2018-01-17 2021-08-01 新加坡商聯發科技（新加坡）私人有限公司 用於編碼和解碼虛擬實境內容的方法和裝置
US10939086B2 (en) 2018-01-17 2021-03-02 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding virtual reality content
US10944977B2 (en) 2018-04-03 2021-03-09 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding overlay compositions
US10869016B2 (en) 2018-04-12 2020-12-15 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding virtual reality content

Also Published As

Publication number Publication date
EP2174512A4 (en) 2013-05-01
KR20090127246A (ko) 2009-12-10
KR101288932B1 (ko) 2013-07-22
JP2010530160A (ja) 2010-09-02
KR20080107955A (ko) 2008-12-11
EP2174512A1 (en) 2010-04-14
WO2008150111A1 (en) 2008-12-11
KR100962696B1 (ko) 2010-06-11
US20100171812A1 (en) 2010-07-08
CN101711483B (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
CN101711483B (zh) 用于立体图像编码数据文件的格式
CN102427545B (zh) 将三维图像存储到记录介质中的方法
CN101868970B (zh) 记录三维图像数据的方法
JP5705250B2 (ja) ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置
US9571814B2 (en) Method and apparatus for generating stereoscopic file
WO2008054100A1 (en) Method and apparatus for decoding metadata used for playing stereoscopic contents
US20090148070A1 (en) System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
CN101971639B (zh) 用于生成和显示媒体文件的装置和方法
CN101562036A (zh) 用于生成和播放用于幻灯片的图像文件的***和方法
CN103202021A (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
KR20080108944A (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR101390810B1 (ko) 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치
KR100959534B1 (ko) Ｍａｆ 파일 포맷을 구성하는 방법 및 이를 이용한 비디오 신호의 디코딩 장치
KR20100092851A (ko) 3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Free format text: FORMER OWNER: ACADEMIC COOPERATION FOUNDATION OF KYUNGHEE UNIVERSITY

Effective date: 20130529

Owner name: TLI INC.

Free format text: FORMER OWNER: ECT INC.

Effective date: 20130529

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130529

Address after: Gyeonggi Do, South Korea

Patentee after: Tli Inc.

Address before: Seoul, South Kerean

Patentee before: Enhanced Chip Technology Inc.

Patentee before: Industry Academic Cooperation Foundation of Kyunghee University

Effective date of registration: 20130529

Address after: Gyeonggi Do, South Korea

Patentee after: Tli Inc.

Address before: Seoul, South Kerean

Patentee before: Enhanced Chip Technology Inc.

Patentee before: Industry Academic Cooperation Foundation of Kyunghee University

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20190605