CN101513077A - 用于经编码的立体图像/视频数据的文件格式 - Google Patents

用于经编码的立体图像/视频数据的文件格式 Download PDF

Info

Publication number
CN101513077A
CN101513077A CNA2007800327454A CN200780032745A CN101513077A CN 101513077 A CN101513077 A CN 101513077A CN A2007800327454 A CNA2007800327454 A CN A2007800327454A CN 200780032745 A CN200780032745 A CN 200780032745A CN 101513077 A CN101513077 A CN 101513077A
Authority
CN
China
Prior art keywords
information
image
header
camera
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800327454A
Other languages
English (en)
Inventor
千胜文
朴光勋
徐德荣
金奎宪
吴镕协
丁泰燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Kyung Hee University
Enhanced Chip Technology Inc
Original Assignee
Industry Academic Cooperation Foundation of Kyung Hee University
Enhanced Chip Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Kyung Hee University, Enhanced Chip Technology Inc filed Critical Industry Academic Cooperation Foundation of Kyung Hee University
Publication of CN101513077A publication Critical patent/CN101513077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供了一种用于经编码的图像数据的文件格式，该经编码的图像数据可通过用于显示立体图像的显示设备而被重现为逼真的立体图像。该用于经编码的图像数据的文件格式包括图像数据单元和报头单元，所述图像数据单元包含经编码的立体图像的图像信息，而所述报头单元包含用于解码和重现被包含在图像数据单元中的经编码的立体图像的图像信息的元数据。报头单元可以包括相机报头子单元、编解码器报头子单元和显示报头子单元中的至少一者，其中所述相机报头子单元包含关于用于获取立体图像的左侧相机和右侧相机的信息，所述编解码器报头子单元包含关于立体图像的编码的信息，而所述显示报头子单元包含关于用于接收和重现经编码的立体图像数据的栅格型显示设备的信息。

Description

用于经编码的立体图像/视频数据的文件格式
技术领域
本发明涉及图像编解码器，并且特别地，涉及用于经编码的立体图像或视频数据的文件格式。
背景技术
双眼立体图像(在下文中被称为立体图像)包括通过使用左侧相机和右侧相机对对象进行拍摄而获取的一对左侧图像和右侧图像，所述左侧相机和右侧相机彼此之间相距一段预定的距离。由于所述左侧图像和右侧图像是通过对同一对象从不同的拍摄角度进行拍摄而获取的，它们中的图像信息可能会略有不同，这取决于对象的表面性质、光源位置等等。从同一对象获取的左侧图像与右侧图像之间的图像信息的差别被称为视差。
立体图像指的是通过使用左侧相机和右侧相机而分别获取的图像，但还广义地包括通过对平面图像应用预定的转换算法而获取的三维图像。立体图像通常用于给将被显示的对象带来三维效果。
有多种通过使用立体图像给由诸如液晶显示(LCD)装置和等离子显示面板(PDP)装置的平面显示设备进行重现(reproduce)的图像带来三维效果的方法。其中一种方法是使用栅格(barrier)型显示设备。栅格型显示设备由于其能够显示平面图像和立体图像两者而成为引起广泛关注的下一代显示设备。
拼接(merge)组合图像指的是以图线为单位对一对左侧图像和右侧图像的像素进行交替编排而构成的图像。例如，如图1所示，拼接组合图像12可以通过提取并交替编排左侧图像10a的奇数垂直图线像素和右侧图像10b的偶数垂直图线像素而构成。所述拼接组合图像可以通过从左侧图像10a提取偶数垂直图线像素以及从右侧图像10b提取奇数垂直图线像素而构成，或通过从左侧图像10a和右侧图像10b提取水平图线像素而非垂直图线像素来实现。
图2是描绘栅格型显示设备的示意图。如图2所示，在所述栅格型显示设备中，由偏振薄膜或偏振玻璃构成的栅格偏振板被附加或提供到显示设备20的前表面上。线型栅格图案22形成于栅格偏振板上。这类栅格图案能够被简单地划分为垂直图线类和水平图线类。所述栅格图案还可被划分为直线形、锯齿形、对角线形等等，这取决于所述垂直图线或水平图线的细微形状。所述栅格图案的细微图线形状的不同会引起将被显示的图像之间三维效果的差别。
当拼接组合图像由这种栅格型显示设备20来显示时，栅格偏振板22使得左眼24a只能看到左侧图像的像素图线，并使得右眼24b看到右侧图像的像素图线。由此，通过使用所述栅格型显示设备，观看者可以在不使用任何辅助工具的情况下用肉眼看到具有三维效果的图像。近年来，栅格型显示设备被广泛地应用于使用3D电视或诸如移动电话、PMP和DMB接收机的移动电子装置来显示三维图像。
需要有一种能够有效地对立体图像进行编码的方法以使用诸如栅格型显示设备的平面显示设备来显示三维图像。这种方法的一个实例是使用MPEG-2格式的多视角配置(multiview profile)(MVP)。在这种方法中，左侧图像和右侧图像中的一者、例如左侧图像，通过使用对平面图像进行编码的相同方法作为基本层被编码，并且只对另一图像、例如右侧图像中与左侧图像的关联信息进行编码，其中所述右侧图像被用作增强层。然后，平面显示设备从接收到的比特流中解码所述左侧图像和右侧图像，并通过使用经解码的左侧图像和右侧图像来创建及显示拼接合并图像，或可选地显示左侧图像和右侧图像。
已知另一种用于对立体图像进行编码的方法是以帧为单位而不是使用左侧图像和右侧图像来对拼接合并图像进行编码。该方法与上面提到的方法的不同之处在于编码器提取和创建拼接组合图像，并通过使用任何已知的编码方法来以帧为单位对所创建的拼接组合图像进行编码。已知的编码方法的实例可以包括按照JPEG格式对静止图像进行编码的方法以及按照MPEG-1、MPEG-2、MPEG-4、H.264/AVC和VC-1格式对移动图像进行编码的方法。
通过已知的对静止图像或移动图像进行编码的方法来进行编码的图像数据被传送到支持这种编码方法的显示设备，并由该显示设备进行重现，或者被存储在存储介质中并随后由显示设备重现。在这种情况下，可能会需要在图像数据被传送到显示设备之前对由左侧相机和右侧相机获取的图像执行修正工作或编辑工作。例如，涉及安全性的数据、涉及版权的数据等等可以被***到所述图像数据中。可替换地，通过使用该立体图像，可能会产生特定的内容，或者由于考虑到显示设备的特性，可能会需要对所获取的立体图像进行必要的修正操作。
一般来讲，显示设备为了解码并重现经编码的图像数据，还需要用于指示解码和显示经编码的图像数据所必需的各种附加信息的数据以及用于指示诸如亮度和色度等图像信息的数据。由此，传送到显示设备的数据包括各种附件数据和图像数据。
图3是描述将要传送到显示设备的常规的经编码的图像数据的文件格式的示意图。参见图3，常规的经编码的图像数据的文件格式30大致包括基本报头子单元32和图像数据单元34。这里，所述图像数据单元34可以包含诸如亮度和色度的纹理(texture)信息、作为关于背景或对象的信息的形状信息、动作信息以及各种在编码标准中定义的图像信息。基本报头子单元32可以包含不同于被包含在图像数据单元34中的各种图像信息的元数据，该元数据是显示设备用以对被包含在图像数据单元34中的图像信息进行解码和重现所需的信息。
使用图3中所示的经编码的图像数据的已知文件格式32在不经过改变的情况下对立体图像数据进行重现是有很大的限制性的。这是因为已知数据结构通常用于显示平面图像，而且包含在基本报头子单元32中并被传送到显示设备的信息不能包括对三维图像进行解码及重现所需的所有信息，其中所述三维图像是立体图像。由此，需要有一种新的文件格式，该文件格式可以包含所有对立体图像数据进行解码和重现所需的信息。
发明内容
与平面图像情况不同的是，获取立体图像通常需要使用两个相机来完成。左侧图像和右侧图像具有在亮度和色度上不同的图像信息，这是由在获取立体图像时刻光源的不同位置所决定的。诸如栅格型显示设备的特殊显示设备被用于重现三维图像。然而，由于立体图像的特性和/或显示设备的特性，通过使用经编码的图像数据的常规文件格式将重现逼真三维图像所需的所有信息传送到解码器并不容易。
因此，本发明的技术目的是提供一种经编码的立体图像或视频数据的文件格式，该文件格式使得能够对具有所述特性的立体图像进行有效的编码，由此使得能够生成适于从所获取的立体图像重现三维图像的内容，并使得能够向立体图像的显示设备传送重现逼真三维图像所需的信息。
为了完成上述技术目的，根据本发明的一个方面，提供了一种用于经编码的立体图像的文件格式，该文件格式包括：图像数据单元，包含所述经编码的立体图像的图像信息；以及报头单元，包含用以对被包含在所述图像数据单元内的经编码的立体图像的图像信息进行解码和重现的元数据。
在上述方面中，所述报头单元可以包括下列中的至少一者：相机报头子单元，该相机报头子单元包含关于用以获取所述立体图像的左侧相机和右侧相机的信息；编解码器报头子单元，该编解码器报头子单元包含关于对所述立体图像进行编码的信息；以及显示报头子单元，该显示报头子单元包含关于用以接收和重现所述经编码的立体图像的数据的栅格型显示设备的信息。
在这种情况中，所述相机报头子单元可以包含构成所述立体图像的左侧图像和右侧图像之间的视差信息、关于所述左侧相机与右侧相机之间的距离的信息、关于分别由所述左侧相机和右侧相机捕捉的左侧图像和右侧图像的帧速率的信息、以及关于用以获取所述立体图像的左侧相机和右侧相机的类型的信息中的一者或多者。
所述编解码器报头子单元可以包含用于指示被包含在所述图像数据单元中的图像信息是否与立体图像或不同类型的图像相对应的信息、关于构造被包含在所述图像数据单元中的图像信息的方法的信息、以及关于用以获取被包含在所述图像数据单元中的图像信息的编码方法的信息中的一者或多者。
所述显示报头子单元可以包含下列中的一者或两者：用于指示所述栅格型显示设备的栅格图案的类型的信息，其中被包含在所述图像数据单元中的图像信息被优化；以及用于指示所述栅格型显示设备的栅格图案的栅距的信息，其中被包含在所述图像数据单元中的图像信息被优化。
将被传送到显示设备的经编码的图像数据的常规文件格式通常关注的是平面图像而并不考虑立体图像的性质。由此，常规文件格式不能包含显示设备重现逼真立体图像所需的所有信息。根据本发明，由于提出了适用于能够重现立体图像或既能重现平面图像又能重现立体图像的显示设备的编码立体图像数据的新文件格式，因此用于重现立体图像的显示设备可以重现逼真的三维图像。
特别地，根据本发明，所述文件格式中可以包含关于栅格型显示设备的栅格图案的信息，并且显示设备通过使用关于栅格图案的信息能够重现针对所述栅格图像而优化的三维图像。
附图说明
图1是描述从左侧图像的奇数垂直图线和右侧图像的偶数垂直图线来创建拼接合并图像的方法的示意图；
图2是描述通过使用栅格型显示设备来显示立体图像的原理的示意图；
图3是描述经编码图像数据的常规文件格式的框图；
图4是描述根据本发明的一种实施方式的经编码的立体图像数据的文件格式的框图；
图5是描述图4中所示的文件格式中的相机报头子单元的详细配置的框图；
图6是描述图4中所示的文件格式中的编解码器报头子单元的详细配置的框图；
图7是描述图4中所示的文件格式中的显示报头子单元的详细配置的框图。
具体实施方式
在下文中，本发明的示例性实施方式将会参考附图进行具体描述。随后将要描述的实施方式只意在解释本发明的技术本质，由此本发明的技术本质不应被限于这些实施方式。
图4是描述根据本发明的一种实施方式的经编码的立体图像数据的文件格式的框图。
参见图4，根据该实施方式的文件格式100除了包括基本报头子单元110和图像数据单元150之外，还包括相机报头子单元120、编解码器报头子单元130和显示报头子单元140中的至少一者。根据该实施方式的文件格式100在不修改的情况下使用按照JPEG、MPEG、H.264/AVC格式进行编码的图像(平面图像或按照诸如多视角配置的已知编码协议进行编码的多视角图像)的数据的常规文件格式(基本报头子单元110和图像数据单元150)，并且还包括包含对立体图像进行解码和/或重现所需的附加信息的报头单元(相机报头子单元120、编解码器报头子单元130和/或显示报头子单元140)。
在经编码的图像的数据的常规文件格式中，不同于包含像素图像信息等等的图像数据单元150的部分可被认为是报头单元A。由此，在根据这种实施方式的文件格式100中，相机报头子单元120、编解码器报头子单元130以及显示报头子单元140同基本报头子单元110一起组成一个报头单元A。然而，报头单元110、120、130和140是为了解释方便的目的而任意划分的。
在这种实施方式中使用的报头单元的名称也是为了解释方便的目的而任意使用的。根据本实施方式，在报头子单元120、130和140中包含什么数据(随后会参照附图4、5、6和7作详细说明)是非常重要的，并且其中的具体名称可以根据包含在报头子单元中的信息的性质或其它相关法则而被适当的修改。
根据本实施方式的文件格式100中的报头单元A除了包括基本报头子单元110之外还包括相机报头子单元120、编解码器报头子单元130以及显示报头子单元140。例如，在一些实例中，报头单元A可以包括基本报头子单元120和编解码器报头子单元130，可以包括基本报头子单元110、相机报头子单元120和编解码器报头子单元130，或者可以包括基本报头子单元110、相机报头子单元120、编解码器报头子单元130以及显示报头子单元140。所述报头单元可以包括不同的组合。
在图4中，相机报头子单元120、编解码器报头子单元130和/或显示报头子单元140与基本报头子单元110被相互区分并以预定的顺序被安排，这同样只是为了解释方便的目的。由此，在一些实例中，包含在报头单元A中的组成元素的安排顺序可以被改变。在一些情况下，报头子单元110、120、130和140的信息可以连同其它报头子单元的信息一起被包含在相同的报头子单元中。
现在将参考附图4-7对包含在根据本实施方式的经编码的立体图像的数据的文件格式100中的信息进行具体描述。这里，图5、6和7是示出了如图4中所示的文件格式100中的相机报头子单元120、编解码器报头子单元130和显示报头子单元140的具体配置的框图。
首先，与经编码的图像的数据的常规文件格式(例如，参见图3)中的基本报头子单元和图像数据单元中包含的信息相似或基本相同的信息被包含在基本报头子单元110和图像数据单元150中。在对平面图像进行编码的过程中得到的各种元数据或在对根据多视角配置的多视角图像进行编码的过程中得到的各种元数据可被包含在基本报头子单元110中。然而，正如随后将要描述的一样，用于指示包含在图像数据单元150中的图像信息是否与常规平面图像或立体图像相对应的信息还可以被包含在基本报头子单元110中。
关于以立体图像的像素或块为单位的亮度、色度和形状的信息以及动作信息被包含在图像数据单元150中。包含在图像数据单元150中的信息可以是通过使用预定的编码方法对平面图像进行编码而获取的图像信息、通过使用预定的编码方法对拼接合并图像进行编码而获取的图像信息、或使用已知的多视角配置进行编码的图像信息。
关于用于获取立体图像的左侧相机和右侧相机的信息被包含在相机报头子单元120中。例如，图6a中示出的五种信息类型(块Ca1到块Ca5，具体细节将在随后介绍)可以都被包含在相机报头子单元120中，或者由于所述信息类型是关于左侧相机和右侧相机的独立信息，由此五种信息类型中的一部分可以被包含在报头子单元120中。
用于指示左侧图像与右侧图像之间的图像信息的差别的信息，比如亮度(Y)的差别、色度Cb和Cr的差别或RGB值的差别，也就是视差信息，被包含在块Ca1中。一般来讲，当立体图像是通过使用互相之间相距预定的距离的左侧相机和右侧相机从同一对象获取的时，在左侧图像与右侧图像之间可以存在图像信息的差别，这取决于照明器具(光源)的位置。例如，左侧和右侧图像中的一个可能会比另一个明亮或灰暗。关于图像信息的差别的信息被包含在块Ca1中。
优选地，立体图像的图像信息中的差别应当被考虑用于提高编码效率(压缩效率)或重现逼真的三维图像。这是由于当图像信息中的差别并未体现出来时，整个数据量会增加，并且立体图像的三维效果可能会被破坏。
在一种对左侧图像与右侧图像之间的图像信息中的差别进行编码的方法中，所述差别作为包含在图像数据单元150中的图像信息而被编码。例如，当左侧图像和右侧图像根据多视角配置而被编码时，视差信息作为两个图像之间的关联信息而被包含在图像数据单元150中，并以块、画面或帧为单位被编码。然而，这种编码方法会增加图像数据单元150中的数据量以减少数据压缩率。另一方面，由于用于对视差信息进行编码的单元还在已知的编码器中提供，所述编码器的配置可以是复杂的。应用这种编码方法来对拼接合并图像进行编码将是非常复杂的。解码器具有的刚度(stiffness)使得将不考虑显示设备分辨率或性能而总是考虑视差信息而对立体图像进行重现。
由此，在这种实施方式中，视差信息被包含在相机报头子单元120的块Ca1中，并作为报头信息被传送。由于在通常的静止图像或运动图像中照明器具并不会随着时间的流逝而快速改变，因此能够以预定时间间隔通过在相机报头子单元120中包含视差信息来尽可能地增强编码效率。根据本实施方式，由于可以在考虑到显示设备的分辨率或性能的情况下使用解码器对画面进行修正，在具有不同性质的显示设备中可使用相同的解码器。
可以以多种方式来表述所述视差信息。例如，在存在亮度(或色度)视差的情况中，左侧图像与右侧图像之间的平均亮度值的相对差别(例如，右侧图像的平均亮度值相对于左侧图像的平均亮度值)或绝对差别(例如，左侧图像与右侧图像之间的平均亮度差别)可以被表述为视差信息。左侧图像与右侧图像之间的亮度差别能够以预定的时间间隔进行测量，并可以周期性地被包含在相机报头子单元的块Ca1中。
关于左侧相机与右侧相机之间的距离的信息被包含在块Ca2中。左侧相机与右侧相机之间的距离可以是左侧相机的中心与右侧相机的中心之间的距离，但并不仅限于此。左侧相机与右侧相机之间的距离通常是固定的。然而，这取决于用于获取立体图像的图像采集装置的性质，所述距离也可以周期性地或任意地增加或减少。在这种情况下，所述距离信息可以周期性地或自由地被包含在块Ca2中。
关于左侧相机与右侧相机之间的距离的信息被包含在块Ca2中使得立体图像的中点在具有解码器的显示设备对立体图像进行重现的过程中能够被识别。所述距离信息提供相机与对象之间的距离，从而为重现将被显示的立体图像的逼真三维效果做出贡献。例如，所述距离信息可以向观看立体图像的观看者提供用于观看立体图像或对象与相机之间的实际距离信息的最适宜的距离信息。
关于通过使用左侧相机和右侧相机进行捕捉的图像的每秒帧数(帧/秒，fps)的信息、即关于帧速率的信息被包含在块Ca3中。关于帧速率的信息可以是用于指示左侧相机和右侧相机的帧速率的信息或用于指示与特定基准(比如每秒30帧)之间的差别的信息(例如，10表示当左侧相机每秒捕捉10帧时的帧速率，或20，它是与基准值之间的差别)。可替换地，在一些实例中，左侧相机与右侧相机之间的帧速率的差别值(例如20，它是当假设左侧相机的每秒帧数是30而右侧相机的每秒帧数是10时的差别)可以被包含在块Ca3中。关于帧速率的信息可以周期性地被包含在块Ca3中，或可以根据需要被添加到块Ca3中。
被更广泛使用的数字相机包括诸如CMOS图像传感器或电荷耦合装置(CCD)的图像采集装置。数字相机通常被配置为以每秒30帧的速度捕捉图像。然而，当照明器具比较暗时，数字相机可以以每秒15帧或每秒10帧或更小的速度来捕捉较少数目的图像。特别地，当照明工具(光源)偏离到一侧时，比如当偏离到左侧时，左侧相机具有高照明度并从而以每秒30帧来创建图像。然而，右侧相机具有低照明度并从而以每秒15帧来创建图像。
在这种情况中，由左侧相机和右侧相机所捕捉的立体图像的每秒帧数互不相同。当立体图像由显示设备在不考虑这种差别的情况下进行重现时，很难重现自然且逼真的三维图像。由此，编码器可以在修正每秒帧数之后执行编码过程，但在这种情况下所要传输的数据量会增长。可替换地，解码器需要修正每秒帧数的差别来重新构造立体图像并通过使用显示设备来重现立体图像。由此，关于相机的每秒帧数的信息需要被传输到具有解码器的显示设备。
以包含在Ca3中的关于每秒帧数的信息为基础的在显示设备中修正立体图像的方法可以使用多种方式嵌入，而且本发明不只限于该方法。例如，当左侧相机的每秒帧数是30而右侧相机的每秒帧数是15时，可以通过重复右侧图像的前一帧或通过使用前一图像和随后图像来改写(interpolate)右侧图像的帧来重现不足的右侧图像。
关于左侧图像与右侧图像之间的同步的信息被包含在块Ca4中。例如，如上所述，当左侧相机和右侧相机的每秒帧数互不相同时，需要左侧图像和右侧图像的同步来重现准确的立体图像。当左侧图像和右侧图像的数据量互不相同时，左侧图像与右侧图像之间的编码次数(times)会有所不同。当存储在存储介质中的内容随后在显示设备中被使用时，需要关于左侧图像与右侧图像之间的同步的信息。由此，包含在块Ca4中的关于左侧图像与右侧图像之间的同步的信息通过在显示设备中修正左侧图像与右侧图像之间的暂时(temporal)错误来为重现精确的立体图像做出贡献。
关于用于捕捉立体图像的左侧相机和右侧相机的类型的信息被包含在块Ca5中。关于相机类型的信息可以是用于指示相机是完全高清(Full HD)相机、HD-级相机、或是SD-级相机的关于相机的图像质量的信息，和/或关于诸如CCD图像传感器或CMOS图像传感器的图像采集单元的信息，但并不局限于此。关于左侧相机和右侧相机的类型的信息对显示设备中的立体图像重现过程中的增强图像质量的精确度或增强三维效果有所贡献。
根据本发明的一种实施方式的经编码的立体图像的数据的文件格式100中的编解码器报头子单元130将参考图4和图6进行描述。
关于立体图像的编码的信息被包含在文件格式100的编解码器报头子单元130中。例如，图6中示出的三种信息类型(块Co1到Co3，细节将在下文中描述)都被包含在编解码器报头子单元130中，或者由于所述信息类型是关于立体图像的编码的独立信息，由此所述三种信息类型中的一部分将被包含在编解码器报头子单元130中。
关于将被显示的图像类型的信息将被包含在块Co1中。例如，包含在块Co1中的信息可以是指示包含在图像数据单元150中的图像信息是用于显示平面图像或立体图像或用于显示平面图像或立体图像两者的信息。
块Co1中的信息用以允许显示设备识别包含在图像数据单元150中的图像信息的类型。优选地，显示设备尽可能快地判断出接收到的图像信息或将被重现的图像信息是平面图像还是立体图像。在这种情况下，块Co1的信息可以被尽可能地置于根据本实施方式的文件格式100或数据结构的前端。例如，在一些实例中，包含在块Co1中的信息可以被包含在基本报头子单元110中。
关于构造将要被显示的图像的方法的信息被包含在块Co2中。例如，当包含在块Co2中的信息指示包含在图像数据单元150中的图像信息是立体图像时，用于指示如何构造立体图像的信息可被包含在块Co2中。如上所述，可以使用诸如使用已知编码方法对拼接合并图像进行编码和使用多视角配置对左侧图像和右侧图像两者进行编码的各种方法来对立体图像进行编码。所述信息可被包含在块Co2中。当拼接合并图像由栅格型显示设备显示时，可以使用多种方法(例如，一种左侧图像和右侧图像的垂直图线交替编排的类型或一种水平图线交替编排的类型)来构造所述拼接合并图像，并且所述信息可以同样被包含在块Co2中。
假设由显示设备接收的内容是通过对整个左侧图像和右侧图像的偶数垂直图线进行拼接而获取的立体图像。在这种情况下，可以在显示设备重现左侧图像时观看平面图像并且在显示设备重现接收到的整个内容时观看立体图像。也就是说，栅格型显示设备既可以显示平面图像又可以显示立体图像。在这种情况下，关于构造平面图像和立体图像的方法的信息应当被包含在接收到的信息中。由此，关于构造平面图像和立体图像的方法的信息可以被包含在块Co2中。
关于用以对立体图像进行编码的方法的信息、例如用于指示一类编解码器的信息被包含在块Co3中。此处，立体图像的编码可能意味着对左侧图像和右侧图像进行单独编码或对拼接合并图像进行编码。可以使用诸如JPEG、MPEG-1、MPEG-2、MPEG-4、H.264/AVC和VC-1的各种编解码方法来对立体图像进行编码，并且所述信息被包含在块Co3中。块Co3能被用以指示编解码方法，该方法用于在支持多种编解码方法的解码器中重新构造立体图像或确定接收到的图像数据是否是可被只支持特定编解码方法的解码器解码的数据。由此，块Co3的信息可以被尽可能地置于根据本实施方式的文件格式100或数据结构的前端，这与块Co1中的信息类似。
根据本发明的一种实施方式的经编码的立体图像的数据的文件格式100中的显示报头子单元140将参考图4和图7进行描述。
关于用于显示立体图像的显示设备的信息被包含在根据本实施方式的文件格式100中的显示报头子单元140中。例如，图7中示出的两种信息类型(块D1和块D2，细节将在随后描述)都包含在显示报头子单元140中，或者由于所述信息类型是关于经编码的立体图像的性质的独立信息，由此两种信息类型中可以只有一种信息类型被包含在显示报头子单元140中。显示报头子单元140可以包含关于栅格型显示设备的栅格图案的信息。
关于栅格图案的类型的信息被包含在块D1中，针对栅格图案的类型，立体图像被优化。如上所述，栅格图案的类型可被归类为“1”形、锯齿形以及对角线形，并且该信息被包含在块D1中。关于用于优化立体图像的栅格图案的栅距(pitch)的信息被包含在块D2中。栅格图案的栅距可以在整个屏幕上是常量，或者屏幕边缘处的栅格图案的栅距可以大于或小于屏幕中心处的栅格图案的栅距。该信息被包含在块D2中。
一般来讲，在使用通过左侧图像和右侧图像获取的立体图像来加工内容的过程中，会执行考虑到显示设备的栅格图案的处理或修正图像信息的过程，也就是针对加工内容的调整过程。这意在通过考虑各种存在的栅格图案的类型和栅格图案的栅距来优化针对特定栅格图案的相应内容。当所述内容的栅格图案不同于显示设备的栅格图案时，仍然可能观看立体图像。然而，当栅格图案不互相匹配时，立体图像的三维效果或动态效果将会被破坏。由此，包含在块D1和/或块D2中的信息指示用于优化由显示设备接收到的内容(也就是包含在图像数据单元150中的图像信息)的栅格图案。当显示设备的栅格图案不同于由包含在块D1和/或块D2中的信息指示的栅格图案时，包含在图像数据单元150中的图像信息可以被修正和显示，由此可适用于显示设备的栅格图案。
虽然本发明的实施方式已被具体描述，但对于本领域技术人员而言，这些实施方式显然是对本发明的一些例证，本发明的技术本质可以以多种变形来体现。
本发明有利于在用于编码和/或解码立体图像的装置、具有这种装置的显示设备以及诸如移动电话的移动装置的整个工业领域中使用。

Claims (14)

1.一种用于经编码的立体图像的数据的文件格式，该文件格式包括：
图像数据单元，该图像数据单元包含所述经编码的立体图像的图像信息；以及
报头单元，该报头单元包含用以对被包含在所述图像数据单元内的经编码的立体图像的图像信息进行解码和重现的元数据。
2.根据权利要求1所述的文件格式，其中所述报头单元包括相机报头子单元，该相机报头子单元包含关于用以获取所述立体图像的左侧相机和右侧相机的信息。
3.根据权利要求2所述的文件格式，其中所述相机报头子单元包含左侧图像和右侧图像之间的视差信息，所述左侧图像和右侧图像用于构成所述立体图像。
4.根据权利要求2所述的文件格式，其中所述相机报头子单元包含关于所述左侧相机与右侧相机之间的距离的信息。
5.根据权利要求2所述的文件格式，其中所述相机报头子单元包含关于分别由所述左侧相机和右侧相机捕捉的左侧图像和右侧图像的帧速率的信息。
6.根据权利要求2所述的文件格式，其中所述相机报头子单元包含关于左侧图像和右侧图像之间的同步的信息，所述左侧图像和右侧图像用于构成所述立体图像。
7.根据权利要求2所述的文件格式，其中所述相机报头子单元包含关于左侧相机和右侧相机的种类的信息，所述左侧相机和右侧相机用于获取所述立体图像。
8.根据权利要求1所述的文件格式，其中所述报头单元包括编解码器报头子单元，该编解码器报头子单元包含关于对所述立体图像进行编码的信息。
9.根据权利要求8所述的文件格式，其中所述编解码器报头子单元包含用于指示被包含在所述图像数据单元中的图像信息是否与立体图像或不同类型的图像相对应的信息。
10.根据权利要求8所述的文件格式，其中所述编解码器报头子单元包含关于构造被包含在所述图像数据单元中的图像信息的方法的信息。
11.根据权利要求8所述的文件格式，其中所述编解码器报头子单元包含关于用以获取被包含在所述图像数据单元中的图像信息的编码方法的信息。
12.根据权利要求1所述的文件格式，其中所述报头单元包括显示报头子单元，该显示报头子单元包含关于用以接收和重现所述经编码的立体图像的数据的栅格型显示设备的信息。
13.根据权利要求12所述的文件格式，其中所述显示报头子单元包含用于指示所述栅格型显示设备的栅格图案的类型的信息，针对所述栅格图案的类型，被包含在所述图像数据单元中的图像信息被优化。
14.根据权利要求12所述的文件格式，其中所述显示报头子单元包含用于指示所述栅格型显示设备的栅格图案的栅距的信息，针对所述栅格图案的栅距，被包含在所述图像数据单元中的图像信息被优化。
CNA2007800327454A 2006-09-04 2007-08-29 用于经编码的立体图像/视频数据的文件格式 Pending CN101513077A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20060084510 2006-09-04
KR1020060084510 2006-09-04
KR1020060100258 2006-10-16

Publications (1)

Publication Number Publication Date
CN101513077A true CN101513077A (zh) 2009-08-19

Family

ID=38270151

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800327454A Pending CN101513077A (zh) 2006-09-04 2007-08-29 用于经编码的立体图像/视频数据的文件格式

Country Status (4)

Country Link
US (1) US20100182403A1 (zh)
JP (1) JP2010503310A (zh)
KR (1) KR100716142B1 (zh)
CN (1) CN101513077A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102870419A (zh) * 2010-04-14 2013-01-09 三星电子株式会社 三维图像数据编码方法和装置以及解码方法和装置
CN107071301A (zh) * 2017-04-17 2017-08-18 宁波视睿迪光电有限公司 一种多目成像序列的存储方法及读取方法
CN112102292A (zh) * 2020-09-16 2020-12-18 深圳超多维科技有限公司 3d图像贴合精度的检测方法、装置及设备

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962696B1 (ko) 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
EP2501137A3 (en) 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR101388265B1 (ko) 2007-06-11 2014-04-22 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
KR101450145B1 (ko) * 2007-06-11 2014-10-13 삼성전자 주식회사 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR101387212B1 (ko) * 2007-06-12 2014-04-21 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
US20100161686A1 (en) * 2007-06-19 2010-06-24 Electronic And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
US8400497B2 (en) * 2007-09-07 2013-03-19 Samsung Electronics Co., Ltd Method and apparatus for generating stereoscopic file
KR101362647B1 (ko) * 2007-09-07 2014-02-12 삼성전자주식회사 2ｄ 영상을 포함하는 3ｄ 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법
KR101453084B1 (ko) 2007-09-07 2014-10-27 삼성전자주식회사 3ｄ 영상 파일을 생성 및 재생하기 위한 휴대 단말기 및 방법
KR100959534B1 (ko) * 2007-10-08 2010-05-27 엘지전자 주식회사 Ｍａｆ 파일 포맷을 구성하는 방법 및 이를 이용한 비디오 신호의 디코딩 장치
KR101457893B1 (ko) 2007-10-10 2014-11-04 삼성전자주식회사 3차원 영상 시청시 발생하는 피로도 감소 방법 및 장치,그리고 저피로도 3차원 영상 데이터 스트림 생성 방법 및장치
EP2198625A4 (en) * 2007-10-10 2013-11-06 Korea Electronics Telecomm METADATA STRUCTURE FOR STORING AND REPRODUCING STEREOSCOPIC DATA AND METHOD FOR STORING A STEREOSCOPIC CONTENT FILE USING THESE METADATA
US8390674B2 (en) 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
CN101868970B (zh) 2007-10-19 2015-01-21 三星电子株式会社 记录三维图像数据的方法
US20090148038A1 (en) * 2007-12-10 2009-06-11 Youichi Sawachi Distance image processing apparatus and method
KR101480186B1 (ko) * 2007-12-10 2015-01-07 삼성전자주식회사 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
WO2009075495A1 (en) 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
KR101396619B1 (ko) 2007-12-20 2014-05-16 삼성전자주식회사 3ｄ 영상에 관한 부가 정보를 포함하는 3ｄ 영상파일을생성 및 재생하기 위한 시스템 및 방법
KR100924757B1 (ko) 2008-01-25 2009-11-05 전자부품연구원 입체형 비디오 파일 포맷 및 그에 따른 입체형 비디오파일을 기록한 컴퓨터로 판독 가능한 기록매체
KR101506219B1 (ko) 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
WO2009157713A2 (en) * 2008-06-24 2009-12-30 Samsung Electronics Co., Ltd. Image processing method and apparatus
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
US20110122230A1 (en) * 2008-07-21 2011-05-26 Thomson Licensing Coding device for 3d video signals
DE102008049921A1 (de) * 2008-09-29 2010-04-15 Mobotix Ag Verfahren zur Videodatenstrom-Erzeugung
BRPI0904620A2 (pt) 2008-09-30 2020-08-18 Panasonic Corporation meio de gravação , dispositivo de reprodução, sistema lsi, método de reprodução,óculos, e dispositivo de exibição para imagens 3d
KR101090764B1 (ko) 2008-11-20 2011-12-08 주식회사 넷앤티비 장면 기술자를 이용한 콘텐츠 재생 방법 및 장치, 이를 위한 부호화 방법
KR101154051B1 (ko) * 2008-11-28 2012-06-08 한국전자통신연구원 다시점 영상 송수신 장치 및 그 방법
KR101176065B1 (ko) * 2008-12-22 2012-08-24 한국전자통신연구원 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법
JP5627860B2 (ja) * 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
KR101671021B1 (ko) 2009-04-30 2016-11-10 삼성전자주식회사 스테레오스코픽 영상 데이터 전송 장치 및 방법
KR20110011000A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치
KR101347744B1 (ko) * 2009-08-19 2014-01-03 서울시립대학교 산학협력단 영상 처리 장치 및 방법
US8291322B2 (en) * 2009-09-30 2012-10-16 United Video Properties, Inc. Systems and methods for navigating a three-dimensional media guidance application
KR20110041736A (ko) * 2009-10-16 2011-04-22 삼성전자주식회사 디스플레이장치 및 영상처리방법
US20110137727A1 (en) * 2009-12-07 2011-06-09 Rovi Technologies Corporation Systems and methods for determining proximity of media objects in a 3d media environment
JP2013077863A (ja) * 2010-02-09 2013-04-25 Panasonic Corp 立体表示装置および立体表示方法
KR101277267B1 (ko) * 2010-04-02 2013-06-20 전자부품연구원 3차원 방송을 위한 데이터 코덱 방법 및 장치
CN103081478A (zh) 2010-06-24 2013-05-01 电子部品研究院 用于配置立体运动图片文件的方法
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
JP5978695B2 (ja) * 2011-05-27 2016-08-24 株式会社Ｊｖｃケンウッド 裸眼立体ディスプレイ装置及び視点調整方法
KR101357755B1 (ko) 2013-04-15 2014-02-05 세종대학교산학협력단 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR102139532B1 (ko) * 2013-09-30 2020-07-30 엘지전자 주식회사 비디오 스트림 송/수신 장치 및 비디오 스트림 송/수신 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3492761B2 (ja) * 1994-04-07 2004-02-03 株式会社ソニー・コンピュータエンタテインメント 画像生成方法及び装置
JPH0822091A (ja) * 1994-07-05 1996-01-23 Canon Inc 立体画像記録方法および装置ならびに立体画像形成体
US6023277A (en) * 1996-07-03 2000-02-08 Canon Kabushiki Kaisha Display control apparatus and method
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
KR20010104493A (ko) * 2000-05-02 2001-11-26 성필문 데이터통신망을 이용한 입체영상제공방법 및 그 처리장치
JP2001326618A (ja) * 2000-05-17 2001-11-22 Nippon Telegr & Teleph Corp <Ntt> パケット多重化ストリーム評価法、パケット多重化ストリーム評価用装置、及びパケット多重化ストリーム評価用プログラム記録媒体
JP2002325254A (ja) * 2001-02-26 2002-11-08 Ando Electric Co Ltd 動画符号評価装置及びシステム
JP3888575B2 (ja) * 2001-03-19 2007-03-07 日本ビクター株式会社 番組信号の記録方法、及び記録番組制御信号の伝送方法
KR20020096203A (ko) * 2001-06-18 2002-12-31 (주)디지털국영 입체영상을 확대/축소하는 방법
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
JP2003161912A (ja) * 2001-09-13 2003-06-06 Hit Design:Kk ３次元画像表示装置および３次元画像表示における色再現方法
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2003250155A (ja) * 2002-02-25 2003-09-05 Ando Electric Co Ltd 動画符号評価装置及び課金システム
WO2003092303A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
EP2262273A3 (en) * 2002-04-25 2013-12-04 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
JP4072674B2 (ja) * 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4243095B2 (ja) * 2002-11-25 2009-03-25 三洋電機株式会社 立体画像処理方法及びプログラム及び記録媒体
JP2004274091A (ja) * 2003-01-15 2004-09-30 Sharp Corp 画像データ作成装置、画像データ再生装置、画像データ記録方式および画像データ記録媒体
JPWO2004084560A1 (ja) * 2003-03-20 2006-06-29 富田　誠次郎 立体映像撮影表示システム
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
JP2005026800A (ja) * 2003-06-30 2005-01-27 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
EP1591903B1 (en) * 2003-10-22 2013-07-10 Olympus Corporation File name changing method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102870419A (zh) * 2010-04-14 2013-01-09 三星电子株式会社 三维图像数据编码方法和装置以及解码方法和装置
CN102870419B (zh) * 2010-04-14 2015-10-14 三星电子株式会社 三维图像数据编码方法和装置以及解码方法和装置
CN107071301A (zh) * 2017-04-17 2017-08-18 宁波视睿迪光电有限公司 一种多目成像序列的存储方法及读取方法
CN107071301B (zh) * 2017-04-17 2019-11-22 宁波视睿迪光电有限公司 一种多目成像序列的存储方法及读取方法
CN112102292A (zh) * 2020-09-16 2020-12-18 深圳超多维科技有限公司 3d图像贴合精度的检测方法、装置及设备

Also Published As

Publication number Publication date
KR100716142B1 (ko) 2007-05-11
US20100182403A1 (en) 2010-07-22
JP2010503310A (ja) 2010-01-28

Similar Documents

Publication Publication Date Title
CN101513077A (zh) 用于经编码的立体图像/视频数据的文件格式
CN102939763B (zh) 计算三维图像的视差
TWI573434B (zh) 通用的三維圖片格式
US8488870B2 (en) Multi-resolution, multi-window disparity estimation in 3D video processing
CN102246529B (zh) 基于图像的3d视频格式
CN106131531B (zh) 视频处理方法和装置
CN102132573B (zh) 用于编码3d视频信号的方法和***，用于编码3d视频信号的编码器，用于解码3d视频信号的方法和***，用于解码3d视频信号的解码器
US20110298898A1 (en) Three dimensional image generating system and method accomodating multi-view imaging
CN102428706B (zh) 用于3d特技播放的入口点
CN102959952B (zh) 数字接收器以及在数字接收器中处理字幕数据的方法
Gotchev et al. Three-dimensional media for mobile devices
CN101223552A (zh) 用于深度提取的视频处理方法和装置
CN101904176A (zh) 用于立体再现的图像编码方法
JP2010078768A (ja) 立体映像撮影装置および立体映像撮影システム
JP2015005978A (ja) ３次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス
WO2008030011A1 (en) File format for encoded stereoscopic image/video data
US10037335B1 (en) Detection of 3-D videos
CN103561255B (zh) 一种裸眼立体显示方法
CN103379332A (zh) 三维视频序列辅助信息的解码方法、编码方法及装置
Redert et al. Philips 3D solutions: From content creation to visualization
Farid et al. Panorama view with spatiotemporal occlusion compensation for 3D video coding
KR102505130B1 (ko) 명시야 컨텐츠를 표현하는 신호를 인코딩하기 위한 방법 및 디바이스
US20230042874A1 (en) Volumetric video with auxiliary patches
CN102111637A (zh) 生成立体视频深度图的方法及装置
KR20140030202A (ko) 기록 장치, 기록 방법, 재생 장치, 재생 방법, 프로그램 및 기록 재생 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090819