CN101233766A - 立体图像数据结构、立体图像数据记录方法、再生方法、记录程序以及再生程序 - Google Patents

立体图像数据结构、立体图像数据记录方法、再生方法、记录程序以及再生程序 Download PDF

Info

Publication number
CN101233766A
CN101233766A CNA2006800275506A CN200680027550A CN101233766A CN 101233766 A CN101233766 A CN 101233766A CN A2006800275506 A CNA2006800275506 A CN A2006800275506A CN 200680027550 A CN200680027550 A CN 200680027550A CN 101233766 A CN101233766 A CN 101233766A
Authority
CN
China
Prior art keywords
parallax
pixel
image
combination image
part diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800275506A
Other languages
English (en)
Inventor
最首达夫
福岛理惠子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101233766A publication Critical patent/CN101233766A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

使得可以采用高压缩率且具有细微图像质量下降的格式来记录平行光线一维IP型的立体图像数据。该立体图像数据能够有效地进行解压缩和再生。立体图像数据结构包括：表示n个或者更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在同一视差方向上的平行光线。具有相同数量的水平像素和垂直像素的n个组合图像是要被转换为视差交错图像的一个单位，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的。

Description

立体图像数据结构、立体图像数据记录方法、再生方法、记录程序以及再生程序
对相关申请的交叉参考
本申请是基于2005年8月31日在日本申请的先前日本专利申请No.2005-251412的优先权权益，在此引入该申请的整体内容作为参考。
技术领域
本发明涉及一种立体图像数据结构、一种立体图像数据记录方法、一种再生方法、一种记录程序以及一种再生程序。
背景技术
已经存在能够显示运动立体图像的各种类型的立体显示装置或三维显示装置。近几年，对于不需要专用玻璃等等的平板型立体显示装置的需求日益增长。在直接观看型或投影型平板显示装置(诸如液晶显示装置或等离子显示装置)中，显示面板中的像素位置是固定的，并且在显示面板的前面直接提供了控制从显示面板到观看者的光线的视差栅栏。因此能够相对容易地生产立体显示装置。
通过视差栅栏，以这样的方式控制光线：即使是在观看视差栅栏上的同一位置时，也能够从不同的角度看到不同的图像。更具体而言，在仅给出左右视差(水平视差)的情况下，使用了狭缝片(slit sheet)或者透镜片(柱面透镜阵列)。在还提供了垂直视差的情况下，使用针孔阵列(pinhole array)或者透镜阵列。具有视差栅栏的结构还可以分类为：双目型(binocular)、多视点型(multi-view)、超多视点型(super multi-view)(在超多视点情况下的多视点类型)、以及全景摄影型(integral photography，IP)。这些结构的原理基本上与几乎100年前发明的立体摄影原理相同。
通常，在IP型或多视点型的结构中，观看距离受到限制，因此，显示图像被创建为使得能够在观看距离处实际观看到透视投影图像。在仅具有水平视差的IP型(一维IP型，例如见“SID04Digest 1438”(2004))的结构中，在将视差栅栏的水平间距设定为像素水平间距的整数倍(n)的情况下，形成多组平行光线(该IP类型在以下也称为“平行光线一维IP类型”)。从而，在其中形成多组平行光线的像素列被累积的视差成分图像(parallax component image)在垂直方向上是具有预定观看距离的透视投影图像，而在水平方向上是正交投影图像(orthographically projected image)。将在垂直方向上为透视投影图像而在水平方向上为正交投影图像的每个视差成分图像分割为多个像素列，并且以交错方式重新排列这些像素列，以便形成视差交错图像(parallax interleaved image)(要素图像阵列)。在显示面板上显示该视差交错图像，并且通过视差栅栏进行观看。采用这种方式，通过正常投影获得了立体图像，所述正常投影是在水平方向和垂直方向两个方向上的透视投影。在“SID04Digest 1438”(2004)中更为详细地描述了这种方法。在多视点型的结构中，将通过简单的透视投影而形成的图像分割为多个像素列，并以交错方式进行重新排列，以便以正常投影形成立体图像。
基于方向(垂直或者水平方向)而使用不同投影方法和不同投影中心距离的图像拍摄装置是较难制造的，因为需要具有与每个物体相同尺寸的相机或透镜来进行正交投影。因此，为了通过图像拍摄获得正交投影数据，在实践中，选择使用将透视投影数据转换为正交投影数据的方法。作为这种方法的实例，已知有“光线空间方法”，其包含使用“EPI(荧光板)”的内插。
平行光线一维IP在观看能力上比双目型方法更具有优势。然而，在平行光线一维IP型的结构中，图像格式在投影和分割分配方面较为复杂。在作为最简单的立体显示结构之一的双目型或多视点型结构中，图像格式也简单，并且以相同数量的水平方向像素和垂直方向像素形成来自所有视点的图像。将在双目型的情况下的两个视差成分图像或者在九透镜型的情况下的九个视差成分图像分割为多个像素列，并将这些像素列重新排列为要在显示面板上显示的视差交错图像。
与具有类似分辨率的多视点型相比，在平行光线一维IP型的结构中，视差成分图像的数量较大，并且视差成分图像的水平像素数量(或者待使用的水平范围)随着视差方向而变化。由此，图像格式较为复杂。考虑到这些事实，本发明人提出了一种具有高压缩率以及细微的图像质量下降的、有效率地记录立体图像的方法(日本专利申请No.2004-285246)。
透镜片的柱面透镜可以对角延伸而不是垂直延伸(见JP-AKOKAI No.2001-501073)。本发明人还发现平行光线一维IP型能够应用于斜透镜(slanted lens)类型的结构中(日本专利申请No.2004-32973)。
在多视点型或者平行光线一维IP型的结构中将视差信息分配给每个子像素情况下，当采用诸如JPEG或MPEG之类的编码方法对采用视差交错图像形式的图像进行不可逆压缩时，视差信息被混合。从而，在解压时图像质量下降。在可逆(无损)压缩的情况下，不会造成图像质量下降的问题，但是压缩率比不可逆(有损)压缩情况低很多。此外，对视差成分图像彼此独立地进行不可逆压缩以及随后的解压缩的方法容易应用于多视点型的结构中。然而，这种方法在包含庞大数量的具有不同水平像素数量的视差成分图像的平行光线一维IP类型的结构中是不合理的。尤其是在透镜在相对于垂直方向而对角延伸的情况下，数据格式及处理变得更为复杂，难以同时实现高分辨率和高处理速度。
如上所述，传统的记录平行光线一维IP类型的立体图像的方法具有在解压缩时高压缩率带来的图像质量下降问题。
发明内容
本发明是在考虑到以上环境而提出的，本发明的目的是提供一种立体图像数据结构、记录方法、再生方法、记录程序、以及再生程序，其在使用相对于垂直方向对角延伸的透镜的平行光线一维IP类型的结构中，在以高压缩率的有效处理中造成细微的图像质量下降。
根据本发明的第一方面，提供了一种用于立体显示装置的立体图像数据结构，所述立体显示装置用于显示立体图像且在水平方向上给出视差而在垂直方向上未给出视差，
所述立体显示装置包括：
显示单元，具有显示表面，在所述显示表面上显示用于立体显示的视差交错图像，并且像素在水平方向上以第一水平间距排列；以及
视差栅栏，具有布置为面向所述显示表面且在水平方向上以第二水平间距排列的线状光学开口，所述光学开口从垂直方向倾斜，所述第二水平间距等于所述第一水平间距的整数倍(n)，所述视差栅栏将在n个像素的水平间距处的像素所发射的光线作为平行光线引导至所述观看区域，
所述立体图像数据结构包括：表示n个或者更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线，
其中，具有相同数量的水平像素和垂直像素的n个组合图像是要被转换为视差交错图像的一个单位，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的。
根据本发明的第二方面，提供了一种记录用于立体显示装置的立体图像数据的方法，所述立体显示装置显示立体图像且在水平方向上给出视差而在垂直方向上未给出视差，
所述立体显示装置包括：
显示单元，具有显示表面，在所述显示表面上显示用于立体显示的视差交错图像，并且像素在水平方向上以第一水平间距排列；以及
视差栅栏，具有布置为面向所述显示表面且在水平方向上以第二水平间距排列的线状光学开口，所述光学开口从垂直方向倾斜，所述第二水平间距等于所述第一水平间距的整数倍(n)，所述视差栅栏将在n个像素的水平间距处的像素所发射的光线作为平行光线引导至所述观看区域，
所述方法包括：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线；并且
记录具有相同数量的水平像素和垂直像素的n个组合图像，作为要被转换为视差交错图像的一个单位，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的。
根据本发明的第三方面，提供了一种用于立体图像的再生方法，在水平方向上给出视差而在垂直方向上未给出视差，
立体显示装置包括：
显示单元，具有显示表面，在所述显示表面上显示用于立体显示的视差交错图像，并且像素在水平方向上以第一水平间距排列；以及
视差栅栏，具有布置为面向所述显示表面且在水平方向上以第二水平间距排列的线状所述光学开口，所述光学开口从垂直方向倾斜，所述第二水平间距等于所述第一水平间距的整数倍(n)，所述视差栅栏将在n个像素的水平间距处的像素所发射的光线作为平行光线引导至所述观看区域，
所述方法包括：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线；并且
记录具有相同数量的水平像素和垂直像素的n个组合图像，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的；并且
在将所述n个组合图像转换为视差交错图像之后，在所述显示表面上显示所述视差交错图像。
根据本发明的第四方面，提供了一种用于立体图像的再生方法，在水平方向上给出视差而在垂直方向上未给出视差，
立体显示装置包括：
显示单元，具有显示表面，在所述显示表面上显示用于立体显示的视差交错图像，并且像素在水平方向上以第一水平间距排列；以及
视差栅栏，具有布置为面向所述显示表面且在水平方向上以第二水平间距排列的线状光学开口，所述光学开口从垂直方向倾斜，所述第二水平间距等于所述第一水平间距的整数倍(n)，所述视差栅栏将在n个像素的水平间距处的像素所发射的光线作为平行光线引导至所述观看区域，
所述方法包括：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线；
记录最终组合图像，其是通过将n个具有相同数量的水平像素和垂直像素的组合图像进行组合而形成的，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的；并且
在将所述最终组合图像转换为视差交错图像之后，在所述显示表面上显示所述视差交错图像。
根据本发明的第五方面，提供了一种计算机可执行程序，用于记录用于立体显示装置的立体图像数据，所述立体显示装置用于显示立体图像且在水平方向上给出视差而在垂直方向上未给出视差，
所述程序包括用于以下的指令：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线；并且
记录具有相同数量的水平像素和垂直像素的n个组合图像，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的。
根据本发明的第六方面，提供了一种计算机可执行的再生程序，用于显示立体图像且在水平方向上给出视差而在垂直方向上未给出视差，
所述程序包括用于以下的指令：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线；并且
记录具有相同数量的水平像素和垂直像素的n个组合图像，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的；并且
在将所述n个组合图像转换为视差交错图像之后，在显示单元上显示所述视差交错图像。
根据本发明的第七方面，提供了一种计算机可执行的再生程序，用于显示立体图像且在水平方向上给出视差而在垂直方向上未给出视差，
所述程序包括用于以下的指令：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中在同一视差方向上的所述平行光线；
记录最终组合图像，其是通过将n个具有相同数量的水平像素和垂直像素的组合图像进行组合而形成的，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的；并且
在将所述最终组合图像转换为视差交错图像之后，在所述显示面上显示所述视差交错图像。
附图说明
图1是整体立体显示装置的示意性透视图，其中，采用了根据本发明的一个实施例的立体图像记录方法和再生方法；
图2A是充当图1所示的视差栅栏的透镜片的示意性透视图；
图2B是充当图1所示的视差栅栏的狭缝片的示意性透视图；
图3(a)、3(b)和3(c)示意性地示出了一种应用了根据本发明的一个实施例的立体图像记录方法和再生方法的立体显示装置；
图4(a)、4(b)和4(c)示出了根据本发明的一个实施例，在平行光线一维IP型的结构中，基于视差成分图像形成视差交错图像的方法；
图5(a)、5(b)和5(c)示意性地示出了根据本发明的一个实施例，视差成分图像到视差交错图像的分配；
图6是一种应用了立体图像记录方法和再生方法的立体显示装置的一部分的示意性透视图；
图7是在图6中所示的显示装置上的要素图像(elemental image)和有效像素排列的一个实例的示意性放大平面图；
图8是具有相同数量的垂直像素和水平像素的组合图像的布置的平面图，其适合于记录应用了根据本发明的一个实施例的立体图像记录方法的立体图像；
图9示意性示出了根据本发明的一个实施例，在视差交错图像中分配组合图像的方法；
图10是要采用根据本发明的一个实施例的立体图像记录方法处理的视差成分图像的示意性平面图；
图11示出了在采用根据本发明的一个实施例的立体图像记录方法形成的视差交错图像中的视差成分图像的数据范围以及视差成分图像的位置；
图12是采用根据本发明的一个实施例的立体图像记录方法的一种修改形成的最终组合图像的格式的示意性平面图；
图13是采用根据本发明的另一实施例的立体图像记录方法形成的最终组合图像的格式的示意性平面图；
图14是采用根据本发明的再另一实施例的立体图像记录方法形成的最终组合图像的格式的示意性平面图；
图15是采用根据本发明的又另一实施例的立体图像记录方法形成的最终组合图像的格式的示意性平面图；
图16示意性示出了通过不可逆压缩来记录采用该立体图像记录方法形成的组合图像或者最终组合图像的一种方法，以及根据以上所述实施例，通过读取、解压缩、重新排列而从组合图像或者最终组合图像中再生视差交错图像的一种方法；
图17示意性示出了用于获得图10中所示的视差成分图像的一种拍摄方法；
图18是用于执行根据本发明的一个实施例的立体图像数据记录或再生程序的计算机***实例的透视图；以及
图19是用于执行根据本发明的一个实施例的立体图像数据记录或再生程序的计算机***的框图。
具体实施方式
以下参考附图描述本发明的实施例。
首先参考图1至7，描述IP显示装置和显示方法。
图1是立体显示装置的示意性透视图。图1所示的显示立体图像的立体显示装置配备了平面图像(flat image)显示单元331，其将视差交错图像(要素图像阵列)显示为平面图像。在显示单元331的前表面上提供了视差栅栏(parallax barrier)332，其控制来自平面图像显示单元331的光束。视差栅栏332可以是在图2A中所示的透镜片，或者图2B中所示的狭缝片(slit sheet)。在此，将透镜片334或者狭缝片333称为视差栅栏332。视差栅栏332具有光学开口(aperture)。当视差栅栏332是透镜片334时，光学开口等同于柱面透镜。当视差栅栏332是狭缝片333时，光学开口等同于在狭缝片332上形成的狭缝。视差栅栏332的光学开口实际上将从显示单元331发出的光束限制到观看区域上，立体图像是在观看区域中观看的。光学开口是为构成在显示单元331上所显示的二维图像的要素图像而提供的。因此，在显示单元331上显示的视差交错图像是采用数量与视差栅栏332的光学开口相同的要素图像形成的。因此，将要素图像经由视差栅栏332的光学窗口投影到观看区域中的空间中，从而在立体显示装置的后表面或者前表面上显示立体图像。
视差栅栏332可以位于平面图像显示单元331的背面一侧上。
该立体显示装置是一维IP型。当从位于预定观看距离L处的视点343进行观看时，观看到应用了水平视差但未应用垂直视差的立体图像。图3(a)示出了立体显示装置的正面以及控制单元，控制单元包括驱动单元310、存储单元312以及图像处理单元314。图3(b)示出了在立体显示装置的水平平面中的光学***的布置和直线组346，其示出了要素图像平均宽度为Pe、第二水平间距(视差栅栏的开口的水平间距)Ps、观看距离为L、以及观看区域宽度为W之间的关系。图3(c)示意性示出了相对于图3(a)所示的立体显示装置的显示单元331，在观看空间中垂直平面中的观看角度。
如图1和图3(b)所示，立体显示装置包括诸如液晶显示单元之类的、显示平面图像的平面图像显示单元331，以及具有光学开口的视差栅栏332，如上所述。视差栅栏332以透镜片334或者狭缝片333形成，透镜片334或者狭缝片333具有多个光学开口，每个光学开口都从垂直方向上线性倾斜，并且在偏离水平方向的某个方向上循环排列，如图2A和2B所示。在投影型显示装置中，该视差栅栏332由弯曲的镜面阵列(mirror array)等等构成。在该立体显示装置中，在水平观看角度341范围和垂直观看角度342范围内，从眼睛位置343经由视差栅栏332观看显示单元331，从而能够在平面图像显示单元331的前侧和背侧区域中观看到立体图像。在此，如果以正方形的最小单元计算，则平面图像显示单元331的像素数量在横向(水平)方向上为1920，在纵向(垂直)方向上为1200。每个最小单位中的像素包括红色(R)、绿色(G)和蓝色(B)的像素。在本说明书中，“像素”意思是指用于在显示表面上在一个帧中独立地控制亮度的最小单位。另一方面，子像素红色(R)、绿色(G)和蓝色(B)是在传统直接观看透射型液晶面板中的“像素”。
在图3(b)中，仅仅在确定了视差栅栏332与观看距离平面343之间的距离(观看距离)L、视差栅栏间距(视差栅栏332的光学开口的水平间距)PS以及视差栅栏间隙d之后，才确定每个要素图像的宽度。更具体而言，借助于观看距离平面343上的观看点与开口中心点沿着朝向每两个相邻开口(视差栅栏332的光学开口)的中点延伸的直线而投影到平面图像显示单元331上的投影点之间的距离，来确定要素图像的平均间距Pe。参考标记346指示连接观看点与开口中心点的线，在要素图像在平面图像显示单元331的显示表面上不相互交叠的条件下，确定观看区域宽度W。如已经描述的，要素图像等同于交错图像(视差交错图像的一部分)，所述交错图像由生成经由视差栅栏332的光学开口而朝向视差栅栏332与观看距离平面343之间的观看区域的光线束的多个像素构成。要素图像显示在显示单元331上，并将所显示的图像进行投影，以获得立体图像。
在接收到来自驱动电路310的显示信号时驱动平面图像显示单元331，从而在平面图像显示单元331上显示该视差交错图像。驱动电路310具有作为***装置的存储单元312，存储单元312压缩由视差成分图像(稍后解释)形成的组合图像，并将压缩的组合图像存储为立体图像数据。该驱动电路310还具有作为***装置的图像处理单元314，图像处理单元314对来自存储单元312的压缩的立体图像数据进行解压缩，将该图像数据转换为解压的组合图像，并进一步将该解压的组合图像转换为视差交错图像，从而提取像素数据。
在开口平行间距Ps被设定为像素间距Pp的整数倍的平行光线一维IP型的结构中，要素图像的平均间距Pe并不是像素间距Pp的整数倍，而是带有小数的。在开口的平行间距Ps没有被设定为像素间距Pp的整数倍的普通一维IP型的结构中(未形成平行光线)，要素图像的平均间距Pe也不是像素间距Pp的整数倍，通常是带有小数的。另一方面，在多视点型的结构中，要素图像的平均间距Pe被设定为是像素间距Pp的整数倍。在一维IP型的结构中，用开口的平均间距Ps除以像素间距Pp所得到的整数商称为“视差数量”。
如图4(a)到5(c)所示，每个要素图像都是由从与相应的平行光线组的方向相对应的视差成分图像426中所提取的像素列构成的。从图中可以明显看到，用于显示立体图像的视差交错图像427由一组要素图像(也称为要素图像阵列)构成，并且还由组成要素图像的大量视差成分图像426构成。
图4(a)、4(b)和4(c)示出了在平行光线一维IP型的结构中，基于视差成分图像产生视差交错图像的方法。如图4(a)所示，将待显示的物体421投影到投影平面422上，投影平面422实际上是在放置了立体显示装置的视差栅栏332的平面上提供的。在一维IP型的结构中，沿着朝向与投影平面422保持平行且位于观看距离L的平面中心处的投影中心线423而延伸的投影线425对图像进行投影，从而对垂直方向进行透视投影，对水平方向进行正交投影。在该投影中，投影线425在水平方向上不相交，而是在投影中心线423上在垂直线上相交。利用该投影技术，对物体421的垂直方向进行透视投影，并对物体421的垂直方向进行正交投影，从而在投影平面422上构成如图4(b)所示的物体图像424。在图4(a)中，如图4(b)所示的物体图像424对应与在参考标记1指示的投影方向428上所投影的图像。在一维IP型的结构中，需要物体421在几个方向上投影的图像424，如图4(a)所示。
投影图像或者视差成分图像426等同于在通过将物体421的垂直方向透视投影到投影平面422上并将物体421的水平方向正交投影到投影平面422上而形成的图像中的一个方向的图像，如图4(b)所示，将投影图像或者视差成分图像426分割为在垂直方向上延伸的像素列。然后，将这些像素列分配给与光学开口相对应的每个要素图像，并放置在视差交错图像427中。视差成分图像426在显示装置的显示表面427的长度方面，以等于光学开口间距Ps(光学开口的水平间距Ps)的间隔布置。由于光学开口是对角布置的，因此在视差成分图像426中的相应列实际上是在视差交错图像427中在垂直方向上布置的，但是在每个视差成分图像426上是对角布置的，以便匹配相应的光学开口。
每个视差成分图像426的所需分辨率为视差交错图像427的l/(视差数量)。为了在3D显示时使垂直分辨率等于水平分辨率，视差数量优选地应该为整数m的平方，每个视差成分图像相对于视差交错图像的水平分辨率和垂直分辨率中每一个都应该优选地为l/m。图5(a)、5(b)和5(c)示出了视差数量为16的情况。在该情况中，视差交错图像427的水平像素数量为1920，每个视差成分图像426的水平像素数量为480，这是视差交错图像427的水平像素数量1920的1/4。如图5(a)和5(b)所示，在拍摄时所获得的每个视差成分图像(相机图像)的RGB子像素在横行方向上(或按行)排列，但是在视差交错图像427中将RGB子像素的子像素数据在对角方向上(实际上等同于光学开口的方向)重新排列，并将其分配给对角方向上的像素。采用这种转换分配，能够增加在仅包含水平视差的一维IP型的结构中的立体显示水平分辨率。
每个视差成分图像426的水平相邻的像素(相互水平相邻的RGB组)在视差交错图像427上以3m的子像素的间距排列。对其他投影方向428重复该处理，从而完成作为要在显示表面427上进行显示的二维图像的整体视差交错图像，如图5(c)所示。虽然在图4(a)中仅仅示出了八个方向-4、-3、-2、-1、1、2、3和4作为投影方向428，但是根据观看距离，可能需要几十个方向。在图5(a)到7中所示的采用16个视差的实例中，需要26个方向。对于作为视差成分图像426的投影图像，像素列的数量l/m是视差交错图像427的像素串的最大可能数量。然而，仅仅需要创建在各自投影方向的必要范围中的列的图像数量。稍后将参考图10描述该必要范围。
图4(a)所示的投影方向428对应于观看由视差编号标识的视差成分图像426的方向。投影方向428不是设置为等角度的，而是在观看距离平面上以恒定间距设置投影中心点(相机位置)，如稍后参考图17所述。更具体而言，采用在投影中心线423上以恒定间距平行(在固定方向上)移动的相机进行拍摄，从而以恒定间距设置投影中心点。
图6是立体显示装置的一部分的示意性透视图。在图6所示的实例中，在诸如液晶面板之类的平面视差图像显示装置的显示表面的前表面上，提供透镜片334作为视差栅栏332，并且透镜片334是由具有在对角方向(角度＝arctan(1/4))上延伸的光学开口的柱面透镜构成的。在显示装置的显示表面上，以矩阵形式在水平方向和垂直方向上呈直线地排列像素34，水平与垂直比率为3比1。像素34布置为，使得红色(R)、绿色(G)和蓝色(B)在每行中以该顺序重复出现。该颜色排列通常称为带状排列。
图7是在图6所示的显示面上的像素排列实例的放大平面图。在图7中，在每个像素34中分配的数字-8到8指示视差编号，用于标识参考图4所述的视差成分图像，并且每两个相邻的视差编号在对角方向上相邻。在图7所示的排列中，以16行构成一个垂直循环，每4个行表示3D垂直分辨率。
在图6中所示的显示屏幕上，每12列和4行的像素34构成一个有效像素43(在图6中用粗线框出一个有效像素43)。由于在该显示单元的结构中每个有效像素43都是由48个像素构成的，因此能够实现在水平方向上具有16个视差的立体显示，并且RGB的3个像素是视差信息的最小单位。
在平行光线一维IP型的结构中，使得像素间距Pp的整数倍，例如12像素的间距，等于视差栅栏间距Ps，并且经由视差栅栏332的光学开口发射的光线形成了一组平行光线。在该设计中，要素图像之间的边界以比12个像素的总长度略微较长的间距出现。然而，由于每个有效像素43都是以像素34为单位定义的，因此每个有效像素43的宽度设定为等于12列(48个像素)或者12.75列(51个像素)的总宽度，这取决于在显示表面上的水平位置，如图7所示。更具体而言，要素图像间距的平均值大于12个像素总宽度，并且视差栅栏332的水平间距设定为等于12个像素的总宽度。由48个像素组成的每个有效像素43的形状还随着在显示表面上的水平位置而变化。图7示出了在水平方向上在屏幕中心处的要素图像(由48个像素组成的有效像素)的形状的实例，以及在水平方向上在中心区域以外的有效像素(每个都由48个像素或者51个像素组成)的形状的5个实例。
现在参考图8至17，描述通过将在显示单元331上显示的视差交错图像转换为适于压缩的格式而获得的图像数据结构。
图8示出了n(在该实例中n＝16)个在水平方向和垂直方向上具有相同数量像素并且适合于对立体图像进行记录的组合图像2。根据本发明的记录立体图像的方法应用于组合图像2。由于n等于视差数量，因此以下将组合图像2的数量称为视差数量n。每个组合图像2包括一个视差成分图像426、或者几个视差成分图像426(#+13至#+1以及#-1至#-13)的组合。这n个组合图像2所具有的格式化数据结构能够容易地转换为一个要在平面图像显示单元331上显示的视差交错图像427。然后，根据参考图4(a)至5(c)所描述的视差成分图像的划分设置和划分设置方法，在显示单元331上分配组合图像2。因此，能够将组合图像2转换为视差交错图像。
在图9中示出了该转换方法。将包含了在观看区域中最右侧(在图9中为最左侧)处的相机图像(#-8)的一个组合图像行的图像数据放置在从视差交错图像中最左侧处第一列开始直到最右侧的每12个像素处，同时将RGB数据在对角上重新排列。将包含了在观看区域中第二最右侧处的相机图像(#-7)的一个组合图像行的图像数据与在已经被放置且排列在每12个像素处直到最右侧为止的像素相邻地、连续地放置，同时将RGB数据在对角上重新排列。顺序地执行该转换。最后，将包含了在观看区域中最左侧处的相机图像(#8)的一个组合图像行的图像数据与在已经被放置且排列在每12个像素处直到最右侧为止的像素相邻地、连续地位置，同时将RGB数据在对角上重新排列。在图9中，部分图像数据超出了屏幕，组合图像的每一行都包含在视差交错图像中的4行的范围之内。实际上采用与以上相同的方式转换组合图像的第二行，但是在视差交错图像中的最左侧的放置起始位置向右偏移3个像素。因此，实现了图7中所示的放置。采用与以上相同的方式转换组合图像的第三行，除了在视差交错图像中的最左侧的放置起始位置向左偏移6个像素。采用与以上相同的方式转换组合图像的第四行，除了在视差交错图像中的最左侧的放置起始位置向左偏移3个像素。对于组合图像的第五行，在视差交错图像中的最左侧的放置起始位置与第一行的放置起始位置相同。这样，对组合图像的每四个行(在视差交错图像中每16个行)循环地执行相同的转换，从而完成在视差交错图像的整个区域上的放置。然而，可以为组合图像的每个行的转换处理添加不同的内插，如稍后将要描述的。
通过以上所述的转换，能够采用与多视点方法的16视点图像的处理相同的方式来处理这16个组合图像，并且能够通过完全相同的交错处理将其转换为视差交错图像。在此，将图8中所示排列的组合图像2记录在存储介质上，或者对该排列的组合图像2进行帧内压缩，或者通过将该组合图像2与另一排列中的其他组合图像2进行相关来执行帧间压缩。此外，可以通过将相邻的组合图像彼此进行相关来执行压缩。这样做，提高了压缩率，但是解压缩负载变得更大。
在图8中的参考数字(#13至#1和#-1至#-13)表示分配给视差成分图像426的编号(与相机编号相同)。应该注意的是，当以下对组合图像进行标识时，使用了分配给视差成分图像426的编号(#13至#1和#-1至#-13)的组合。在图8中，例如，位于左上方处的组合图像2被标识为组合图像(#-8，#+9)。位于最左侧却从顶部起第3个的组合图像2被标识为组合图像(#+1)。
发射在水平方向上的平行光线的一维IP型的结构中，在显示面板的前表面上提供视差栅栏332(透镜片)。视差栅栏332线性延伸，从而将光学开口(透镜片的柱面透镜)以与在显示面板上排列的像素(在该实例中为子像素)的水平间距的整数倍(例如12倍)的水平间隔进行排列。
在该一维IP型的结构中，从在显示表面的水平方向上以12个像素(整数倍)的间距排列的像素所发出的光线被引导到观看区域，以便再生立体图像。与在相同视差方向上构成平行光线的像素组的图像数据相组合的视差成分图像426的数量设定为26，其比16(＝12×4(行)/3(颜色分量))大。如图10所示，在水平方向上的像素数量(有效像素范围)在视差成分图像426(#-13至#-1和#+1至#+13)之间是变化的。
图10示出了在包含26个视差成分图像426的相机图像之间的有效像素范围的尺寸。在图10中，实线表示视差成分图像426的有效像素范围，虚线表示等同于在立体显示时的显示分辨率的相机图像尺寸(或者与在拍摄时的投影平面相对应的垂直像素和水平像素的数量)。垂直像素和水平像素的数量设定为480(水平方向上)×300(垂直方向上)个像素(不是子像素)。所有视差成分图像426都具有相同的垂直像素总数，但是在水平像素数量上是不同的。图11示出了有效像素范围的具体值。观看者位置(观看区域)是从该处能够在观看距离上观看立体图像的位置，观看者位置等同于上述26个相机中的中间16个相机位于其中的位置的宽度。与落入观看区域中的光线相对应的像素范围是有效像素范围。
将构成图10中所示的组合图像2的视差成分图像426，从由设定在与如图17所示的投影平面422(等同于聚焦在物体421上的平面)相距预定观看距离L处的相机在公共投影平面422的范围内所形成的图像中裁减出来。所有相机都设定在水平方向上，并具有公共投影平面。因此，采用在广角摄影之后的移动镜头拍摄(shift lensshooting)或者裁减作为拍摄方法。
在图17中，相机的拍摄位置用图10中所示的相机编号(#13至#1和#-1至#-13)指示。如图10所示，将相机编号(视差编号)分配为使得在n为偶数时忽略编号0，将正数编号和负数编号分配为关于显示平面422的前表面中心对称。当相机在位于与物体421相距预定观看距离L处的水平拍摄标准线上以恒定间距移动的同时，拍摄在同一投影平面中的物体421的图像时，拍摄到包含对象421的空间图像。由于相机#1和相机#-1实际上位于水平拍摄标准线的中央处，因此相机#1和相机#-1所拍摄的图像(平行光线)落入观看区域中，并且将相机#1和相机#-1所拍摄的全部像素的范围用作由#1和#-1指示的视差成分图像426。随着相机编号变得更大或更小，在投影到投影平面422上的图像中未落入观看区域的范围变大。从而，在投影图像中，作为视差成分图像426的有效像素范围减小，同时不用作视差成分图像426的无效像素范围增大。例如，相机#8和#-8所拍摄的图像实际上呈现相同的观看角度，但是落入观看区域中的图像(平行光线)是整个图像的大约1/2。从而，视差成分图像426是以所拍摄图像的大约1/2形成的，并且所拍摄图像的剩余部分变为无效像素范围。
图10示出了在实际拍摄图像与视差成分图像426之间的关系。如图10所示，随着相机编号变得更大或者更小，作为从实际拍摄图像中裁减下来的视差成分图像426的、有效的水平像素范围减小，同时无效像素范围减小。当相机在水平拍摄标准线上以恒定间距移动时，如图10所示，在视差成分图像426的有效范围和无效范围之间呈现互补关系，并且所述有效范围和无效范围是在被用作从实际拍摄图像中裁减下来的视差成分图像426的像素范围与不用作视差成分图像426的无效像素范围之间形成的。例如，在相机#-5所拍摄的图像中形成视差成分图像426的有效范围和无效范围。在此，该无效范围等于相机#12所拍摄的图像的视差成分图像426的有效范围。因此，在相机#-5和#12所拍摄的图像的视差成分图像426中的像素的组合数量等于在相机#1所拍摄的图像的视差成分图像426中的水平和垂直像素的数量。
在图8中所示的组合图像2具有相同像素的水平和垂直像素，因为对从图10中所示的实际拍摄图像中裁减下来的视差成分图像426进行了组合。从在图10中所示的视差成分图像426的尺寸(垂直像素和水平像素)之间的比较中可以看出，能够将由彼此相差16的视差编号所指示的视差成分图像426的多个组合转换为具有相同数量的垂直像素和水平像素的16个组合图像2。例如，在图8中的左上端处的组合图像2等同于由视差编号相差16的#-8和#9所指示的视差成分图像426的组合。在图8中的右上端处的组合图像2等同于由视差编号相差16的#-5和#12所指示的视差成分图像426的组合。将从由位于观看区域之外的相机所拍摄的图像中裁减出来的每个视差成分图像426与观看区域之内的视差成分图像426进行组合。然而，组合部分(垂直边缘线)在立体显示时等同于观看区域边缘。对于具有非常小的视差的图像，视差成分图像426在组合部分呈现相对较高的连续性。因此，即使是在对不可逆压缩的组合图像进行解压缩之后，在组合部分处的图像质量也几乎不下降。一些组合图像2(在16个图像中由#-3到#3所指示的6个图像)每个都仅包含一个视差成分图像426。由于所有组合图像2都具有相同数据的垂直像素和水平像素，因此能够采用与在多视点型的显示装置中的多视点数据的处理相同的方式来方便地处理组合图像2的图像数据。
图11是示出在视差成分图像426中的水平像素的具体数量(水平像素(不是子像素)的范围)的表格。在图11中所示的数量还表示3D像素编号(透镜编号)。该表格是通过基于由预定观看距离L所确定的平均要素图像宽度(略大于12个像素的总宽度)进行计算而创建的。从图11中所示的表格中明显可知，标识视差方向的视差编号#-13(相当于在图12中的相机编号#-13)所指示的图像仅包含在图10中所示的相机图像的480个像素列中的第2列与第30列之间的像素。因此，#-13所指示的图像的尺寸等同于29个像素的总宽度。该29像素宽度的数据以12个像素的间距进行分割，原来在横向方向上排列的RGB像素在视差交错图像中的预定区域中对角地排列。
同样，视差编号#-11所指示的图像仅包含在图10中所示的相机图像的480个像素列中的第2列与第123列之间的像素。因此，#-11所指示的图像的尺寸等同于122个像素的总宽度。该122像素宽度的数据以12个像素的间距进行分割，并且将RGB像素在要在显示单元331上显示的视差交错图像的预定区域中对角地排列。
图8中所示的一个组合图像2是通过将视差编号#-13所指示的图像与视差编号#4所指示的图像进行组合形成的。视差编号#-13所指示的图像与视差编号#4所指示的图像的组合的总宽度(水平像素数量)为29+451＝480。图8中所示的另一组合图像2是通过将视差编号#-11所指示的图像与视差编号#6所指示的图像进行组合形成的。视差编号#-13所指示的图像与视差编号#4所指示的图像的组合的总宽度为122+358＝480。任何其他组合的总宽度也都为480。
如上所述，每个视差成分图像426是在设计上通过在垂直方向上以预定观看距离L或者类似观看距离进行透视投影，在水平方向上进行正交投影而适当形成的。然而，可以在垂直方向和水平方向两个方向上执行透视投影，只要在立体图像中的变形难以察觉即可。
图12示出了一个实例，在该实例中，将在图8中所示的16个组合图像2进一步线性组合，以便形成最终组合图像。该最终组合图像是通过将相邻视差的每两个组合图像2在水平方向上相互连接而形成的。在该实例中，在靠近显示面板前表面的16个视差之中位于较远端的视差(#-8和#8)的两个组合图像2排列在该最终组合图像的两端。该格式在高速转换和通用性方面是优选的，因为能够采用与在多视点型的显示装置中的多视点数据的处理相同的方式，将该最终组合图像转换为视差交错图像，并且在预定观看距离变化时该转换并不取决于相机数量。
如图13所示，图8中所示的具有相同数量的垂直像素和水平像素的16个组合图像2可以在水平方向和垂直方向上相互连接，以便提供类似瓦片型的格式。该类似瓦片型格式的最终组合图像可以具有与在立体显示时要在显示表面上显示的视差交错图像相同数量的垂直像素和水平像素。由于该最终组合图像的垂直像素和水平像素的数量等于在作为最终显示图像的视差交错图像中的垂直像素和水平像素的数量，因此能够根据诸如MPEG2之类的标准来进行压缩记录。更具体而言，在将图13中所示的类似瓦片型格式的最终组合图像准备为帧并且采用很多这样的帧来再生能够立体观看的运动图像的情况下，能够采用帧间压缩或者帧内压缩。
每个视差成分图像426的左端和右端等同于在立体显示时的屏幕的端部或者观看区域的端部。在组合图像中的视差成分图像之间的连接部分等同于观看区域的端部，在连接图像之间的连接部分等同于屏幕的端部。在不可逆压缩处理中，为每个预定块尺寸执行编码，但是在组合图像之间的连接部分经常与块边界匹配。
尽管在组合图像中的视差成分图像之间的连接部分并不经常与块边界匹配，但是图像质量的下降不会造成问题，因为立体图像在观看区域的端部(带有相邻叶片(lobe)的边界)自然地分开，不能够被正确观看。
因此，即使是在对最终组合图像进行不可逆压缩并随后进行解压缩之后，也能够保护立体图像免受在连接部分处图像质量下降的负面影响。
该格式在高速转换和通用性方面是优选的，因为能够采用与在多视点型的显示装置中的多视点数据的处理相同的方式，将最终组合图像转换为视差交错图像，并且在预定观看距离变化时该转换并不取决于相机数量。
从最终组合图像到图13中的视差交错图像的转换与图9中所示的转换相同。在光学开口并非是对角排列而是垂直排列的情况下，通过在相同数量的垂直像素和水平像素的图像之间的一对一映射来执行该转换。然而，在光学开口对角排列的情况下，视差交错图像的像素数据需要通过基于在组合图像中在水平方向上的一个或多个相邻像素的内插处理来生成，并且要考虑到以下事实：光线的水平位置在像素行之间是变化的。在转换之前在组合图像中的像素的X坐标和Y坐标用Xin和Yin表示，在变换后的视差交错图像中的X坐标和Y坐标用Xout和Yout表示的情况下，能够通过以下线性内插处理来确定像素数据：
k＝(2b-3-Yin)％b+1
P(Xout)＝(kP(Xin)+(b-k)P(Xin+1))/b
在此，坐标Xin、Yin、Xout、和Yout是整数，运算符“％”表示确定余数(整数)的运算，运算“(2b-3-Yin)％b”表示当(2b-3-Yin)除以b时所获得的余数(整数)。同时P(X)表示坐标X的像素的图像数据。至于参数b，b的平方等于视差数量。因此，在16个视差的情况下b为4，在25个视差的情况下b为5。以上所述的线性内插处理是以高速执行的。视差交错图像的像素数据生成能够通过采用像素着色器的处理来执行。
如果上述转换是经由某个中间格式执行的，且该中间格式总体而言具有用从在图13中所示的4个阶段的结构中每个阶段中同一位置处所提取的4个4行组形成16个行，则映射就包含在这16行之内。因此，这种中间格式的使用在一些情况下可能优选的，这取决于要使用的处理***。包含图13所示的格式和内插处理的转换处理适用于处理实际拍摄的图像或者已有的多视点图像。在该情况下，每个视差成分图像是已经执行了常规矩形采样(regular square sampling)的图像。
如图14所示，在最终组合图像中的组合图像可以是平行四边形，并且与一个光学开口相对应的图像数据在组合图像中可以以垂直线排列。因此，每个组合图像都示出了对角变形的画面，但是能够相对于对角延伸的光学开口保持高度连续性。在该配置中，能够使用帧间压缩和帧内压缩，并且在不可逆压缩记录时只会造成细微的图像质量下降。类似图9中所示的转换，通过一对一映射执行到视差交错图像的转换，并且在组合图像中的每一个行对应于在视差交错图像中的4个行。因此，在图13中所示的实例中所执行的内插处理变得不必要。然而，丢失了对于在视差交错图像中每个行的转换处理的循环性。由此，处理变得略微较为复杂。在CG(计算机图形)图形的情况下，能够执行垂直分割渲染，并且考虑了在视差交错图像中行之间的光线水平位置上的差异。因此，在图14中所示的格式和一对一映射适用于CG。在该情况下，每个视差成分图像都是已经根据光学开口的斜度执行了对角采样的图像。在最初已经执行了矩形采样的图像(例如实际拍摄图像或者已有的多视点图像)的情况下，应该在形成图14的最终组合图像的阶段执行内插处理。
如图15所示，每个组合图像可以具有通过在m个阶段中垂直堆积m个视差成分图像所形成的结构。这m个视差成分图像中的每一个的垂直分辨率是水平分辨率的l/m。由m所分割的视差成分图像等同于在光学开口的垂直循环(在该实例中为16个行)中所提取的多个行的组。由m所分割的图像中的每一个所示出的画面是在垂直方向上的原始画面的l/m。在该配置中，尤其能够对大尺寸的视差交错图像应用帧间压缩和帧内压缩，并且在不可逆压缩记录时只会造成细微的图像质量下降。类似在图9中所示的转换，通过一对一映射执行到视差交错图像的转换，在组合图像中的每一个行对应于在视差交错图像中的4个行。然而，丢失了对于在视差交错图像中每个行的转换处理的循环性。由此，处理变得略微较为复杂。在CG图形的情况下，能够执行垂直分割渲染，并且考虑了在视差交错图像中行之间的光线水平位置上的差异。因此，在图15中所示的格式和一对一映射适用于CG。在该情况下，每个视差成分图像都是已经根据光学开口的斜度执行了对角采样的图像。在最初已经执行了矩形采样的图像(例如实际拍摄图像或者已有的多视点图像)的情况下，应该在形成图15的最终组合图像的阶段执行内插处理。
在图8中所示的组合图像并不是必须形成其中将组合图像排列在平面中的最终组合图像，而是可以在作为由“光线空间方法”所定义的长方体光线空间的组合状态中形成。在这种长方体虚拟空间中，能够执行压缩记录和内插。
现在参考图16，描述了立体图像数据记录和再生方法。图16适应性示出了用于记录采用借助于不可逆压缩的立体图像记录方法所形成的组合图像2或者最终组合图像的方法，以及用于通过读取、解压缩和重新排列而从组合图像或者最终组合图像中再生视差交错图像的方法。
如参考图17所述，首先通过在各自相机位置(#13到#1和#-1到#-13)中拍摄要作为立体图像进行显示的物体421的图像，来获得在图10中由虚线所指示的相机图像。
通过裁减和缩放处理，从相机图像中提取在图10中由实线指示的具有必需的垂直像素和水平像素数量的视差成分图像421(步骤S11)。将每一个或者更多的、视差编号彼此之间的差值为视差数量的视差成分图像421进行组合，以形成组合图像，如图8所示，并且将组合图像进一步组合和排列，以便形成图12到15中所示的最终组合图像(未压缩)(步骤S12)。
在要从CG模型数据中生成图像的情况下，根据每个行的不同水平位置处所发射的多组并行光线来执行垂直分割渲染(步骤S10)。然后，将所得到的图像进行组合并转换为最终组合图像(未压缩)(步骤S12)。对于此转换处理，可以使用预先准备的视差分配映射。在考虑到垂直方向中的循环性的情况下，最小单位数量的行(例如，16个行)对于视差分配映射就足够了。采用具有高压缩率的不可逆编码方法(例如JPEG)压缩最终组合图像。在待显示的立体图像是运动图像的情况下，将最终组合图像在时间上与该最终组合图像相邻的另一最终组合图像进行相关，并采用具有高压缩率的不可逆编码方法(例如MPEG)压缩最终组合图像。
将压缩的最终组合图像保存并存储在记录介质或者图3(a)中所示的存储单元312中(步骤S13)。
在再生时，将压缩的最终组合图像解压缩，并采用图3(a)中所示的图像处理单元314转换为最终组合图像(步骤S14)。从最终组合图像的组合图像中提取与光学开口相对应的像素行数据，并且在帧存储器(未示出)中以预定间距对其进行重新排列，如图9所示。
在帧存储器中重新排列了最终组合图像之后，就完成了整个视差交错图像，如图4(c)所示(步骤S15)。
在显示单元331上显示该视差交错图像，从而在显示区域中显示立体图像。在经由远程服务器进行流传输的情况下，存储单元和图像处理单元彼此相距遥远。
可以直接将未压缩的最终组合图像转换为用于显示的视差交错图像，而没有压缩处理。这适合于实时转换处理。
在图12到15中所示的每个最终组合图像中，所有组合图像的位置可以循环偏移，从而将最终组合图像转换为视差交错图像。例如，将组合图像#-2偏移至组合图像#-1的位置，并将组合图像#-1偏移至组合图像#1的位置。这样，能够在经过偏移的观看区域中显示立体图像(偏移观看区域宽度的1/16)。该处理适合于观看区域的精确调整或者头部跟踪。
如上所述，在进行了到具有相同数量的垂直像素和水平像素的组合图像2的转换之后，压缩组合图像2。这样，就能够在预定观看距离变化时，避免由于相机数量(视差方向)的增减或者像素数量的改变而造成的负面影响。此外，能够最小化图像质量降低。更优选地，所使用的排列和组合使得组合图像2彼此相关。因此，能够实行更高的压缩率。
由图18和19中所示的计算机***执行用于执行参考图16所述的立体图像数据记录方法和再生方法的程序。
如图18所示，计算机***130包括具有CPU和GPU的计算机主机131，诸如LCD之类的显示装置132、诸如键盘和鼠标之类的输入单元133、以及进行打印的打印机134。
如图19所示，计算机主机131具有用RAM形成的内建存储器135，以及能够在计算机主机131内部或者外部提供的记录(存储)盘驱动单元136。作为记录盘驱动单元136，提供了软盘(FD)驱动器137、光盘驱动器138和硬盘(HD)驱动器139。如图18所示，使用要***到FD驱动器137槽中的软盘(FD)141以及要在光盘驱动器138中使用的CD-ROM、CD-R、DVD-RAM或者DVD-R 142，作为要在记录盘驱动单元136中使用的记录介质140。记录介质140可以是任何其他计算机可读介质，诸如其他光记录盘、卡存储器、和磁带。
上述程序可以安装在连接到诸如因特网之类的网络上的远程计算机中。在该情况下，经由网络下载压缩图像，并由本地计算机对其进行解压缩和重新排列。
上述程序还可以经由诸如因特网之类的网络提供或者分发。
如就到此为止所述的，根据本发明，在使用相对于垂直方向而对角延伸的透镜的平行光线一维IP型的结构中，能够有效地执行具有高压缩率的记录和再生，并且图像质量下降细微。与普通MPEG数据类似，根据本发明的立体图像数据结构和记录方法不仅能够用于在记录介质上进行记录，而且还用于经由有线或者无线通信手段(例如流传输)的分发。
本发明并不局限于以上所述的实施例，在实际中，在不脱离本发明的范围的情况下，能够对其进行各种修改。
此外，在以上实施例中所公开的组件可以以各种方式相互组合，以便形成各种其他结构。可以将一些组件从在以上实施例中所公开的组件中去掉。此外，如果需要，则可以将所述组件与一些其他组件中的某些组件组合。
对于本领域技术人员而言，其他优点和修改是显而易见的。因此，本发明在其广义范围上并不局限于具体细节和在此所示出和描述的代表性实施例。因此，在不脱离附带的权利要求及其等价物所定义的整体发明性概念的精神或范围的情况下，可以进行各种修改。

Claims (20)

1.一种用于立体显示装置的立体图像数据结构，所述立体显示装置用于显示立体图像且在水平方向上给出视差而在垂直方向上未给出视差，
所述立体显示装置包括：
显示单元，具有显示表面，在所述显示表面上显示用于立体显示的视差交错图像，并且像素在水平方向上以第一水平间距排列；以及
视差栅栏，具有布置为面向所述显示表面且在水平方向上以第二水平间距排列的线状光学开口，所述光学开口从垂直方向倾斜，所述第二水平间距等于所述第一水平间距的整数倍(n)，所述视差栅栏将在n个像素的水平间距处的像素所发射的光线作为平行光线引导至所述观看区域，
所述立体图像数据结构包括：表示n个或者更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线，
其中，具有相同数量的水平像素和垂直像素的n个组合图像是要被转换为视差交错图像的一个单位，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的。
2.一种记录用于立体显示装置的立体图像数据的方法，所述立体显示装置显示立体图像且在水平方向上给出视差而在垂直方向上未给出视差，
所述立体显示装置包括：
显示单元，具有显示表面，在所述显示表面上显示用于立体显示的视差交错图像，并且像素在水平方向上以第一水平间距排列；以及
视差栅栏，具有布置为面向所述显示表面且在水平方向上以第二水平间距排列的线状光学开口，所述光学开口从垂直方向倾斜，所述第二水平间距等于所述第一水平间距的整数倍(n)，所述视差栅栏将在n个像素的水平间距处的像素所发射的光线作为平行光线引导至所述观看区域，
所述方法包括：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线；并且
记录具有相同数量的水平像素和垂直像素的n个组合图像，作为要被转换为视差交错图像的一个单位，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的。
3.如权利要求2所述的记录立体图像数据的方法，其中：
每个所述组合图像都是平行四边形；并且
与所述线状光学开口之一相对应的图像数据在所述组合图像中以垂直线排列。
4.如权利要求2所述的记录立体图像数据的方法，其中：
每个所述组合图像都具有在m个阶段中堆积的视差成分图像，每个所述视差成分图像的垂直分辨率是水平分辨率的l/m。
5.如权利要求2所述的记录立体图像数据的方法，其中，每个所述视差成分图像都通过根据所述预定观看距离而在垂直方向上的透视投影以及通过在水平方向上的正交投影来形成。
6.如权利要求2所述的记录立体图像数据的方法，其中，每个所述视差成分图像都通过根据所述预定观看距离的透视投影来形成。
7.如权利要求2所述的记录立体图像数据的方法，其中，对所述n个组合图像进行进一步组合，以便形成待记录的最终组合图像。
8.如权利要求7所述的记录立体图像数据的方法，其中，所述最终组合图像是通过以这样的方式对所述组合图像进行组合而形成的：具有相邻视差方向的组合图像在水平方向上彼此相邻。
9.如权利要求8所述的记录立体图像数据的方法，其中：
所述最终组合图像是通过以这样的方式对所述组合图像进行组合而形成的：具有相邻视差方向的组合图像在水平方向上彼此相邻；并且
将具有在靠近所述显示表面的前表面的n个视差方向中两端处的视差方向的两个组合图像，放置在所述最终组合图像的两端处。
10.如权利要求2所述的记录立体图像数据的方法，其中，通过在水平方向和垂直方向上对所述组合图像进行组合以形成类似瓦片型的格式，来形成所述最终组合图像。
11.如权利要求2所述的记录立体图像数据的方法，其中，所述最终组合图像具有与在立体显示时在所述显示表面上所显示的视差交错图像相同数量的垂直像素和水平像素。
12.如权利要求7所述的记录立体图像数据的方法，其中，将所述最终组合图像形成为由光线空间方法所定义的长方体光线空间。
13.如权利要求2所述的记录立体图像数据的方法，其中，对所述组合图像或者所述最终组合图像进行不可逆压缩，然后对其进行记录。
14.一种用于立体图像的再生方法，在水平方向上给出视差而在垂直方向上未给出视差，
立体显示装置包括：
显示单元，具有显示表面，在所述显示表面上显示用于立体显示的视差交错图像，并且像素在水平方向上以第一水平间距排列；以及
视差栅栏，具有布置为面向所述显示表面且在水平方向上以第二水平间距排列的线状光学开口，所述光学开口从垂直方向倾斜，所述第二水平间距等于所述第一水平间距的整数倍(n)，所述视差栅栏将在n个像素的水平间距处的像素所发射的光线作为平行光线引导至所述观看区域，
所述方法包括：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线；并且
记录具有相同数量的水平像素和垂直像素的n个组合图像，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的；并且
在将所述n个组合图像转换为视差交错图像之后，在所述显示表面上显示所述视差交错图像。
15.如权利要求14所述的用于立体图像的再生方法，其中：
每个所述组合图像都是具有与所述视差交错图像相同的长宽比的矩形；并且
到所述视差交错图像的转换包括：通过基于在所述组合图像中在水平方向上彼此相邻的一个或多个像素的内插处理，来生成所述视差交错图像的像素数据。
16.一种用于立体图像的再生方法，在水平方向上给出视差而在垂直方向上未给出视差，
立体显示装置包括：
显示单元，具有显示表面，在所述显示表面上显示用于立体显示的视差交错图像，并且像素在水平方向上以第一水平间距排列；以及
视差栅栏，具有布置为面向所述显示表面且在水平方向上以第二水平间距排列的线状光学开口，所述光学开口从垂直方向倾斜，所述第二水平间距等于所述第一水平间距的整数倍(n)，所述视差栅栏将在n个像素的水平间距处的像素所发射的光线作为平行光线引导至所述观看区域，
所述方法包括：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线；
记录最终组合图像，其是通过将n个具有相同数量的水平像素和垂直像素的组合图像进行组合而形成的，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的；并且
在将所述最终组合图像转换为视差交错图像之后，在所述显示表面上显示所述视差交错图像。
17.如权利要求16所述的用于立体图像的再生方法，其中：
每个所述组合图像都是具有与所述视差交错图像相同的长宽比的矩形；并且
到所述视差交错图像的转换包括：通过基于在所述组合图像中在水平方向上彼此相邻的一个或多个像素的内插处理，来生成所述视差交错图像的像素数据。
18.一种计算机可执行程序，用于记录用于立体显示装置的立体图像数据，所述立体显示装置用于显示立体图像且在水平方向上给出视差而在垂直方向上未给出视差，
所述程序包括用于以下的指令：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线；并且
记录具有相同数量的水平像素和垂直像素的n个组合图像，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的。
19.一种计算机可执行的再生程序，用于显示立体图像且在水平方向上给出视差而在垂直方向上未给出视差，
所述程序包括用于以下的指令：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中的、在相同视差方向上的平行光线；并且
记录具有相同数量的水平像素和垂直像素的n个组合图像，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的；并且
在将所述n个组合图像转换为视差交错图像之后，在显示单元上显示所述视差交错图像。
20.一种计算机可执行的再生程序，用于显示立体图像且在水平方向上给出视差而在垂直方向上未给出视差，
所述程序包括用于以下的指令：
准备表示n个或更多个视差成分图像的视差成分图像数据，所述视差成分图像中每一个都具有累积像素并且具有不同数量的水平像素，所述累积像素使所述像素生成在所述观看区域中、在同一视差方向上的所述平行光线；
记录最终组合图像，其是通过将n个具有相同数量的水平像素和垂直像素的组合图像进行组合而形成的，所述n个组合图像是通过将一个或多个视差方向彼此相差n的视差成分图像进行组合而形成的；并且
在将所述最终组合图像转换为视差交错图像之后，在显示单元显示所述视差交错图像。
CNA2006800275506A 2005-08-31 2006-03-28 立体图像数据结构、立体图像数据记录方法、再生方法、记录程序以及再生程序 Pending CN101233766A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP251412/2005 2005-08-31
JP2005251412A JP4476905B2 (ja) 2005-08-31 2005-08-31 立体表示画像データの構造、立体表示画像データの記録方法、表示再生方法、記録プログラム、および表示再生プログラム

Publications (1)

Publication Number Publication Date
CN101233766A true CN101233766A (zh) 2008-07-30

Family

ID=36571973

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800275506A Pending CN101233766A (zh) 2005-08-31 2006-03-28 立体图像数据结构、立体图像数据记录方法、再生方法、记录程序以及再生程序

Country Status (4)

Country Link
US (1) US8441526B2 (zh)
JP (1) JP4476905B2 (zh)
CN (1) CN101233766A (zh)
WO (1) WO2007026444A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102017641A (zh) * 2009-02-19 2011-04-13 松下电器产业株式会社 记录介质、再生装置、集成电路
CN102349303A (zh) * 2009-03-12 2012-02-08 吉田健治 影像转换装置、影像输出装置、影像转换***、影像、记录介质、影像转换方法及影像输出方法
CN102630022A (zh) * 2011-02-04 2012-08-08 株式会社东芝 三维影像显示装置及三维影像显示方法
CN102792701A (zh) * 2010-03-05 2012-11-21 吉田健治 中间图像生成方法、中间图像文件、中间图像生成装置、立体图像生成方法、立体图像生成装置、裸眼立体图像显示装置、立体图像生成***
CN102970558A (zh) * 2011-08-29 2013-03-13 株式会社东芝 三维影像显示装置
TWI452340B (zh) * 2011-03-29 2014-09-11 Toshiba Kk Dimensional image display device, image display method
CN104185011A (zh) * 2014-08-26 2014-12-03 四川虹微技术有限公司 一种多视点图像融合装置
CN105611268A (zh) * 2015-12-15 2016-05-25 联想(北京)有限公司 信息处理方法及电子设备

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7684612B2 (en) * 2006-03-28 2010-03-23 Pitney Bowes Software Inc. Method and apparatus for storing 3D information with raster imagery
JP4714115B2 (ja) * 2006-09-07 2011-06-29 株式会社東芝 立体映像表示装置および立体映像表示方法
EP2145575A1 (en) * 2008-07-17 2010-01-20 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO A system, a method and a computer program for inspection of a three-dimensional environment by a user
KR20100043751A (ko) * 2008-10-21 2010-04-29 삼성전자주식회사 렌더링 방법
US9659353B2 (en) * 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
JP5269027B2 (ja) * 2010-09-30 2013-08-21 株式会社東芝 三次元画像表示装置および画像処理装置
EP2461238B1 (en) 2010-12-02 2017-06-28 LG Electronics Inc. Image display apparatus including an input device
KR101592304B1 (ko) * 2011-05-16 2016-02-05 후지필름 가부시키가이샤 시차 화상 표시 장치, 시차 화상 생성 방법, 및 시차 화상 프린트
US9420268B2 (en) 2011-06-23 2016-08-16 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
US9384581B2 (en) 2012-04-20 2016-07-05 Affirmation, Llc Systems and methods for real-time conversion of video into three-dimensions
JP6099892B2 (ja) * 2012-07-09 2017-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像表示装置
KR101413244B1 (ko) * 2013-02-19 2014-06-30 한국과학기술연구원 변형된 공통시역을 이용하는 다시점 3차원 영상표시장치
US20150042764A1 (en) * 2013-08-06 2015-02-12 Board Of Trustees Of Michigan State University Three-dimensional hyperspectral imaging system
CN104427326A (zh) * 2013-09-06 2015-03-18 北京三星通信技术研究有限公司 集成成像显示***中的三维显示方法和设备
CN104867094B (zh) * 2014-02-20 2018-11-13 联想(北京)有限公司 一种图像处理的方法及电子设备
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10034026B2 (en) * 2016-04-22 2018-07-24 Akila Subramaniam Device for and method of enabling the processing of a video stream
KR102522397B1 (ko) * 2016-11-29 2023-04-17 엘지디스플레이 주식회사 무안경 방식의 입체영상 표시장치
US11923070B2 (en) 2019-11-28 2024-03-05 Braid Health Inc. Automated visual reporting technique for medical imaging processing system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0768820B2 (ja) 1990-11-29 1995-07-26 三和シヤッター工業株式会社 玄関扉用の小窓装置
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6064424A (en) * 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
GB9715397D0 (en) 1997-07-23 1997-09-24 Philips Electronics Nv Lenticular screen adaptor
US6831677B2 (en) * 2000-02-24 2004-12-14 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
US7425951B2 (en) * 2002-12-27 2008-09-16 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus, method of distributing elemental images to the display apparatus, and method of displaying three-dimensional image on the display apparatus
JP3966830B2 (ja) * 2003-03-28 2007-08-29 株式会社東芝 立体表示装置
JP2005110010A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 立体画像生成方法および立体画像表示装置
JP4271155B2 (ja) 2004-02-10 2009-06-03 株式会社東芝 三次元画像表示装置
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP4202991B2 (ja) 2004-09-29 2008-12-24 株式会社東芝 立体画像用データの記録方法及び表示再生方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102017641B (zh) * 2009-02-19 2012-08-22 松下电器产业株式会社 再生装置、记录方法、记录介质再生***
CN102017641A (zh) * 2009-02-19 2011-04-13 松下电器产业株式会社 记录介质、再生装置、集成电路
CN102349303A (zh) * 2009-03-12 2012-02-08 吉田健治 影像转换装置、影像输出装置、影像转换***、影像、记录介质、影像转换方法及影像输出方法
CN102792701A (zh) * 2010-03-05 2012-11-21 吉田健治 中间图像生成方法、中间图像文件、中间图像生成装置、立体图像生成方法、立体图像生成装置、裸眼立体图像显示装置、立体图像生成***
US8964006B2 (en) 2011-02-04 2015-02-24 Kabushiki Kaisha Toshiba Three-dimensional display apparatus and three-dimensional video display method
CN102630022A (zh) * 2011-02-04 2012-08-08 株式会社东芝 三维影像显示装置及三维影像显示方法
CN102630022B (zh) * 2011-02-04 2015-03-25 株式会社东芝 三维影像显示装置及三维影像显示方法
TWI452340B (zh) * 2011-03-29 2014-09-11 Toshiba Kk Dimensional image display device, image display method
US9237335B2 (en) 2011-03-29 2016-01-12 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus
CN102970558B (zh) * 2011-08-29 2015-03-18 株式会社东芝 三维影像显示装置
CN102970558A (zh) * 2011-08-29 2013-03-13 株式会社东芝 三维影像显示装置
CN104185011A (zh) * 2014-08-26 2014-12-03 四川虹微技术有限公司 一种多视点图像融合装置
CN104185011B (zh) * 2014-08-26 2016-06-01 四川虹微技术有限公司 一种多视点图像融合装置
CN105611268A (zh) * 2015-12-15 2016-05-25 联想(北京)有限公司 信息处理方法及电子设备

Also Published As

Publication number Publication date
WO2007026444A1 (en) 2007-03-08
US8441526B2 (en) 2013-05-14
JP4476905B2 (ja) 2010-06-09
US20090102916A1 (en) 2009-04-23
JP2007067846A (ja) 2007-03-15

Similar Documents

Publication Publication Date Title
CN101233766A (zh) 立体图像数据结构、立体图像数据记录方法、再生方法、记录程序以及再生程序
JP4202991B2 (ja) 立体画像用データの記録方法及び表示再生方法
US20080225113A1 (en) Three-dimensional image display device, method for displaying three-dimensional image, and structure of three-dimensional image data
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
CN101107644B (zh) 多视图显示设备
KR100637363B1 (ko) 3차원화상 표시방법, 3차원화상 촬상방법 및 3차원화상표시장치
US8879823B2 (en) Combined exchange of image and related data
KR101166248B1 (ko) 수신된 이미지 데이터를 분석하는 방법, 컴퓨터 판독 가능한 저장 매체, 뷰 모드 분석 유닛, 및 디스플레이 디바이스
US8384772B2 (en) Three-dimensional image display device and three-dimensional image display method
JP4327758B2 (ja) 立体画像表示装置
US20050185711A1 (en) 3D television system and method
EP1869901A1 (en) Method for producing multi-viewpoint image for three-dimensional image display and program therefor
JP3990176B2 (ja) 立体像表示装置
JP2008107764A (ja) 表示装置、画像処理方法並びに電子機器
JP4393496B2 (ja) 立体映像表示装置
JP4327786B2 (ja) 立体像表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080730