CN1985524A - 三维图像数据的结构，其记录方法及其显示再现方法 - Google Patents

三维图像数据的结构，其记录方法及其显示再现方法 Download PDF

Info

Publication number
CN1985524A
CN1985524A CNA2005800239045A CN200580023904A CN1985524A CN 1985524 A CN1985524 A CN 1985524A CN A2005800239045 A CNA2005800239045 A CN A2005800239045A CN 200580023904 A CN200580023904 A CN 200580023904A CN 1985524 A CN1985524 A CN 1985524A
Authority
CN
China
Prior art keywords
image
parallax
pixel
connection
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800239045A
Other languages
English (en)
Inventor
最首达夫
柳川新悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1985524A publication Critical patent/CN1985524A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G03B35/24—Stereoscopic photography by simultaneous viewing using apertured or refractive resolving means on screens or between screen and eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一种3D图像显示设备包括显示表面和有以等于显示表面上排列的像素n(整数)倍的水平间距排列的、在视差栅格上线性延伸的光学开口的视差栅格。视差栅格将来自沿水平方向排列在显示表面上的每n个像素的光线再现为平行光线。将显示表面分成各自有由假设观察距离确定的宽度的基本图像。将有水平视差而无垂直视差的三维图像显示在观察区域中。如下地处理三维图像的图像数据以用最小化图像质量降级、而实现高压缩比的高效保存格式来记录。对来自在相同视差方向构造平行光线的像素集合的图像数据累积以获得多于n个的视差分量图像。将相应于第n邻近视差方向的一个或多个视差分量图像结合到一起，然后转换成有相同数量的垂直和水平像素的n个连接图像。

Description

三维图像数据的结构，其记录方法及其显示再现方法
技术领域
本发明涉及三维图像数据的结构、记录三维图像数据的方法以及显示和再现三维图像数据的方法，具体说来，涉及这样的三维图像数据的结构、记录三维图像数据的方法以及显示和再现三维图像数据的方法，其中，记录适合压缩的三维显示图像。
背景技术
已知用于能够以三维方式显示运动图像(即，三维显示)的三维图象显示设备的各种方案。近些年来，具体来说，非常需要基于不需要任何专用类型的玻璃等的方案的平板类型三维图像显示设备。对于诸如直接视觉或投射类型的液晶显示设备和等离子显示设备的平板类型显示设备，其像素在显示表面上具有固定的位置，可基于以下的方案容易地实现三维图像显示设备：紧靠显示面板的前面安装视差栅格以可控制地将来自显示面板的光线指向观察者。
对光线进行控制，从而即使观察视差栅格上的相同位置时，观察者根据角度会观察到不同的图像。具体说来，狭缝阵列或透镜光栅(lenticular sheet)，即，柱面透镜阵列用于提供唯一横向视差，即，水平视差，或者针孔阵列或透镜阵列还用于提供垂直视差。使用视差栅格的方案被进一步分类为双视(双目)方案、多视方案、超多视方案(即被提供有超多视条件的多视方案)、以及集成摄影术(以下简称为IP)。这些方案的基本原理与100年前发明的内容基本相同，并且从那时起一直用于三维摄影术。
通过IP方案或多视方案，观察距离正常来说是有限的。因此，以下面的方式创建显示图像：在观察距离上实际观察到透视图像。在SID04 Digest 1438(2004)中公开的IP方案仅提供水平视差而不提供垂直视差。如果将视差栅格的水平间距设置为等于像素的水平间距的整数倍数(n倍)，则所述一维IP方案产生平行光线的集合(以下将所述一维IP方案也称为平行光线一维IP)。因此，通过在垂直方向对给定的观察距离进行透视投影并通过在水平方向上进行正射投影而获得视差分量图像，在所述视差分量图像中，构成平行光线的集合的像素列被累积。通过将每个视差分量图像划分成像素列并进行交错和合成来创建视差合成图像(基本图像阵列)，其中，所述每个视差分量图像通过在垂直方向进行透视投影并通过在水平方向进行正射投影而获得。当将视差合成图像显示在显示表面上并通过视差栅格被观察时，获得正确的投影，即，基于在水平和垂直方向两者的透视投影的三维图像。具体方法在SID04 Digest 1438(2004)、日本专利申请公开2003-90738和2003-315356等中被公开。多视方案将通过简单的透视投影获得的图像划分成像素列并进行交错和合成，以获得基于正确投影的三维图像。
实现使投影方法或投影中心距离在垂直方向和水平方向间产生变化的图像拾取设备是很困难的。这是因为这种设备需要与正射投影的对象相同大小的相机或镜头。因此，通过图像拾取器获得正射投影数据的实际方法是将透视投影图像拾取数据转换成正射投影数据。已知的实际方法是基于内插法并使用EPI(荧光表面)的光线空间方法。
平行光线一维IP方案的优点在于通过所述方案获得的图像比通过双目方案获得的图像更容易被看到。然而，平行光线一维IP方案需要复杂的图像格式以用于投影方法以及划分和排列方法。双目和多视方案是显示最简单的三维图象的三维图象显示方案，因此使用简单的图像格式。通过这些方案，每个视差图像由相同数量的垂直像素和相同数量的水平像素来形成。例如，可将用于双目方案的两个视差分量图像或用于九视方案的九个视差分量图像划分成像素列，随后可按照可将视差合成图像显示在显示表面上的图像格式将所述像素列合成为视差合成图像。然而，平行光线一维IP方案需要比多视方案更多数量的视差分量图像，其实现基本相同的分辨率。通过平行光线一维IP方案，在每个视差分量图像中的水平像素的数量(用于显示三维图像的水平范围)根据视差方向而不同，从而导致有复杂的图像格式。
如果将每段视差信息划分成分配到视差合成图像的子像素，则多视方案和平行光线一维IP方案均存在问题。当通过诸如JPEG或MPEG的编码方法对视差合成图像进行不可逆地压缩时，会将视差信息混合到一起，并且解压缩会降低图像质量。具体说来，如果滤色片的彩色排列等是镶嵌排列以便避免波纹效应，则也会将彩色信息混合到一起，并且解压缩会进一步降低图像质量。可逆压缩避免了所述图像质量的下降，但是所提供的压缩率比由不可逆压缩实现的压缩率低很多。存在允许对每个视差分量图像进行不可逆地压缩和解压缩的方法。所述方法可结合多视方案使用，但是因为它涉及大量的视差分量图像以及变化数量的水平像素，所以其结合平行光线一维IP方案使用时效率不高。
如上所述，基于平行光线一维IP方案的传统三维图像记录方法的缺点在于它实现相当低的压缩率，并且作为不可逆压缩和解压缩的结果，会引起图像质量的下降。
发明内容
本发明的目的在于提供一种基于平行光线一维IP方案的有效三维显示图像记录方法，其可最小化图像质量的下降并实现高压缩率。
本发明提供一种用于三维图像显示设备的三维图像数据的结构，所述三维图像显示设备包括：
具有显示表面的显示部分，在所述显示表面上，以第一水平间距将像素排列在水平方向上，以显示用于三维显示的视差合成图像；以及
视差栅格，其相对于显示表面放置并具有以第二水平间距排列在水平方向上的线性光学开口，所述第二水平间距是第一水平间距的n(整数)倍，视差栅格使来自沿着水平方向在显示表面上排列的每n个像素的光线平行并将所述光线指向观察区域；
所述设备通过在水平方向而非垂直方向提供视差而在观察区域中显示三维图像，
其中，所述结构包括在n个或更多视差分量图像上的数据，在每个视差分量图像中，对允许像素在观察区域中产生在相同的视差方向上的平行光线的像素列进行累积，视差分量图像具有不同数量的水平像素，各自通过结合相应于第n个邻近视差方向的一个或多个视差分量图像而获得的每n个连接的图像被转换成视差合成图像，所述连接的图像具有数量基本相同的垂直像素和数量基本相同的水平像素。
本发明还提供一种用于三维图像显示设备的记录三维图像数据的方法，所述三维图像显示设备包括：具有显示表面的显示部分，在所述显示表面上，以第一水平间距将像素排列在水平方向上，以显示用于三维显示的视差合成图像；以及视差栅格，其相对于显示表面放置并具有以第二水平间距排列在水平方向上的线性光学开口，所述第二水平间距是第一水平间距的n(整数)倍，视差栅格使来自沿着水平方向在显示表面上排列的每n个像素的光线平行并将所述光线指向观察区域，所述设备通过在水平方向而非垂直方向提供视差而在观察区域中显示三维图像，所述方法包括：
提供在n个或更多视差分量图像上的数据，在每个视差分量图像中，对允许像素在观察区域中产生在相同的视差方向上的平行光线的像素列进行累积，视差分量图像具有不同数量的水平像素，以及
通过将各自借助于结合相应于第n个邻近视差方向的一个或多个视差分量图像而获得的每n个连接的图像转换成视差合成图像来记录数据，所述连接的图像具有数量基本相同的垂直像素和数量基本相同的水平像素。
附图说明
图1是示意性示出应用根据本发明实施例的记录和再现三维显示图像的方法的整个三维图像显示设备的透视图。
图2A是示意性示出用作图1所示的视差栅格的透镜光栅的透视图。
图2B是示意性示出用作图1所示的视差栅格的狭缝阵列平板的透视图。
图3(a)、图3(b)和图3(c)是示意性示出应用根据本发明实施例的记录和再现三维显示图像的方法的三维图像显示设备的前表面的平面图、示出应用根据本发明实施例的记录和再现三维显示图像的方法的三维图像显示设备中的光学***在水平平面中的构造线和布置的示意图、以及示意性示出在基于根据本发明实施例的三维图像显示设备的显示部分所设置的观察区域空间中的垂直平面中的观察角度的示图。
图4(a)、图4(b)和图4(c)是示出根据本发明实施例的基于平行光线一维IP方案从视差分量图像形成视差合成图像的方法的示图。
图5(a)、图5(b)和图5(c)是示意性示出根据本发明实施例通过图像拾取获取的视差分量图像的示图、示意性示出在图5(a)所示的视差分量图像中重排像素的彩色分量的方法的示图、以及示出将图5(a)所示的视差分量图像分配到视差合成图像中的适当位置的方法的示图。
图6是示意性示出应用根据本发明实施例的记录和再现三维显示图像的方法的三维图像显示设备的一部分的配置的透视图。
图7是示意性示出在图6所示的显示屏幕上的像素阵列的示例的放大平面图。
图8是示意性示出在图6所示的显示屏幕上的像素阵列的另一部分的示例的放大平面图。
图9是示意性示出应用根据本发明实施例的记录和再现三维显示图像的方法的三维图像显示设备的显示部分的水平截面图的示意图。
图10是示意性示出应用根据本发明实施例的记录和再现三维显示图像的方法的三维图像显示设备的显示部分的水平截面图的示意图。
图11是示意性示出三维图像显示设备的显示部分的正视图，所述示图用于描述在应用根据本发明实施例的记录和再现三维显示图像的方法的显示设备的显示表面中排列图像的方法。
图12是示出18个连接的、具有相同数量的垂直像素和相同数量的水平像素的图像的平面图，图像的集合适合记录应用于根据本发明实施例的记录三维显示图像的方法的三维显示图像。
图13是示意性示出在根据本发明实施例的记录三维显示图像的方法中的视差分量图像的平面图。
图14是示出用于获取图13所示的每个视差分量图像的图像捕获方法的示图。
图15是示出在根据本发明实施例的记录三维显示图像的方法中，每个视差分量图像的数据范围以及每个视差分量图像位于视差合成图像中的位置的表。
图16是示意性示出在根据本发明实施例的变形的记录三维显示图像的方法中的整个连接的图像的格式的平面图。
图17是示意性示出在根据本发明另一实施例的记录三维显示图像的方法中的整个连接的图像的格式的平面图。
图18是示意性示出在根据本发明另一实施例的记录三维显示图像的方法中的整个连接的图像的格式的平面图。
图19是示出在根据本发明另一实施例的记录三维显示图像的方法中的视差分量图像的示图。
图20是示出在参照图19描述的记录三维显示图像的方法中，每个视差分量图像的数据范围以及每个视差分量图像位于视差合成图像中的位置的表。
图21是示出通过将图19所示的视差分量图像与图20所示的视差分量图像结合而获得的18个连接的图像的平面图。
图22是示出通过连接图21所示的连接的图像而获得的整个连接的图像的示例的平面图。
图23是示出图22所示的整个连接的图像的变形的平面图。
图24是示出图22所示的整个连接的图像的另一变形的平面图。
图25是示出图22所示的整个连接的图像的另一变形的平面图。
图26是示出图22所示的整个连接的图像的另一变形的平面图。
图27是示出图22所示的整个连接的图像的另一变形的平面图。
图28是示出在根据本发明另一实施例的记录三维显示图像的方法中的32个连接的图像的平面图。
图29是示出在图18所示的连接的图像中，每个视差分量图像的数据范围以及每个视差分量图像位于视差合成图像中的位置的表。
图30是示出通过连接图28所示的连接的图像而获得的整个连接的图像的平面图。
图31是示出根据不同于图30所示的整个连接的图像的变形的整个连接的图像的平面图。
图32是示出在根据本发明另一实施例的记录三维显示图像的方法中，每个视差分量图像的数据范围以及每个视差分量图像位于视差合成图像中的位置的表。
图33是示出通过结合图32所示的视差分量图像而获得的9个连接的图像的平面图。
图34是示出通过结合图33所示的连接的图像而获得的整个连接的图像的变形的透视图。
图35是示意性示出对通过根据本发明上述实施例的记录三维显示图像的方法创建的连接的图像或整个连接的图像不可逆地压缩地进行记录、读取和解压缩、重排以及再现的记录和再现方法的示图。
图36A是示意性示出对通过根据相比较的示例的记录三维显示图像的方法所创建的连接的图像或整个连接的图像不可逆地压缩地进行记录、读取和解压缩、重排以及再现的记录和再现方法的流程图。
图36B是示意性示出对通过相比较的示例的记录三维显示图像的方法所创建的连接的图像或整个连接的图像不可逆地压缩地进行记录、读取和解压缩、重排以及再现的记录和再现方法的流程图。
图37是示意性示出根据本发明实施例将一组连接的组分配到视差合成图像中的适当位置的方法的示图。
图38(a)、图38(b)和图38(c)是：示出整个连接的图像的示意图，其中，所述示图用于描述根据本发明实施例的将整个连接的图像转换成视差合成图像的方法；示出图38(a)所示的整个连接的图像转换成的视差合成图像的示意图；以及示出用于根据本发明实施例的变形将整个连接的图像转换成视差合成图像的中间图像格式的示意图。
图39A是示出根据本发明实施例的30个视差分量图像的示例的示图。
图39B是示出根据本发明实施例的整个连接的图像的示例的示图。
具体实施方式
将参照附图给出对于根据本发明实施例的记录和再现三维显示图像的方法的描述。
首先，将参照图1到图11给出对于根据IP方案的显示设备和方法的描述。
图1是示意性示出整个三维图像显示设备的透视图。显示图1所示的三维图像的显示设备包括平面显示部分331，其将视差合成图像(基本图像阵列)显示为平面图像。将图2A所示的透镜光栅334或图2B所示的狭缝阵列平板333置于平面显示部分331的前面作为视差栅格332，其控制来自显示部分331的光线。这里，将双凸透镜334或狭缝阵列平板333共称为视差栅格332。视差栅格包括光学开口。如果视差栅格是透镜光栅334，则光学开口相应于柱面透镜的主要点(线)。如果视差栅格是狭缝阵列平板333，则光学开口相应于在狭缝阵列平板333中形成的狭缝。视差栅格332中的光学开口基本限制将来自显示部分331的光线指向显示三维图像的观察区域。光学开口相应于构成在显示部分331上显示的二维图像的基本图像。因此，在显示部分331上显示的视差合成图像包括基本图像，基本图像的数量相应于视差栅格332中的光学开口的数量。结果，基本图像经由视差栅格332中的光学开口被投射向观察区域中的空间，以将三维图像显示在三维图像显示设备的前面或后面区域。
在三维图像显示设备中，可根据需要在平面图像显示部分331和视差栅格332之间提供漫射栅片301。可将视差栅格322安装在平面显示部分331的后面。
所述三维图像显示设备基于一维IP方案，通过所述方案，观察者从在假设的观察距离L上的视点343观察向其提供水平视差而不是垂直视差的三维图像。图3(a)显示三维图像显示设备的前表面。图3(b)示出构造线(直线组346)，其示出基本图像的平均宽度Pe、第二水平间距(视差栅格中的开口的水平间距)Ps、观察距离L和观察区域的宽度W之间的关系。图3(c)示意性示出在基于图3(a)所示的三维图像显示设备的显示部分331设置的观察空间中的垂直平面中的观察角度。
如图1和图3(b)所示，三维图像显示设备包括：平面显示部分331，其由液晶显示面板等组成以显示平面图像；以及如上所述的视差栅格332，其具有光学开口。视差栅格332包括透镜光栅334或狭缝阵列平板333，将其定形为具有光学开口，如图2A和图2B所示，所述光学开口在垂直方向上如同直线般延伸并周期性地排列在水平方向上。对于投影类型的显示设备，视差栅格332包括弯曲的镜阵列等。通过三维图像显示设备，当在水平方向的视角341和垂直方向的视角342的范围内从眼睛的位置经由视差栅格332观察显示设备331时，观察者可在显示部分331的前面和后面观察到三维图像。对于平面图像显示部分331中像素的数量，作为示例，构成最小方形单位的像素组在水平方向包含1920像素，在垂直方向包含1200像素。每个最小单位像素组包含红(R)、绿(G)和蓝(B)(子)像素。应注意到，在该说明书中，“像素”表示显示表面的一帧之内的最小单位，其允许独立控制它的亮度，并且普通的直视传输液晶面板中的红(R)、绿(G)和蓝(B)子像素相应于“像素”。
在图3(b)中，可通过设置视差栅格332的主要平板和观察距离平板343之间的距离(假设的观察距离)L、视差栅格间距(视差栅格332中的光学开口的水平间距)Ps以及视差栅格空隙d来确定每个基本图像的宽度。也就是说，通过点之间的间隔来确定基本图像的平均间距Pe，所述点通过将视差栅格332中的光学开口的中心沿着从观察距离平板343处的视点到所述光学开口中心的直线投射到显示表面而获得。标号346指示将视点位置与每个光学开口中心连起的线。在基本图像不叠盖住显示设备的显示表面的情况下确定观察区域宽度W。如已经描述的，每个基本图像相应于二维合成图像的一部分，即，视差合成图像，其通过像素的集合产生经过视差栅格332中的特定光学开口到达视差栅格332和观察距离平板343之间的观察区域而获得显示。通过将多个基本图像显示并投射到显示部分331上来显示三维图像。
当显示设备响应于来自如图3(a)所示的驱动电路310的显示信号而被驱动时，视差合成图像被显示在显示设备331上。驱动电路310包括存储部分312作为它的***装置，其对包括一组视差分量图像的连接的图像进行压缩以将压缩的图像存储为三维图像数据。驱动电路310还包括图像处理部分314作为它的***电路，其将来自存储部分312的三维图像数据扩展并转换成连接的图像，并进一步成为视差合成图像以提取像素数据。
在平行光线一维IP方案中，将光学开口的水平间距Ps设置为等于像素间距Pp的整数多倍，通过所述方案，相应于光学开口并有助于显示三维图像的基本图像的平均间隔Pe不是像素间距Pp的整数多倍，但是等于整数多倍加上分数部分。在一维IP方案的较宽含义中，可以不将光学开口的水平间距Ps设置为等于像素间距Pp的整数多倍，也就是说，在水平间距Ps排列的光圈可以不形成一组平行光线。即使在一维IP方案的较宽含义的情况下，基本图像的平均间距Pe也通常约等于整数多倍加上分数部分。相反，通过多视***，将基本图像的平均间距Pe设置为等于像素间距PP的整数多倍。通过一维IP方案，通过用像素间距Pp去除光学开口的水平间距Ps而获得的整数被称为“视差的数量”。
每个基本图像包括从视差分量图像426提取并相应于如参照图4(a)、图4(b)、图4(c)和图5所描述的每组平行光线的方向的像素列的集合。如同所理解的，显示一个三维图像所需的视差合成图像是基本图像的集合(也称为基本图像阵列)。视差合成图像还可以是大量构成基本图像的视差分量图像426的集合，即，大量交错和合成的视差分量图像426的集合。
图4(a)、图4(b)和图4(c)示出根据平行光线一维IP方案的基于视差分量图像构成视差合成图像的方法。如图4(a)所示，将显示的物体，即，对象421投射到投影平板422上，所述投影平板422位于实际放置三维图像显示设备的视差栅格332的平板上。一维IP将对象投射向投影线425，其延伸向指定为与投影平板422平行放置的平板的中心并位于观察距离L的投影中心线423。通过这种投影，投影线在水平方向没有交叉，但是在垂直方向交叉在投影中心线。所述投影方法通过在垂直方向进行透视投影并在水平方向进行正射投影而在投影平板422上创建诸如图4(b)所示的对象的图像424。图4(b)所示的对象的图像424相应于由图4(a)中的标号1显示并在投影方向428投射的图像。一维IP需要在如图4(a)所示的多个方向投射的对象的图像424。
如图4(b)所示，将投射的图像，即，视差分量图像426划分为沿着垂直方向延伸的像素列；投射的图像相应于通过在垂直方向进行透视投影并在水平方向进行正射投影而投射在投影平板422上的一个方向的图像。将像素列分布到相应于光学开口，即，光圈的基本图像。因此，像素列排列在视差合成图像427中。根据显示设备的显示表面427上的长度，以光圈间距Ps，即，相应于光学开口的间距Ps的间隔(数量与视差的数量相同的(子)像素列间隔)来间隔开视差分量图像426。
每个视差分量图像的要求分辨率是视差合成图像的要求分辨率的视差数量的倒数。如果将彩色镶嵌地排列在显示设备的显示表面上，则方便地将每个视差分量图像相对于视差合成图像的水平和垂直分辨率分别设置为3/(视差的数量)和1/3。仅当视差的数量是9时视差分量图像的宽高比是1。图5示出18种视差的示例。因此，水平像素(子像素)的数量在视差合成图像中是5760，在视差分量图像中是960，即，5760的1/6。如图5(a)和图5(b)所示，将由图像拾取器获取的视差分量图像426(也相应于相机图像)中的R、G和B子像素排列在水平方向(沿着行)。然而，将来自R、G和B子像素的子像素数据按照在垂直方向(沿着列)的顺序重排在视差合成图像中，例如，按照在垂直方向重排的相应子像素(可按照G、B和R或B、R和G的顺序重排子像素数据)。将子像素数据分配到在垂直方向延伸的像素列。这种转换和分配使得可根据仅具有水平视差的一维IP方案提高用于显示三维图像的水平分辨率。将视差分量图像中在水平方向邻近的像素(R、G和B的集合以及在水平方向邻近的R、G和B的集合)排列在视差合成图像上，以便将它们彼此分离等于子像素数量的距离，所述数量与视差的数量相同。对另一投影方向428重复所述操作以将整个视差合成图像完成为在如图5(c)所示的显示表面427上显示的二维图像。图4(a)仅示出8个投影方向428，即，-4、-3、-2、-1、1、2、3和4。然而，根据观察距离会需要几十个方向，并且如图5到图18所示的具有18种视差的示例需要30个方向。然而，在投射的图像，即，视差分量图像426中的像素列的数量的最大值是3/(视差合成图像中像素列的数量的(视差的数量))。然而，仅需要在每个投影方向创建需要的范围内的列。需要的范围如参照图13所描述的。
如图4(a)所示的每个投影方向相应于视差方向，在所述方向观察到由相应的视差号码标识的视差分量图像426。方向之间的角度不相等，但是以如参照图14所描述的观察距离平板上的相等间隔来间隔开投影中心(相应于相机位置)。也就是说，通过在拾取图像时将相机以相等的间隔(在固定的方向)平行于投影中心线423移动而以相等的间隔来设置投影中心。
图6是示意性示出三维图像显示设备的一部分的配置的透视图。这一附图显示放置透镜光栅334，作为在诸如液晶面板的平面视差合成图像显示部分的显示表面前面的视差栅格332，在透镜光栅334中，光学开口包括在垂直方向延伸的柱面透镜。视差栅格332中的光学开口并不受限于图6所示的线性延伸，而且还可以倾斜地排列或形成阶梯。如图6所示，将具有3∶1宽高比的像素34排列在矩阵中，以便在水平和垂直方向两者线性延伸。按照以下方式来排列像素34：红(R)、绿(G)和蓝(B)的每一个的集合在相同行和列内交替地排列在水平方向。这种彩色排列通常被称为镶嵌排列。
图7是示出在图6所示的显示表面上的像素阵列的示例的放大平面图。在图7中，在像素34的列上显示的号码-9到9是识别参照图4描述的视差分量图像的视差号码。将邻近像素号码分配到邻近列。在图7所示的阵列中，将像素34沿着列的垂直阶段设置为像素沿着行的水平阶段Pp的三倍大。
在图6所示的显示屏幕中，像素34的18列以及6或3行构成一个有效像素34(由图6中的黑框所示)。显示部分的这一结构使得能够用水平方向的18种视差来显示三维图像。
平行光线一维IP方案将视差栅格间距Ps设置为等于像素间距的整数多倍，即，18个像素间距。因此，经由视差栅格332中的光学开***出的光束变成平行光线的集合。根据这一设计，以均稍微大于18个像素宽度(例如，18.02)的间隔出现基本图像之间的边界。然而，由于根据像素来指定有效像素，所以根据如图7和图8所示的显示表面中的位置将有效像素的宽度设置为等于18或19列。也就是说，基本图像间距的平均值大于18像素宽度。将视差栅格332的水平间距设置为等于18像素宽度。
图9和10示意性示出三维显示设备的显示部分的水平横截面。如图9和图10所示，将狭缝阵列平板333中的缝隙与透镜光栅334的柱面透镜的间距Ps(阶段)设置为等于像素的精确整数(n×Pp；n是整数)。也就是说，中心轴351均经过邻近狭缝的中心或参考轴352均经过邻近双凸透镜间的边界，所述双凸透镜经过像素边界。将整数个像素排列在中心轴351间以及参考轴352间的区域。中心轴351或参考轴352的水平间距Ps(阶段)是固定的。在图9或图10所示的示例中，将间距Ps设置为等于18像素。基于玻璃衬底或透镜材料的折射率，将显示设备的显示表面331与视差栅格333和334的主要平板之间的空隙d设置为大约2mm，以便具有实际意义。因此，视差栅格332的间距Ps是像素间距Pp的整数多倍的方案相应于所述一维IP。基本图像间距Pe是像素间距Pp的整数多倍的情况通常属于多视方案。
图11是示出三维图象显示设备的显示部分的前示图，其有助于描述在平行光线一维IP方案中在显示设备的显示表面中排列图像的方法。将显示设备的显示表面分割成相应于光圈(视差栅格332中的开口)的基本图像370。基本图像370包括如已经描述的18或19像素列。光圈(光学开口)的数量是320，其与视差分量图像中的水平像素(在这种情况下不是子像素)的数量相同。基本图像的数量也是320。视差合成图像426中的像素列的数量是5760(子像素的数量)。在图11中，为了与基本图像370对比地描述所述320个光圈，在由附图中的标号364指示的区域中示出光圈号码(基本图像号码)。区域364中所述的光圈号码的范围(总共320个光圈的号码的范围)在#-160与#-1之间以及在#1与#160之间。在图11中，在由附图中的标号363指示的区域中作为各个项示出了用于标识视差分量图像426的视差号码(在所述示例中，有-15到-1和1到15用于30个方向)。
如从图11所清楚了解的，具有光圈号码#1的基本图像370包括视差分量图像426的18列，其通过视差号码-9到-1以及1到9来识别。具有光圈号码#159的基本图像包括视差分量图像426的18列，其通过视差号码-15到-1以及1到3来识别。基本图像的平均宽度Pe稍大于18像素列的宽度。因此，当每个基本图像边界与最近的像素列边界校准(普通A-D变换方法)时，对于大多数光圈而言，基本图像中的像素列的号码相对于光圈是18，而对某些光圈而言是19(参见图7和图6的描述)。在每个具有19列的光圈号码处，将基本图像中的光圈号码的范围移1。具体来说，如果将观察距离设置为在1000mm处，则具有19列的光圈号码是#14，#42，#70，#98，#125，#153，以及那些具有负号的光圈号码。因此，具有光圈号码#-160和#160的基本图像包括12列，相应于移位的列比包括在每个其它基本图像中的列的数量小了6。
现在，参考图12到图25，将给出对适于压缩的格式的图像数据的配置的描述，其中，在显示部分331显示的视差合成图像被转换成所述格式的图像数据。
图12示出n个(在此示例中，n＝18)具有相同数量的垂直像素和相同数量的水平像素的连接的图像2，其适于记录三维显示图像；将连接的图像2应用于根据本发明实施例的记录三维显示图像的方法。连接的图像的数量n相应于视差的数量。每个连接的图像2包括一个视差分量图像426或几个视差分量图像426(+15到+1以及-1到-15)的结合。所述n个连接的图像2具有格式化的数据结构，所述格式化便于容易地转换成在显示部分331显示的一个视差合成图像426。可通过使用与参照图4(a)到图4(c)和图5(a)到图5(c)描述的视差分量图像的划分和排列类似的划分和排列方法将连接的图像2分配到显示部分331上的适当位置，将连接的图像转换成视差合成图像。在图37中示出所述转换方法。从视差合成图像的左端列到右侧以18子像素的间隔来排列包含在观察区域的右端的相机图像(#-9)的连接的图像中的像素，从而将水平排列的具有三色分量的子像素在垂直方向上重新排列。从视差合成图像的从左端开始的第二列到右侧以18子像素的间隔来排列包含来自观察区域的右端的相机图像(#-8)的连接的图像中的像素，从而将水平排列的具有三色分量的子像素在垂直方向上重新排列。对每个剩余的连接的图像重复类似的操作。最后，从视差合成图像的从左端开始的第18列到右端列以18子像素的间隔来排列包含在观察区域的左端的相机图像(#9)的连接的图像中的像素，从而将水平排列的具有三色分量的子像素在垂直方向上重新排列。也就是说，可以通过与基于多视方案的18视图像完全相同的过程来处理所述18个连接的图像，而且可以通过完全相同的交错过程将所述18个连接的图像转换成视差合成图像。将连接的图像2记录在记录介质中，从而如图12所示进行排列，或者将图12所示的连接的图像2的阵列压缩成一帧，或者对所述帧以及通过压缩连接的图像2的另一阵列获得的另一帧进行压缩，从而所述帧彼此关联。
图12中的号码(15到1以及-1到-15)指示视差分量图像426的号码(与相机号码相同)。因此应该注意的是，在下面的描述中，视差分量图像426的号码(15到1以及-1到-15)的结合被用来识别连接的图像2。例如，将位于图12的左上端的连接的图像2识别为连接的图像(-9，+10)。将在中间段的右端的连接的图像2识别为连接的图像(+3)。
通过在水平方向发射平行光线的一维IP方案，将线性延伸的视差栅格332(透镜平板)置于显示面板的前面，从而以等于排列在显示表面的像素(在所述示例中为子像素)的水平间距的整数多倍的水平间距来排列光学开口(透镜平板的柱面透镜)，例如，以作为像素间距的18倍的水平间距来进行排列。一维IP方案随后通过将光线从相应于以上整数多倍的每18个像素沿着显示表面的水平方向指向观察区域来再现三维图像。在大于18，例如，30个视差分量图像426中累积在相同的视差方向上构成平行光线的像素的集合上的图像数据。如图13所示，#-15到-1以及#+1到#+15的视差分量图像426具有不同的水平像素(使用的像素范围)的号码。图13示出包含相应30个视差分量图像426的每个相机图像的使用的像素范围的大小。在图13中，实线表示每个视差分量图像426的使用的像素范围。虚线表示等于在三维显示期间实现的显示分辨率的每个相机图像的大小。将每个视差分量图像426设置为包含320×400像素(非子像素)。视差分量图像426有相同数量的垂直像素但是不同数量的水平像素。在图15中示出相关的特定值(320水平像素的使用的像素范围)。观察者可在观察距离观察到三维图像的位置(观察区域)相应于30个相机的中间18个的宽度。使用的像素范围落入这一观察区域内。图39A示出图13所示的格式的实际图像的示例。
使用如图14所示的排列在距离投影平板422(相应于允许相机聚焦于对象421的焦点平面)观察距离L的相机来获得构成图13所示的连接的图像2的视差分量图像426；从在公共投影平板范围内拾取的图像剪切视差分量图像426。将所有的相机指向彼此平行，并且所述相机具有公共投影平板。因此，相机实施移位的镜头图像拾取或允许在广角图像拾取之后进行拍摄选择。在图14中，由相机号码(#1到#15以及#-1到#-15)来指示相机的图像拾取位置。对于相机号码(视差方向号码)，如果n是偶数，则除了0之外的正数和负数相对于显示表面442的正表面的中心对称地排列，如图2所示。当相机在位于距离对象421有观察距离L的水平图像拾取参考线上等间隔移动的同时，拾取相同投影平板范围内的对象421的图像时，包含对象421的空间区域的图像被拾取。由于相机号码#1和#-1基本定于水平图像拾取参考线的中心，所以由相机号码#1和#-1拾取的图像被三维图像显示的观察区域所完全覆盖。相机号码#1和#-1的整个像素范围用作#1和#-1的视差分量图像426。相机号的增加或减少增加了相对于没有被观察区域覆盖的投影平板422所拾取的图像的所述部分的面积。这减少了视差分量图像426的使用的像素范围，而增加了没有被用作构成拾取的图像的视差分量图像426的多余的像素范围。例如，对于由相机号码#9和#-9拾取图像，观察角度几乎保持不变但是由观察区域覆盖的范围被减少到大约一半。视差分量图像426具有相应拾取图像的水平像素范围的一半的水平像素范围。剩余像素构成对于将在观察区域内显示的三维图像而言多余的像素范围。图13示出拾取图像和视差分量图像426之间的关系。如图13所示，相机号码的增加或减少减少了用作从拾取图像剪切的视差分量图像426的水平像素的范围。这增加了多余像素的范围。如果相机以相等的间隔在水平图像拾取参考线上移动，则补充像素范围的视差分量图像426范围和多余的像素范围如图13所示产生，结合用作从拾取图像剪切的视差分量图像的像素的范围以及没有用作视差分量图像426的多余像素的范围。例如，由相机号码#-5拾取图像涉及视差分量图像426范围和多余像素范围，其等于由相机号码#-14拾取的图像的视差分量图像426范围。由相机号码#-5和#-14拾取的图像中的视差分量图像426的结合包含垂直和水平像素，其号码等于由相机号码#1拾取的图像中视差分量图像426中的垂直和水平像素的号码。
作为结合从图13所示的拾取图像分离的视差分量图像426的结果，图12所示的连接的图像2具有相同数量的垂直像素和相同数量的水平像素。如通过对图13所示的视差分量图像426的大小(垂直和水平像素的数量)的比较所清楚了解的，相应于第18个邻近视差方向一个或多个视差分量图像的结合使得能够转换成18个连接的图像2，其具有相同数量的垂直像素和相同数量的水平像素。例如，在图12左上端显示的连接的图像2相应于具有其间相差18的视差方向号码的#-9和#10的结合。在图12的右上端显示的连接的图像2相应于具有其间相差18的视差方向号码的#-4和#15的结合。将从由位于观察区域内的相机号码拾取的图像剪切的视差分量图像426与从由位于观察区域外的相加号码拾取的图像剪切的另一视差分量图像426相结合。然而，如果图像具有较小的视差，则视差分量图像426中的图案在连接的图像中是相对连续的。尽管对连接的图像进行不可逆的压缩和解压缩，但是这抑制了图像质量在连接上的下降。几个连接的图像2(具有号码#-3到#3的18个连接的图像中的6个)各自仅包括一个视差分量图像426。由于连接的图像2具有完全相同数量的垂直像素和完全相同数量的水平像素，所以可以方便地按照与基于多视方案的显示设备中的多视数据相同的方法来处理它们。
图15是示出每个视差分量图像426中的水平像素(非子像素)的具体号码以及视差合成图像上的像素(水平像素(子像素)的范围)的排列的表。如参照图11已经描述的，表是通过计算基本图像的平均宽度(稍大于18个像素的宽度)创建的，基于假设的观察距离L来确定所述平均宽度。如通过图15所示的表所清楚了解的，在图13所示的相机拾取图像中，具有视差号码-15(相应于图14中的相机号码#-15；视差号码识别视差方向)的图像具有等于仅为320个水平像素列的第二列到第八列的区域的大小，也就是说，等于七个像素列的宽度。将宽度等于七个像素列的数据划分为列，其被分配到视差合成图像(具有等于5760个子像素的宽度)中从第13到第121子像素列中的各个位置，以相应于18个子像素的距离将邻近位置彼此分离。将在视差分量图像中水平排列的三种子像素，R，G和B子像素，在垂直方向上重新排列。类似地，在图13所示的相机拾取图像中，具有视差号码-11的图像具有等于仅为320个水平像素列的第2列到第119列的区域的大小，也就是说，等于118个像素列的宽度。将宽度等于118个像素列的数据划分为列，其被分配到视差合成图像(具有等于5760个子像素的宽度)中从第17到第2123子像素列中的各个位置，以相应于18个子像素的距离将邻近位置彼此分离。将R，G和B子像素，在垂直方向上重新排列。例如，图12所示的连接的图像2之一是视差号码-15和4的结合。视差号码-15和4的结合中的区域宽度(水平像素的数量)的总和为7+313＝320。此外，图12所示的连接的图像2是视差号码-11和8的结合。视差号码-11和8的结合中的区域宽度的总和为118+202＝320。类似地，视差号码-14和5的结合中的区域宽度的总和为35+285＝320。类似地，任何其它结合的区域宽度的总和为320。
以上描述中，为了满足设计的要求，需要通过在与假设的观察距离L或接近的观察距离相关的垂直距离上进行透视投影并通过在水平方向上进行正射投影来获得每个视差分量图像426。然而，如果三维图像的失真是没有注意到的，则可以通过在垂直和水平方向两者上的透视投影来获得所述图像。
图16示出图12所示的18个连接的图像2沿着直线连接到一起以获得单个的整个连接的图像的示例。通过连接包含邻近视差方向的连接的图像2以致它们在水平方向彼此邻近地排列，来构成整个连接的图像2。在所述示例中，将包含18个视差方向的相对终点(#-9和#9)的两个连接的图像排列在整个连接的图像的相对端。这种格式相应于适合的结构，其应用于基本相似于基于多视方案的显示设备中的多视数据的处理。
如图17所示，图12所示的具有相同数量的垂直像素和相同数量的水平像素的18个连接的图像2可以通过在水平和垂直方向两者上结合它们并以瓦片形式排列它们而被连接到一起。可将瓦片型的整个连接的图像设置为具有与在三维显示期间显示在显示表面上的视差合成图像相同数量的垂直和水平像素。当整个连接的图像具有与相应于最终显示图像的视差合成图像相同数量的垂直和水平像素时，可按照根据诸如MPEG2的标准的格式来实现压缩记录。如果将图17所示的瓦片型的整个连接的图像用作帧并且将使用多个帧来再现可三维显示的运动图像，则使得能够应用帧间压缩和帧内压缩。每个视差分量图像426的横向相对端相应于三维显示的屏幕端或观察区域端。每个视差分量图像中的视差分量图像间的连接相应于观察区域端。连接的图像间的连接相应于屏幕端。根据不可逆压缩，对每个给定的块大小进行编码，并且连接的图像间的连接通常与块边界一致。此外，每个连接的图像中的视差分量图像间的连接通常无法与块边界一致。然而，在观察端(具有邻近波瓣的边界)，三维图像本身是最初剪切的而且没有正常显现；这不受下降的图像质量的影响。无论对整个连接的图像进行不可逆压缩还是解压缩，这都防止了下降的连接的图像质量影响三维图像。将图17所示的整个连接的图像如图37的情况转换成视差合成图像。然而，这种转换相应于在具有相同数量的垂直和水平像素的图像间进行一对一相应的映射，如同将图38(a)所示的整个连接的图像转换成图38(b)所示的视差合成图像。在这种转换中，可从图38(a)所示的整个连接的图像的三段结构的每一段提取具有相同行号的像素，将其排列在3行中，并顺序输出以获得图38(b)所示的图像格式。这允许图38(c)所示的图像格式到图38(b)所示的视差合成图像的转换基于闭合于三行内的一对一映射。因此，一些实现会优先地使用将图38(a)所示的整个连接的图像转换成图38(c)所示的图像格式，然后将图38(c)所示的图像格式转换成图38(b)所示的视差合成图像的进程。图39B示出具有图17所示的格式的实际图像的示例。
如图18所示，可通过连接所述连接的图像2来构成整个连接的图像，从而每隔一个垂直级的连接的图像是反转的。如果将连接的图像2连接在一起形成多个段，则相对关联的屏幕排列在垂直方向上并连接在一起。这种排列使得能够应用帧间压缩和帧内压缩，而不会由于不可逆压缩记录产生下降的图像质量。然而，这种排列稍微复杂化了转换成视差合成图像的处理。
图19示出在视差分量图像426的数量是18(如图13中的情况)，而且假设的观察距离L与图13所示的视差分量图像426的不同的情况下，从相机图像提取的视差分量图像426的示例。如图20所示，现有总共40个视差方向。例如，具有视差号码-20，-2和17的3个视差分量图像中的区域宽度(像素的数量)的总和为17+251+55＝320；这些视差号码间的差为18。类似地，18个邻近视差方向中的总宽度均为320。图20中的表包括与图15所示的相同的项目。因此省略对图20中的表的描述。
图21示出通过将图19和图20所示的视差分量图像426结合到一起而获得的18个连接的图像。没有一个连接的图像2包括单个视差分量图像426，而是每个连接的图像2包括2个或3个视差分量图像426。18个连接的图像2中的4个均包括3个视差分量图像426。其它连接的图像2均包括2个视差分量图像426。因此，通过相同数量的视差(显示设备的配置保持不变)，假设的观察距离的改变增加或减少视差方向的数量而且使像素数量的范围产生变化。然而，连接的图像的数量保持18个。因此，诸如图37所示的压缩后的读取和解压缩处理是不可变的。
图22示出通过对图21所示的每隔一个连接的图像2进行横向反转，并将获得的连接的图像连接到一起，从而邻近视差分量图像426的左端或右端连接到一起而获得的整个连接的图像的示例。具有翻转的视差方向号码的连接的图像2相应于反转的连接的图像。每个连接的图像2的横向相对端是用于三维显示的屏幕端，并且邻近相机是高度相关的(基本图像中的邻近列)。因此，反转的连接使得能够应用帧间压缩和帧内压缩，而不会由于不可逆压缩记录而产生图像质量降低。然而，所述连接稍微复杂化了转换成视差合成图像的处理。
图23示出这样的示例，其中，将图22所示并且通过横向反转的连接获得的整个连接的图像划分为3段并按照瓦片形式排列，从而具有与视差合成图像相同数量的垂直像素和相同数量的水平像素。当按照瓦片形式排列的整个连接的图像具有与如图23所示的视差合成图像相同数量的垂直像素和相同数量的水平像素时，可按照根据诸如MPEG2的标准的格式来实现压缩记录。对于图23中的排列，图22所示的阵列中的中间段可以如图24所示进行垂直反转。
图25示出这样的示例，其中，阵列被改变以相对于图23所示具有改进的整体对称性。在图25中，由此向整个连接的图像提供对称性，从而除两个中心图像之外的所有连接的图像在连接到一起以前都要进行反转。
如图26所示，可将图25所示的整个连接的图像的中间段中的连接的图像进行垂直反转。如图27所示，可进一步将图26所示的整个连接的图像的整个中间段进行横向反转。
如上所述，如果视差的数量是3的倍数，则当具有三段结构时，整个连接的图像具有与视差合成图像相同数量的垂直和水平像素。如果视差的数量不是3的倍数，则三段结构仅促使连接的图像中的两个被剪切，这通常仅稍微降低三维图像的质量。可通过选择视差分量图像边界以与剪切位置进行良好地校准，或者通过选择剪切位置的视差分量图像以相应于来自位于观察区域以外的相机号码的图像，进一步减小上述影响。
图28示出连接的图像2，其在视差的数量为3，通过结合56个视差分量图像426获得的连接的图像2包含300×800个像素，以及视差合成图像包含3200×2400个像素(非子像素)的情况下获得。图28仅示出视差分量图像的视差号码，将视差分量图像间的边界(垂直线)省略。图29是示出指示图28所示的连接的图像2的排列表。图29所示的表具有类似于图16和图20中的表的列，因此也省略对它的描述。
将图28所示的连接的图像2结合成如图30所示的整个连接的图像。所述整个连接的图像包含2400×3200个像素。它可进一步如图31所示旋转90度，并且整个连接的图像具有与视差合成图像相同数量的垂直和水平像素。
图32是根据另一实施例的排列表。排列表相应于以下情况：视差的数量是9；通过将25个视差分量图像426结合到一起而获得的9个连接的图像2包含640×400个像素；视差合成图包含1920×1200个像素(非子像素)。如通过图32所清楚了解的，奇数个视差允许包含视差号码0。图32所示的连接的图像形成图33所示的整个连接的图像。图33仅示出视差分量图像的视差号码，而视差分量图像间的边界(垂直线)被省略。
本发明并不受限于诸如图34所示的整个连接的图像的平面排列。可将连接的图像连接成由光线空间方法定义的矩形平行六面体型的光线空间。可在所述矩形平行六面体型的虚拟空间上执行诸如压缩记录或内插的处理。
参照图35，将给出对记录和再现三维显示图像的方法的描述。图35示意性示出对通过根据本发明上述实施例的记录三维显示图像的方法创建的连接的图像2或整个连接的图像进行不可逆的压缩地记录、读取和解压缩、重排以及再现的记录和再现方法。如参照图14所描述的，在相机位置(15到1以及-1到-15)拾取将显示为三维图像显示的对象421的图像。由此如图13中的虚线所述，获取相机图像。从相机图像提取诸如图13中的实线所示的视差分量图像421。然后。通过结合以下视差分量图像421来形成连接的图像，其中，所述分量图像421具有视差号码，所述视差号码之间的差等于图12所示的视差的数量。然后，将连接的图像结合并排列成如图16、图17和图18所示的整个连接的图像。通过诸如JPEG的具有高压缩率的不可逆编码方案对整个连接的图像进行压缩。如果将显示的三维图像是运动图像，则整个连接的图像和另一时间上邻近的整个连接的图像会彼此相关，并使用诸如MPEG的具有高压缩率的不可逆编码方案对它们进行类似的压缩。如图3(a)所示，将压缩的整个连接的图像上的数据存储并保存在存储介质或存储部分312中。
为了进行再现，将如图3(a)所示通过图像处理部分314压缩的整个连接的图像扩展并解压缩成相应于连接的图像阵列的整个连接的图像。从获得的整个连接的图像中的连接的图像提取相应于光学开口(光圈)的视差分量图像426上的像素列数据。然后，如图37所示，以预定间距将像素列数据重新排列在帧存储器(未在附图中显示)中。一旦从所有连接的图像提取到视差分量图像462上的像素列数据并将其重新排列在帧存储器上，则诸如图38(b)所示的整个视差合成图像被完成。将视差合成图像显示在显示部分331上以将三维图像指向观察区域。对于来自远程服务器的分布(流传输)，图3(a)所示的存储部分和图像处理部分彼此远离。
图36A和图36B示意性示出对通过分别根据相比较的示例1和2的记录三维显示图像的方法创建的连接的图像2或整个连接的图像进行不可逆的压缩地记录、读取和解压缩、重排以及再现的记录和再现方法。图36A和图36B使用与图35相同的标号，省略对它们的描述。
图36A所示的方法直接压缩和保存视差分量图像。图36B所示的方法将视差分量图像形成视差合成图像，然后压缩和保存视差合成图像。为了进行读取和解压缩，对压缩的视差合成图像进行解压缩，并将其直接显示在显示部分331上。
如通过图35与图36A以及图36B的比较所清楚了解的，图35所示的方法在压缩前执行到具有相同数量的垂直和水平像素的连接的图像2的转换。这避免了由于假设的观察距离方面的改变引起的视差方向数量的增加或减少或者像素数量的范围的变化的不利影响。由此将图像质量的降低最小化。具体说来，通过采用所述排列和结合以使连接的图像2与另一连接的图像相关而进一步提高压缩率。
图36A所示的方法单独压缩视差分量图像426。所述方法在应用于多视方案时不会引起任何问题。然而，所述方法不适合平行光线一维IP方案，这是因为存在大量的视差方向，不同数量的水平像素，以及由于假设的观察距离方面的改变引起的视差方向数量的增加或减少或者像素数量的范围的变化的不利影响。图36B所示的方法通过视差合成图像的格式来执行压缩。然而，使用这种方法，不管使用多视方案还是平行光线一维IP方案，不可逆的压缩大大降低图像质量，而可逆的压缩减少了压缩率。
如上所述，本发明使得能够基于平行光线一维IP方案进行有效记录和再现，同时最小化图像质量的降低并实现高压缩率。如同普通的MPEG数据等，根据本发明的三维数据结构和记录方法不仅可应用于在记录介质上进行记录，还可应用于使用有线或无线通信手段进行分发，即流传输。
根据本发明的记录和再现三维显示图像的方法使得能够基于平行光线一维IP方案进行有效记录和再现，同时最小化图像质量的降低并实现高压缩率。
本发明并不受限于以上实施例。在实现中，实施例可在不脱离本发明的精神的情况下进行变化。
可通过适当地结合在所述实施例中公开的多个部件来形成各种发明。例如，可删除在所述实施例中显示的某些部件。还可适当地将根据不同实施例的部件结合在一起。
产业上的可利用性
本发明提供记录和再现三维显示图像的方法，所述方法使得能够基于平行光线一维IP方案进行有效记录和再现，同时最小化图像质量的降低并实现高压缩率。

Claims (15)

1、一种用于三维图像显示设备的三维图像数据的结构，
所述设备通过在水平方向而非垂直方向提供视差而在观察区域中显示三维图像，其包括：
具有显示表面的显示部分，在所述显示表面上，以第一水平间距将像素排列在水平方向上，以显示用于三维显示的视差合成图像；以及
视差栅格，其相对于显示表面放置并具有以第二水平间距排列在水平方向上的线性光学开口，所述第二水平间距是第一水平间距的n(整数)倍，视差栅格使来自沿着水平方向在显示表面上排列的每n个像素的光线平行并将所述光线指向观察区域；
所述三维图像数据的结构包括在n个或更多视差分量图像上的数据，在每个视差分量图像中，对允许像素在观察区域中产生在相同的视差方向上的平行光线的像素列进行累积，视差分量图像具有不同数量的水平像素，以及各自通过结合相应于第n邻近视差方向的一个或多个视差分量图像而获得的每n个连接的图像被转换成视差合成图像，所述连接的图像具有数量基本相同的垂直像素和数量基本相同的水平像素。
2、一种用于三维图像显示设备的记录三维图像数据的方法，
所述设备通过在水平方向而非垂直方向提供视差而在观察区域中显示三维图像，其包括：
具有显示表面的显示部分，在所述显示表面上，以第一水平间距将像素排列在水平方向上，以显示用于三维显示的视差合成图像；以及
视差栅格，其相对于显示表面放置并具有以第二水平间距排列在水平方向上的线性光学开口，所述第二水平间距是第一水平间距的n(整数)倍，视差栅格使来自沿着水平方向在显示表面上排列的每n个像素的光线平行并将所述光线指向观察区域；
所述方法包括：
提供在n个或更多视差分量图像上的数据，在每个视差分量图像中，对允许像素在观察区域中产生在相同的视差方向上的平行光线的像素列进行累积，视差分量图像具有不同数量的水平像素；并且
通过将各自借助于结合相应于第n邻近视差方向的一个或多个视差分量图像而获得的每n个连接的图像转换成视差合成图像来记录数据，所述连接的图像具有数量基本相同的垂直像素和数量基本相同的水平像素。
3、如权利要求2所述的记录三维图像数据的方法，其特征在于，在每个视差分量图像的垂直方向执行相应于观察距离的透视投影，并且在视差分量图像的水平方向执行正射投影。
4、如权利要求2所述的记录三维图像数据的方法，其特征在于，在每个视差分量图像的垂直和水平方向两者上执行透视投影。
5、如权利要求2所述的记录三维图像数据的方法，其特征在于，记录通过进一步连接n个连接的图像而获得的一整个连接的图像。
6、如权利要求5所述的记录三维图像数据的方法，其中，通过连接包含邻近视差方向的连接的图像，以使得连接的图像在水平方向上彼此邻近，而构成所述整个连接的图像。
7、如权利要求6所述的记录三维图像数据的方法，其中，通过连接包含邻近视差方向的连接的图像，以使得连接的图像在水平方向上彼此邻近，而构成所述整个连接的图像，并且靠近显示表面的前面的包含位于n个视差方向的相对端的各个视差方向的两个连接的图像被排列在整个连接的图像的相对端。
8、如权利要求5所述的记录三维图像数据的方法，其中，通过连接所述连接的图像，以使得邻近视差分量图像的左端或右端彼此邻近，而构成整个连接的图像。
9、如权利要求2所述的记录三维图像数据的方法，其中，通过在水平和垂直方向以瓦片形式连接所述连接的图像来构成整个连接的图像。
10、如权利要求9所述的记录三维图像数据的方法，其中，通过连接所述连接的图像，以使得每隔一个垂直级的连接的图像被反转，而构成整个连接的图像。
11、如权利要求2所述的记录三维图像数据的方法，其中，整个连接的图像具有与在三维显示期间显示在显示表面上的视差合成图像相同数量的垂直和水平像素。
12、如权利要求5所述的记录三维图像数据的方法，其特征在于，将整个连接的图像构建为由光线空间方法定义的矩形平行六面体型的光线空间。
13、如权利要求2到12中任何一个所述的记录三维图像数据的方法，其特征在于，通过不可逆的压缩来记录连接的图像或整个连接的图像。
14、一种显示和再现三维图像的方法，所述方法允许三维图像显示设备通过在水平方向而非垂直方向提供视差而在观察区域中显示三维图像，所述三维图像显示设备包括：具有显示表面的显示部分，在所述显示表面上，以第一水平间距将像素排列在水平方向上，以显示用于三维显示的视差合成图像；以及视差栅格，其相对于显示表面放置并具有以第二水平间距排列在水平方向上的线性光学开口，所述第二水平间距是第一水平间距的n(整数)倍，视差栅格使来自沿着水平方向在显示表面上排列的每n个像素的光线平行并将所述光线指向观察区域，所述方法包括：
提供在n个或更多视差分量图像上的数据，在每个视差分量图像中，对允许像素在观察区域中产生在相同的视差方向上的平行光线的像素列进行累积，视差分量图像具有不同数量的水平像素；
记录各自通过借助于结合相应于第n邻近视差方向的一个或多个视差分量图像而获得的n个连接的图像，所述连接的图像具有数量基本相同的垂直像素和数量基本相同的水平像素；以及
将n个连接的图像转换成视差合成图像并将所述视差合成图像显示在显示部分上。
15、一种显示和再现三维图像的方法，所述方法允许三维图像显示设备通过在水平方向而非垂直方向提供视差而在观察区域中显示三维图像，所述三维图像显示设备包括：具有显示表面的显示部分，在所述显示表面上，以第一水平间距将像素排列在水平方向上，以显示用于三维显示的视差合成图像；以及视差栅格，其相对于显示表面放置并具有以第二水平间距排列在水平方向上的线性光学开口，所述第二水平间距是第一水平间距的n(整数)倍，视差栅格使来自沿着水平方向在显示表面上排列的每n个像素的光线平行并将所述光线指向观察区域，所述方法包括：
提供在n个或更多视差分量图像上的数据，在每个视差分量图像中，对允许像素在观察区域中产生在相同的视差方向上的平行光线的像素列进行累积，视差分量图像具有不同数量的水平像素；
记录通过连接包括n个连接的图像的一组图像而获得的一整个连接的图像，所述n个连接的图像各自通过结合相应于第n邻近视差方向的一个或多个视差分量图像而获得，所述连接的图像具有数量基本相同的垂直像素和数量基本相同的水平像素；以及
将所述一整个连接的图像转换成视差合成图像并将所述视差合成图像显示在显示部分上。
CNA2005800239045A 2004-09-29 2005-09-29 三维图像数据的结构，其记录方法及其显示再现方法 Pending CN1985524A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP285246/2004 2004-09-29
JP2004285246A JP4202991B2 (ja) 2004-09-29 2004-09-29 立体画像用データの記録方法及び表示再生方法

Publications (1)

Publication Number Publication Date
CN1985524A true CN1985524A (zh) 2007-06-20

Family

ID=36119030

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800239045A Pending CN1985524A (zh) 2004-09-29 2005-09-29 三维图像数据的结构，其记录方法及其显示再现方法

Country Status (6)

Country Link
US (1) US8072484B2 (zh)
EP (1) EP1796401A4 (zh)
JP (1) JP4202991B2 (zh)
KR (1) KR100870298B1 (zh)
CN (1) CN1985524A (zh)
WO (1) WO2006035884A1 (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346061A (zh) * 2012-08-21 2017-11-14 Fotonation开曼有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法
US10375302B2 (en) 2011-09-19 2019-08-06 Fotonation Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US10462362B2 (en) 2012-08-23 2019-10-29 Fotonation Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US10547772B2 (en) 2013-03-14 2020-01-28 Fotonation Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10638099B2 (en) 2013-03-15 2020-04-28 Fotonation Limited Extended color processing on pelican array cameras
US10694114B2 (en) 2008-05-20 2020-06-23 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10708492B2 (en) 2013-11-26 2020-07-07 Fotonation Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US10735635B2 (en) 2009-11-20 2020-08-04 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US10767981B2 (en) 2013-11-18 2020-09-08 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10839485B2 (en) 2010-12-14 2020-11-17 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10958892B2 (en) 2013-03-10 2021-03-23 Fotonation Limited System and methods for calibration of an array camera
US10984276B2 (en) 2011-09-28 2021-04-20 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
US11022725B2 (en) 2012-06-30 2021-06-01 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
CN114895482A (zh) * 2022-05-18 2022-08-12 成都工业学院 基于狭缝光栅和复合针孔阵列的3d显示装置
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11546576B2 (en) 2014-09-29 2023-01-03 Adeia Imaging Llc Systems and methods for dynamic calibration of array cameras
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11774641B2 (en) * 2019-09-06 2023-10-03 Apple Inc. Pixel arrangements for electronic device displays
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12052409B2 (en) 2023-06-22 2024-07-30 Adela Imaging LLC Systems and methods for encoding image files containing depth maps stored as metadata

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4202991B2 (ja) * 2004-09-29 2008-12-24 株式会社東芝 立体画像用データの記録方法及び表示再生方法
JP4476905B2 (ja) 2005-08-31 2010-06-09 株式会社東芝 立体表示画像データの構造、立体表示画像データの記録方法、表示再生方法、記録プログラム、および表示再生プログラム
KR100730406B1 (ko) * 2005-11-16 2007-06-19 광운대학교 산학협력단 중간 요소 영상을 이용한 입체 영상 표시 장치
JP4714115B2 (ja) 2006-09-07 2011-06-29 株式会社東芝 立体映像表示装置および立体映像表示方法
JP4714116B2 (ja) 2006-09-07 2011-06-29 株式会社東芝 立体映像表示装置および立体映像表示方法
JP2008085503A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 三次元画像処理装置、方法、プログラム及び三次元画像表示装置
JP4836814B2 (ja) * 2007-01-30 2011-12-14 株式会社東芝 ３ｄディスプレイ用ｃｇ画像生成装置、３ｄディスプレイ用ｃｇ画像生成方法、及びプログラム
KR100891160B1 (ko) 2007-04-26 2009-04-06 광운대학교 산학협력단 영역 분할 기법을 이용한 요소 영상의 압축 방법 및 장치
KR101411738B1 (ko) * 2007-11-07 2014-06-26 엘지디스플레이 주식회사 영상 디스플레이장치
JP5269027B2 (ja) 2010-09-30 2013-08-21 株式会社東芝 三次元画像表示装置および画像処理装置
TW201245768A (en) 2011-03-29 2012-11-16 Sony Corp Image pickup apparatus, image pickup device, image processing method, aperture control method, and program
US9013472B2 (en) * 2011-11-08 2015-04-21 Innolux Corporation Stereophonic display devices
KR20130106217A (ko) * 2012-03-19 2013-09-27 삼성디스플레이 주식회사 3차원 영상 표시 방법 및 이를 수행하기 위한 표시 장치
JP6031260B2 (ja) * 2012-05-31 2016-11-24 日本放送協会 画像符号化装置および画像復号装置
WO2014168931A1 (en) * 2013-04-09 2014-10-16 SoliDDD Corp. Autostereoscopic displays
CN104427326A (zh) * 2013-09-06 2015-03-18 北京三星通信技术研究有限公司 集成成像显示***中的三维显示方法和设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JPH10262268A (ja) * 1997-03-19 1998-09-29 Toshiba Corp 立体映像符号化装置及び復号化装置
US6476850B1 (en) * 1998-10-09 2002-11-05 Kenneth Erbey Apparatus for the generation of a stereoscopic display
US6795241B1 (en) * 1998-12-10 2004-09-21 Zebra Imaging, Inc. Dynamic scalable full-parallax three-dimensional electronic display
JP3720685B2 (ja) * 2000-08-09 2005-11-30 キヤノン株式会社 画像表示装置
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
JP2003090738A (ja) 2001-09-20 2003-03-28 Ntt Data Corp ナビゲーションシステム、ナビゲーション方法及びプログラム
JP4236428B2 (ja) * 2001-09-21 2009-03-11 三洋電機株式会社 立体画像表示方法および立体画像表示装置
WO2003092305A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image encodder, image decoder, record medium, and image recorder
JP2003315356A (ja) 2002-04-26 2003-11-06 Toyota Motor Corp センサ装置
JP4251864B2 (ja) * 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
JP3966830B2 (ja) * 2003-03-28 2007-08-29 株式会社東芝 立体表示装置
US7400447B2 (en) * 2003-09-03 2008-07-15 Canon Kabushiki Kaisha Stereoscopic image display device
JP4015090B2 (ja) * 2003-09-08 2007-11-28 株式会社東芝 立体表示装置および画像表示方法
JP2005110010A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 立体画像生成方法および立体画像表示装置
US7525541B2 (en) * 2004-04-05 2009-04-28 Actuality Systems, Inc. Data processing for three-dimensional displays
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP4202991B2 (ja) * 2004-09-29 2008-12-24 株式会社東芝 立体画像用データの記録方法及び表示再生方法
US20060087556A1 (en) * 2004-10-21 2006-04-27 Kazunari Era Stereoscopic image display device
US8368696B2 (en) * 2009-06-19 2013-02-05 Sharp Laboratories Of America, Inc. Temporal parallax induced display

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694114B2 (en) 2008-05-20 2020-06-23 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US12041360B2 (en) 2008-05-20 2024-07-16 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US12022207B2 (en) 2008-05-20 2024-06-25 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US11412158B2 (en) 2008-05-20 2022-08-09 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10735635B2 (en) 2009-11-20 2020-08-04 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US11423513B2 (en) 2010-12-14 2022-08-23 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10839485B2 (en) 2010-12-14 2020-11-17 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US11875475B2 (en) 2010-12-14 2024-01-16 Adeia Imaging Llc Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10375302B2 (en) 2011-09-19 2019-08-06 Fotonation Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US10984276B2 (en) 2011-09-28 2021-04-20 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
US11729365B2 (en) 2011-09-28 2023-08-15 Adela Imaging LLC Systems and methods for encoding image files containing depth maps stored as metadata
US11022725B2 (en) 2012-06-30 2021-06-01 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US10380752B2 (en) 2012-08-21 2019-08-13 Fotonation Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US12002233B2 (en) 2012-08-21 2024-06-04 Adeia Imaging Llc Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
CN107346061A (zh) * 2012-08-21 2017-11-14 Fotonation开曼有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法
CN107346061B (zh) * 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的***和方法
US10462362B2 (en) 2012-08-23 2019-10-29 Fotonation Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US11272161B2 (en) 2013-03-10 2022-03-08 Fotonation Limited System and methods for calibration of an array camera
US10958892B2 (en) 2013-03-10 2021-03-23 Fotonation Limited System and methods for calibration of an array camera
US11985293B2 (en) 2013-03-10 2024-05-14 Adeia Imaging Llc System and methods for calibration of an array camera
US11570423B2 (en) 2013-03-10 2023-01-31 Adeia Imaging Llc System and methods for calibration of an array camera
US10547772B2 (en) 2013-03-14 2020-01-28 Fotonation Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10638099B2 (en) 2013-03-15 2020-04-28 Fotonation Limited Extended color processing on pelican array cameras
US10767981B2 (en) 2013-11-18 2020-09-08 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US11486698B2 (en) 2013-11-18 2022-11-01 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10708492B2 (en) 2013-11-26 2020-07-07 Fotonation Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US11546576B2 (en) 2014-09-29 2023-01-03 Adeia Imaging Llc Systems and methods for dynamic calibration of array cameras
US11774641B2 (en) * 2019-09-06 2023-10-03 Apple Inc. Pixel arrangements for electronic device displays
US11699273B2 (en) 2019-09-17 2023-07-11 Intrinsic Innovation Llc Systems and methods for surface modeling using polarization cues
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11982775B2 (en) 2019-10-07 2024-05-14 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11842495B2 (en) 2019-11-30 2023-12-12 Intrinsic Innovation Llc Systems and methods for transparent object segmentation using polarization cues
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11683594B2 (en) 2021-04-15 2023-06-20 Intrinsic Innovation Llc Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN114895482A (zh) * 2022-05-18 2022-08-12 成都工业学院 基于狭缝光栅和复合针孔阵列的3d显示装置
US12052409B2 (en) 2023-06-22 2024-07-30 Adela Imaging LLC Systems and methods for encoding image files containing depth maps stored as metadata

Also Published As

Publication number Publication date
KR20070026801A (ko) 2007-03-08
WO2006035884A1 (ja) 2006-04-06
JP2006098779A (ja) 2006-04-13
KR100870298B1 (ko) 2008-11-25
EP1796401A4 (en) 2013-06-05
JP4202991B2 (ja) 2008-12-24
US8072484B2 (en) 2011-12-06
US20070109620A1 (en) 2007-05-17
EP1796401A1 (en) 2007-06-13

Similar Documents

Publication Publication Date Title
CN1985524A (zh) 三维图像数据的结构，其记录方法及其显示再现方法
US20080225113A1 (en) Three-dimensional image display device, method for displaying three-dimensional image, and structure of three-dimensional image data
JP4476905B2 (ja) 立体表示画像データの構造、立体表示画像データの記録方法、表示再生方法、記録プログラム、および表示再生プログラム
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
CN108776388B (zh) 基于渐变狭缝光栅的双视3d显示装置及方法
JP4327758B2 (ja) 立体画像表示装置
KR20070087561A (ko) 렌티큘러 오토스테레오스코픽 디스플레이 및 방법, 그와관련된 오토스테레오스코픽 이미지 합성 방법
US20090115800A1 (en) Multi-view display device
US20080291267A1 (en) Lenticular Autostereoscopic Display Device and Method, and Associated Autostereoscopic Image Synthesising Method
US8553074B2 (en) Auto stereoscopic display improving brightness
CN103297796A (zh) 一种基于集成成像的双视3d显示方法
JP2005331844A (ja) 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP2005110010A (ja) 立体画像生成方法および立体画像表示装置
JP2008067092A (ja) 立体映像表示装置および立体映像表示方法
CN211128025U (zh) 多视点裸眼3d显示屏、多视点裸眼3d显示设备
CN105259665A (zh) 一种基于障壁阵列的集成成像双视3d显示装置及方法
CN112929644A (zh) 多视点裸眼3d显示屏、多视点裸眼3d显示设备
KR101691297B1 (ko) 색분리 현상을 제거하는 깊이우선 집적 영상 디스플레이 시스템
US20130088485A1 (en) Method of storing or transmitting auto-stereoscopic images
JP4393496B2 (ja) 立体映像表示装置
CN108761822B (zh) 同视区的无串扰和均匀分辨率双视3d显示装置及方法
CN105487240A (zh) 一种无串扰集成成像双视3d显示装置
JP4327786B2 (ja) 立体像表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20070620