CN104126151A - 对全息图案进行编码的方法及对应的编码设备和计算机程序 - Google Patents

Abstract

本发明涉及对至少一个全息图案进行编码，该图案全息记录了代表由场景中的至少一个全景对象所接收的光的光信号，所述编码包括：从所述光信号中为所述全息图案的每个点x_j(1≤j≤M)确定(C1)一组N条光线，该光线穿过所述点并分别对应于用于观察所述图案的N个不同的观察位置；通过使M条预定线在所述观察位置的每个处相交，从M组N条已确定的光线生成(C2)分别与观察所述图案的所述N个位置对应的所述对象的N个二维视图，这些观察位置被包含在与包含所述全息图案的平面平行的观察平面内；将所述N个已生成的视图排列(C3)成所述对象的多视图图像，所述N个视图分别对应于所述多视图图像的子图像；以及压缩(C4)所述多视图图像。

Description

对全息图案进行编码的方法及对应的编码设备和计算机程序

技术领域

本发明通常涉及图像处理领域，更确切地涉及对三维(3D)图像及三维图像序列进行编码。

更具体地，本发明涉及对至少一个全息图案进行编码，该全息图案存储代表由场景中的至少一个全景对象所接收的光的光信号。

本发明可具体而非排他地应用于通过使用当前视频编码方案及其修订(MPEG、H.264、H.264 SVC、H.264 MVC等)或未来的修订(ITU-T/VCEG(H.265)或ISO/MPEG(HEVC))来执行的视频编码，以及对应的解码。

背景技术

以已知的方式，全息图案是全息方法的结果，其包含通过在半透明底片上记录该单色类型波前的值来记录来自场景或对象的光波前。通过干扰与所述光波前同频率的参考光波前来减少光前的相位中的时间变化，使得此记录成为可能。

以这种方式创建的全息图案是单色图像，其包含来自场景或对象的光波前的波长顺序的细节。所述图像可作为来自场景或对象的波前的菲涅耳变换来建模，该变换具有分散空间频率细节的特性。全息图案的信息因而难于局部化，因此不适于传统的编码技术。

对这种图案进行编码的第一示例在E.Darakis和T.Naughton于2009年发表于Proc.SPIE，Vol.7358的标题为“Compression of digital hologram sequenceMPEG-4”的文章中有所描述。在该文中，编码在包含一组时间索引的全息图案的帧中执行，所述帧由此定义全息视频。以与视频序列中的图像相同的方式，该帧的每个图案连续放置作为符合MPEG-4标准的视频编码器的输入，以经历使用预测方案进行的块编码，该预测方案利用图案之间的空间冗余(帧内编码)或利用图案之间的时间冗余(帧间编码)。

对所述图案进行编码的第二示例在M.Liebling和M.Unser于2003年1月发表于IEEE Trans.Image Processing，Vol.12，No.1的标题为“Fresnelets:new multiresolution wavelet bases for digital holography”的文章中有所描述。如同在上述文章中，使用一组时间索引的全息图案来对帧进行编码，所述帧由此定义全息视频。所述帧的每个图案通过应用了滤波器组的函数来建模，以在给定函数的基础(例如小波)上获得分解。

这些对全息图案进行编码的示例的缺点在于它们的计算成本非常高，且所获得的已编码数据在想要具体进行解码的流中传输的成本非常高。另外，这些编码方法没有考虑这样的事实，即全息图案包括原本在空间域很好地局部化的分布式信息。

发明内容

本发明的目的之一是补救上述现有技术的缺点。

为此，第一方面，本发明提供一种对至少一个全息图案进行编码的方法，该全息图案记录代表由场景中的至少一个全景对象所接收的光的光信号。

本发明的编码方法的值得注意之处在于它执行包含如下的步骤：

·从光信号为全息图案的每个点x_j(1≤j≤M)确定一组N条光线，该光线穿过该点并分别对应于用于观察图案的N个不同的观察位置；

·通过使M条已确定的线在每个观察位置相交，从M组N条已确定的光线生成分别与所述图案的N个观察位置对应的所述对象的N个二维视图，这些观察位置被包含在与包含所述全息图案的平面平行的观察平面内；

·将N个已生成的视图排列成所述对象的多视图图像，这N个视图分别对应于所述多视图图像的子图像；

·压缩所述多视图图像。

借助以这种方式以空间域中多条线的形式重构光信号，而不是通过运用反菲涅耳变换来重构所述信号，使得可能以不可忽略的方式减少执行编码全息图案的计算所需的时间和复杂度。

另外，该重构结合了以分别代表相同3D场景的多个视域的多个视图的形式利用光线，因而使得可能以最优方式利用存在于不同视图之间的空间和时间上的多重冗余，以对全息图案进行有效的编码。

通过不在用于传输的已编码信号中包括冗余的编码信息，即传输中没有意义的信息，可能获得信令成本的显著减少。

在具体实施中，确定步骤包含对光信号的幅度和频率进行解调，以为全息图案的每个点x_j(1≤j≤M)发送一组N个数据对，考虑中的成对数据分别与经过考虑中的点的光线的幅度和方向相关联。

这样的措施有助于显著地优化编码成本。

在另一具体实施中，解调由Gabor(伽柏)变换或小波变换执行。

这些变换具有能有效地使与全息中的给定位置相关联的空间频率局部化的优点。

在另一具体实施中，在生成N个视图的步骤期间，对于全息图案的当前点x_j(1≤j≤M)，观察平面被细分成N个分区，每个分区的质心对应于与经过点x_j的光线的观察平面相交的点。

这样的措施具有将像素的集群与参考像素的强度值相关联的优点。

在这另一实施例的变形中，在生成N个视图的步骤期间，对于全息图案的当前点x′_j(1≤j≤M)，观察平面被递归地细分成4个分区直到由该细分所获得的每个子分区仅包含一个质心，每个子分区的质心对应于与经过点x′_j的光线的观察平面相交的点。

这样的措施还具有为像素集群分配参考像素的强度值的优点。

根据又一具体实施，压缩多视图图像的步骤用到下列子步骤：

·作为先前已编码并然后解码的至少一个参考多视图图像的函数来预测多视图图像，从而传送所预测的多视图图像；

·通过比较产生于多视图图像的数据与涉及上述预测的多视图图像的数据来确定残余数据；

·对所确定的残余数据进行变换和量化；

·对已变换且量化的残余数据进行编码。

这样的措施使得可能在编码期间对所得多视图图像的N个视图之间的空间和时间冗余的消除进行优化，以显著减少编码成本。

在又一具体实施中，编码是多视图编码(MVC)类型的。

这样的措施使得可能对全息图案运用标准MVC技术，它直到现在仍专用于编码多视图图像。

以相应的方式，本发明提供适合于执行本发明编码方法的编码设备。本发明的编码设备因而用于对至少一个全息图案进行编码，在全息图案上已存储代表由场景中的至少一个全景对象所接收的光的光信号。

这样的编码设备的值得注意之处在于它包含处理器装置，其适合于：

·对于全息图案的每个点x_j(1≤j≤M)，从光信号确定一组N条光线，该光线经过所述点并分别对应于用于观察所述图案的N个不同的观察位置；

·通过使M条已确定的线在每个观察位置相交，从M组已确定的N条光线生成分别与所述图案的N个观察位置对应的所述对象的N个二维视图，这些观察位置被包含在与包含所述全息图案的平面平行的观察平面内；

·将N个已生成的视图排列成对象的多视图图像，这N个视图分别对应于多视图图像的子图像；

·压缩所述多视图图像。

另一方面，本发明提供计算机程序，当其在计算机上运行时包括执行本发明的编码方法的指令。

本发明还提供数据介质上的计算机程序，如上所述，该程序包括适用于执行本发明编码方法的指令。

所述程序可使用任何编程语言，可以是源代码、目标代码或介于源代码与目标代码之间的中间代码的形式，诸如部分编译的形式或任何其他需要的形式。

本发明还提供包括如上所述计算机程序指令的计算机可读数据介质。

数据介质可以是能够存储程序的任何实体或设备。例如，所述介质可以包含：存储装置，诸如只读存储器(ROM)，例如光盘(CD)ROM，或微电子电路ROM；或磁记录装置，例如软盘或硬盘。

此外，数据介质可以是可传输介质，诸如适合于经由电缆或光缆，通过无线电或其他方式来传输的电或光信号。本发明的程序可具体从互联网类型的网络下载。

可替代地，所述数据介质可以是合并了所述程序的集成电路，该电路适合于运行所讨论的方法或在其运行中使用。

上述计算机程序和编码设备至少具有和由本发明的编码方法所赋予的优点相同的优点。

附图说明

其他特点和优势将在阅读参照附图描述的几个优选实施例时显现，其中：

·图1示出了将运用本发明的编码方法的全息图案示例。

·图2示出了本发明的编码方法的步骤；

·图3示出了本发明的编码设备的实施例；

·图4是示出了本发明的编码方法中所执行的生成多个视图的步骤的示意图；

·图5是应用于全息图案的给定观察位置并示出了与该位置相关联且与全息图案相交的光线的示意图；

·图6A和6B分别示出了在本发明的编码方法中所执行的生成多个视图的步骤期间细分观察平面的两个具体实施；

·图7示出了从本发明所生成的多个视图中获得的多视图图像的示意图；

·图8是示出了重构使用本发明编码的全息图案的实施的示意图。

具体实施方式

下面是实施的描述，其中本发明的编码方法用于对如图1所示的当前全息图案MH进行编码，其中记录了代表由三维场景SC中的至少一个全景对象OBJ所接收的光的光信号SL。在所示示例中，对象OBJ是茶壶。在已知方法中，全息图案MH包含多个点x₁、x₂、……、x_j、……、x_M，其中1≤j≤M，这些点通过以确定的采样间距离散化来获得。

全息图案MH可以是单个的，或可形成代表相同对象且以时间为索引的一组图案的一部分，即全息视频的一帧。

图2以包含步骤C1到C4的算法的形式示出了本发明的编码方法。

在本发明的实施中，本发明的编码方法在图3所示的编码器设备CO中执行。

确定(图2所示的第一步骤C1包含从所述光信号SL为所述当前全息图案MH的每个点x_j(1≤j≤M)确定)一组N条光线，该光线经过考虑中的所述点并分别对应于从不同角度观察所述图案的N个观察位置。该步骤由如图3所示的解调软件模块DEM和转换软件模块CONV执行。

参照图2和3，确定步骤C1包含解调第一子步骤C11，其间解调模块DEM在幅度和频率上对光信号SL进行解调，以便为所述当前全息图案MH的每个点x_j(1≤j≤M)传送一组有给定幅度及定向空间频率的N个信号。为清楚起见，图3仅示出了了N个信号中的3个。

举例来说，该解调可通过Gabor变换、小波变换、作为一系列小波的形成等来执行。

确定步骤C1还包括转换第二子步骤C12，其间N个所得信号被转换成N条相应的给定幅度和方向的光线。

在优选实施中，解调子步骤C11执行Gabor变换。为此，在所述当前全息图案MH的每个点x_j(1≤j≤M)，以一组2D方向(θ₀、……、θ_N)运用Gabor滤波。当幅度大于给定阈值时，在每个点x_j(1≤j≤M)获得组S_j的N个幅度和定向空间频率的数据对，如：

S_j＝{(a_j1，f_j1)、(a_j2，f_j2)、……、(a_jN，f_jN)}

在解调子步骤C11的最后，获得M组S₁到S_M的数据对。

此后，转换子步骤C12将M组S₁到S_M中的每一组转换成相应地M组SC₁到SC_M个幅度和3D方向数据对。对于当前全息图案MH的点x_j，应用方程式sin(α)＝λ/f获得组：

SC_j＝{(a_j1，d_j1)、(a_j2，d_j2)、……、(a_jN，d_jN)}

对于垂直于包含所述当前全息图案MH的平面的入射平面波，将空间频率f与衍射方向α相关联，在由所述2D方向组(θ₀、……、θ_N)定义的方位角平面中考虑α。

作为替代，解调子步骤C11对所述当前全息图案MH的每个点x_j(1≤j≤M)运用2D小波变换。为此目的，为了使所述2D方向组(θ₀、……、θ_N)获得足够离散化，考虑发生器小波和变换：

x_c是全息图案MH的当前点，T是集成变量。发生器小波可以是满足传统验收准则的任意函数：

其中，指定的傅里叶变换。

在图2所示的生成步骤C2期间，从转换子步骤C12中获得的M组SC₁到SC_M的数据对被用于生成对象OBJ的N个二维(2D)视图。该视图生成由如图3所示的处理软件模块GSI执行。

为此，如图4所示，所生成的N个视图分别对应于由分别处于观察所述全息图案MH的N个不同角度观察位置p1到pN的N个对应观察者所观察到的视图。这些视图通过使在子步骤C12的最后确定其幅度和3D方向的M条光线在包含于公共观察平面PV中的每个所述观察位置相交来生成，公共观察平面PV平行于包含所述全息图案MH的平面H。在所示示例中，N＝9，所以示出了了9个观察位置p1到p9。在图4中为清楚起见，只示出了了几条光线，并仅与观察位置p4到p9相关联。

如图5所示，为清楚起见，仅示出了一个观察位置，例如p1，M条线R₁₁、R₁₂、……、R_1M与包含在平面H中的全息图案MH在图案的M个点x₁、x₂、……、x_M相交。

如图6A所示的第一实施中，在生成N个视图的步骤C2期间，对于所述全息图案MH的当前点x_j(1≤j≤M)，观察平面PV以Voronoi图细分为N个分区PA₁到PA_N，每个分区的质心对应于与观察平面PV的相交点，且线以给定的方向和幅度经过点x_j。在所示的N＝9的示例中，I₁到I₉代表来自点x_j的9条线的9个相交点，并且每个具有相应的给定方向。每个分区PA₁到PA_N与N条线R_1j、R_2j、……、R_Nj中对应线的幅度相关联。

如图6B所示的第二实施中，在生成N个视图的步骤C2期间，对于所述全息图案MH的当前点x_j(1≤j≤M)，观察平面PV递归地细分为4个分区PA′₁到PA′₄，直到由此细分得到的每个子分区只包含一个质心，每个子分区的质心对应于与观察平面的相交点，且光线经过点x′_j。在所示N＝9的示例中，I′₁到I′₉代表来自点x′_j的9条线R′_1j、R′_2j、……、R′_9j的9个相交点，且每个具有相应的给定方向。所获得的N个子分区中的每个分区与N条线R′_1j、R′_2j、……、R′_Nj中对应线的幅度相关联。

在图1所示的随后步骤C3中，根据预定路径，所生成的N个视图排列成单个的多视图图像IE。该步骤由如图3所示的图像处理软件模块TI执行。这样一个图像IE的示例在图7中示出了。在所示示例中，N＝9。包含在参考帧(X，Y)中的图像IE包含相同对象OBJ的9个视图V₁到V₉，其中每个包含在相应的参考帧(u₁，v₁)到(u_N，v_N)中。如图4所示，视图V₁到V₉分别对应于观察位置p1到p9，举例来说，它们沿着路径(例如Z字形路径)一个接着一个排列。

如图2所示，在随后压缩步骤C4期间，对已生成的多视图图像IE进行压缩。

该步骤由图3所示的压缩软件模块CMP执行。

考虑到组成多视图图像IE的N个视图的具体排列，因为所述压缩同时利用了N个已生成视图之间的空间和时间上的冗余，该压缩是可靠且准确的。

在图2所示的第一实施中，所述压缩步骤C4使用与H.264标准中定义的二维图像的预测编码类似的方案对多视图图像IE执行块预测编码。因此，多视图图像IE可进行帧内编码(如图像I)或帧间编码。当对图像IE进行帧间编码时，它可被编码为：

·或者作为图像P，即以传统方式从已编码并然后解码的多视图图像来预测；

·或者作为图像B(双向)，即相关于一个或多个过去和未来的图像来预测。

为此，压缩步骤C4包含下述子步骤。

在图2所示的子步骤C41中，当前多视图图像IE被细分为多个像素块。图7所示的参考帧(X，Y，u，v)中每个块的维度为等级4。

如图2所示，在子步骤C42期间，当前多视图图像的每个块被作为参考多视图图像(即先前已编码并然后解码的图像)的一个或多个参考块的相应的函数来预测。这样产生了多个预测块。

如图2所示，在子步骤C43期间，通过将涉及每个当前块的数据与相应的涉及每个预测块的数据比较来确定残余数据。

如图2所示，在子步骤C44期间，对先前已确定的残余数据进行变换和量化。举例来说，所运用的变换可以是离散余弦变换(DCT)。

如图2所示，在子步骤C45期间，所述量化残余数据被编码。

图2所示的第二实施中，所述压缩步骤C4利用多视图图像IE的多视图编码。以已知的方式，该编码由MPEG-4MVC算法执行。

在压缩步骤C4的最后，生成信号SG1(使用块预测编码进行编码)或SG2(使用MVC编码进行编码)的编码视图。所述信号被存储或传输至解码器(未示出)。

对于属于已确定帧的多个全息图案重复上述编码方法。

当已编码信号SG1和SG2被传输至解码器时，该解码器适用于从包含在信号SG1或SG2中的已编码数据中重构所述N个视图。

在图8所示的第一实施中，N个已重构的视图V₁到V_N分别利用预先计算出的N个干扰图案MI₁到MI_N来进行调制。以这种方式调制的视图然后进行叠加以重构初始的全息图案MH。举例来说，该方法在Wendy Plesniak、MichaelHalle、V.Michael Bove Jr.、James Barabas和Ravikanth Pappu发表于Optical Engineering45(11),115801(2006年11月)的标题为“Reconfigurable image projection holograms”的文章中有所描述。

可替代地，借助傅里叶变换，N个已重构视图V₁到V_N相应地变换成N个单独的波前。这N个波前然后通过Fresnel变换传送至公共平面，以重构初始的全息图案MH。举例来说，该方法在K.Yamamoto、T.Senoh、R.Oi和T.Kurita在2010年10月发表于20104^th International UniversalCommunication Symposium(IUCS)，193-196页，标题为“84K4-size computergenerated hologram for 3D visual system using rendering technology”的文章中有所描述。

自然地，上述实施仅由非限制表示的方式给定，并且可由本领域技术人员轻松地进行多种修改而并不因此超出本发明的范围。

Claims (10)

1.一种对至少一个全息图案进行编码的方法，该全息图案记录代表由场景中的至少一个全景对象所接收的光的光信号，所述方法的特征在于其执行的步骤包含：

·从所述光信号中为所述全息图案的每个点x_j(1≤j≤M)确定(C1)一组N条光线，该光线穿过所述点并分别对应于用于观察所述图案的N个不同的观察位置；

·通过使M条已确定的线在所述观察位置的每个处相交，从M组N条已确定的光线生成(C2)分别与所述图案的所述N个观察位置对应的所述对象的N个二维视图，这些观察位置被包含在与包含所述全息图案的平面平行的观察平面内；

·将所述N个已生成的视图排列(C3)成所述对象的多视图图像，所述N个视图分别对应于所述多视图图像的子图像；以及

·压缩(C4)所述多视图图像。

2.如权利要求1所述的编码方法，其中，所述确定步骤包含在幅度和频率上对所述光信号进行解调(C11)以为所述全息图案的每个点x_j(1≤j≤M)递送一组N个数据对，考虑中的成对数据分别与经过所述点的光线的幅度和方向相关联(C12)。

3.如权利要求2所述的编码方法，其中，所述解调通过Gabor变换或小波变换来执行。

4.如权利要求1所述的编码方法，其中，在所述生成所述N个视图的步骤期间，对于所述全息图案的当前点x_j(1≤j≤M)，所述观察平面被细分成N个分区，每个分区的质心对应于与经过点x_j的光线的观察平面相交的点。

5.如权利要求1所述的编码方法，其中在所述生成所述N个视图的步骤期间，对于所述全息图案的当前点x′_j(1≤j≤M)，所述观察平面被递归地细分成4个分区直到通过所述细分获得的每个子分区仅包含一个质心，每个分区的质心对应于与经过点x′j的光线的观察平面相交的点。

6.如权利要求1所述的编码方法，其间所述压缩所述多视图图像的步骤使用下列子步骤：

·作为先前已编码并然后解码的至少一个参考多视图图像的函数来预测(C42)所述多视图图像，从而递送所预测的多视图图像；

·通过将产生于所述多视图图像的数据与涉及所述预测的多视图图像的数据相比较来确定(C43)残余数据；

·使已确定的残余数据经历(C44)变换和量化；

·对已变换且量化的残余数据进行编码(C45)。

7.如权利要求1所述的编码方法，其中，编码是MVC类型的。

8.一种用于执行如权利要求1至7中任一项所述的编码方法的编码设备，所述设备的特征在于它包含处理器装置，其适合于：

·对于全息图案的每个点x_j(1≤j≤M)从光信号确定一组N条光线，该光线经过所述点并分别对应于用于观察所述图案的N个不同的观察位置；

·通过使M条已确定的线在所述观察位置的每个处相交，从M组已确定的N条光线生成分别与所述图案的N个观察位置对应的所述对象的N个二维视图，这些观察位置被包含在与包含所述全息图案的平面(H)平行的观察平面(PV)内；

·将所述N个已生成的视图排列成所述对象的多视图图像，所述N个视图分别对应于所述多视图图像的子图像；

·压缩所述多视图图像。

9.一种计算机程序，当该计算机程序在计算机上运行时，包括用于执行如权利要求1至7中任一项所述的编码方法的指令。

10.一种存储有计算机程序的计算机可读数据介质，当所述计算机程序在计算机上运行时其包括用于执行如权利要求1至7中任一项所述的编码方法的步骤的指令。