CN110312123A - 利用彩色图像和深度图像的集成成像显示内容生成方法 - Google Patents

Abstract

本发明公开一种利用彩色图像和深度图像生成集成成像***微图像集合的方法，用于集成成像显示，主要包括整体映射和映射坐标校正两个步骤。本发明的微图像集合生成过程中，对于每个微透镜所对应的物体图像区域，首先根据中心深度进行整体映射；然后判断微图像单元中的映射像素是否需要校正；接下来只需要对真实深度与中心深度差值较大的物体像素重新计算其在微图像单元中的映射坐标，完成校正。本方法可以降低运算量，提高微图像集合的生成速度，有利于实现集成成像的实时采集与显示。

Description

利用彩色图像和深度图像的集成成像显示内容生成方法

技术领域

本发明属于图像处理技术领域，涉及三维图像处理，是一种集成成像***显示内容的生成方法，即微图像集合的生成方法，可以用于集成成像中目标场景的三维立体显示。

背景技术

集成成像(IntegralImaging，简称II),是一种用微透镜阵列来记录和显示空间场景信息的全真三维显示技术，典型的集成成像***包括采集和显示两部分，如图1所示。图1(a)的采集部分包括微透镜阵列和采集设备如CCD相机，3D物空间场景通过微透镜阵列被CCD相机采集形成微图像集合。图1(b)的显示部分中，把2D微图像集合放在具有同样参数的显示微透镜阵列后，即可还原出原来的3D空间。

集成成像是一种具有全彩色、全视差、连续视点、无需辅助设备、没有观看视疲劳等众多优点的裸眼3D显示技术，具有广阔的应用前景和巨大的研究价值。

集成成像***可以利用深度相机进行三维场景信息的采集，把深度相机获取的深度图像和彩色图像结合使用，通过计算机虚拟微透镜阵列，生成集成成像***显示所需要的微图像集合。在传统的基于深度图像和彩色图像的微图像集合生成过程中，对于每个微透镜对应的彩色图像及深度图像区域，都需要逐个像素点计算其在微图像单元中的映射位置，计算量较大，微图像集合生成时间较长，不利于实现集成成像的实时采集与显示。

发明内容

本发明提出了一种利用彩色图像和深度图像的集成成像显示内容生成方法。在3D物体的彩色图像和深度图像中，如果物体像素的深度差异比较小，映射到微图像单元的坐标位置差异也比较小，坐标值取整以后，将对应于微图像单元的同一个像素点。根据这一规律，本发明提出的微图像集合生成方法中，对不能产生微图像单元映射计算误差的深度差异值进行近似，从而减少计算量。首先，确定每个微透镜对应的物体图像子区域，按照中心深度进行微图像单元的整体映射；然后判断微图像单元中的映射像素是否需要校正；对需要校正的物体像素利用其实际深度值重新计算映射坐标，完成微图像单元的修正。

本发明采取的技术方案包括下列步骤：

(一)根据集成成像显示***参数计算其中心深度和深度范围；

设显示微透镜阵列由M×N个微透镜单元组成，微透镜焦距为f，每个微透镜方形排列，宽度为P，显示微透镜阵列与显示器之间的距离为g，显示器的像素尺寸为P_D，则中心深度d_c根据式(1)计算：

深度范围D根据式(2)计算：

D＝2×S_max×d_c/P (2)

其中，S_max是集成成像***能接受的最大再现像点光斑直径。

(二)完成深度图像数据Id到集成成像显示***再现像深度值Rd的转换。设深度图像数据最小值为Id_min，最大值为Id_max。

集成成像显示***再现像的深度范围在d_c-D/2至d_c+D/2之间。根据集成成像原理，深度图像数据到集成成像***深度值的转换过程中，需要进行深度反转，即Id_min转换为d_c+D/2，Id_max转换为d_c-D/2。按照式(3)进行转换：

(三)根据每个微透镜对应的彩色图像区域和深度图像区域，利用光线追踪原理，完成物体像素到微图像平面的映射过程，生成每个微透镜对应的微图像单元。详细步骤如下：

(1)将每个微透镜在中心深度d_c处对应的彩色图像区域CI，按照g/d_c的比例缩小，并沿着图像中心旋转180度，完成整体映射过程，生成微图像单元EI，如图2所示；

(2)判断微图像单元EI中的映射像素是否需要校正。当彩色图像区域CI中的物体像素深度值d与中心深度d_c的差值较小时，按照d计算的映射坐标与步骤1整体映射计算的坐标差值也较小，坐标值取整以后，对应微图像单元EI中的同一个像素点，因此不需要校正。当某物体像素的深度值d与d_c的差值较大时，步骤1整体映射计算的坐标不准确，需要根据d重新计算其映射到微图像单元EI的坐标。如图3所示，以一维情况为例。

设彩色图像区域CI中的物体像素Q，其深度值为d。利用光线追踪原理，分别按照真实深度d、中心深度d_c计算物体像素Q映射到EI的位置，设物体像素Q与微透镜光轴的垂直距离为y_Q，利用两个深度值计算的映射点与微透镜光轴的垂直距离分别为y₂、y₁，根据图3中几何关系，可得：

用式(4)减去式(5)，可得：

当y₂与y₁的差值小于显示器的像素尺寸时，两个映射点为同一像素，无需校正。当y₂与y₁的差值大于等于显示器的像素尺寸时，需要校正，即：

考虑d＜d_c和d＞d_c两种情况，在二维情况下，当物体像素Q的位置坐标与真实深度d满足下式条件时，需要对该物体像素的映射坐标进行校正。

或

(3)对微图像单元EI中需要坐标校正的物体像素，根据式(4)，利用实际深度值d计算出其在微图像单元EI的映射坐标，完成校正。

本发明提出一种利用彩色图像和深度图像生成集成成像***微图像集合的方法，用于集成成像显示，主要包括整体映射和映射坐标校正两个步骤。传统的利用彩色图像和深度图像生成微图像集合的方法中，对于每个微透镜所对应的物体图像区域，需要逐像素计算映射到微图像单元EI的坐标，计算量较大，微图像集合的生成时间较长。与传统生成方式相比，本发明的微图像集合生成中，每个微透镜所对应的物体图像区域，首先根据中心深度进行整体映射，然后只需要对真实深度与中心深度差值较大的物体像素重新计算映射坐标，进行校正。因为集成成像显示***再现像的深度范围较小，需要进行校正计算的像素数有限，因此可以降低运算量，提高微图像集合的生成速度，有利于实现集成成像的实时采集与显示。

附图说明

图1a是集成成像***的采集部分示意图；

图1b是集成成像***的显示部分示意图；

图2是物体图像子区域整体映射示意图；

图3是物体像素映射到微图像单元示意图；

图4a是空间场景的彩色图像；

图4b是空间场景的深度图像；

图5是本方明方法生成的微图像集合；

图6是微透镜阵列显示的不同视点图像。

具体实施方式

本发明实例中，采用的3D空间场景的彩色图像和深度图像如图4所示。集成成像显示***参数如下：显示微透镜阵列由90×63个微透镜单元组成，微透镜焦距f＝3.5mm，每个微透镜方形排列，宽度P＝1mm，利用手机和微透镜阵列进行集成成像显示，手机屏幕的像素尺寸P_D＝0.058mm，显示微透镜阵列与手机屏幕之间的距离g＝4mm。

(一)根据集成成像显示***参数计算其中心深度和深度范围；

中心深度d_c根据式(1)计算得到，d_c＝28mm。

深度范围D根据式(2)计算，以人眼在明视距离处的分辨率作为集成成像三维显示***能接受的最大再现像点光斑直径，即S_max＝0.09mm，所以，D＝2×0.09×28/1＝5.04mm。

(二)完成深度图像数据Id到集成成像显示***再现像深度值Rd的转换。本实例中深度图像数据最小值为100，最大值为200，根据式(3)，得到由深度图像数据Id到集成成像***深度值Rd的转换公式如下：

R_d＝35.56-0.0504·I_d

(三)根据每个微透镜对应的彩色图像区域和深度图像区域，利用光线追踪原理，完成物体像素到微图像集合平面的映射过程，生成每个微透镜对应的微图像单元。

(1)将每个微透镜在中心深度d_c＝28mm处对应的彩色图像区域CI，按照1/7的比例缩小，并沿着图像中心旋转180度，完成整体映射过程，生成微图像单元EI；

(2)判断微图像单元EI中的像素点是否需要校正。根据式(8)，当微透镜对应的空间场景彩色图像区域CI中，物体像素的位置坐标(x,y)和真实深度d满足下式条件时，需要校正。

或

(3)对微图像单元EI中需要坐标校正的物体像素点，根据式(4)，利用其实际深度值d计算出映射坐标，完成EI的校正。

对于集成成像显示***的每个微透镜，都按照步骤(三)生成微图像单元，从而获得微图像集合，如图5所示。用手机和微透镜阵列搭建的集成成像显示***进行显示，即可观看到3D图像，如图6所示。

Claims (1)

1.利用彩色图像和深度图像的集成成像显示内容生成方法，其特征在于包括下列步骤：

(一)根据集成成像显示***参数计算其中心深度和深度范围；

设显示微透镜阵列由M×N个微透镜单元组成，微透镜焦距为f，每个微透镜方形排列，宽度为P，显示微透镜阵列与显示器之间的距离为g，显示器的像素尺寸为P_D，则中心深度d_c根据式(1)计算：

深度范围D根据式(2)计算：

D＝2×S_max×d_c/P (2)

其中，S_max是集成成像***能接受的最大再现像点光斑直径。

(二)完成深度图像数据Id到集成成像显示***再现像深度值Rd的转换。设深度图像数据最小值为Id_min，最大值为Id_max。

集成成像显示***再现像的深度范围在d_c-D/2至d_c+D/2之间。根据集成成像原理，深度图像数据到集成成像***深度值的转换过程中，需要进行深度反转，即Id_min转换为d_c+D/2，Id_max转换为d_c-D/2。按照式(3)进行转换：

(三)根据每个微透镜对应的彩色图像区域和深度图像区域，利用光线追踪原理，完成物体像素到微图像平面的映射过程，生成每个微透镜对应的微图像单元。详细步骤如下：

(1)将每个微透镜在中心深度d_c处对应的彩色图像区域CI，按照g/d_c的比例缩小，并沿着图像中心旋转180度，完成整体映射过程，生成微图像单元EI，如图2所示；

(2)判断微图像单元EI中的映射像素是否需要校正。当彩色图像区域CI中的物体像素深度值d与中心深度d_c的差值较小时，按照d计算的映射坐标与步骤1整体映射计算的坐标差值也较小，坐标值取整以后，对应微图像单元EI中的同一个像素点，因此不需要校正。当某物体像素的深度值d与d_c的差值较大时，步骤1整体映射计算的坐标不准确，需要根据d重新计算其映射到微图像单元EI的坐标。如图3所示，以一维情况为例。

设彩色图像区域CI中的物体像素Q，其深度值为d。利用光线追踪原理，分别按照真实深度d、中心深度d_c计算物体像素Q映射到EI的位置，设物体像素Q与微透镜光轴的垂直距离为y_Q，利用两个深度值计算的映射点与微透镜光轴的垂直距离分别为y₂、y₁，根据图3中几何关系，可得：

用式(4)减去式(5)，可得：

当y₂与y₁的差值小于显示器的像素尺寸时，两个映射点为同一像素，无需校正。当y₂与y₁的差值大于等于显示器的像素尺寸时，需要校正，即：

考虑d＜d_c和d＞d_c两种情况，在二维情况下，当物体像素Q的位置坐标与真实深度d满足下式条件时，需要对该物体像素的映射坐标进行校正。

或

(3)对微图像单元EI中需要坐标校正的物体像素，根据式(4)，利用实际深度值d计算出其在微图像单元EI的映射坐标，完成校正。