CN111288925B - 一种基于数字对焦结构照明光场的三维重建方法和装置 - Google Patents

Abstract

本发明实施例提供一种基于数字对焦结构照明光场的三维重建方法和装置，方法包括：获取待测物体的四维光场信息；利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，获得聚焦平面序列图像；通过傅里叶变换轮廓术进行条纹分析，获得包裹相位图；对包裹相位图进行相位展开，获得参考条纹和变形条纹之间的绝对相位差；根据绝对相位差获得待测物体表面的高度信息，进而恢复待测物体的三维形貌信息。本发明通过数字对焦获得不同景深的投影图片，采用傅里叶变换廓术进行条纹分析后，再利用单频率投影条纹空间相位展开技术获取绝对相位，从而获得三维重建结果，该方法克服了传统相机景深小的限制，而且无需进行机械调焦。

Description

一种基于数字对焦结构照明光场的三维重建方法和装置

技术领域

本发明实施例涉及立体视觉领域，尤其涉及一种基于数字对焦结构照明光场的三维重建方法和装置。

背景技术

随着信息技术和机器人技术的快速发展，准确获取物体表面的三维数据以满足多样化应用的需求也日益强烈。高精度的三维测量技术被广泛应用于精密工业元器件的测量加工，医学图像重建，航空测绘，模型器具的逆向重建等领域。而在传统的工业，医学等领域应用之外，随着人工智能浪潮兴起的新兴技术领域如无人驾驶，智能机器人，智慧城市等同样需要三维测量技术的参与。数十年来三维测量技术的大量科研成果已经在方方面面改变着人类社会的生产生活，不断涌现的新兴应用场景和技术需求更加展现了这一研究领域的发展潜力，可以确信，快速高精度的三维形貌测量技术将在各领域发挥越来越大的作用。

结构光三维测量技术是通过向待测场景投影编码模板图像，根据调制变形后的编码模板恢复场景三维数据的主动式立体视觉方法。这一方法能够以非接触的方式，实时获取高精度的物体三维形貌数据。对于三维形貌的测量，傅里叶变换轮廓术(FourierTransform Profilometry，简称FTP)是由M.Takenda和K.Mutoh在1983年提出的，它是一种很有效的非接触式、快速的三维形貌测量方法之一，它的显著特点是简单、方便、快捷，只需要选择条纹图中的一帧图像，最多不需要超过两帧，就可以应用傅里叶变换、滤波和逆傅里叶变换再现出物体的三维图形。因此该方法可以适用于动态场景下物体表面的三维重建。

现有的三维重建方法使用传统普通相机拍摄物体进行三维重建，需要用户在拍摄前精心挑选相机参数，并且在拍摄过程中需要多次机械调焦，对每一景深的物体都拍摄图片，操作繁琐且效率较低。

发明内容

本发明实施例提供一种基于数字对焦结构照明光场的三维重建方法和装置，通过数字对焦获得不同景深的投影图片，采用傅里叶变换廓术进行条纹分析后，再利用单频率投影条纹空间相位展开技术获取绝对相位，从而获得三维重建结果，该方法克服了传统相机景深小的限制，而且无需进行机械调焦。

第一方面，本发明实施例提供一种基于数字对焦结构照明光场的三维重建方法，包括：

S1，获取待测物体的四维光场信息；其中，所述四维光场信息是通过光场相机拍摄待测物体表面投影的变形条纹图像获得的；

S2，利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，获得聚焦平面序列图像；

S3，基于参考条纹图像和变形条纹图像，通过傅里叶变换轮廓术进行条纹分析，获得包裹相位图；

S4，对所述包裹相位图进行相位展开，获得参考条纹和变形条纹之间的绝对相位差；

S5，根据所述绝对相位差获得待测物体表面的高度信息，并根据所述高度信息和所述聚焦平面序列图像，恢复待测物体的三维形貌信息。

进一步，在步骤S1获取待测物体的四维光场信息之前，所述方法还包括：

将预设频率的正弦条纹图像投影到参考面上，得到参考条纹图像；将所述参考条纹图像投影至待测物体表面，得到变形条纹图像，使用光场相机拍摄所述变形条纹图像。

进一步，所述四维光场信息包括光场相机记录的光线强度、二维位置信息和二维方向信息。

进一步，步骤S2中，所述利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，具体包括：

定义光场相机镜头平面为u-v平面，定义图像传感器所在的成像平面为x-y平面，则光线进入光场相机后，光线与u-v平面的交点为(u，v)，与图像传感器x-y平面的交点为(x，y)；将所述光线记为L_F(u，v，x，y)，其中，下标F为镜头平面相对于成像平面的距离；

假设光场相机在像距为F处得到的像不清晰，在像距为αF的像面上得到的像是清晰的，则新对焦面F’＝αF上的四维光场信息为：

新对焦面(x′,y′)处的像素值E_(x·F)(x′,y′)的计算公式为：

式中，α为虚拟成像平面深度比例因子，F为x-y平面相对于u-v平面的距离。

进一步，步骤S3中，所述基于参考条纹图像和变形条纹图像，通过傅里叶变换轮廓术进行条纹分析，获得包裹相位图，具体包括：

S31，选取待测物体的一个y坐标固定的横截面，此时变形条纹的强度和物体高度分布函数可以表示为单变量x的函数，其中：

参考条纹图像强度可以表示为：

变形条纹图像的强度可以表示为：

式中，其中f₀表示投影条纹基频成分的空间频率，b_k是投影条纹第k阶谐波分量的幅度，Ψ_k表示各阶谐波分量的初始相位，其中

是第k阶谐波引起条纹变形的相位变化；

S32，利用傅里叶变换轮廓术提取参考条纹图像和变形条纹图像的基频信息，所述基频信息是r(x)和d(x)的基频分量；

S33，对所述基频分量进行傅里叶逆变换，获得r_f(x)和d_f(x)，其中：

r_f(x)＝b₁cos(2πf₀x+Ψ₁)

S34，对r_f(x)和d_f(x)进行反正切计算，获得包裹相位图。

第二方面，本发明实施例提供一种基于数字对焦结构照明光场的三维重建装置，包括：

光场信息获取模块，用于获取待测物体的四维光场信息；其中，所述四维光场信息是通过光场相机拍摄待测物体表面投影的变形条纹图像获得的；

数字重聚焦模块，用于利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，获得聚焦平面序列图像；

条纹分析模块，用于基于参考条纹图像和变形条纹图像，通过傅里叶变换轮廓术进行条纹分析，获得包裹相位图；

相位展开模块，用于对所述包裹相位图进行相位展开，获得绝对相位；

三维重建模块，用于根据所述绝对相位获得待测物体表面的高度信息，并根据所述高度信息和所述聚焦平面序列图像，恢复待测物体的三维形貌信息。

进一步，该装置还包括：

投影模块，用于将预设频率的正弦条纹图像投影到参考面上，得到参考条纹图像；将所述参考条纹图像投影至待测物体表面，得到变形条纹图像，使用光场相机拍摄所述变形条纹图像。

进一步，所述数字重聚焦模块具体用于：

定义光场相机镜头平面为u-v平面，定义图像传感器所在的成像平面为x-y平面，则光线进入光场相机后，光线与u-v平面的交点为(u，v)，与图像传感器x-y平面的交点为(x，y)；将所述光线记为L_F(u，v，x，y)，其中，下标F为镜头平面相对于成像平面的距离；

假设光场相机在像距为F处得到的像不清晰，在像距为αF的像面上得到的像是清晰的，则新对焦面F’＝αF上的四维光场信息为：

新对焦面(x′,y′)处的像素值E_(x·F)(x′,y′)的计算公式为：

式中，α为虚拟成像平面深度比例因子，F为x-y平面相对于u-v平面的距离。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述基于数字对焦结构照明光场的三维重建方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述基于数字对焦结构照明光场的三维重建方法的步骤。

本发明实施例提供的一种基于数字对焦结构照明光场的三维重建方法和装置，与现有技术相比，具有以下有益效果：

1)本发明通过数字对焦获得不同景深的投影图片，采用傅里叶变换廓术进行条纹分析后，再利用单频率投影条纹空间相位展开技术获取绝对相位，从而获得三维重建结果，克服了传统成像景深小的限制，而且无需进行机械调焦，即使拍摄的目标物体是不对焦的，采用数字对焦技术，也可以重聚焦到目标物体上。

2)与现有技术需要多次机械调焦，对每一景深的物体都拍摄图片相比，本发明只需拍摄一张图片，就可以使用数字对焦的方式对焦到不同平面，对该图片中不同景深的物体进行三维重建，提高了效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的基于数字对焦结构照明光场的三维重建方法流程示意图；

图2为本发明实施例提供的条纹投影图；

图3为本发明实施例提供的投影条纹形貌测量技术光路图；

图4为本发明实施例提供的数字对焦原理图；

图5为本发明实施例提供的基于数字对焦结构照明光场的三维重建装置的结构框图；

图6为根据本发明实施例的一种电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

现有的三维重建方法使用传统普通相机拍摄物体进行三维重建，需要用户在拍摄前精心挑选相机参数，并且在拍摄过程中需要多次机械调焦，对每一景深的物体都拍摄图片，操作繁琐且效率较低。

因此，本发明实施例提出一种基于数字对焦结构照明光场的三维重建方法，通过数字对焦获得不同景深的投影图片，采用傅里叶变换廓术进行条纹分析后，再利用单频率投影条纹空间相位展开技术获取绝对相位，从而获得三维重建结果，该方法克服了传统相机景深小的限制，而且无需进行机械调焦，解决了现有的三维重建方法效率低的问题。以下将通过多个实施例进行展开说明和介绍。

图1为本发明实施例提供一种基于数字对焦结构照明光场的三维重建方法，包括：

S1，获取待测物体的四维光场信息；其中，所述四维光场信息是通过光场相机拍摄待测物体表面投影的变形条纹图像获得的。

具体地，执行步骤S1之前，首先需要将预设频率的正弦条纹图像投影到参考面上，得到参考条纹图像；然后，将所述参考条纹图像投影至待测物体表面，得到变形条纹图像。图2为本发明实施例提供的条纹投影图，图2示出了一种变形条纹图像。接着，使用光场相机拍摄所述变形条纹图像。与传统相机的二维图像采集方式不同，光场相机通过单次曝光可以记录下三维场景的空间和角度信息也即四维光场信息。

在光场相机拍摄变形条纹图像后，执行步骤S1，获取待测物体的四维光场信息。本实施例中，四维光场信息包括光场相机记录的光线强度、二维位置信息和二维方向信息。

S2，利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，获得聚焦平面序列图像。

光场数字重聚焦是光场成像技术的重要应用，指的是一次曝光后获得的照片利用数字图像处理技术将模糊离焦图像进行反演，从而重建出聚焦准确的清晰目标图像。

可以理解的是，现有技术传统普通相机拍摄物体进行三维重建，需要用户在拍摄前精心挑选相机参数，并且在拍摄过程中需要多次机械调焦，对每一景深的物体都拍摄图片，效率较低。而本发明采用数字对焦技术，能够先拍摄后聚焦，实现灵活控制景深。

S3，基于参考条纹图像和变形条纹图像，通过傅里叶变换轮廓术进行条纹分析，获得包裹相位图。

S4，对所述包裹相位图进行相位展开，获得参考条纹和变形条纹之间的绝对相位差。

S5，根据所述绝对相位差获得待测物体表面的高度信息，并根据所述高度信息和所述聚焦平面序列图像，恢复待测物体的三维形貌信息。

S3中，傅里叶变换轮廓术(Fourier Transform Profilometry，简称FTP)是三维形貌测量方法之一，它的显著特点是简单、方便、快捷，只需要选择条纹图中的一帧图像，最多不需要超过两帧，就可以应用傅里叶变换、滤波和逆傅里叶变换再现出物体的三维图形。因此该方法可以适用于动态场景下物体表面的三维重建。

本实施例利用傅里叶变换轮廓术提取参考条纹图像和变形条纹图像的基频信息，并进行傅里叶逆变换，获得包裹相位图。具体包括：

S31，选取待测物体的一个y坐标固定的横截面，此时变形条纹的强度和物体高度分布函数可以表示为单变量x的函数，其中：

参考条纹图像强度可以表示为：

变形条纹图像的强度可以表示为：

式中，其中f₀表示投影条纹基频成分的空间频率，b_k是投影条纹第k阶谐波分量的幅度，Ψ_k表示第k阶谐波分量的初始相位，其中

是第k阶谐波引起条纹变形的相位变化。k表示谐波阶数。同时把

称为参考条纹r的第k阶谐波分量的绝对相位，它表示的是参考条纹每一点上的绝对相位值，

是x的单调增函数，也就是说每个x只有一个

同样把

称为变形条纹d第k阶谐波分量的绝对相位，它表示的是变形条纹每一点上的绝对相位值，它也是x的单调增函数。其中，

中的r对应的是参考条纹r，

中的d对应的是变形条纹d。

图3为本发明实施例提供的投影条纹形貌测量技术光路图，图3中Ec是照相机出瞳位置，Ep是投影仪出瞳位置。投影条纹测量技术的基本光学原理如下，当没有被测物体存在时，由投影仪产生的由数字光在C点被参考平面反射到照相机。而当参考平面被撤走时，相同的一路数字光在H点经D点被反射到照相机。也就是说对同一路数字光，由于被测物体的存在，在其照相机中拍摄的空间位置是有差异的，参考条纹的强度结果r(x)是由C点直接反射而来，而变形条纹的强度结果d(x)是由H点反射而来。因此照相机两次拍摄得到的参考条纹和变形条纹之间的绝对相位差，与C点和D点之间的绝对相位差等价。故对于D点来说，参考条纹和变形条纹中第k阶谐波的绝对相位差ΔΦ_k(D)可表示如下：

其中

表示C点和D点之间的空间位移差。由于D点是任意选取的，且存在

可以得到

其中，ΔΦ₁(x)表示投影条纹的基频分量在经过物体表面后产生的绝对相位差。

表示变形条纹基频分量的绝对相位；

表示参考条纹基频分量的绝对相位。由图3可知，d₀表示照相机出瞳到投影仪出瞳的距离，l₀表示参考平面到照相机出瞳的距离，当照相机和投影仪固定时这两个数值也是固定的。因此C点和D点之间的距离取决于C点到参考平面的距离h(x)(也就是

)，根据三角形E_pHE_c与CHD相似，可以得到：

带入

则有：

为便于进行傅里叶变换，将S31中的r(x)和d(x)改写成指数形式：

进行傅里叶变换并滤出基频分量，再进行傅里叶逆变换，得到

式中，r_f(x)表示参考条纹的基频分量，d_f(x)表示变形条纹的基频分量，e^j表示使用指数形式来表示基频。

经下式计算获得包裹相位图：

式中，

表示；

表示取虚部；

表示取实部。

由该方法计算得到的相位呈现不连续的截断分布，相位差变化在(-π,π)内，也称为包裹相位，必须用相位展开技术，消除相位分布中的截断跳变展开成连续相位，也就是基频处的绝对相位差，才能恢复高度信息。

具体地，对包裹相位图进行相位展开操作，以获得待测物体表面形貌数据：

其中，unwrap()是相位展开。相位展开实际上是对包裹相位差分再包裹值的积分过程。对于包裹相位图展开后的相位值用up表示，它与包裹相位的关系为：

up(x)＝wp(x)-2n_kπ，n_k∈Z

其中，up(x)表示包裹相位图展开后的相位值；wp(x)是展开前的包裹相位,n_k表示在第k阶的截断跳变，且n₀＝0，则有

ΔΦ₁(x)＝up(x_k)-up(x_k-1)

式中，x_k表示在第k阶的截断跳变处的像素x；wp(x_k)表示第k阶截断跳变处，像素x的包裹相位；up(x_k)表示第k阶截断跳变处，像素x的展开相位。

根据任何两个相邻抽样点之间的连续相位变化<π，即：

-π<up(x_k)-up(x_k-1)<π

综合上述两式，得到：

-π<wp(x_k)-wp(x_k-1)-2n_kπ+2n_k-1π<π

两端加π，再除以2π得到：

对不等式各项同时向下取整得：

式中，floor表示向下取整。

由此可求出up(x_k)，进而可求出ΔΦ₁(x)，根据所述绝对相位差获得待测物体表面的高度信息，并根据所述高度信息和所述聚焦平面序列图像，恢复待测物体的三维形貌信息。

将S4中获得的相位差带入下式：

由此即可恢复出待测物体表面的高度信息。其中，h(x)表示图3中C点到参考平面的距离；ΔΦ₁(x)表示投影条纹的基频分量在经过物体表面后产生的绝对相位差；f₀表示投影条纹基频成分的空间频率；d₀表示照相机出瞳到投影仪出瞳的距离，l₀表示参考平面到照相机出瞳的距离。

进一步地，根据所述高度信息和所述聚焦平面序列图像，恢复待测物体的三维形貌信息。

本发明实施例通过数字对焦获得不同景深的投影图片，采用傅里叶变换廓术进行条纹分析后，再利用单频率投影条纹空间相位展开技术获取绝对相位，从而获得三维重建结果。克服了传统成像景深小的限制，而且无需进行机械调焦。与现有技术需要多次机械调焦，对每一景深的物体都拍摄图片相比，本发明只需拍摄一张图片，就可以使用数字对焦的方式对焦到不同平面，对该图片中不同景深的物体进行三维重建，提高了效率。

在上述实施例的基础上，步骤S2中，所述利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，具体包括：

图4为本发明实施例提供的数字对焦原理图，参照图4，本实施例定义光场相机镜头平面为u-v平面，定义图像传感器所在的成像平面为x-y平面，则光线进入光场相机后，光线与u-v平面的交点为(u，v)，与图像传感器x-y平面的交点为(x，y)；将所述光线记为L_F(u，v，x，y)，其中，下标F为镜头平面相对于成像平面的距离；

假设光场相机在像距为F处得到的像不清晰，在像距为αF的像面上得到的像是清晰的，则新对焦面F’＝αF上的四维光场信息为：

新对焦面(x′,y′)处的像素值E_(x·F)(x′,y′)的计算公式为：

式中，α为虚拟成像平面深度比例因子，F为x-y平面相对于u-v平面的距离。

具体地，虚拟成像平面深度比例因子α的选择，F′＝α·F，当0<α<1时，表示新的聚焦面在实际拍摄的成像面之前；当α>1时，表示新的聚焦面在实际拍摄的成像面之后。选择不同的α即可重聚焦在不同的平面，得到光场相机在不同像距αF处的像面上的成像，即聚焦平面序列图像。与现有技术相比，无需机械调焦，方便后续对不同平面物体进行三维重建。

本实施例采用数字对焦算法，可以获得比传统相机更大的景深，也就是说，在传统相机不能聚焦的深度，通过数字对焦算法也能实现聚焦。

本实施例可以采用基于微透镜阵列的光场相机对主镜头的孔径进行1/N²倍细分采样，将原光圈数为F_N的相机等效成为N²个光圈数为F_N/N的虚拟相机的组合，其数字对焦合成后的景深范围等效于单个小光圈相机的景深。反之，若将每个相机本身作为一个子孔径采样，则多个相机的组合也可以等效为一个具有更大光圈数的大孔径相机。对此虚拟的大孔径相机进行数字对焦处理，合成出的图像将具有极浅的景深。

图5为本发明实施例提供的基于数字对焦结构照明光场的三维重建装置的结构框图，参照图5，该装置包括：

光场信息获取模块501，用于获取待测物体的四维光场信息；其中，所述四维光场信息是通过光场相机拍摄待测物体表面投影的变形条纹图像获得的；

数字重聚焦模块502，用于利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，获得聚焦平面序列图像；

条纹分析模块503，用于基于参考条纹图像和变形条纹图像，通过傅里叶变换轮廓术进行条纹分析，获得包裹相位图；

相位展开模块504，用于对所述包裹相位图进行相位展开，获得绝对相位；

三维重建模块505，用于根据所述绝对相位获得待测物体表面的高度信息，并根据所述高度信息和所述聚焦平面序列图像，恢复待测物体的三维形貌信息。

在上述各实施例的基础上，基于数字对焦结构照明光场的三维重建装置还包括投影模块，用于将预设频率的正弦条纹图像投影到参考面上，得到参考条纹图像；将所述参考条纹图像投影至待测物体表面，得到变形条纹图像，使用光场相机拍摄所述变形条纹图像。

在上述各实施例的基础上，所述数字重聚焦模块具体用于：

定义光场相机镜头平面为u-v平面，定义图像传感器所在的成像平面为x-y平面，则光线进入光场相机后，光线与u-v平面的交点为(u，v)，与图像传感器x-y平面的交点为(x，y)；将所述光线记为L_F(u，v，x，y)，其中，下标F为镜头平面相对于成像平面的距离；

假设光场相机在像距为F处得到的像不清晰，在像距为αF的像面上得到的像是清晰的，则新对焦面F’＝αF上的四维光场信息为：

新对焦面(x′,y′)处的像素值E_(x·F)(x′,y′)的计算公式为：

式中，α为虚拟成像平面深度比例因子，F为x-y平面相对于u-v平面的距离。

本发明实施例提供了本发明实施例提供了一种电子设备，如图6所示，该服务器可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器503中的逻辑指令，以执行上述各实施例提供的基于数字对焦结构照明光场的三维重建方法，例如包括：S1，获取待测物体的四维光场信息；其中，所述四维光场信息是通过光场相机拍摄待测物体表面投影的变形条纹图像获得的；S2，利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，获得聚焦平面序列图像；S3，基于参考条纹图像和变形条纹图像，通过傅里叶变换轮廓术进行条纹分析，获得包裹相位图；S4，对所述包裹相位图进行相位展开，获得参考条纹和变形条纹之间的绝对相位差；S5，根据所述绝对相位差获得待测物体表面的高度信息，并根据所述高度信息和所述聚焦平面序列图像，恢复待测物体的三维形貌信息。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于数字对焦结构照明光场的三维重建方法，例如包括：S1，获取待测物体的四维光场信息；其中，所述四维光场信息是通过光场相机拍摄待测物体表面投影的变形条纹图像获得的；S2，利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，获得聚焦平面序列图像；S3，基于参考条纹图像和变形条纹图像，通过傅里叶变换轮廓术进行条纹分析，获得包裹相位图；S4，对所述包裹相位图进行相位展开，获得参考条纹和变形条纹之间的绝对相位差；S5，根据所述绝对相位差获得待测物体表面的高度信息，并根据所述高度信息和所述聚焦平面序列图像，恢复待测物体的三维形貌信息。

综上所述，本发明实施例提供一种基于数字对焦结构照明光场的三维重建方法和装置，通过数字对焦获得不同景深的投影图片，采用傅里叶变换廓术进行条纹分析后，再利用单频率投影条纹空间相位展开技术获取绝对相位，从而获得三维重建结果，该方法克服了传统相机景深小的限制，而且无需进行机械调焦，解决了现有的三维重建方法效率低的问题。

本申请实施例中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的***、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于数字对焦结构照明光场的三维重建方法，其特征在于，包括：

S1，将预设频率的正弦条纹图像投影到参考面上，得到参考条纹图像；将所述参考条纹图像投影至待测物体表面，得到变形条纹图像，使用光场相机拍摄所述变形条纹图像；获取待测物体的四维光场信息；其中，所述四维光场信息是通过光场相机拍摄待测物体表面投影的变形条纹图像获得的；

S2，利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，获得聚焦平面序列图像；

S3，基于参考条纹图像和变形条纹图像，通过傅里叶变换轮廓术进行条纹分析，获得包裹相位图；

S4，对所述包裹相位图进行相位展开，获得参考条纹和变形条纹之间的绝对相位差；

S5，根据所述绝对相位差获得待测物体表面的高度信息，并根据所述高度信息和所述聚焦平面序列图像，恢复待测物体的三维形貌信息。

2.根据权利要求1所述的基于数字对焦结构照明光场的三维重建方法，其特征在于，所述四维光场信息包括光场相机记录的光线强度、二维位置信息和二维方向信息。

3.根据权利要求2所述的基于数字对焦结构照明光场的三维重建方法，其特征在于，所述S2中，利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，具体包括：

定义光场相机镜头平面为u-v平面，定义图像传感器所在的成像平面为x-y平面，则光线进入光场相机后，光线与u-v平面的交点为(u，v)，与图像传感器x-y平面的交点为(x，y)；将所述光线记为L_F(u，v，x，y)，其中，下标F为镜头平面相对于成像平面的距离；

假设光场相机在像距为F处得到的像不清晰，在像距为αF的像面上得到的像是清晰的，则新对焦面F’＝αF上的四维光场信息为：

新对焦面(x′,y′)处的像素值E_(x·F)(x′,y′)的计算公式为：

式中，α为虚拟成像平面深度比例因子，F为x-y平面相对于u-v平面的距离。

4.根据权利要求1所述的基于数字对焦结构照明光场的三维重建方法，其特征在于，步骤S3中，所述基于参考条纹图像和变形条纹图像，通过傅里叶变换轮廓术进行条纹分析，获得包裹相位图，具体包括：

S31，选取待测物体的一个y坐标固定的横截面，此时变形条纹的强度和物体高度分布函数可以表示为单变量x的函数，其中：

参考条纹图像强度可以表示为：

变形条纹图像的强度可以表示为：

式中，其中f₀表示投影条纹基频成分的空间频率，b_k是投影条纹第k阶谐波分量的幅度，Ψ_k表示各阶谐波分量的初始相位，其中

是第k阶谐波引起条纹变形的相位变化；

S32，利用傅里叶变换轮廓术提取参考条纹图像和变形条纹图像的基频信息，所述基频信息是r(x)和d(x)的基频分量；

S33，对所述基频分量进行傅里叶逆变换，获得r_f(x)和d_f(x)，其中：

r_f(x)＝b₁cos(2πf₀x+Ψ₁)

S34，对r_f(x)和d_f(x)进行反正切计算，获得包裹相位图。

5.一种基于数字对焦结构照明光场的三维重建装置，其特征在于，包括：

投影模块，用于将预设频率的正弦条纹图像投影到参考面上，得到参考条纹图像；将所述参考条纹图像投影至待测物体表面，得到变形条纹图像，使用光场相机拍摄所述变形条纹图像；

光场信息获取模块，用于获取待测物体的四维光场信息；其中，所述四维光场信息是通过光场相机拍摄待测物体表面投影的变形条纹图像获得的；

数字重聚焦模块，用于利用空间域数字对焦方法对所述四维光场信息进行数字重聚焦处理，获得聚焦平面序列图像；

条纹分析模块，用于基于参考条纹图像和变形条纹图像，通过傅里叶变换轮廓术进行条纹分析，获得包裹相位图；

相位展开模块，用于对所述包裹相位图进行相位展开，获得绝对相位；

三维重建模块，用于根据所述绝对相位获得待测物体表面的高度信息，并根据所述高度信息和所述聚焦平面序列图像，恢复待测物体的三维形貌信息。

6.根据权利要求5所述的基于数字对焦结构照明光场的三维重建装置，其特征在于，所述数字重聚焦模块具体用于：

定义光场相机镜头平面为u-v平面，定义图像传感器所在的成像平面为x-y平面，则光线进入光场相机后，光线与u-v平面的交点为(u，v)，与图像传感器x-y平面的交点为(x，y)；将所述光线记为L_F(u，v，x，y)，其中，下标F为镜头平面相对于成像平面的距离；

假设光场相机在像距为F处得到的像不清晰，在像距为αF的像面上得到的像是清晰的，则新对焦面F’＝αF上的四维光场信息为：

新对焦面(x′,y′)处的像素值E_(x·F)(x′,y′)的计算公式为：

式中，α为虚拟成像平面深度比例因子，F为x-y平面相对于u-v平面的距离。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述基于数字对焦结构照明光场的三维重建方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述基于数字对焦结构照明光场的三维重建方法的步骤。

Images