CN104482877B - 动态物体三维成像中的运动补偿方法与*** - Google Patents

Abstract

本发明涉及一种动态物体三维成像中的运动补偿方法与***。本发明首先对运动误差进行初步估计，然后对均方根误差大于设定阈值的各像素的运动误差进行重新估计，并根据重新估计的运动误差与***固定相移量和原始变形条纹图数据，计算均方根误差大于设定阈值的各像素的相位的校正估计值，并用其取代相应像素的相位的初步估计值，形成运动补偿后的折叠相位图，利用运动补偿后的折叠相位图，重建运动补偿后的深度像。本发明具有较高的可靠性，对运动造成的误差具有较好的补偿效果，极大的提高了动态表面的测量精度，提高了***测量的动态范围。本发明适用于由投影仪和单相机或双相机组成的三维测量***，或经相位展开后的绝对相位图的运动误差补偿。

Description

动态物体三维成像中的运动补偿方法与***

技术领域

本发明属于三维数字成像领域，尤其涉及一种动态物体三维成像中的运动补偿方法与***。

背景技术

动态表面成像与测量在流水线检测、军事、实验力学、体感游戏等领域有着广泛的需求。同时，相位辅助三维成像具有非接触、速度快、精度高、数据密度大等优点，在逆向工程、质量控制、缺陷检测和文化娱乐等领域均有广泛的应用。利用相位辅助手段进行动态表面成像可以显著改善成像精度与分辨率。利用相移算法求解相位编码要求采集过程之中物体的相位编码不能变化，但动态表面成像过程中，目标表面是在不断运动的，二者存在天然的矛盾。目前，解决这一矛盾的主要方法就是提高投影与采集速度，使运动产生的相位变化可以近似忽略。但其中存在着两个问题：一方面，目前的投影***中大多采用数字投影仪作为投影装置，其投影速度受到较大限制，往往只能满足表面低速运动情况下的成像；另一方面，投影与采集速度并不是可以无限提升的，而动态表面处于***状态，很难限定其运动速度。受限于投影与采集速度的瓶颈，当表面运动速度较高时运动误差的影响将给成像带来较大误差。

发明内容

本发明所要解决的技术问题是，提供一种动态物体三维成像中的运动补偿方法与***，以确保当表面运动造成的相位编码变化不可以近似忽略时，也能够得到精度较高的深度像。本发明是这样实现的：

一种动态物体三维成像中的运动补偿方法，包括下述步骤：

步骤A，利用多个单色相机同步采集若干帧动态物体表面的变形条纹图，对各单色相机采集的各帧变形条纹图进行滤波，并求解滤波后的变形条纹图的折叠相位图与背景光强，针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位，根据展开的相位估计每个像素沿横向的相位梯度；

步骤B，将滤波后的变形条纹图的灰度作为拟合样本数据，结合估计的每个像素沿横向的相位梯度，拟合计算每帧变形条纹图的假定相位编码值，将相邻帧变形条纹图中的假定相位编码值之间的差值减去***固定相移量获得运动误差的估计值，并利用运动误差的估计值与***固定相移量和原始变形条纹图数据，计算每个像素的背景光强、调制度与相位的初步估计值；

步骤C，利用步骤B中得到的每个像素的背景光强与调制度，并结合所述变形条纹图的灰度，计算每个像素的第一组相位余弦值，利用步骤B中得到的每个像素的相位的初步估计值和***固定相移量与运动误差的估计值计算每个像素的第二组相位余弦值，并计算每个像素的两组相位余弦值之间的均方根误差；

步骤D，利用滤波后的变形条纹图与步骤A中求解的背景光强构造新的拟合样本数据，重新估计步骤C中均方根误差大于设定阈值的各像素的运动误差，利用重新估计的运动误差与***固定相移量和原始变形条纹图数据，计算均方根误差大于设定阈值的各像素的相位的校正估计值，并用其取代相应像素的相位的初步估计值，形成运动补偿后的折叠相位图，利用运动补偿后的折叠相位图，重建运动补偿后的深度像。

进一步地，所述滤波为高斯滤波；

所述针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位具体为：以折叠相位图中的每个像素为中心点，则沿折叠相位图横轴方向，利用空间相位展开方法，展开半个周期的相位值；设相位值在相位展开范围内按照线性变化，根据每个像素展开的相位值与折叠相位图中像素之间的相对位置关系，利用最小二乘法，通过如下公式估计每个像素沿横向的相位梯度：

${\mathrm{\φ}}_n(x_i,y_i)=m{\▿}_x+{\mathrm{\φ}}_b$

其中φ_n(x_i,y_i)为某一像素的展开相位值，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_b为相位偏移量。

进一步地，所述步骤B具体通过如下方式确定某一像素的相位的初步估计值：

步骤B1，利用估计的每个像素沿横向的相位梯度，并利用最小二乘法，通过如下公式拟合任意帧的假定相位编码值：

$\begin{array}{c}{I}_n\left(x_i,y_i\right)=A_n+B_n\cos \left(m{\▿}_x+{\mathrm{\φ}}_n\right)\\ =A_n+B_n\left(\cos \left(m{\▿}_x\right)\cos \left({\mathrm{\φ}}_n\right)-\sin \left(m{\▿}_x\right)\sin \left({\mathrm{\φ}}_n\right)\right)\\ n=1,2,3,4\end{array}$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)坐标像素点的背景光强，A_n与B_n分别为第n帧背景光强与调制度，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_n为第n帧中心像素的假定相位编码值；

步骤B2，将相邻帧之间的假定相位编码值之差减去***固定相移量，获得运动误差的估计值，通过最小二乘法，利用***固定相移量和运动误差的估计值求解背景光强、调制度与相位的初步估计值。

进一步地，所述步骤C具体通过如下方式确定均方根误差：

步骤C1，通过步骤B中计算获得的背景光强、调制度与相位的初步估计值与运动误差的估计值，可以获得如下两组余弦值：

$K_n=cos\left(\mathrm{\φ}\right(x,y)+{\mathrm{\Δ}}_{n1}(x,y)+(n-1\left)\frac{\mathrm{\π}}{2}\right)$

$\begin{array}{c}{K}_n^{\′}=\frac{I_n(x,y)-A(x,y)}{B(x,y)}\\ n=1,\mathrm{...},N\end{array}$

其中，N表示图像数目，A(x,y)、B(x,y)与φ(x,y)分别为步骤B中求解出的背景光强、调制度与相位的初步估计值，n为图像的序号，I_n(x,y)为第n帧变形条纹图中该像素的灰度值，Δ_n1(x,y)为步骤B中估计出的第n帧与第一帧之间的运动误差；

步骤C2，通过如下公式计算两组余弦值K_n′与K_n的均方根误差；

$error=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}{(K_n^{\′}-K_n)}^2}{N}}$

其中，error表示均方根误差值。

进一步地，步骤D具体通过如下方式获得运动补偿后深度像：

步骤D1，将均方根误差大于设定阈值的各像素利用步骤A中所求解的背景光强，通过如下公式构造新的拟合样本数据：

$New(x_m,y_m)=\frac{I_n(x_m,y_m)}{A_e(x_m,y_m)}=\frac{A(x_m,y_m)}{A_e(x_m,y_m)}+\frac{B(x_m,y_m)}{A_e(x_m,y_m)}cos\left(\mathrm{\φ}\right(x_m,y_m)+{\mathrm{\δ}}_n(x_m,y_m\left)\right)$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)点的灰度值，φ(x_m,y_m)表示(x_m,y_m)点的相位值，δ_n(x_m,y_m)表示第n帧的相移量，A(x_m,y_m)、B(x_m,y_m)分别表示(x_m,y_m)点的背景光强与调制度，A_e(x_m,y_m)为背景光强估计值，New(x_m,y_m)为构造的新的拟合样本数据；

步骤D2，利用新的拟合样本数据，重新执行步骤B，计算均方根误差大于设定阈值的各像素相位的校正估计值，并用其取代相应像素的相位的初步估计值，获得运动补偿后的折叠相位图；

步骤D3，利用运动补偿后的折叠相位图，重建运动误差补偿后深度像。

一种基于条纹投影的动态表面三维测量***的运动误差补偿***，包括：

射频信号发生器，用于产生两路存在频率差的射频信号；

外触发信号发生器，用于产生固定频率的矩形波作为外触发信号；

时间外差条纹投影单元，用于在所述射频信号发生器的驱动之下，通过干涉产生空间频率固定、任意空间点的灰度均随时间呈正弦函数变化的运动正弦条纹；

单色相机，用于在所述外触发信号发生器的控制下采集由时间外差条纹投影单元产生并经动态表面调制后的变形条纹图；

相位梯度估计单元，用于对各单色相机采集的各帧变形条纹图进行滤波，并求解滤波后的变形条纹图的折叠相位图与背景光强，针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位，根据展开的相位估计每个像素沿横向的相位梯度；

初步估计单元，用于将滤波后的变形条纹图的灰度作为拟合样本数据，结合估计的每个像素沿横向的相位梯度，拟合计算每帧变形条纹图的假定相位编码值，将相邻帧变形条纹图中的假定相位编码值之间的差值减去***固定相移量获得运动误差的估计值，并利用运动误差的估计值与***固定相移量和原始变形条纹图数据，计算每个像素的背景光强、调制度与相位的初步估计值；

相位误差衡量单元，用于利用所述初步估计单元得到的每个像素的背景光强与调制度，并结合所述变形条纹图的灰度，计算每个像素的第一组相位余弦值，利用所述初步估计单元得到的每个像素的相位的初步估计值和***固定相移量与运动误差的估计值计算每个像素的第二组相位余弦值，并计算每个像素的两组相位余弦值之间的均方根误差；

误差校正与深度像重建单元，用于利用滤波后的变形条纹图与所述相位梯度估计单元求解的背景光强构造新的拟合样本数据，重新估计所述相位误差衡量单元得到的均方根误差大于设定阈值的各像素的运动误差，利用重新估计的运动误差与***固定相移量和原始变形条纹图数据，计算均方根误差大于设定阈值的各像素的相位的校正估计值，并用其取代相应像素的相位的初步估计值，形成运动补偿后的折叠相位图，利用运动补偿后的折叠相位图，重建运动补偿后的深度像。

进一步地，所述相位梯度估计单元包括：

图像滤波模块，用于对各单色相机采集的各帧变形条纹图进行高斯滤波；

相位解调模块，用于求解滤波后的变形条纹图的折叠相位图与背景光强；

空间相位展开模块，用于针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位；

相位梯度估计模块，用于根据展开相位，通过如下公式估计每个像素沿横向的相位梯度：

${\mathrm{\φ}}_n(x_m,y_m)=m{\▿}_x+{\mathrm{\φ}}_b$

其中φ_n(x_m,y_m)为某一像素的展开相位值，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_b为相位偏移量。

进一步地，所述初步估计单元包括：

运动误差估计模块，用于将滤波后的变形条纹图的灰度作为拟合样本数据，结合估计的每个像素沿横向的相位梯度，通过如下公式拟合计算每帧变形条纹图的假定相位编码值：

$\begin{array}{c}{I}_n\left(x_m,y_m\right)=A_n+B_n\cos \left(m{\▿}_x+{\mathrm{\φ}}_n\right)\\ =A_n+B_n\left(\cos \left(m{\▿}_x\right)\cos \left({\mathrm{\φ}}_n\right)-\sin \left(m{\▿}_x\right)\sin \left({\mathrm{\φ}}_n\right)\right)\\ n=1,2,3,4\end{array}$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)坐标像素点的背景光强，A_n与B_n分别为第n帧背景光强与调制度，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_n为第n帧中心像素的假定相位编码值，并将相邻帧变形条纹图中的假定相位编码值之间的差值减去***固定相移量获得运动误差的估计值；

背景光强、调制度及相位初步估计模块，用于利用运动误差的估计值与***固定相移量和原始变形条纹图数据，计算每个像素的背景光强、调制度与相位的初步估计值。

进一步地，所述相位误差衡量单元包括：

余弦值计算模块，用于根据初步估计单元获得的每个像素的背景光强、调制度与相位的初步估计值，通过如下公式计算每个像素的如下两组余弦值：

$K_n=cos\left(\mathrm{\φ}\right(x,y)+{\mathrm{\Δ}}_{n1}(x,y)+(n-1\left)\frac{\mathrm{\π}}{2}\right),n=1,...,N$

$K_n^{\′}=\frac{I_n(x,y)-A(x,y)}{B(x,y)},n=1,...,N$

其中，N表示图像数目，A(x,y)、B(x,y)、φ(x,y)分别为步骤C中求解出的背景光强、调制度与相位值的初步估计值，n为图像的序号，I_n(x,y)为第n帧的背景光强，Δ_n1(x,y)为步骤C中估计出的第n帧与第一帧之间的运动误差；

均方根误差计算模块，用于通过如下公式计算两组余弦值K_n′与K_n的均方根误差；

$error=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}{(K_n^{\′}-K_n)}^2}{N}}$

其中，error表示均方根误差值。

进一步地，所述误差校正与深度像重建单元包括：

新数据构造模块，用于对均方根误差大于设定阈值的各像素，利用所述初步估计单元中所得到的各像素的背景光强，通过如下公式构造新的拟合样本数据：

$New(x_m,y_m)=\frac{I_n(x_m,y_m)}{A_e(x_m,y_m)}=\frac{A(x_m,y_m)}{A_e(x_m,y_m)}+\frac{B(x_m,y_m)}{A_e(x_m,y_m)}cos\left(\mathrm{\φ}\right(x_m,y_m)+{\mathrm{\δ}}_n(x_m,y_m\left)\right)$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)点的背景光强，φ(x_m,y_m)表示(x_m,y_m)点的相位值，δ_n(x_m,y_m)表示第n帧的相移量，A(x_m,y_m)、B(x_m,y_m)分别表示(x_m,y_m)点的背景光强与调制度，A_e(x_m,y_m)为背景光强估计值，New(x_m,y_m)为构造的新的拟合样本数据；

重新估计模块，用于重新估计所述相位误差衡量单元得到的均方根误差大于设定阈值的各像素的运动误差，利用重新估计的运动误差与***固定相移量和原始变形条纹图数据，计算均方根误差大于设定阈值的各像素的相位的校正估计值，并用其取代相应像素的相位的初步估计值，形成运动补偿后的折叠相位图；

深度像重建模块，用于利用运动补偿后的折叠相位图，重建运动补偿后的深度像。

与现有技术相比，本发明提供的动态物体三维成像中的运动补偿***具有较高的可靠性，对运动造成的误差具有较好的补偿效果，极大的提高了动态表面的测量精度，提高了***测量的动态范围。本发明提供的动态物体三维成像中的运动补偿方法同样适用于由投影仪和单相机或双相机组成的的三维测量***，也可以适用于经相位展开后的绝对相位图运动误差补偿。

附图说明

图1：本发明实施例提供的动态物体三维成像中的运动补偿方法流程示意图；

图2：本发明实施例提供的动态物体三维成像中的运动补偿***结构示意图；

图3：上述运动补偿***中变形条纹图采集单元结构示意图；

图4(a)：实施例提供的利用三个CCD相机查找对应点的原理示意图中第一台CCD相机的折叠相位图；

图4(b)：实施例提供的利用三个CCD相机查找对应点的原理示意图中第二台CCD相机的折叠相位图；

图4(c)：实施例提供的利用三个CCD相机查找对应点的原理示意图中第三台CCD相机的折叠相位图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

图1示出了动态物体三维成像中的运动补偿方法流程示意图，具体包括如下步骤：

步骤A，利用多个单色相机同步采集若干帧动态物体表面的变形条纹图，对各单色相机采集的各帧变形条纹图进行滤波，并求解滤波后的变形条纹图的折叠相位图与背景光强，针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位，根据展开的相位估计每个像素沿横向的相位梯度。

必须要指出的是，从理论上讲，无论是真实的相位图还是带有运动误差的相位图，不同像素的相位梯度一定不是完全相等的，表面的微小起伏与运动带来的误差均会影响梯度的变化，但这些变化对于相位梯度的影响很小，此处将其忽略，即假设相位梯度在小范围内相等。

本发明实施例中，上述滤波可采用高斯滤波，针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位的具体方法为：以折叠相位图中的每个像素为中心点，则沿折叠相位图横轴方向，利用空间相位展开方法，展开半个周期的相位值；设相位值在相位展开范围内按照线性变化，根据每个像素展开的相位值与折叠相位图中像素之间的相对位置关系，利用最小二乘法，通过如下公式估计每个像素沿横向的相位梯度：

${\mathrm{\φ}}_n(x_i,y_i)=m{\▿}_x+{\mathrm{\φ}}_b$

其中φ_n(x_i,y_i)为某一像素的展开相位值，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_b为相位偏移量。

步骤B，将滤波后的变形条纹图的灰度作为拟合样本数据，结合估计的每个像素沿横向的相位梯度，拟合计算每帧变形条纹图的假定相位编码值，将相邻帧变形条纹图中的假定相位编码值之间的差值减去***固定相移量获得运动误差的估计值，并利用运动误差的估计值与***固定相移量和原始变形条纹图数据，计算每个像素的背景光强、调制度与相位的初步估计值。在对滤波后图像求解折叠相位图与背景光强时，可采用相移算法。

需要指出的是，从理论上讲，由于存在噪声与表面变化等因素的影响，邻域像素背景光强与调制度并不完全相等，但在拟合时必须假设其完全相等，这对计算出的相位值存在一定影响，因此将认为结果是一个近似的相位编码值，不能利用其作为真实相位值直接使用，这才需要利用估算的运动误差重新计算背景光强、调制度与相位的初步估计值。

本发明实施例中，具体通过如下方式确定某一像素的相位的初步估计值：

步骤B1，利用估计的每个像素沿横向的相位梯度，并利用最小二乘法，通过如下公式拟合任意帧的假定相位编码值：

$\begin{array}{c}{I}_n\left(x_i,y_i\right)=A_n+B_n\cos \left(m{\▿}_x+{\mathrm{\φ}}_n\right)\\ =A_n+B_n\left(\cos \left(m{\▿}_x\right)\cos \left({\mathrm{\φ}}_n\right)-\sin \left(m{\▿}_x\right)\sin \left({\mathrm{\φ}}_n\right)\right)\\ n=1,2,3,4\end{array}$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)坐标像素点的背景光强，A_n与B_n分别为第n帧背景光强与调制度，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_n为第n帧中心像素的假定相位编码值；

步骤B2，将相邻帧之间的假定相位编码值之差减去***固定相移量，获得运动误差的估计值，通过最小二乘法，利用***固定相移量和运动误差的估计值求解背景光强、调制度与相位的初步估计值。

步骤C，利用步骤B中得到的每个像素的背景光强与调制度，并结合变形条纹图的灰度，计算每个像素的第一组相位余弦值，利用步骤B中得到的每个像素的相位的初步估计值和***固定相移量与运动误差的估计值计算每个像素的第二组相位余弦值，并计算每个像素的两组相位余弦值之间的均方根误差。

本发明实施例中，步骤C具体通过如下方式确定均方根误差：

步骤C1，通过步骤B中计算获得的背景光强、调制度与相位的初步估计值与运动误差的估计值，可以获得如下两组余弦值：

$K_n=cos\left(\mathrm{\φ}\right(x,y)+{\mathrm{\Δ}}_{n1}(x,y)+(n-1\left)\frac{\mathrm{\π}}{2}\right)$

$\begin{array}{c}{K}_n^{\′}=\frac{I_n(x,y)-A(x,y)}{B(x,y)}\\ n=1,\mathrm{...},N\end{array}$

其中，N表示图像数目，A(x,y)、B(x,y)与φ(x,y)分别为步骤B中求解出的背景光强、调制度与相位的初步估计值，n为图像的序号，I_n(x,y)为第n帧变形条纹图中该像素的灰度值，Δ_n1(x,y)为步骤B中估计出的第n帧与第一帧之间的运动误差；

步骤C2，通过如下公式计算两组余弦值K_n′与K_n的均方根误差；

$error=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}{(K_n^{\′}-K_n)}^2}{N}}$

其中，error表示均方根误差值。

需要说明的是，在本发明实施例中，阈值的设置是根据经验值设置。

步骤D，利用滤波后的变形条纹图与步骤A中求解的背景光强构造新的拟合样本数据，重新估计步骤C中均方根误差大于设定阈值的各像素的运动误差，利用重新估计的运动误差与***固定相移量和原始变形条纹图数据，计算均方根误差大于设定阈值的各像素的相位的校正估计值，并用其取代相应像素的相位的初步估计值，形成运动补偿后的折叠相位图，利用运动补偿后的折叠相位图，重建运动补偿后的深度像。

本发明实施例中，步骤D具体通过如下方式获得运动补偿后深度像：

步骤D1，将均方根误差大于设定阈值的各像素利用步骤A中所求解的背景光强，通过如下公式构造新的拟合样本数据：

$New(x_m,y_m)=\frac{I_n(x_m,y_m)}{A_e(x_m,y_m)}=\frac{A(x_m,y_m)}{A_e(x_m,y_m)}+\frac{B(x_m,y_m)}{A_e(x_m,y_m)}cos\left(\mathrm{\φ}\right(x_m,y_m)+{\mathrm{\δ}}_n(x_m,y_m\left)\right)$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)点的灰度值，φ(x_m,y_m)表示(x_m,y_m)点的相位值，δ_n(x_m,y_m)表示第n帧的相移量，A(x_m,y_m)、B(x_m,y_m)分别表示(x_m,y_m)点的背景光强与调制度，A_e(x_m,y_m)为背景光强估计值，New(x_m,y_m)为构造的新的拟合样本数据；

步骤D2，利用新的拟合样本数据，重新执行步骤B，计算均方根误差大于设定阈值的各像素相位的校正估计值，并用其取代相应像素的相位的初步估计值，获得运动补偿后的折叠相位图；

步骤D3，利用运动补偿后的折叠相位图，重建运动误差补偿后深度像。具体可通过查找对应点方法结合标定数据重建运动误差补偿后深度像。

图2为本发明实施例提供的动态物体三维成像中的运动补偿***结构示意图，该运动补偿***包括：

变形条纹图采集单元1，用于利用多个单色相机同步采集若干帧动态物体表面的变形条纹图；

相位梯度估计单元2，用于对各单色相机采集的各帧变形条纹图进行滤波，并求解滤波后的变形条纹图的折叠相位图与背景光强，针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位，根据展开的相位估计每个像素沿横向的相位梯度；

初步估计单元3，用于将滤波后的变形条纹图的灰度作为拟合样本数据，结合估计的每个像素沿横向的相位梯度，拟合计算每帧变形条纹图的假定相位编码值，将相邻帧变形条纹图中的假定相位编码值之间的差值减去***固定相移量获得运动误差的估计值，并利用运动误差的估计值与***固定相移量和原始变形条纹图数据，计算每个像素的背景光强、调制度与相位的初步估计值；

相位误差衡量单元4，用于利用初步估计单元得到的每个像素的背景光强与调制度，并结合变形条纹图的灰度，计算每个像素的第一组相位余弦值，利用初步估计单元得到的每个像素的相位的初步估计值和***固定相移量与运动误差的估计值计算每个像素的第二组相位余弦值，并计算每个像素的两组相位余弦值之间的均方根误差；

误差校正与深度像重建单元5，用于利用滤波后的变形条纹图与相位梯度估计单元求解的背景光强构造新的拟合样本数据，重新估计相位误差衡量单元得到的均方根误差大于设定阈值的各像素的运动误差，利用重新估计的运动误差与***固定相移量和原始变形条纹图数据，计算均方根误差大于设定阈值的各像素的相位的校正估计值，并用其取代相应像素的相位的初步估计值，形成运动补偿后的折叠相位图，利用运动补偿后的折叠相位图，重建运动补偿后的深度像。

图3示出了本发明一实施例提供的变形条纹图采集单元1的结构，包括激光器101、三个CCD相机103、外触发信号发生器105、计算机106、射频信号发生器107、两个声光偏转器108、两个透镜110、两个分光棱镜112、两个反射镜114、两个光阑116、显微物镜118。其中，三个CCD相机103均为单色相机。射频信号发生器107用于产生两路存在微小频率差的射频信号，外触发信号发生器105用于产生固定频率的矩形波作为外触发信号。激光器101与两个分光棱镜112、两个反射镜114组成马赫泽德干涉仪，将两个声光偏转器108置于两个干涉臂中，在射频信号发生器107控制下调制出两路干涉光，使得一级衍射光的频率产生一个微小的频率差Δf，两路干涉光分别经两个透镜110准直后，利用两个光阑116滤除其他衍射光束，通过显微物镜118投影至被测物体表面，产生一个运动干涉条纹。该干涉条纹空间频率固定、任意空间点的灰度均随时间呈正弦函数变化，变化频率为Δf。外触发信号发生器105产生一个4Δf频率的外触发信号控制三个CCD相机103采集变形条纹图，采集变形条纹图时，三个CCD相机103可按照4倍于两路射频信号的频率差同步采集。

相位梯度估计单元2可包括：

图像滤波模块，用于对各单色相机采集的各帧变形条纹图进行高斯滤波；

相位解调模块，用于求解滤波后的变形条纹图的折叠相位图与背景光强；

空间相位展开模块，用于针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位；

相位梯度估计模块，用于根据展开相位，通过如下公式估计每个像素沿横向的相位梯度：

${\mathrm{\φ}}_n(x_m,y_m)=m{\▿}_x+{\mathrm{\φ}}_b$

其中φ_n(x_m,y_m)为某一像素的展开相位值，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_b为相位偏移量。

初步估计单元3包括：

运动误差估计模块，用于将滤波后的变形条纹图的灰度作为拟合样本数据，结合估计的每个像素沿横向的相位梯度，通过如下公式拟合计算每帧变形条纹图的假定相位编码值：

$\begin{array}{c}{I}_n\left(x_m,y_m\right)=A_n+B_n\cos \left(m{\▿}_x+{\mathrm{\φ}}_n\right)\\ =A_n+B_n\left(\cos \left(m{\▿}_x\right)\cos \left({\mathrm{\φ}}_n\right)-\sin \left(m{\▿}_x\right)\sin \left({\mathrm{\φ}}_n\right)\right)\\ n=1,2,3,4\end{array}$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)坐标像素点的背景光强，A_n与B_n分别为第n帧背景光强与调制度，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_n为第n帧中心像素的假定相位编码值，并将相邻帧变形条纹图中的假定相位编码值之间的差值减去***固定相移量获得运动误差的估计值；

背景光强、调制度及相位初步估计模块，用于利用运动误差的估计值与***固定相移量和原始变形条纹图数据，计算每个像素的背景光强、调制度与相位的初步估计值。

相位误差衡量单元4包括：

余弦值计算模块，用于根据初步估计单元获得的每个像素的背景光强、调制度与相位的初步估计值，通过如下公式计算每个像素的如下两组余弦值：

$K_n=cos\left(\mathrm{\φ}\right(x,y)+{\mathrm{\Δ}}_{n1}(x,y)+(n-1\left)\frac{\mathrm{\π}}{2}\right),n=1,...,N$

$K_n^{\′}=\frac{I_n(x,y)-A(x,y)}{B(x,y)},n=1,...,N$

其中，N表示图像数目，A(x,y)、B(x,y)、φ(x,y)分别为步骤C中求解出的背景光强、调制度与相位值的初步估计值，n为图像的序号，I_n(x,y)为第n帧的背景光强，Δ_n1(x,y)为步骤C中估计出的第n帧与第一帧之间的运动误差；

均方根误差计算模块，用于通过如下公式计算两组余弦值K_n′与K_n的均方根误差；

$error=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}{(K_n^{\′}-K_n)}^2}{N}}$

其中，error表示均方根误差值。

误差校正与深度像重建单元5包括：

新数据构造模块，用于对均方根误差大于设定阈值的各像素，利用初步估计单元中所得到的各像素的背景光强，通过如下公式构造新的拟合样本数据：

$New(x_m,y_m)=\frac{I_n(x_m,y_m)}{A_e(x_m,y_m)}=\frac{A(x_m,y_m)}{A_e(x_m,y_m)}+\frac{B(x_m,y_m)}{A_e(x_m,y_m)}cos\left(\mathrm{\φ}\right(x_m,y_m)+{\mathrm{\δ}}_n(x_m,y_m\left)\right)$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)点的背景光强，φ(x_m,y_m)表示(x_m,y_m)点的相位值，δ_n(x_m,y_m)表示第n帧的相移量，A(x_m,y_m)、B(x_m,y_m)分别表示(x_m,y_m)点的背景光强与调制度，A_e(x_m,y_m)为背景光强估计值，New(x_m,y_m)为构造的新的拟合样本数据；

重新估计模块，用于重新估计相位误差衡量单元得到的均方根误差大于设定阈值的各像素的运动误差，利用重新估计的运动误差与***固定相移量和原始变形条纹图数据，计算均方根误差大于设定阈值的各像素的相位的校正估计值，并用其取代相应像素的相位的初步估计值，形成运动补偿后的折叠相位图；

深度像重建模块，用于利用运动补偿后的折叠相位图，重建运动补偿后的深度像。

该运动补偿***中各单元与上述运动补偿方法中各步骤相互对应，在此不再赘述。在重建深度像时，可通过查找对应点方法结合标定数据重建运动误差补偿后深度像。以下结合图4(a)、图4(b)及图4(c)，介绍三相机查找对应点与重建深度像的原理，但本发明并不局限于三相机。

结合图3及图4(a)，第一台CCD相机103的折叠相位图上任意一点P(x,y)相位编码为φ(p(x,y))，其在第二台CCD相机103与第三台CCD相机103的折叠相位图上的极线分别为L₂₁和L₃₁(如图4(c)和图4(b)所示黑色直线)。由于折叠相位存在周期性变化，延极线L₂₁和L₃₁上分别存在一系列点的相位值与φ(p(x,y))相等，如L₃₁上的m₁、m₂、m₃、L₂₁上的n₁、n₂、n₃、n₄、n₅，将这些点称为候选对应点。要从候选对应点中确定真正P(x,y)的对应点，需要利用第二台CCD相机103与第三台CCD相机103之间的极线约束。第二台CCD相机103上的每个候选对应点在第三台CCD相机103上均存在一条对应极线，分别记为L_n1、L_n2、L_n3、L_n4、L_n5。第三台CCD相机103上的候选对应点m₁、m₂、m₃中应只有一个点恰好在其中一条极线上，如图4(b)所示十字叉点m₃，故m₃为P(x,y)点在相机三上的对应点，由于其所在极线为L_n3，故P(x,y)点在第二台CCD相机103上的对应点为n₃，如图4(c)所示十字叉点。得到对应点坐标之后，通过相机标定数据即可得到P(x,y)点在空间中的位置。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种动态物体三维成像中的运动补偿方法，其特征在于，包括下述步骤：

步骤A，利用多个单色相机同步采集若干帧动态物体表面的变形条纹图，对各单色相机采集的各帧变形条纹图进行滤波，并求解滤波后的变形条纹图的折叠相位图与背景光强，针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位，根据展开的相位估计每个像素沿横向的相位梯度；

步骤B，将滤波后的变形条纹图的灰度作为拟合样本数据，结合估计的每个像素沿横向的相位梯度，拟合计算每帧变形条纹图的假定相位编码值，将相邻帧变形条纹图中的假定相位编码值之间的差值减去***固定相移量获得运动误差的估计值，并利用运动误差的估计值与***固定相移量和原始变形条纹图数据，计算每个像素的背景光强、调制度与相位的初步估计值；

步骤C，利用步骤B中得到的每个像素的背景光强与调制度，并结合所述变形条纹图的灰度，计算每个像素的第一组相位余弦值，利用步骤B中得到的每个像素的相位的初步估计值和***固定相移量与运动误差的估计值计算每个像素的第二组相位余弦值，并计算每个像素的两组相位余弦值之间的均方根误差；

步骤D，利用滤波后的变形条纹图与步骤A中求解的背景光强构造新的拟合样本数据，重新估计步骤C中均方根误差大于设定阈值的各像素的运动误差，利用重新估计的运动误差与***固定相移量和原始变形条纹图数据，计算均方根误差大于设定阈值的各像素的相位的校正估计值，并用其取代相应像素的相位的初步估计值，形成运动补偿后的折叠相位图，利用运动补偿后的折叠相位图，重建运动补偿后的深度像。

2.如权利要求1所述的运动补偿方法，其特征在于，所述滤波为高斯滤波；

所述针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位具体为：以折叠相位图中的每个像素为中心点，则沿折叠相位图横轴方向，利用空间相位展开方法，展开半个周期的相位值；设相位值在相位展开范围内按照线性变化，根据每个像素展开的相位值与折叠相位图中像素之间的相对位置关系，利用最小二乘法，通过如下公式估计每个像素沿横向的相位梯度：

${\mathrm{\φ}}_n(x_i,y_i)=m{\▿}_x+{\mathrm{\φ}}_b$

其中φ_n(x_i,y_i)为某一像素的展开相位值，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_b为相位偏移量。

3.如权利要求1所述的运动补偿方法，其特征在于，所述步骤B具体通过如下方式确定某一像素的相位的初步估计值：

步骤B1，利用估计的每个像素沿横向的相位梯度，并利用最小二乘法，通过如下公式拟合任意帧的假定相位编码值：

$\begin{array}{c}{I}_n(x_i,y_i)=A_n+B_n\cos (m{\▿}_x+{\mathrm{\φ}}_n)\\ =A_n+B_n\left(\cos \right(m{\▿}_x\left)\cos \right({\mathrm{\φ}}_n)-\sin (m{\▿}_x\left)\sin \right({\mathrm{\φ}}_n\left)\right)\\ n=1,2,3,4\end{array}$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)坐标像素点的背景光强，A_n与B_n分别为第n帧背景光强与调制度，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_n为第n帧中心像素的假定相位编码值；

步骤B2，将相邻帧之间的假定相位编码值之差减去***固定相移量，获得运动误差的估计值，通过最小二乘法，利用***固定相移量和运动误差的估计值求解背景光强、调制度与相位的初步估计值。

4.如权利要求1所述的运动补偿方法，其特征在于，所述步骤C具体通过如下方式确定均方根误差：

步骤C1，通过步骤B中计算获得的背景光强、调制度与相位的初步估计值与运动误差的估计值，可以获得如下两组余弦值：

$K_n=cos\left(\mathrm{\φ}\right(x,y)+{\mathrm{\Δ}}_{n1}(x,y)+(n-1\left)\frac{\mathrm{\π}}{2}\right)$

$K_n^{\′}=\frac{I_n(x,y)-A(x,y)}{B(x,y)}$

n＝1,…,N

其中，N表示图像数目，A(x,y)、B(x,y)与φ(x,y)分别为步骤B中求解出的背景光强、调制度与相位的初步估计值，n为图像的序号，I_n(x,y)为第n帧变形条纹图中该像素的灰度值，Δ_n1(x,y)为步骤B中估计出的第n帧与第一帧之间的运动误差；

步骤C2，通过如下公式计算两组余弦值K′_n与K_n的均方根误差；

$error=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}{(K_n^{\′}-K_n)}^2}{N}}$

其中，error表示均方根误差值。

5.如权利要求1所述的运动补偿方法，其特征在于，步骤D具体通过如下方式获得运动补偿后深度像：

步骤D1，将均方根误差大于设定阈值的各像素利用步骤A中所求解的背景光强，通过如下公式构造新的拟合样本数据：

$New(x_m,y_m)=\frac{I_n(x_m,y_m)}{A_e(x_m,y_m)}=\frac{A(x_m,y_m)}{A_e(x_m,y_m)}+\frac{B(x_m,y_m)}{A_e(x_m,y_m)}cos\left(\mathrm{\φ}\right(x_m,y_m)+{\mathrm{\δ}}_n(x_m,y_m\left)\right)$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)点的灰度值，φ(x_m,y_m)表示(x_m,y_m)点的相位值，δ_n(x_m,y_m)表示第n帧的相移量，A(x_m,y_m)、B(x_m,y_m)分别表示(x_m,y_m)点的背景光强与调制度，A_e(x_m,y_m)为背景光强估计值，New(x_m,y_m)为构造的新的拟合样本数据；

步骤D2，利用新的拟合样本数据，重新执行步骤B，计算均方根误差大于设定阈值的各像素相位的校正估计值，并用其取代相应像素的相位的初步估计值，获得运动补偿后的折叠相位图；

步骤D3，利用运动补偿后的折叠相位图，重建运动误差补偿后深度像。

6.一种动态物体三维成像中的运动补偿***，其特征在于，包括：

变形条纹图采集单元，用于利用多个单色相机同步采集若干帧动态物体表面的变形条纹图；

相位梯度估计单元，用于对各单色相机采集的各帧变形条纹图进行滤波，并求解滤波后的变形条纹图的折叠相位图与背景光强，针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位，根据展开的相位估计每个像素沿横向的相位梯度；

初步估计单元，用于将滤波后的变形条纹图的灰度作为拟合样本数据，结合估计的每个像素沿横向的相位梯度，拟合计算每帧变形条纹图的假定相位编码值，将相邻帧变形条纹图中的假定相位编码值之间的差值减去***固定相移量获得运动误差的估计值，并利用运动误差的估计值与***固定相移量和原始变形条纹图数据，计算每个像素的背景光强、调制度与相位的初步估计值；

相位误差衡量单元，用于利用所述初步估计单元得到的每个像素的背景光强与调制度，并结合所述变形条纹图的灰度，计算每个像素的第一组相位余弦值，利用所述初步估计单元得到的每个像素的相位的初步估计值和***固定相移量与运动误差的估计值计算每个像素的第二组相位余弦值，并计算每个像素的两组相位余弦值之间的均方根误差；

误差校正与深度像重建单元，用于利用滤波后的变形条纹图与所述相位梯度估计单元求解的背景光强构造新的拟合样本数据，重新估计所述相位误差衡量单元得到的均方根误差大于设定阈值的各像素的运动误差，利用重新估计的运动误差与***固定相移量和原始变形条纹图数据，计算均方根误差大于设定阈值的各像素的相位的校正估计值，并用其取代相应像素的相位的初步估计值，形成运动补偿后的折叠相位图，利用运动补偿后的折叠相位图，重建运动补偿后的深度像。

7.如权利要求6所述的补偿***，其特征在于，所述相位梯度估计单元包括：

图像滤波模块，用于对各单色相机采集的各帧变形条纹图进行高斯滤波；

相位解调模块，用于求解滤波后的变形条纹图的折叠相位图与背景光强；

空间相位展开模块，用于针对折叠相位图中的每个像素，横向展开其邻近数个像素的相位；

相位梯度估计模块，用于根据展开相位，通过如下公式估计每个像素沿横向的相位梯度：

${\mathrm{\φ}}_n(x_m,y_m)=m{\▿}_x+{\mathrm{\φ}}_b$

其中φ_n(x_m,y_m)为某一像素的展开相位值，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_b为相位偏移量。

8.如权利要求6所述的补偿***，其特征在于，所述初步估计单元包括：

运动误差估计模块，用于将滤波后的变形条纹图的灰度作为拟合样本数据，结合估计的每个像素沿横向的相位梯度，通过如下公式拟合计算每帧变形条纹图的假定相位编码值：

$\begin{array}{c}{I}_n(x_m,y_m)=A_n+B_n\cos (m{\▿}_x+{\mathrm{\φ}}_n)\\ =A_n+B_n\left(\cos \right(m{\▿}_x\left)\cos \right({\mathrm{\φ}}_n)-\sin (m{\▿}_x\left)\sin \right({\mathrm{\φ}}_n\left)\right)\\ n=1,2,3,4\end{array}$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)坐标像素点的背景光强，A_n与B_n分别为第n帧背景光强与调制度，m为该像素距离中心像素的像素相对坐标，为相位沿x方向的梯度，φ_n为第n帧中心像素的假定相位编码值，并将相邻帧变形条纹图中的假定相位编码值之间的差值减去***固定相移量获得运动误差的估计值；

背景光强、调制度及相位初步估计模块，用于利用运动误差的估计值与***固定相移量和原始变形条纹图数据，计算每个像素的背景光强、调制度与相位的初步估计值。

9.如权利要求6所述的补偿***，其特征在于，所述相位误差衡量单元包括：

余弦值计算模块，用于根据初步估计单元获得的每个像素的背景光强、调制度与相位的初步估计值，通过如下公式计算每个像素的如下两组余弦值：

$K_n=cos\left(\mathrm{\φ}\right(x,y)+{\mathrm{\Δ}}_{n1}(x,y)+(n-1\left)\frac{\mathrm{\π}}{2}\right),n=1,...,N$

$K_n^{\′}=\frac{I_n(x,y)-A(x,y)}{B(x,y)},n=1,...,N$

其中，N表示图像数目，A(x,y)、B(x,y)、φ(x,y)分别为步骤C中求解出的背景光强、调制度与相位值的初步估计值，n为图像的序号，I_n(x,y)为第n帧的背景光强，Δ_n1(x,y)为步骤C中估计出的第n帧与第一帧之间的运动误差；

均方根误差计算模块，用于通过如下公式计算两组余弦值K_n′与K_n的均方根误差；

$error=\sqrt{\frac{\underset{n=1}{\overset{N}{\Σ}}{(K_n^{\′}-K_n)}^2}{N}}$

其中，error表示均方根误差值。

10.如权利要求6所述的补偿***，其特征在于，所述误差校正与深度像重建单元包括：

新数据构造模块，用于对均方根误差大于设定阈值的各像素，利用所述初步估计单元中所得到的各像素的背景光强，通过如下公式构造新的拟合样本数据：

$New(x_m,y_m)=\frac{I_n(x_m,y_m)}{A_e(x_m,y_m)}=\frac{A(x_m,y_m)}{A_e(x_m,y_m)}+\frac{B(x_m,y_m)}{A_e(x_m,y_m)}\cos \left(\mathrm{\φ}\right(x_m,y_m)+{\mathrm{\δ}}_n(x_m,y_m\left)\right)$

其中，n为图像的序号，I_n(x_m,y_m)为第n帧(x_m,y_m)点的背景光强，φ(x_m,y_m)表示(x_m,y_m)点的相位值，δ_n(x_m,y_m)表示第n帧的相移量，A(x_m,y_m)、B(x_m,y_m)分别表示(x_m,y_m)点的背景光强与调制度，A_e(x_m,y_m)为背景光强估计值，New(x_m,y_m)为构造的新的拟合样本数据；

重新估计模块，用于重新估计所述相位误差衡量单元得到的均方根误差大于设定阈值的各像素的运动误差，利用重新估计的运动误差与***固定相移量和原始变形条纹图数据，计算均方根误差大于设定阈值的各像素的相位的校正估计值，并用其取代相应像素的相位的初步估计值，形成运动补偿后的折叠相位图；

深度像重建模块，用于利用运动补偿后的折叠相位图，重建运动补偿后的深度像。