CN1266452C - 复合编码多分辨三维数字成像方法 - Google Patents

Abstract

本发明公开了一种利用复合编码实现多分辨三维数字成像的方法，即，基于点阵投影和条纹投影相结合的三维数字化技术。该方法采用数字投影照明发射器、图像传感接收器和图像处理器构成的成像装置。以发射器出瞳、图像传感接收器入瞳与形成三角测量***；首先，利用点阵投影三维数字成像没有相位模糊的特点，以点阵编码获取物体的较低分辨率的三维深度像，再投射条纹到物体表面，利用空间相位调制精度高的特点，结合已经获得的物体低分辨深度像进行相位展开，进一步获取被测物体更精细的多分辨三维数字像。本发明结合了点阵投影和条纹投影两种不同编码方式的三维数字成像方法的优点，三维数字成像精度高，对拓扑复杂的曲面有较强的普适性。

Description

复合编码多分辨三维数字成像方法

技术领域

本发明涉及复合编码多分辨三维数字成像方法，属于三维数字成像技术。

背景技术

在基于三角法的主动三维传感技术中，以传统的三角测量为基础，由于三维物体表面形状对结构照明光束产生的空间调制，改变了成像光束的角度，即改变了成像光点在探测器阵列上的位置，通过对成像光点位置的确定和***光路的几何参数，计算出距离。现有的技术包括：采用单光束点结构照明的方法和采用片状光束的线结构照明的方法，以及相位测量轮廓术，包括相移轮廓术、Fourier变换轮廓术和空间相位探测轮廓术。相位测量轮廓术也最终归结为三角测量法，只不过在不同的测量技术中采用不同的方式来从观测光场中提取三角计算中所需要的几何参数。

基于空间点阵投影的方法是通过投射二维空间点阵到被测物体上，形成面结构光的照明，一次成像即可获得一个完整的被测物体的三维数字像，从而克服了现有三角法的主动三维传感技术中的单光束点结构照明和片状光束的线结构照明必须逐点或逐行扫描才能获得完整的三维数字像的缺点，提高了采样效率。与相位测量轮廓术比较，点阵编码方法是直接通过对成像点阵的位置确定来计算物体的深度，不存在相位模糊和误差传播的问题。但这一传感技术的精度直接受到成像光点位置测量精度的影响，探测器灵敏度和成像***的几何畸变都会影响其测量精度，因此，其测量精度不如相位测量轮廓术。

相位测量轮廓术采用条纹图编码，物体的深度信息编码在载波条纹中，通过计算折叠相位和相位展开，结合光学***的结构参数间接获得物体的深度像。与直接几何量测量相比较，相位测量轮廓术具有更高的精度，最高可以达到百分之一个条纹周期；另外相位测量的方法对背景、对比度和噪声的变化不敏感。但对于被测物体存在不连续区域或表面梯度变化很大或存在信息盲区时，相位测量轮廓术的相位展开变成非常困难的问题，例如会产生相位模糊和误差传播，造成三维数据残缺不全，得不到完整三维数据。

可对比的技术文献有下以三篇：

(1)发明专利：ZL 02131096.3.

(2)Richard McBain，″high speed laser triangulation measurements of shape and thickness″，US Patent 6,466,305.

(3)ul R，Yoder JR.，″topography measuring apparatus″，US Patent 4,902,123.

发明内容

本发明的目的是提供一种利用复合编码实现多分辨三维数字成像的方法，该方法提高了测量结果的置信度和高的测量精度。

本发明是通过下述技术方案加以实现的，采用包括数字投影照明发射器、图像传感接收器和图像处理器的成像装置，利用点阵编码和条纹编码实现多分辨三维数字成像的方法，其特征在于包括以下过程：

1、数字投影照明发射器投射不同疏密程度的二维点阵图形照明物体，偏转图像传感接收器使其光轴与投影点阵照明场的中心位于同一直线。数字投影照明发射器的出瞳、图像传感接收器的入瞳和照明场的中心构成一个三角形，以数字投影照明发射器的出瞳与图像传感接收器的入瞳之间的连线为基线，它和投射在物体的所有点阵的中心构成了若干三角形，形成了三角测量***；根据仿射变换的原理，分别投影在参考平面和被测物体表面的编码点阵，经过坐标旋转、平移和透视投影变换，分别得到参考平面和被测物体表面上的编码点阵在图像接收传感器平面上的空间坐标的解析式，并进一步得到参考平面和被测物体表面上两个点阵相对应点之间在成像平面x方向上的位置差与被测物体在相应点处深度值之间的关系；从而数字投影照明发射器投射二维空间点阵结构光照明，在图像接收传感器得到参考平面的点阵图像和投射在被测物体表面上的点阵图像，据已知***光路几何参数，图像处理器计算点阵图像相应点之间在x方向上的位置差，再根据位置差与被测物体在相应点处深度值之间的关系计算出物体的深度图像。

2、数字投影照明发射器再投射条纹结构光照射被测物体表面，所投射的条纹结构光是单一频率条纹，或是时序变频条纹序列。对于单一频率条纹结构光，用相位映射的方法，结合点阵投影已经获得的物体较低分辨率的深度像进行相位展开，进一步获取更精细的多分辨三维数字像。对于时序变频条纹序列结构光投影，分别得到编码的条纹强度分布图序列，利用“相移算法”计算出各频率条纹强度分布图的相位图，在每个相位图中消除2π不确定性，从而对景物得到分辨率依次递进的深度像；此时点阵投影的作用是利用它获得的物体深度值确定变频条纹序列的边界条件，有效地节省相位展开过程中所需的二维编码条纹图，增加了相位展开算法的实时性；进一步获取精度更高、更精细物体多分辨三维数字像。

点阵编码是一种基于仿射变换的三维数字化技术，条纹编码是一种相位映射的三维数字化技术，二者结合是一种复合编码的技术，点阵编码获取的三维深度像值可以在一个“较粗”的轮廓上确定物体深度，并可由此确定相位映射中相位的绝对分布，解决相位模糊的问题；并且，当由于存在照明盲区和成像盲区时，由于点阵投影是根据参考平面和物体表面点阵图像构成的“点阵对”位置差来计算物体深度值，“点阵对”之间是相互独立的，虽然投影在信息盲区中的点由于不能形成“点对”而得不到信息盲区中离散点处的深度值，但它不会影响周围区域，不会造成误差传播，仍然可以得到一个近似的三维深度像；而基于条纹投影的相位轮廓术，不仅这些盲区得不到正确相位值，而且造成误差的传播，严重影响相邻区域的相位展开，无法得到被测物体的三维深度像。

下面结合附图对基于点阵投影三维数字成像的技术方案作进一步的详细描述：

点阵投影三维数字成像技术是在仿射变换基础上建立起来的一种三维数字化技术。图1是投影在参考平面上点阵成像的结构示意图。点P是数字投影照明发射器的出瞳，Po为投影光轴，投影光线PP₁、PP₂和PP₃与参考平面R的交点确定了投射的二维空间点阵在参考平面上的位置。点I是图像传感接收器的入瞳，Io为成像光轴，它与投影光轴的夹角为α，Ip是图像传感接收器平面相对于点I的对称平面，根据透视投影的原理，点阵在图像传感接收器上成像的位置可以通过计算成像光线与平面I_p的交点的位置得到。

点阵投影成像***中，投射在参考平面上的点阵的成像过程可以分为三个步骤：

首先，把物坐标系xyz绕y轴正向旋转α角，变换为坐标系x′y′z′，使新坐标系的z′o′轴与成像光轴Io重合；

然后，把坐标系x′y′z′沿z′轴负向平移L，使图像传感接收器的入瞳I为坐标原点，变换后的坐标系为x_py_pz_p；

最后，在坐标系x_py_pz_p下做透视投影，透视投影平面I_p与z_p轴垂直，在距原点F(焦距)的位置上，它与图像传感接收器平面相对于x_po_py_p对称。

那么，经过上述步骤一和二后，可得到参考平面R(z＝0)在x_py_pz_p坐标系下的坐标可表示为：

$\left\{\begin{array}{c}{x}_s=k_x\mathrm{\Δ}x\cos \mathrm{\α}\\ y_s=y\\ z_s=L{-k}_x\mathrm{\Δx}\sin \mathrm{\α}\end{array}\right.---\left(1\right)$

其中α为投影光轴Po和成像光轴Io之间的夹角；L为图像传感接收器的入瞳I与照明场的中心o之间的距离；Δx为投影在参考平面R上的点阵沿x方向的间距；k_x取整数，为Δx所乘系数，用来表示不同点在物坐标系下的x坐标值。

然后在坐标系x_py_pz_p下做透视投影，即可确定该点阵在平面I_p上的位置：

$\frac{x_s}{z_s}=\frac{x_{p0}}{F}\⇒x_{p0}=\frac{k_x\mathrm{\Δ}x\cos \mathrm{\α}}{L-k_x\mathrm{\Δ}x\sin \mathrm{\α}}F---\left(2\right)$

其中F为成像***的焦距。

对于一个三维被测物体，如图2所示，是投影在任意曲面的三维物体上点阵成像的结构示意图。与图1中相同的投射光线PP₁、PP₂和PP₃与被测物体表面的相交与点B₁、B₂和B₃，这些交点确定了投射的二维空间点阵在物体表面S上的空间位置。投射在物体表面S的点阵同样经过上述三个步骤，成像在图像传感接收器上。此时可以得到S上的点阵在x_py_pz_p坐标系下的坐标：

$\left\{\begin{array}{c}{x}_b=x\cos \mathrm{\α}+z\sin \mathrm{\α}\\ y_b=y\\ z_b=L-x\sin \mathrm{\α}+z\cos \mathrm{\α}\end{array}\right.---\left(3\right)$

那么在坐标系x_py_pz_p下做透视投影，可得出物体表面上的点阵在透视投影平面I_p上的位置：

$x_p=\frac{x_b}{z_b}{z}_p=\frac{x\cos \mathrm{\α}+z\sin \mathrm{\α}}{L-x\sin \mathrm{\α}+z\cos \mathrm{\α}}F---\left(4\right)$

根据式(2)、(4)可得到两个点阵中相对应点形成的“点阵对”之间在x方向的位置差Δx_p：

$\mathrm{\Δ}{x}_p=x_p-x_{p0}---\left(5\right)$

其中Δx_p的计算表达式中包含有它与物体在该点深度值之间的关系，从而得到物体深度值的计算表达式。在光学***的参数为已知的情况下，所有“点阵对”之间在x方向的位移可结合参考平面的点阵图像和被测物体表面上的点阵图像计算得到，计算出物体表面上所有离散点的深度值，从而获得物体的深度像。

基于点阵的仿射变换和基于条纹的相位映射三维数字化技术结的复合编码方法，在解决存在表面间断的物体或表面梯度很大物体三维数字化的问题具有显著效果；并且，复合编码的方法可获取多种编码方式的载波图，可以利用这种方法获得多重相位图，构造物体多分辨的三维数字像；并在一定程度上可缓解由于照明盲区和成像盲区造成数据残缺不全使得相位展开无法进行的问题。另外，由于有效地克服了相位模糊和误差传播问题，使得这种复合编码的技术可测试的深度范围以及可测试的对象范围要大于单一载波技术。

本发明与已有的方法和技术相比，本发明具有以下优点：

1)结合了基于点阵投影和条纹投影两种不同编码方式三维数字成像方法的优点。消除了相位模糊和误差传播的问题，提高了测量结果的置信度，还保证了高测量精度，并在一定程度上缓解由于信息盲区造成的数据残缺不全的问题。

2)为满足不同的测试需要，可以投射多种形式的复合编码，包括：点阵加单一频率条纹和点阵加时序变频条纹序列，融合利用不同传感方法获得数据，实现多种分辨率、不同精度的三维数字成像；

3)这种复合编码技术可测试的深度范围，以及可测试的对象范围大于单一载波技术。

附图说明

图1是投影在参考平面上的点阵成像原理图。

图2是投影在任意三维物体上的点阵成像原理图。

图3是复合编码三维成像***结构示意图。

图4是计算模拟的一个台阶状物体。

图5是利用点阵投影方法获得图4中物体的三维数字像。

图6是利用条纹投影方法获得图4中物体的(a)展开相位图；(b)三维数字像。

图7是利用本发明提出的复合编码方法，点阵投影结合条纹投影获得的图4中物体的三维数字像。

具体实施方式

按照上述方法，实现复合编码多分辨三维数字成像的装置，主要包括数字投影照明发射器、图像传感接收器和图像处理器。所说的数字投影照明发射器可以是数字液晶投影装置(LCD投影仪)，数字微镜投影装置(DMD投影仪)或硅基片液晶投影装置(LCOS投影仪)，可用计算机图像处理***方便地生成二维点阵和条纹图形并写入数字投影装置；所说的图像传感接收器包括光学成像透镜与光电探测器构成，光学成像透镜可以是定焦距或变焦距的成像透镜或透镜组，二元光学成像***，衍射元件成像***，显微成像***；所说的光电探测器件可以是电荷耦合器件，液晶器件，空间光调制器件，CMOS器件或数码相机。所说的图像处理器是数字信号处理器与可编程专用集成电路的组合，也可以是通用图像处理卡和计算机组合构成。其特征在于，数字投影照明发射器分别投射二维空间点阵和条纹图形，图像传感接收器接收经过被测物体深度信息调制的点阵和条纹编码图，再经图像处理器做相应的解码获取物体多分辨三维深度像。

下面结合附图对实施例作进一步的描述。

图3是复合编码三维成像***结构示意图。如图所示，数字投影照明发射器101的投影镜102的出瞳P、图像传感接收器103的成像透镜104的入瞳I和照明场的中心o位于同一平面内，并构成一个三角形，形成了三角测量***。由图像处理器105的计算机或数字信号处理器产生的二维点阵分别投射在参考平面106和物体107的表面S，投影光轴Po与成像光轴之Io间的夹角为α，以PI之间的连线为基线，它和投射在物体的所有点阵的中心构成了若干三角形，每一个都可形成一个三角测量***。参考平面上的规则点阵和表征任意自由表面物体形貌的深度信息的变形点阵，分别通过图像传感接收器103接收，并传送到图像处理器105，通过比较参考平面和被测物体表面上点阵分别在图像传感接收器上形成的点阵像相对应点阵的位置差异，计算被测物体的深度值。然后，数字投影照明发射器101继续投射由图像处理器105产生的单一频率条纹到被测物体表面107，再由图像传感接收器103接收载波条纹图并送到图像处理器105，结合通过点阵投影方法获取的被测物体较低分辨率的三维深度值，对载波条纹图进行相位展开，因此对表面间断物体的表面或梯度较大表面等拓扑复杂物体的表面进行相位展开中存在的相位模糊以及由于阴影等信息盲区造成的误差传播问题，都可以有效地克服，从而得到物体完整的三维数字像。另外一种复合编码的方式是点阵加时序变频条纹序列，在利用点阵投影的方法获得物体深度值后，数字投影照明发射器101也可以投射时序变频条纹序列到被测物体表面107，通过已知的物体的深度值，结合***结构参数可以计算出发生第一次相位跳变对应的视场宽度的总相位差，也就得到了相应的视场内条纹周期数，从而确定了时序变频条纹序列相位展开算法的边界条件，减少了迭代次数，提高了算法的实效性。

图4是计算模拟的一个台阶状物体。台阶的高度等于图6中利用条纹投影方法获取物体深度像时所投射条纹相对应的等效波长的1.1倍。

图5是利用点阵投影方法获得的图4中物体的三维数字像。点阵图形中的点阵个数为64×64，对于物体表面梯度变化很大的区域，由于投射点阵采样率不足，无法获得这部分区域准确结果，如图所示，只能得到一个梯度变化较为缓慢的结果，原因就是丢掉了高频的信息，使得梯度变化很大的区域被平滑了。

图6是利用条纹投影方法获取物体的三维数字像。其中图6(a)是对载波条纹图进行相位展开后得到的展开相位图，由于图4中台阶状物体的高度已大于投影条纹对应的等效波长，存在2π的相位模糊，因此得不到正确的深度图像，如图6(b)所示为由图6(a)计算得到的深度图像，相位模糊的存在使得由展开相位图计算得到的物体深度图出现偏差，如图6(b)所示深度图像中台阶的高度与实际高度不符。

图7是利用本发明提出的复合编码方法，结合点阵投影和条纹投影两种编码方法，利用相位展开算法获得的图4中物体的三维数字像。先进行点阵编码的成像，获取物体较低分辨率的深度像，再进行条纹编码成像，根据点阵投影方法已经得到的物体深度值进行相位展开，如图6(a)所示物体的展开相位图已经标记出不同相位分布的精确区域，图中颜色较浅的这部分区域实际为存在相位跳变的区域。而此时已经由点阵投影的方法获得了物体的深度值，虽然分辨率较低，但它是仍然从较粗的轮廓上反映了物体深度的真实分布，把利用点阵投影获得的深度值，结合***的结构参数换算为相位值，对载波条纹图进行相位展开时利用点阵投影获得的相位值作为“控制点”来控制相位展开的过程。步骤如下：当相位展开进行到这些“控制点”位置时，比较此时相位值与点阵投影获得的相位值，如果二者误差在允许范围内，相位展开继续进行；否则认为存在相位模糊，计算二者的相位差，并修正当前点的相位值，以及沿原相位展开路径返回到“跳变区域”边缘的所有点的相位值，解决相位模糊问题；继续相位展开过程，对每一控制点依据上述原则进行处理，直到处理完成图像需要进行相位展开的区域中的所有点。结果如图7所示，图6中存在的相位模糊问题已经解决，台阶状物体梯度变化较大处变得更陡，其深度像与实际结果更加相符。

Claims (1)

1、一种复合编码多分辨三维数字成像方法，采用包括数字投影照明发射器、图像传感接收器和图像处理器的成像装置，利用点阵编码和条纹编码实现多分辨三维数字成像，其特征在于包括以下过程：

1)数字投影照明发射器投射不同疏密程度的二维点阵图形照明物体，偏转图像传感接收器使其光轴与投影点阵照明场的中心位于同一直线，数字投影照明发射器的出瞳、图像传感接收器的入瞳和照明场的中心构成一个三角形，以数字投影照明发射器的出瞳与图像传感接收器的入瞳之间的连线为基线，它和投射在物体的所有点阵的中心构成了若干三角形，形成了三角测量***；根据仿射变换的原理，分别投影在参考平面和被测物体表面的编码点阵，经过坐标旋转、平移和透视投影变换，分别得到参考平面和被测物体表面上的编码点阵在图像接收传感器平面上的空间坐标的解析式，并进一步得到参考平面和被测物体表面上两个点阵相对应点之间在成像平面x方向上的位置差与被测物体在相应点处深度值之间的关系；从而数字投影照明发射器投射二维空间点阵结构光照明，在图像接收传感器得到参考平面的点阵图像和投射在被测物体表面上的点阵图像，据已知***光路几何参数，图像处理器计算点阵图像相应点之间在x方向上的位置差，再根据位置差与被测物体在相应点处深度值之间的关系计算出物体的深度图像；

2)数字投影照明发射器再投射条纹结构光照射被测物体表面，所投射的条纹结构光是单一频率条纹，或是时序变频条纹序列；对于单一频率条纹结构光，用相位映射的方法，结合点阵投影已经获得的物体较低分辨率的深度像进行相位展开，进一步获取更精细的多分辨三维数字像；对于时序变频条纹序列结构光投影，分别得到编码的条纹强度分布图序列，利用“相移算法”计算出各频率条纹强度分布图的相位图，在每个相位图中消除2π不确定性，从而对景物得到分辨率依次递进的深度像；此时点阵投影的作用是利用它获得的物体深度值确定变频条纹序列的边界条件，有效地节省相位展开过程中所需的二维编码条纹图，增加了相位展开算法的实时性；进一步获取精度更高、更精细物体多分辨三维数字像。

Images