CN105890546A - 基于正交格雷码和线移相结合的结构光三维测量方法 - Google Patents

Abstract

一种基于正交格雷码和线移相结合的结构光三维测量方法，应用于快速三维重构中。利用格雷码条纹边缘进行编解码，消除了格雷码一位解码误差；采用投射格雷码图案后继续投射线移图案，结合格雷码条纹边缘和线移条纹中心定位，提高图像采样点的密度；通过从条纹中心向两侧对称线移的方法，避开了因边缘扩散和全局光照造成的边缘定位误差，从而消除了线移条纹周期定位的解码误差，提高了全局解码的正确率，减少边缘定位的时间；采用双向正交投射实现左右视场全局唯一性编码，利用该匹配特征可以完成同名采样点的一一对应，消除了像素中心解码存在的量化误差。本发明在保证***测量准确性、鲁棒性的同时，提高三维测量的速度。

Description

基于正交格雷码和线移相结合的结构光三维测量方法

技术领域

本发明涉及一种机器视觉测量方法，具体是指一种基于正交格雷码和线移相结合的结构光三维测量方法。

背景技术

三维立体图像的获取对计算机视觉和机器人学具有重要的研究和应用价值,已被广泛应用于人脸识别、人机交互、自动化测量、视觉导航、虚拟现实、航空航天以及医疗诊断等具体领域。目前，已有双目和多目立体视觉、结构光三维视觉、光学变焦三维测量、基于运动恢复形状、基于阴影恢复形状以及基于纹理恢复形状等各种场景三维信息获取技术。作为一种准确度高、测量速度快、成本低的三维重建和工业测量手段,结构光三维视觉技术得到越来越多的关注。

在结构光三维视觉***中,编解码方法关系到投影图案与采集图像中对应点匹配的精度和速度,是获取三维信息的关键。

结构光编码方法根据编码策略可以分为时间编码、空间编码和直接编码三类。

时间编码能够获得较高测量精度，但需要投影多幅图案,因而仅适用于静态场景。时间编码方法按时间顺序依次投影多幅图案，每次投影对各像素产生一个码值，从而产生一个与各像素一一对应的码字。时间编码有二值编码、n值编码和基于时间编码的组合编码等。普通二值编码的相邻码值之间可能有多位不同，反映到解码过程中，某些像素在各幅灰度图像中可能多次处于条纹边缘，导致该码值多位被误判，若误判的码值处于高位则解码误差较大。格雷码任意两个相邻码值之间只有一位不同，而且各位权重相同，反映到解码过程中，任意像素在各幅灰度图像中最多只有一次处于条纹边缘，故而其码值只有一位被误判，且任意位被误判引起的解码误差只有一位，准确率相对较高。

采用时间编码可以得到精确的像素编码，并在编码过程中不需要考虑空间邻近关系，但是这些投影图案本身的离散特征限制了距离分辨率。相移的方法由于周期性的投射相移图案可以得到连续的相位，因而可以获得很高的空间分辨率，此外，相位信息不受颜色和光照的影响而具有很好的稳健性。将时间编码与相移结合起来就可以在性能上进行互补，但由于物体形状变化的不连续，以及采集条纹图像的非正弦性和图像噪声均会造成相位计算错误，格雷码解码过程中在条纹边界处会出现1～2位解码错误,相移解码过程中在图像局部范围内也会出现偏差,使得组合码出现±1或±2的码值误差，从而导致绝对相位的解码误差。

空间编码往往只需要投影一幅图案,图案中每点的码字根据其周围邻近点的信息(如像素值、颜色或几何形状等)得到，可用于动态场景测量，但空间分辨率相对较低、受测量物表面颜色和反射率不一致影响。

直接编码一般只需要投影1-2幅投影图案，图案上的每个像素都可以由图案本身的信息直接表示出来。该编码方法能达到较高的空间分辨率,但投影仪颜色带宽、测量表面颜色或深度的变化、摄像机误差及噪声敏感性能会制约***的测量精度和应用场合。

不同的编码方法需要投射不同数量、不同模式的编码图像，编码模式越简单，投影图案数量越多，处理时间越长，但解码简单，定位精度高；模式越复杂，投影数量越少，处理速度越快，但解码比较困难，易受噪声干扰，且定位精度不高。好的编码方法需要在保证精度和鲁棒性的前提下，进一步减少投影图案数目和提高算法解码精度与速度，从而保证变形场景三维重构的实时性需要。本发明提出的基于正交格雷码和线移相结合的结构光编解码方法在保证解码鲁棒性的同时提高编解码的速度，从而提高三维测量的准确性和实时性。

发明内容

本发明的目的是避开因边缘扩散和全局光照造成边缘定位误差的影响，设计一种正交格雷码和线移相结合的结构光编解码方法，通过从条纹中心向两侧对称线移的方式，消除线移条纹周期定位的解码误差，提高了全局解码的正确率。

为达到此目的，本发明的技术方案如下：

(1)采用步骤(5)中的编码方法投射编码结构光图案，利用左右摄像机获取包含工件和经工件调制后条纹的左右视图。

(2)对左右视图进行预处理：采用中值滤波去除由于图像传感器及传输过程中产生的椒盐噪声；进行灰度归一化处理，消除由于两相机光圈大小不同和光照不一造成的影响。

(3)利用大津法(Ostu)对图像进行阈值处理，提取每幅图像的条纹边缘，并利用形态学去除毛刺和内部孔洞。

(4)编码策略：先在某一方向投射n位格雷码条纹图案；然后在此基础上投射一幅黑白相间、条纹宽度与格雷码最小条纹宽度相等、方向与格雷码条纹平行的二值条纹图案，将该图案分别向左、向右平移次，每次平移距离。投射线移图案时，第一幅线移图案的条纹边缘与格雷码条纹边缘对齐，即线移条纹第一个条纹中心与格雷码最后一幅图案最左侧的条纹中心对齐，其后投射的图案分别以此为基准分别向左、向右对称平移j次。

(5)解码方法：首先，将格雷码图案条纹边缘上的点作为图像的采样点，然后根据采样点的二进制码值求解格雷码值，从而获得测量区域的粗略划分；其次，利用格雷码最小周 期条纹间距计算线移图案平移区间；最后，对线移图案条纹中心进行定位，利用条纹中心线对测量区域进一步细分，即根据该条纹对应的格雷码条纹确定线移条纹所处的周期，对线移条纹进行解码。

(6)在与步骤(4)投射图案条纹的垂直方向上重复(1)～(5)步骤，条纹相交的像素点可以得到两个正交方向上的码值，由于两个方向的码值都是连续递增的，因此码值结合后的数值是唯一的。

(7)利用三角测量法求解各点的三维信息。

本发明提供了一种基于正交格雷码和线移相结合的结构光三维测量方法，该方法采用格雷码条纹边缘进行解码，消除了格雷码一位解码误差；通过从条纹中心向两侧对称线移的方法，避开了因边缘扩散和全局光照造成的边缘定位误差，从而消除了线移条纹周期定位的解码误差，提高了全局解码的正确率，减少边缘定位的时间；相对于普通的格雷码编码方法，本发明采用投射格雷码后继续投射线移图案，结合格雷码条纹边缘和线移条纹中心定位，图像采样点密度提高了2j+1倍，从而提高被测物面采样点密度；线移条纹宽度与格雷码最小条纹宽度相等，两者在被测物面陡峭部分具有相同的适应能力；由于使用了线移图案，本发明中格雷码最小条纹宽度是一般格雷码最小条纹宽度的3～5倍，因此对被测物体表面陡峭程度的适应能力提高了3～5倍，同时降低了对硬件设备的要求；采用双向正交投射实现左右视场全局唯一性编码，利用该匹配特征可以完成同名采样点的一一对应，消除了像素中心解码存在的量化误差。保证***测量准确性、鲁棒性的同时，提高三维测量的速度。

附图说明

图1为本发明所述的一种基于正交格雷码和线移相结合的结构光三维测量方法的流程示意图；

图2为本发明所述的一种基于正交格雷码和线移相结合的结构光三维测量方法的阈值分割对条纹边缘定位和格雷码最小周期宽度的影响；

图3为本发明所述的一种基于正交格雷码和线移相结合的结构光三维测量方法的格雷码边缘解码与线移条纹初始位置；

图4为本发明所述的一种基于正交格雷码和线移相结合的结构光三维测量方法的线移条纹平移示意图；

图5为本发明所述的一种基于正交格雷码和线移相结合的结构光三维测量方法的全局解码示意图。

具体实施方式

下面根据附图和实施例对本发明作进一步详细说明。

为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施例，并参照附图，对本发明作进一步详细说明。

本发明通过投射正交格雷码和线移条纹图案，提供可用于双目立体匹配的特征，从而对双目可视区域进行快速三维重构，整个算法流程主要由图像预处理、条纹边缘提取、格雷码边缘解码、线移条纹中心解码、立体匹配、三维重构等构成。

如图1-5所示，具体实现步骤为：

(1)采用步骤(5)中的编码方法投射编码结构光图案，利用左右摄像机获取包含工件和经工件调制后条纹的左右视图，然后根据步骤(2)～(4)对图像进行处理。

(2)采用中值滤波对图像进行预处理，有效去除由于图像传感器以及传输过程中产生的椒盐噪声。二维中值滤波输出为：

g(x,y)＝med{f(x-k,y-l)；k,l∈W}

其中，f(x,y)、g(x,y)分别代表原始图像和滤波后图像，W为二维模板，通常选取3*3和5*5样式，若W为3*3样式，则k,l∈{-1,0,1}。

(3)对输入图像进行灰度归一化处理，消除左右相机光照不一致造成的影响。归一化处理公式如下：

其中，g(x,y)和h(x,y)分别为归一化处理前后的图像灰度值，max(g(x,y))、min(g(x,y))分别为图像灰度值的最大值和最小值。

(4)利用大津法(Ostu)对图像进行阈值处理，提取每幅图像的条纹边缘，并利用形态学处理去除毛刺和内部孔洞。

(5)编码策略：先在某一方向投射n位格雷码条纹图案；然后在此基础上投射一幅黑白相间、条纹宽度与格雷码最小条纹宽度相等、方向与格雷码条纹平行的二值条纹图案，将该图案分别向左、向右平移j次，每次平移距离d。投射线移图案时，第一幅线移图案的条纹边缘与格雷码条纹边缘对齐，即线移条纹第一个条纹中心与格雷码最后一幅图案最左侧的条纹中心对齐，其后投射的图案分别以此为基准分别向左、向右对称平移j次。

(6)解码方法：首先，将格雷码图案条纹边缘上的点作为图像的采样点，然后根据采样点的二进制码值求解格雷码值，从而获得测量区域的粗略划分；其次，利用格雷码最小周 期条纹间距计算线移图案平移区间；最后，对线移图案条纹中心进行定位，利用条纹中心线对测量区域进一步细分，即根据该条纹对应的格雷码条纹确定线移条纹所处的周期，对线移条纹进行解码。

(6.1)格雷码解码

在解码时，首先按照步骤(4)的方法处理图像并提取各幅二值图像的条纹边缘，将边缘上的点作为图像采样点；然后根据采样点的二进制码值求解格雷码值。具体步骤如下：

若求第i(i≤n)幅二值图像中某条边缘的码值，按其在前几幅(1,2,…,i-1)二值图像中相应位置处的二进制码值求取格雷码。边缘码值k由下式计算得到：

k＝2^n-i+((G₀G₁G₂…G_i-1)₂)₁₀·2^n-i+1

其中，k＝1,2,…,2ⁿ-1为某条边缘的码值，n为格雷码位数，i＝1,2,…,n为二值图像序数，G_i表示某条纹在第i幅图像中的二进制码值，其中G₀＝0。

利用条纹边缘进行解码时，每一个边缘码值的求解都是利用该边缘在前几幅图像所处像素的二进制码值进行判断，而该边缘均处于前几幅图像的条纹内部而非边缘，因此码值不易被误判，消除了基于像素中心方法存在的一位解码误差。

(6.2)计算线移区间

计算格雷码最小周期条纹各相邻边缘之间的距离W_k,k＝1,2,…,2^n-2，n为格雷码图案位数，对周期宽度进行分类，并计算线移区间。

选取不包含工件的一行(步骤(8)中对应的是一列)像素，计算相邻非零像素的像素间距，将其作为格雷码最小周期条纹相邻边缘的距离W_k：

W_k＝|u_k+1-u_k|

其中，u_k+1、u_k代表第k+1和第k个非零像素的横坐标。

由于被测物表面的散射、光学***点扩散特性、镜头和投影仪和焦以及环境光照等因素影响，黑白条纹会发生扩散现象，当摄像机分辨率大于投影仪分辨率时，黑白阶跃边缘基本符合高斯曲线分布，采用阈值分割会使得某一颜色的条纹宽度发生变化。

利用大津法对图像进行阈值处理后，格雷码最小周期条纹宽度之间存在较大差异，如图2所示，存在三种条纹宽度，一种是周期条纹两侧都是黑条纹，此时两侧边缘均向内收缩，第二种是周期条纹一侧是黑条纹，边缘向内收缩，另一侧是白条纹，边缘向外扩散，第三种周期条纹两侧都是白条纹，此时两侧边缘均向外扩散。

设投射格雷码图案中最小条纹宽度为W_min，设置阈值σ₁、σ₂且σ₁＞σ₂＞0，则上述三种 周期宽度的定义为：

W_h∈{W_k|(W_k-W_min)＜-σ₁,k＝1,2,…,2^n-2},h＝1,2,…,m,m＜2^n-2

W_z∈{W_k||W_min-W_k|＜σ₂,k＝1,2,…,2^n-2},z＝1,2,…,p,p＜2^n-2

W_b∈{W_k|(W_k-W_min)＞σ₁,k＝1,2,…,2^n-2},b＝1,2,…,q,q＜2^n-2

以4位格雷码为例，如图2所示，一共可以生成2⁴-1＝15条边缘,有14个格雷码周期宽度：W₁,W₂,···,W₁₄，则有：

W_h∈{W₂,W₅,W₁₀,W₁₃}

W_z∈{W₁,W₄,W₆,W₈,W₉,W₁₁,W₁₄}

W_b∈{W₃,W₇,W₁₂}

为了防止线移条纹在进行平移时发生周期错位，选取格雷码周期最小条纹宽度作为线移图案的平移区间，但为了避免大误差值对取值的影响，应选择格雷码三种周期条纹宽度中较小值的均值作为线移平移区间。三种周期条纹宽度的均值为：

线移平移区间W_s取三者中最小值：

每次平移距离d：

d＝W_s*1/(2+2j)

(6.3)线移条纹解码

利用线移条纹的边缘计算各线移条纹的中心，根据该条纹对应的格雷码条纹确定线移条纹所处的周期，对线移条纹进行解码。假设某线移条纹处于第k个格雷码周期内，即该格雷码条纹的前一个边缘码值为k，后一个边缘码值为k+1，若该线移条纹为第i(i≤j)次向左平移的条纹，则该条纹的周期内编码为：

Sl_i＝(j+1-i)*1/(2+2j)

结合格雷码周期k的全局编码为：

Cl_i＝k+(j+1-i)*1/(2+2j)

同理，若该线移条纹为第i(i≤j)次向右平移的条纹，则该条纹的周期内编码为：

Sr_i＝(j+1+i)*1/(2+2j)

结合格雷码周期k的全局编码为：

Sr_i＝k+(j+1+i)*1/(2+2j)

利用条纹中心向两侧对称的位移方法，避开了因边缘扩散和全局光照造成的边缘定位误 差，从而消除了线移条纹周期定位的解码误差，提高了全局解码的正确率，同时也提高了采样点密度。

(7)在与步骤(5)投射图案条纹的垂直方向上重复(1)～(6)步骤，条纹相交的像素点可以得到两个正交方向上的码值，由于两个方向的码值都是连续递增的，因此码值结合后的数值是唯一的。利用码值搜索匹配可以得到左右图像的同名采样点。

(8)利用三角测量法求解各点的三维信息。假设点P(x_w,y_w,z_w)在左右相机像素平面同名采样点的坐标分别为p_l(u₁,v₁)、p_r(u₂,v₂)，则有：

其中，S₁、S₂为比例因子，和是左右相机的成像变化矩阵。

消去上面等式中的S₁和S₂，得方程：

解上式方程可得点P的三维坐标(x_w,y_w,z_w)。

以上所述仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于正交格雷码和线移相结合的结构光三维测量方法，其特征在于，包含以下步骤：

(1)采用步骤(5)中的编码方法投射编码结构光图案，利用左右摄像机获取包含工件和经工件调制后条纹的左右视图；

(2)对所述左右视图进行预处理：采用中值滤波去除由于图像传感器及传输过程中产生的椒盐噪声；进行灰度归一化处理，消除由于两相机光圈大小不同和光照不一造成的影响；

(3)利用大津法对图像进行阈值处理，提取每幅图像的条纹边缘，利用形态学去除毛刺和内部孔洞；

(4)编码策略：先在一个方向投射n位格雷码条纹图案；然后在此基础上投射一幅黑白相间、条纹宽度与格雷码最小条纹宽度相等、方向与格雷码条纹平行的二值条纹图案，将该图案分别向左、向右平移j次，每次平移距离d；投射线移图案时，第一幅线移图案的条纹边缘与格雷码条纹边缘对齐，即线移条纹第一个条纹中心与格雷码最后一幅图案最左侧的条纹中心对齐，其后投射的图案分别以此为基准分别向左、向右对称平移j次；

(5)解码方法：将格雷码图案条纹边缘上的点作为图像的采样点，根据所述采样点的二进制码值求解格雷码值，从而获得测量区域的粗略划分；利用格雷码最小周期条纹间距计算线移图案平移区间；对线移图案条纹中心进行定位，利用条纹中心线对测量区域进一步细分，即根据该条纹对应的格雷码条纹确定线移条纹所处的周期，对线移条纹进行解码；

(6)在与步骤(4)投射图案条纹的垂直方向上重复所述(1)～(5)步骤，条纹相交的像素点可以得到两个正交方向上的码值，由于两个方向的码值都是连续递增的，因此码值结合后的数值是唯一的；

(7)利用三角测量法求解各点的三维信息。

2.根据权利要求1所述的一种基于正交格雷码和线移相结合的结构光三维测量方法，其特征在于，所述步骤(4)～(5)对格雷码和线移进行编解码，包含如下步骤：

第一步：格雷码与线移条纹编码

先在某一方向投射n位格雷码条纹图案；然后在此基础上投射一幅黑白相间、条纹宽度与格雷码最小条纹宽度相等、方向与格雷码条纹平行的二值条纹图案，将该图案分别向左、向右平移j次，每次平移距离d；投射线移图案时，第一幅线移图案的条纹边缘与格雷码条纹边缘对齐，即线移条纹第一个条纹中心与格雷码最后一幅图案最左侧的条纹中心对齐，其后投射的图案分别以此为基准分别向左、向右对称平移j次；

第二步：格雷码解码

在解码时，首先按照所述步骤(4)的方法处理图像并提取各幅二值图像的条纹边缘，将边缘上的点作为图像采样点；然后根据采样点的二进制码值求解格雷码值；

第三步：计算线移区间

计算格雷码最小周期条纹各相邻边缘之间的距离，对周期宽度进行分类，并计算线移区间；

第四步：线移条纹解码

利用线移条纹的边缘计算各线移条纹的中心，根据该条纹对应的格雷码条纹确定线移条纹所处的周期，对线移条纹进行解码。