CN103292741A - 一种基于k均值颜色聚类的物体表面三维轮廓的结构光视觉测量方法 - Google Patents

Abstract

本发明的目的在于提供一种基于k均值颜色聚类的物体表面三维轮廓的结构光视觉测量方法，在RGB空间确定每种投影颜色的空间直线，计算每个像素点到空间颜色直线的欧式距离，选择其中距离的最小值，对应的颜色标号就是当前像素点最接近的颜色值。然后利用具有相同标号的像素点，自适应调整参数，拟合出新的空间颜色直线。利用k均值聚类算法，进行反复迭代，直到每个像素点的颜色值趋于稳定。颜色分类后，获得解码的序列，进而确定每个匹配点的位置，生成匹配点坐标矩阵。利用三角测量法得到深度信息，实现物体三维表面的重构。本发明提高了颜色分类的准确性、具有很好的鲁棒性和很强的自适应能力，解决了双目立体视觉中匹配困难的问题。

Description

一种基于k均值颜色聚类的物体表面三维轮廓的结构光视觉测量方法

技术领域

本发明涉及的是一种测量方法，具体地说是结构光视觉测量方法。

背景技术

结构光视觉测量是一种新的物体三维表面形状的测量方法，以非接触、方便快速、较高的精度等特点，近年来在工业检测、虚拟现实、文物保护和医学工程等领域得到了广泛的应用。结构光视觉测量***一般由投射装置、摄像机、图像处理***组成。结构光视觉测量的原理是将一幅或多幅编码模式投影到测量场景，用摄像机捕获场景的投影图像，然后通过对投影模式与解码模式对应点的匹配，利用三角法得出深度信息，从而获取三维信息。结构光三维检测的一个重要问题是投影模式与捕获图像对应点的匹配。为了获得精确的匹配关系，既要有合理的结构光编码方案，又要有准确的解码等后期处理方案。

在基于彩色结构光编码的三维重建中,进行颜色解码之前首先要确定每个要处理像素点的颜色值。由于受到环境光、颜色间相互串扰以及物体表面的吸收和反射等因素的影响,拍摄的条纹颜色值已不在是投射的标准颜色值。基于经典的k均值聚类算法，已经广泛应用到颜色分类中，但是还没有提出一种自适应性力强、鲁棒性好的方法。

发明内容

本发明的目的在于提供能够满足结构光视觉三维测量的大量程、大视场、高精度以及信息提取简单等要求的一种基于k均值颜色聚类的物体表面三维轮廓的结构光视觉测量方法。

本发明的目的是这样实现的：

本发明一种基于k均值颜色聚类的物体表面三维轮廓的结构光视觉测量方法，其特征是：

（1）采用红、绿、蓝及品红四种颜色、选择窗口大小为2，生成De Bruijn序列，引入强度及周期属性，分别用符号{1,2,3,4}对具有高强度条纹的红、绿、蓝及品红四种颜色进行标号，用{5,6,7}对具有相同色调角的低强度条纹的红、绿、品红三种颜色进行标号，生成彩色结构光编码模式图像；

（2）将编码模式图像依次投射到被测物体上，投射出的编码彩色条纹通过被测物体表面的凹凸发生畸变，采集***捕获含有变形彩色条纹的图像，并将其存储起来；

（3）对捕获的图像进行条纹分割，进行RGB到Lab色彩空间的转换：

L=（13933R+46871G+4732B)/2∧16，

其中L的值表示颜色亮度，R、G、B代表RGB颜色空间的三个通道。

利用获得亮度信息进行二阶线性滤波差分，将彩色条纹进行分割，线性滤波差分：

$f\left(i\right)=\underset{\mathrm{\Δ}=1}{\overset{o/2}{\mathrm{\Σ}}}(L(i+\mathrm{\Δ})-L(i-\mathrm{\Δ})),$

f为二阶的线性滤波差分滤波，i代表做滤波的像素索引值，Δ为差分增量，对图像上每个像素点做两次线性滤波差分，得到L通道的线性滤波二次差分，o代表滤波区域大小，对每个像素点应用线性滤波二次差分，条纹在边缘处得到差分最大值和最小值；

（4）对条纹中心线进行亚像素提取，引入RGB通道以及L通道的一阶线性差分，分别用dR、dG、dB及dL表示，定义函数g：

g=(dR)²+(dG)²+(dB)²+(dL)²，

对g求线性滤波差分，一阶差分过零点且二阶差分大于0的点对应条纹的中心位置；

（5）利用高低强度条纹分割结果，分别对高低强度条纹进行自适应的k均值颜色分类，在RGB空间拟合出每种编码条纹颜色的空间直线g_c:o_c+xr_c，o_c为空间直线的原点，r_c作为空间直线的方向向量，c∈{红(R)、绿(G)、蓝(B)、品红(Y)}，x∈R，初始化空间直线g_c，根据选用的编码条纹颜色，RGB空间颜色直线为从黑色o_c=(0,0,0)分别到红色(1,0,0)、绿色(0,1,0)、蓝色(0,0,1)以及品红色(1,0,1)颜色直线，这样得到4条初始化空间颜色直线：

g_R:o+xr_R

g_G:o+xr_G

g_B:o+xr_B

g_Y:o+xr_Y

o：(0,0,0),

方向向量，r_R=(1,0,0)，r_G=(0,1,0)，r_B=(0,0,1)，r_Y=(1,0,1)，c∈{R,G,B,Y}；

（6）在RGB颜色空间模型中，对分布的每个像素点p_i，计算空间点p_i到空间颜色直线g_c的距离d(p_i,g_c)：

D_ic=d²(p_i,g_c)=||r_c×(p_i-o)||²

${\left|\right|r_c\×p_i\left|\right|}^2={||\begin{array}{ccc}i& j& k\\ r_c^R& r_c^G& r_c^B\\ p_i^R& p_i^G& p_i^B\end{array}||}^2$

$={(r_c^G{p}_i^B-r_c^B{p}_i^G)}^2+{(r_c^R{p}_i^B-r_c^B{p}_i^R)}^2+{(r_c^R{p}_i^G-r_c^G{p}_i^R)}^2;$

（7）求出每个像素点到初始化的空间直线的距离，比较D_ic的值找出最小值的标号label∈{1,2,3,4}，作为当前像素点的颜色标号；

（8）对每个像素点标号后，具有相同标号的像素点为同一种颜色，从而形成4个点簇，对同一标号的点簇的重新拟合生成新的空间颜色直线，包括空间原点o_c和方向向量r_c的调整；求空间颜色直线的方向向量，求出每个点簇的协方差矩阵，协方差矩阵的主对角线上的元素是各个维度上的能量，其他元素是两两维度间的相关性；

（9）单独求取每个点簇的协方差矩阵，点簇中的每个像素点的R、G、B通道值生成样本矩阵为P：

$P=\left[\begin{array}{ccc}{p}_1^R& p_1^G& p_1^B\\ p_2^R& p_2^G& p_2^B\\ .& .& .\\ .& .& .\\ .& .& .\\ p_{N_c}^R& p_{N_c}^G& p_{N_c}^B\end{array}\right]$

该矩阵的大小为N_c×3维，N_c为当前点簇像素点的个数，

分别表示第Nc点的R、G、B三个颜色分量值，求取样本矩阵的协方差矩阵为C_c，大小为3×3维：

$C_c(R,G,B)=\left(\begin{array}{ccc}\mathrm{cov}(R,R)& \mathrm{cov}(R,G)& \mathrm{cov}(R,B)\\ \mathrm{cov}(G,R)& \mathrm{cov}(G,G)& \mathrm{cov}(G,B)\\ \mathrm{cov}(B,R)& \mathrm{cov}(B,G)& \mathrm{cov}(B,B)\end{array}\right)$

$\mathrm{cov}(X,X)=\frac{{\mathrm{\Σ}}_{i=1}^n(X_i-\stackrel{\‾}{X})(X_i-X)}{n-1}$

$\mathrm{cov}(X,Y)=\frac{{\mathrm{\Σ}}_{i=1}^n(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{n-1}$

为样本X的均值，cov(X,Y)与cov(X,X)分别为变量X与Y以及X与X之间的协方差；

（10）求取空间颜色直线的方向向量r_c，对步骤（9）得到的协方差矩阵进行特征值分解，生成一个对角矩阵，其对角线上的元素是协方差矩阵的特征值，也是协方差矩阵的新方差，而且最大的特征值所对应的能量也最大，此特征值对应的特征向量便是该空间颜色直线的方向向量r_c，代表了空间颜色点的大致变化方向；

（11）设空间公共点o_c:(o^R,o^G,o^B)，

对于RGB空间的数据点p_i到其相应的空间直线g_c的平方距离的总和可以表示如下：

$D=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}{d}^2(p_{\mathrm{ci}},g_c)=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}{\left|\right|r_c\×(p_{\mathrm{ci}}-o)\left|\right|}^2,$

$r_c\×(p_{\mathrm{ci}}-o)=\left|\begin{array}{ccc}i& j& k\\ r_c^R& r_c^G& r_c^B\\ p_{\mathrm{ci}}^R-o^R& p_{\mathrm{ci}}^G-o^G& p_{\mathrm{ci}}^B-o^B\end{array}\right|,$

C=4表示编码条纹颜色的种数；N_c表示当前和颜色c具有相同标号的像素点的数量，空间点p_i与原点o构成的向量p_io和空间直线方向向量r_c构成的平行四边形，直线外一点到直线g_c的距离d就是这平行四边形的面积，r_c为单位向量，

求出D=d²=||r_c×(p_ci-o)||²，

$\frac{\∂D}{{\∂o}^R}=0,\frac{\∂D}{{\∂o}^G}=0,\frac{\∂D}{{\∂o}^B}=0;$

（12）D的一阶导数为0后，得到三个等式，可以写成如下形式A·o=b，解非齐次线性方程可以得o的各个分量，矩阵A为对称矩阵，并且非奇异，A·o=b有唯一解，o通过求A的逆矩阵左乘b向量得到，

$A=\left[\begin{array}{ccc}\underset{c=1}{\overset{C}{\mathrm{\Σ}}}[{\left(r_c^B\right)}^2+{\left(r_c^G\right)}^2]& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^G& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^B\\ -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^G& \underset{c=1}{\overset{C}{\mathrm{\Σ}}}[{\left(r_c^R\right)}^2+{\left(r_c^B\right)}^2]& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^G{r}_c^B\\ -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^B& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^G{r}_c^B& \underset{c=1}{\overset{C}{\mathrm{\Σ}}}[{\left(r_c^R\right)}^2+{\left(r_c^G\right)}^2]\end{array}\right]$

$b=\left[\begin{array}{c}\underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}\left\{p_{\mathrm{ci}}^R\right[{\left(r_c^B\right)}^2+{\left(r_c^G\right)}^2]-p_{\mathrm{ci}}^G{r}_c^G{r}_c^R-p_{\mathrm{ci}}^B{r}_c^B{r}_c^R\}\\ \underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}\left\{p_{\mathrm{ci}}^G\right[{\left(r_c^R\right)}^2+{\left(r_c^B\right)}^2]-p_{\mathrm{ci}}^B{r}_c^B{r}_c^G-p_{\mathrm{ci}}^R{r}_c^R{r}_c^G\}\\ \underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}\left\{p_{\mathrm{ci}}^B\right[{\left(r_c^R\right)}^2+{\left(r_c^G\right)}^2]-p_{\mathrm{ci}}^G{r}_c^G{r}_c^B-p_{\mathrm{ci}}^R{r}_c^R{r}_c^B\}\end{array}\right];$

（13）拟合出对应点簇的所有新的空间颜色直线g_c，然后进行参数自适应调整，重复步骤（5）到步骤（12），反复迭代，直到每个像素点的颜色标号不再发生变化；

（14）通过颜色分类确定条纹中心的符号，然后在邻域寻找一个窗口子序列，利用窗口搜索的方法，当子序列中的4个连续条纹的标号和投射模式中对应条纹标号完全相同时，两个窗口匹配成功，即可找出捕获的条纹在投射模式中的位置；

（15）确定每个匹配点的位置，生成匹配点坐标矩阵，利用三角测量法得到深度信息，实现物体三维表面重构。

本发明的优势在于：

1.采用De Bruijn序列的彩色结构光编码模式，用有限的颜色获得尽可能多的彩色条纹，引入强度属性。采用高低强度条纹相间，满足高分辨率的要求。解码时，通过对高低强度条纹分别进行颜色分类，提高了颜色分类的准确性。

2.基于k均值的自适应颜色聚类方法，对环境光影响、颜色间相互串扰以及物体表面的吸收和反射等因素，具有很好的鲁棒性，能够适应RGB颜色空间中从0到255区间的任意颜色分类,具有很强的自适应能力。

3.利用De Bruijn序列的窗口唯一性，与投影模式序列进行匹配，确定各个窗口在投射模式中的位置，进而确定每个彩色条纹中心的位置，生成匹配点坐标矩阵，解决双目立体视觉中匹配困难的问题。

4.该方法满足了结构光视觉三维测量的大量程、大视场、高精度以及信息提取简单等要求。

附图说明

图1为彩色结构光编码的视觉测量流程图；

图2为彩色结构光颜色分类流程图；

图3为实验装置布置图；

图4为结构光***测量示意图；

图5为彩色结构光条纹投射模式；

图6a为未投射编码模式图像捕获的大卫雕像图；图6b为投射编码模式图像捕获的圆柱图；

图7a投射编码模式图后像捕获的大卫雕像图；图7b为投射编码模式图像后捕获的圆柱图；

图8a为部分投射条纹的L通道值；图8b为条纹的二值化结果；

图9a为捕获的大卫头像的条纹分割结果；图9b为捕获的圆柱图像的条纹分割结果

图10a为捕获的大卫头像条纹中心亚像素提取结果；图10b为捕获的圆柱图像的条纹中心亚像素提取结果

图11a为大卫头像的条纹分色结果；图11b为圆柱图像的条纹分色结果

图12a为大卫头像三维点云图；图12b为圆柱的三维点云图

图13a为大卫头像表面重构图；图13b为圆柱表面重构图

图14为重构圆柱半径图。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

结合图1～14，本发明提出了一种基于k均值颜色聚类的物体表面三维轮廓的结构光视觉测量方法，该方法基本满足结构光视觉三维测量的大量程、大视场、高精度以及信息提取简单等要求。具体包括以下步骤：

一种基于De Bruijn序列的彩色结构光的视觉测量方法，该方法所需设备和具体实验步骤如下：

所需设备：1.投影仪2.摄像机3.计算机4待测物体5.其中投影仪摄像机都通过电缆与计算机4联接。

具体实验步骤：

步骤1：采用红、绿、蓝及品红四种颜色(n=4)，选择窗口大小为2(m=2)，生成De Bruijn序列，引入强度及周期属性。分别用符号{1,2,3,4}对具有高强度条纹的红、绿、蓝及品红四种颜色进行标号，用{5,6,7}对具有相同色调角的低强度条纹的红、绿、品红三种颜色进行标号。同一周期的高低强度条纹具有相同的色调角，但是高强度条纹的色调角与De Bruijn序列有关，低强度条纹的色调角与周期有关，高低强度条纹按照一定规则生成彩色结构光编码模式图像，如附图5所示。

步骤2：使用彩色结构光编码投射***将编码模式图像依次投射到被测物体上，由于被测物体表面的凹凸，使得投射出的编码彩色条纹发生不同程度的畸变，这些畸变条纹中就包含了被测物体表面几何形状的三维信息。图像采集***捕获含有变形彩色条纹的图像(参见附图7a和图7b)，并将其存储至计算机中。

步骤3：利用编码条纹高低强度相间特点，对捕获的图像进行条纹分割。通过RGB到Lab色彩空间的转换，简化了求取L的值方法，其中L的值表示颜色亮度，R、G、B代表RGB颜色空间的三个通道。

定义L通道：

L=（13933R+46871G+4732B)/2∧16，      (1)

利用获得亮度信息进行二阶线性滤波差分，将彩色条纹进行分割，线性滤波差分：

$f\left(i\right)=\underset{\mathrm{\Δ}=1}{\overset{o/2}{\mathrm{\Σ}}}(L(i+\mathrm{\Δ})-L(i-\mathrm{\Δ})),---\left(2\right)$

f对应为二阶的线性滤波差分滤波，i代表做滤波的像素索引值，按行扫描，Δ为差分增量。对图像上每个像素点做两次线性滤波差分，得到L通道的线性滤波二次差分。o代表滤波区域大小，o一定要小于条纹的宽度。对每个像素点应用线性滤波二次差分，条纹在边缘处可以得到差分最大值和最小值。

步骤4：按照相间条纹强度不同的特点，对条纹中心线进行亚像素提取。引入RGB通道以及L通道的一阶线性差分，分别用dR、dG、dB及dL表示，定义函数g：

g=(dR)²+(dG)²+(dB)²+(dL)²，            (3)

对g求线性滤波差分，一阶差分过零点且二阶差分大于0的点对应条纹的中心位置。

对捕获的大卫头像及圆柱图像的亚像素条纹中心提取的结果如图10a和10b所示。

步骤5：利用高低强度条纹分割结果，分别对高低强度条纹进行自适应的k均值颜色分类。为了确定每个像素点的颜色，在RGB空间拟合出每种编码条纹颜色的空间直线g_c:o_c+xr_c，o_c为空间直线的原点，r_c作为空间直线的方向向量，c∈{红(R)、绿(G)、蓝(B)、品红(Y)}，x∈R。初始化空间直线g_c，根据选用的编码条纹颜色，RGB空间颜色直线为从黑色o_c=(0,0,0)分别到红色(1,0,0)、绿色(0,1,0)、蓝色(0,0,1)以及品红色(1,0,1)等颜色直线，这样得到4条初始化空间颜色直线：

g_R:o+xr_R

g_G:o+xr_G          (4)

g_B:o+xr_B

g_Y:o+xr_Y

o：(0,0,0),

方向向量，r_R=(1,0,0)，r_G=(0,1,0)，r_B=(0,0,1)，r_Y=(1,0,1)，c∈{R,G,B,Y}。

步骤6：在RGB颜色空间模型中，对分布的每个像素点p_i，

计算空间点p_i到空间颜色直线g_c的距离d(p_i,g_c)：

D_ic=d²(p_i,g_c)=||r_c×(p_i-o)||²        (5)

${\left|\right|r_c\×p_i\left|\right|}^2={||\begin{array}{ccc}i& j& k\\ r_c^R& r_c^G& r_c^B\\ p_i^R& p_i^G& p_i^B\end{array}||}^2$

$={(r_c^G{p}_i^B-r_c^B{p}_i^G)}^2+{(r_c^R{p}_i^B-r_c^B{p}_i^R)}^2+{(r_c^R{p}_i^G-r_c^G{p}_i^R)}^2$

步骤7：求出每个像素点到初始化的空间直线的距离，比较D_ic的值找出最小值的标号label∈{1,2,3,4}，作为当前像素点的颜色标号。

步骤8：对每个像素点标号后，具有相同标号的像素点为同一种颜色，这样可以形成4个点簇，对同一标号的点簇的重新拟合生成新的空间颜色直线，包括空间原点o_c和方向向量r_c的调整。求空间颜色直线的方向向量，首先求出每个点簇的协方差矩阵，协方差矩阵的主对角线上的元素是各个维度上的能量，其他元素是两两维度间的相关性。

步骤9：单独求取每个点簇的协方差矩阵，点簇中的每个像素点的R、G、B通道值生成样本矩阵为P：

$P=\left[\begin{array}{ccc}{p}_1^R& p_1^G& p_1^B\\ p_2^R& p_2^G& p_2^B\\ .& .& .\\ .& .& .\\ .& .& .\\ p_{N_c}^R& p_{N_c}^G& p_{N_c}^B\end{array}\right]---\left(7\right)$

该矩阵的大小为N_c×3维，N_c为当前点簇像素点的个数，

分别表示第Nc点的R、G、B三个颜色分量值，求取样本矩阵的协方差矩阵为C_c，大小为3×3维：

$C_c(R,G,B)=\left(\begin{array}{ccc}\mathrm{cov}(R,R)& \mathrm{cov}(R,G)& \mathrm{cov}(R,B)\\ \mathrm{cov}(G,R)& \mathrm{cov}(G,G)& \mathrm{cov}(G,B)\\ \mathrm{cov}(B,R)& \mathrm{cov}(B,G)& \mathrm{cov}(B,B)\end{array}\right)---\left(8\right)$

$\mathrm{cov}(X,X)=\frac{{\mathrm{\Σ}}_{i=1}^n(X_i-\stackrel{\‾}{X})(X_i-X)}{n-1}---\left(9\right)$

$\mathrm{cov}(X,Y)=\frac{{\mathrm{\Σ}}_{i=1}^n(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{n-1}---\left(10\right)$

为样本X的均值，cov(X,Y)与cov(X,X)分别为变量X与Y以及X与X之间的协方差。

步骤10：求取空间颜色直线的方向向量r_c。根据步骤9得到的协方差矩阵，如果让R、G、B通道之间的相关性尽可能小。也就是说非对角线元素都基本为零，需要矩阵对角化。对协方差矩阵进行特征值分解，生成一个对角矩阵，其对角线上的元素是协方差矩阵的特征值，也是协方差矩阵的新方差，而且最大的特征值所对应的能量也最大。此特征值对应的特征向量便是该空间颜色直线的方向向量r_c，代表了空间颜色点的大致变化方向。

步骤11：所有空间点簇的公共原点o_c的确定，设空间公共点o_c:(o^R,o^G,o^B)，

步骤10中介绍了如何求取方向矢量r_c，空间所有点簇结合各自的方向矢量r_c，就可以确定点簇的公共偏移量o_c。对于RGB空间的数据点p_i到其相应的空间直线g_c的平方距离的总和可以表示如下：

$D=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}{d}^2(p_{\mathrm{ci}},g_c)=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}{\left|\right|r_c\×(p_{\mathrm{ci}}-o)\left|\right|}^2,---\left(11\right)$

$r_c\×(p_{\mathrm{ci}}-o)=\left|\begin{array}{ccc}i& j& k\\ r_c^R& r_c^G& r_c^B\\ p_{\mathrm{ci}}^R-o^R& p_{\mathrm{ci}}^G-o^G& p_{\mathrm{ci}}^B-o^B\end{array}\right|,---\left(12\right)$

C=4表示编码条纹颜色的种数；N_c表示当前和颜色c具有相同标号的像素点的数量。空间点p_i与原点o构成的向量p_io和空间直线方向向量r_c构成的平行四边形，直线外一点到直线g_c的距离d就是这平行四边形的面积，r_c为单位向量。为了计算方便，对距离d进行了平方。步骤八:欲求空间矢量o，只需求D相对于o中各个变量的一阶导数，并令一阶导数为0。

求出D=d²=||r_c×(p_ci-o)||²以后利用：

$\frac{\∂D}{{\∂o}^R}=0,\frac{\∂D}{{\∂o}^G}=0,\frac{\∂D}{{\∂o}^B}=0---\left(13\right)$

步骤12:D的一阶导数为0后，得到三个等式，可以写成如下形式A·o=b，解非齐次线性方程可以得o的各个分量。矩阵A为对称矩阵，并且非奇异，所以A·o=b有唯一解，o通过求A的逆矩阵左乘b向量得到。

$A=\left[\begin{array}{ccc}\underset{c=1}{\overset{C}{\mathrm{\Σ}}}[{\left(r_c^B\right)}^2+{\left(r_c^G\right)}^2]& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^G& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^B\\ -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^G& \underset{c=1}{\overset{C}{\mathrm{\Σ}}}[{\left(r_c^R\right)}^2+{\left(r_c^B\right)}^2]& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^G{r}_c^B\\ -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^B& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^G{r}_c^B& \underset{c=1}{\overset{C}{\mathrm{\Σ}}}[{\left(r_c^R\right)}^2+{\left(r_c^G\right)}^2]\end{array}\right]---\left(14\right)$

$b=\left[\begin{array}{c}\underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}\left\{p_{\mathrm{ci}}^R\right[{\left(r_c^B\right)}^2+{\left(r_c^G\right)}^2]-p_{\mathrm{ci}}^G{r}_c^G{r}_c^R-p_{\mathrm{ci}}^B{r}_c^B{r}_c^R\}\\ \underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}\left\{p_{\mathrm{ci}}^G\right[{\left(r_c^R\right)}^2+{\left(r_c^B\right)}^2]-p_{\mathrm{ci}}^B{r}_c^B{r}_c^G-p_{\mathrm{ci}}^R{r}_c^R{r}_c^G\}\\ \underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}\left\{p_{\mathrm{ci}}^B\right[{\left(r_c^R\right)}^2+{\left(r_c^G\right)}^2]-p_{\mathrm{ci}}^G{r}_c^G{r}_c^B-p_{\mathrm{ci}}^R{r}_c^R{r}_c^B\}\end{array}\right]---\left(15\right)$

步骤13:拟合出对应点簇的所有新的空间颜色直线g_c，然后进行参数自适应调整，重复步骤5到步骤12，反复迭代，直到每个像素点的颜色标号不再发生变化。

步骤14：通过颜色分类确定条纹中心的符号，然后在邻域寻找一个窗口子序列，利用窗口搜索的方法，当子序列中的4个连续条纹的标号和投射模式中对应条纹标号完全相同时，两个窗口匹配成功，即可找出捕获的条纹在投射模式中的位置。

步骤15：确定每个匹配点的位置，生成匹配点坐标矩阵，利用三角测量法得到深度信息，实现物体三维表面重构。

图8a是投射的部分条纹的L通道值，从图中可以看出，一阶线性滤波差分的过零点对应条纹的中心点，而极大值和极小值点对应条纹的边缘位置；图8b为条纹二值化的结果，从图中可以看出，二值化的结果能够很好得与高低强度条纹对应。

利用获得亮度信息L值进行线性滤波差分，选择合适的阈值对高低强度条纹进行分割。得到如图9a和9b的彩色条纹分割结果。

图10a捕获的大卫头像条纹中心亚像素提取结果；图10b捕获的圆柱图像的条纹中心亚像素提取结果。

图11a和图11b分别为大卫头像和圆柱的条纹分色结果，通过与捕获的条纹图像(见图7a和图7b)对比可知，条纹分色结果准确度较高,为后续的解码工作奠定了基础。

利用条纹颜色聚类的结果，进行特征点的匹配，生成匹配点的坐标矩阵，利用三角测量原理可以得到深度信息，从而得到物体表面的三维轮廓。实验得到的三维点云使用Matlab的绘图函数显示，结果分别如图12a和12b所示。

本算法采用矩形形成网状结构，在Matlab环境下对图13所示的点云进行表面重构，结果如图13a和13b所示。从图中可以看出，无论是对轮廓简单的圆柱表面还是对轮廓复杂的大卫头像表面，本算法都能重构出物体表面的三维轮廓，取得了良好的效果。

由图13的圆柱表面重构图可以看出，重构的圆柱表面平整，为进一步的分析三维重构的误差，需对重构结果进行定量分析。为此，对图12b所示的圆柱表面点云进行了圆拟合，如图14所示。比较拟合的圆半径与真实圆柱半径即可得到重构误差，详细的半径及其他数据参见表1。

表1

表1中，利用图14所示的圆拟合结果，可以得到重构出的圆柱表面半径，其平均值为150.225mm，而圆柱半径的实际值为150mm，绝对误差为0.225mm，相对误差为0.15%，说明算法的重构精度较高。

Claims (1)

1.一种基于k均值颜色聚类的物体表面三维轮廓的结构光视觉测量方法，其特征是：

（1）采用红、绿、蓝及品红四种颜色、选择窗口大小为2，生成De Bruijn序列，引入强度及周期属性，分别用符号{1,2,3,4}对具有高强度条纹的红、绿、蓝及品红四种颜色进行标号，用{5,6,7}对具有相同色调角的低强度条纹的红、绿、品红三种颜色进行标号，生成彩色结构光编码模式图像；

（2）将编码模式图像依次投射到被测物体上，投射出的编码彩色条纹通过被测物体表面的凹凸发生畸变，采集***捕获含有变形彩色条纹的图像，并将其存储起来；

（3）对捕获的图像进行条纹分割，进行RGB到Lab色彩空间的转换：

L=（13933R+46871G+4732B)/2∧16，

其中L的值表示颜色亮度，R、G、B代表RGB颜色空间的三个通道。

利用获得亮度信息进行二阶线性滤波差分，将彩色条纹进行分割，线性滤波差分：

$f\left(i\right)=\underset{\mathrm{\Δ}=1}{\overset{o/2}{\mathrm{\Σ}}}(L(i+\mathrm{\Δ})-L(i-\mathrm{\Δ})),$

f为二阶的线性滤波差分滤波，i代表做滤波的像素索引值，Δ为差分增量，对图像上每个像素点做两次线性滤波差分，得到L通道的线性滤波二次差分，o代表滤波区域大小，对每个像素点应用线性滤波二次差分，条纹在边缘处得到差分最大值和最小值；

（4）对条纹中心线进行亚像素提取，引入RGB通道以及L通道的一阶线性差分，分别用dR、dG、dB及dL表示，定义函数g：

g=(dR)²+(dG)²+(dB)²+(dL)²，

对g求线性滤波差分，一阶差分过零点且二阶差分大于0的点对应条纹的中心位置；

（5）利用高低强度条纹分割结果，分别对高低强度条纹进行自适应的k均值颜色分类，在RGB空间拟合出每种编码条纹颜色的空间直线g_c:o_c+xr_c，o_c为空间直线的原点，r_c作为空间直线的方向向量，c∈{红(R)、绿(G)、蓝(B)、品红(Y)}，x∈R，初始化空间直线g_c，根据选用的编码条纹颜色，RGB空间颜色直线为从黑色o_c=(0,0,0)分别到红色(1,0,0)、绿色(0,1,0)、蓝色(0,0,1)以及品红色(1,0,1)颜色直线，这样得到4条初始化空间颜色直线：

g_R:o+xr_R

g_G:o+xr_G

g_B:o+xr_B

g_Y:o+xr_Y

o：(0,0,0),

方向向量，r_R=(1,0,0)，r_G=(0,1,0)，r_B=(0,0,1)，r_Y=(1,0,1)，c∈{R,G,B,Y}；

（6）在RGB颜色空间模型中，对分布的每个像素点p_i，

计算空间点p_i到空间颜色直线g_c的距离d(p_i,g_c)：

D_ic=d²(p_i,g_c)=||r_c×(p_i-o)||²

${\left|\right|r_c\×p_i\left|\right|}^2={||\begin{array}{ccc}i& j& k\\ r_c^R& r_c^G& r_c^B\\ p_i^R& p_i^G& p_i^B\end{array}||}^2$

$={(r_c^G{p}_i^B-r_c^B{p}_i^G)}^2+{(r_c^R{p}_i^B-r_c^B{p}_i^R)}^2+{(r_c^R{p}_i^G-r_c^G{p}_i^R)}^2;$

（7）求出每个像素点到初始化的空间直线的距离，比较D_ic的值找出最小值的标号label∈{1,2,3,4}，作为当前像素点的颜色标号；

（8）对每个像素点标号后，具有相同标号的像素点为同一种颜色，从而形成4个点簇，对同一标号的点簇的重新拟合生成新的空间颜色直线，包括空间原点o_c和方向向量r_c的调整；求空间颜色直线的方向向量，求出每个点簇的协方差矩阵，协方差矩阵的主对角线上的元素是各个维度上的能量，其他元素是两两维度间的相关性；

（9）单独求取每个点簇的协方差矩阵，点簇中的每个像素点的R、G、B通道值生成样本矩阵为P：

$P=\left[\begin{array}{ccc}{p}_1^R& p_1^G& p_1^B\\ p_2^R& p_2^G& p_2^B\\ .& .& .\\ .& .& .\\ .& .& .\\ p_{N_c}^R& p_{N_c}^G& p_{N_c}^B\end{array}\right]$

该矩阵的大小为N_c×3维，N_c为当前点簇像素点的个数，

分别表示第Nc点的R、G、B三个颜色分量值，求取样本矩阵的协方差矩阵为C_c，大小为3×3维：

$C_c(R,G,B)=\left(\begin{array}{ccc}\mathrm{cov}(R,R)& \mathrm{cov}(R,G)& \mathrm{cov}(R,B)\\ \mathrm{cov}(G,R)& \mathrm{cov}(G,G)& \mathrm{cov}(G,B)\\ \mathrm{cov}(B,R)& \mathrm{cov}(B,G)& \mathrm{cov}(B,B)\end{array}\right)$

$\mathrm{cov}(X,X)=\frac{{\mathrm{\Σ}}_{i=1}^n(X_i-\stackrel{\‾}{X})(X_i-X)}{n-1}$

$\mathrm{cov}(X,Y)=\frac{{\mathrm{\Σ}}_{i=1}^n(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{n-1}$

为样本X的均值，cov(X,Y)与cov(X,X)分别为变量X与Y以及X与X之间的协方差；

（10）求取空间颜色直线的方向向量r_c，对步骤（9）得到的协方差矩阵进行特征值分解，生成一个对角矩阵，其对角线上的元素是协方差矩阵的特征值，也是协方差矩阵的新方差，而且最大的特征值所对应的能量也最大，此特征值对应的特征向量便是该空间颜色直线的方向向量r_c，代表了空间颜色点的大致变化方向；

（11）设空间公共点o_c:(o^R,o^G,o^B)， 对于RGB空间的数据点p_i到其相应的空间直线g_c的平方距离的总和可以表示如下：

$D=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}{d}^2(p_{\mathrm{ci}},g_c)=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}{\left|\right|r_c\×(p_{\mathrm{ci}}-o)\left|\right|}^2,$

$r_c\×(p_{\mathrm{ci}}-o)=\left|\begin{array}{ccc}i& j& k\\ r_c^R& r_c^G& r_c^B\\ p_{\mathrm{ci}}^R-o^R& p_{\mathrm{ci}}^G-o^G& p_{\mathrm{ci}}^B-o^B\end{array}\right|,$

C=4表示编码条纹颜色的种数；N_c表示当前和颜色c具有相同标号的像素点的数量，空间点p_i与原点o构成的向量p_io和空间直线方向向量r_c构成的平行四边形，直线外一点到直线g_c的距离d就是这平行四边形的面积，r_c为单位向量，

求出D=d²=||r_c×(p_ci-o)||²，

$\frac{\∂D}{{\∂o}^R}=0,\frac{\∂D}{{\∂o}^G}=0,\frac{\∂D}{{\∂o}^B}=0;$

（12）D的一阶导数为0后，得到三个等式，可以写成如下形式A·o=b，解非齐次线性方程可以得o的各个分量，矩阵A为对称矩阵，并且非奇异，A·o=b有唯一解，o通过求A的逆矩阵左乘b向量得到，

$A=\left[\begin{array}{ccc}\underset{c=1}{\overset{C}{\mathrm{\Σ}}}[{\left(r_c^B\right)}^2+{\left(r_c^G\right)}^2]& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^G& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^B\\ -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^G& \underset{c=1}{\overset{C}{\mathrm{\Σ}}}[{\left(r_c^R\right)}^2+{\left(r_c^B\right)}^2]& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^G{r}_c^B\\ -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^R{r}_c^B& -\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{r}_c^G{r}_c^B& \underset{c=1}{\overset{C}{\mathrm{\Σ}}}[{\left(r_c^R\right)}^2+{\left(r_c^G\right)}^2]\end{array}\right]$

$b=\left[\begin{array}{c}\underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}\left\{p_{\mathrm{ci}}^R\right[{\left(r_c^B\right)}^2+{\left(r_c^G\right)}^2]-p_{\mathrm{ci}}^G{r}_c^G{r}_c^R-p_{\mathrm{ci}}^B{r}_c^B{r}_c^R\}\\ \underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}\left\{p_{\mathrm{ci}}^G\right[{\left(r_c^R\right)}^2+{\left(r_c^B\right)}^2]-p_{\mathrm{ci}}^B{r}_c^B{r}_c^G-p_{\mathrm{ci}}^R{r}_c^R{r}_c^G\}\\ \underset{c=1}{\overset{C}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_c}{\mathrm{\Σ}}}\left\{p_{\mathrm{ci}}^B\right[{\left(r_c^R\right)}^2+{\left(r_c^G\right)}^2]-p_{\mathrm{ci}}^G{r}_c^G{r}_c^B-p_{\mathrm{ci}}^R{r}_c^R{r}_c^B\}\end{array}\right];$

（13）拟合出对应点簇的所有新的空间颜色直线g_c，然后进行参数自适应调整，重复步骤（5）到步骤（12），反复迭代，直到每个像素点的颜色标号不再发生变化；

（14）通过颜色分类确定条纹中心的符号，然后在邻域寻找一个窗口子序列，利用窗口搜索的方法，当子序列中的4个连续条纹的标号和投射模式中对应条纹标号完全相同时，两个窗口匹配成功，即可找出捕获的条纹在投射模式中的位置；

（15）确定每个匹配点的位置，生成匹配点坐标矩阵，利用三角测量法得到深度信息，实现物体三维表面重构。

Images