CN104457607A - 一种面向深度测量的沙漏码结构光的编解码方法 - Google Patents

Abstract

一种面向深度测量的沙漏码结构光的编解码方法，编码方法为：采用沙漏状图案作为编码结构光的基元图案；为每种图形基元配置码字；采用伪随机阵列编码方法，利用不同的图形基元进行组合排列形成图形基元阵列，对应得到编码码字阵列；为图形基元阵列中的每个图形基元确定编码码值；解码方法为：对捕捉的图像进行去噪处理；对图像中的基元图案进行图形边缘提取；还原图像中编码结构光的各个图形基元，相应得到图形基元阵列；还原出编码码字阵列和每个图形基元的编码码值，本发明的基元图案中心对称，具有明显的特征点，易于精确提取，抗干扰性强，解码简单，且投射图案由黑白两色构成，消除了其他色光的影响，易于采用图像处理算法快速提取交点坐标。

Description

一种面向深度测量的沙漏码结构光的编解码方法

技术领域

本发明属于测量技术领域，具体涉及一种面向深度测量的沙漏码结构光的编解码方法。

背景技术

近年来，随着智能机器人等领域的快速发展，深度测量已经成为国内外研究热点。在三维空间深度信息的获取中，结构光是一种最为有效的方法。结构光是一种非接触式主动式光学测量技术，其基本原理是由结构光投射器将带模式的结构光投射到物体的表面并通过摄像机捕获图案，通过对投射图案信息的识别，实现特征点的快速匹配。由于物体表面的梯度变化，投影模式发生畸变，图像传感器(如电荷耦合器件,CCD)拍得该图像后，通过解码获得物体表面的三维信息。研究早期，研究者提出的主动式视觉一般基于点、线结构光扫描法。其优点是识别简单，但需要扫描整个场景，实时性不高，不适合大范围的深度测量。随着研究的深入，更多基于编码结构光的主动式视觉技术被提出，编码策略的差异为依据将目前的结构光编码技术主要分为时间多路编码、直接编码和空间邻域编码策略三类。

时间多路编码策略是将一组编码图案按时序先后，持续投射到被测物体的表面以产生码字。根据投射模式的像素值序列组成设定像素的码字。此种编码策略在三维扫描工作中具有较高的精度，然而不适用于动态的物体测量是其最大的局限。

直接编码策略是每个点根据自身的值进行编码，为此需要周期性的设定色彩值。理论上此策略具有高分辨率，但是，由于编码颜色之间比较接近，因此对于噪声的灵敏度较高，受被测表面颜色干扰较大。然而，被测表面的颜色除了投射模式的颜色外，还有被测表面自身具有的颜色，因此，为了减少物体自身颜色的影响，通常需要获得若干参考图像，所以直接编码策略也不适用于动态物体测量。

空间领域编码策略是将一幅或者几幅图案中的所有编码信息压缩至一幅图案，图案中任意一个特征的码值都由所在位置的基元图案所代表的码字和其邻域内的其他码字共同组成，适用于动态物体检测。同时，该策略考虑了每个码字在编码图案中的唯一性。

发明内容：

针对现有技术存在的缺陷和不足，本发明提出一种面向深度测量的沙漏码结构光的编解码方法。

本发明的技术方案是这样实现的：

一种面向深度测量的沙漏码结构光的编码方法，包括如下内容：

一种面向深度测量的沙漏码结构光的编码方法，内容如下：建立基元图案的约束条件；根据基元图案的约束条件，采用沙漏状图案作为编码结构光的基元图案；将沙漏状基元图案 中两个对顶三角形的顶点交点作为基元图案的特征点；选择多个具有不同方向角的沙漏状基元图案作为编码结构光的图形基元；为每种图形基元配置码字；根据结构光投射范围需求，采用伪随机阵列编码方法，利用不同的图形基元进行组合排列，形成相应规模的图形基元阵列，对应得到编码码字阵列；基于邻域的空间编码策略和编码码字阵列，为图形基元阵列中的每个图形基元确定编码码值；由图形基元阵列构成的结构光将被投射到待测物体上进行深度测量；

所述基元图案的约束条件为：

(1)获取空间物体深度信息时只投射一幅编码结构光图案；

(2)投射单色光，即所投射的编码结构光图案由黑白两色构成：

(3)一幅编码结构光图案中单位位置上基元图案的唯一性；

(4)基元图案中心对称，具有明显的特征点；

所述方向角为基元图案的中线沿着基轴正向顺时针旋转与基轴正向所成的夹角；所述基元图案的中线为穿过沙漏状基元图案特征点平分两个对顶三角形顶角的直线；所述基轴为图形基元阵列的纵向轴，即图形基元阵列中每列图形基元的特征点连线。

根据所述的面向深度测量的沙漏码结构光的编码方法，优选4个方向角分别为0°、45°、90°和135°的沙漏状基元图案作为编码结构光的4个图形基元。

一种面向深度测量的沙漏码结构光的解码方法，针对所述的面向深度测量的沙漏码结构光的编码方法，包括如下步骤：

步骤1：利用小波去噪算法，对捕捉到的目标区域的图像进行去噪处理，实现图像增强；

步骤2：对去噪后图像中的各个基元图案进行图形边缘提取操作，提取出各个基元图案的边缘特征，得到各个基元图案的轮廓；

步骤3：对步骤2已得到轮廓的基元图案的特征点进行提取；

步骤3.1：求取基元图案的质心坐标，进行基元图案特征点粗提取；

步骤3.2：基于灰度梯度的基元图案特征点的精提取；

步骤4：根据步骤2得到的各基元图案的轮廓及步骤3提取的各基元图案的特征点，确定出各基元图案的中线；

步骤5：根据基元图案的中线，确定基元图案的方向角，即还原得到图像中编码结构光的各个图形基元，相应得到图形基元阵列；

步骤6：根据步骤5得到的图形基元阵列，还原出编码码字阵列和每个图形基元的编码码值。

有益效果：本发明的面向深度测量的沙漏码结构光的编解码方法与现有技术相比具有以 下优势：

(1)基元图案中心对称，具有明显的特征点，易于精确提取，抗干扰性强，解码简单；

(2)投射图案是由黑白两色构成，消除了其他色光的影响，对比显著；

(3)易于采用图像处理算法快速提取交点坐标，从而提高深度信息提取的精度和测量的

效率；

(4)在一幅编码结构光图案中，保证单位区间基元图案的唯一性。

附图说明

图1为本发明一种实施方式的4图形基元示意图；

图2为本发明一种实施方式的图形基元阵列示意图；

图3为本发明一种实施方式的一幅编码结构光示意图；

图4(a)为本发明一种实施方式中进行某场景深度测量时由摄像机拍摄的全景沙漏码结构光图像，(b)为(a)的某一个方向上的沙漏码结构光图像；

图5(a),(b),(c),(d),(e)为本发明一种实施方式的图形基元阵列构建过程示意图；

图6为本发明一种实施方式的面向深度测量的沙漏码结构光的解码方法流程图；

图7为本发明一种实施方式的从捕捉的图像中提取图形边缘后的图形基元阵列示意图；

图8为本发明一种实施方式的亚像素级别的图形基元特征点定位示意图；

图9为本发明一种实施方式的某图形基元及其八邻域图形基元构成的图形基元阵列示意图；

图10为与图9对应的八邻域码字阵列。

具体实施方式

下面结合附图对本发明的具体实施作详细说明。

本实施方式的面向深度测量的沙漏码结构光的编码方法，首先基于基元图案的约束条件，将沙漏状图案作为编码结构光的基元图案；本实施方式的基元图案的约束条件为：(1)获取空间物体深度信息时只投射一幅编码结构光图案；(2)投射单色光，即投影图案由黑白两色构成：(3)一幅编码结构光图案中单位区间基元图案的唯一性；(4)基元图案中心对称，具有明显的特征点。

将沙漏状图案中两个对顶三角形的顶点交点作为基元图案的特征点；将具有不同方向角的沙漏状基元图案定义为不同的图形基元，本实施方式中定义了4个图形基元，如图1所示，这4个图形基元的方向角分别为0°、45°、90°、135°，所述方向角为图形基元的中线沿着基轴正向顺时针旋转与基轴正向所成的夹角；所述图形基元的中线为穿过特征点并且平分沙漏状基元图案的两个对顶三角形顶角的直线；所述基轴为图形基元阵列的纵向轴，即编码 结构光图案中的每列图形基元的特征点连线都可以作为基轴并且相互平行；根据结构光投射范围需求，采用伪随机序列编码方法，将定义的一定数量的4个图形基元进行组合排列，形成相应规模的图形基元阵列，如图2所示，由图形基元阵列构成的结构光，如图3所示，将被投射到待测物体上进行深度测量，如图4(a)所示的结构光照射到目标物上后由摄像机捕捉的某被测场景的全向沙漏码结构光图像，图4(b)为图4(a)中某一个方向上的目标物沙漏码结构光图像；设定图形基元的元素值为{0,1,2,3}，即有0、1、2、3共4个不同编码元素，将该4个不同编码元素值分别与所述4个不同的图形基元一一对应匹配，得到图形基元的码字，如图1所示，方向角为0°的图形基元的码字为0、方向角为45°的图形基元的码字为1、方向角为90°的图形基元的码字为2、方向角为135°的图形基元的码字为3，则每个图形基元阵列对应着一个编码码字阵列，如表1为图2所示的图形基元阵列对应的编码码字阵列。根据编码码字阵列，基于邻域的空间编码策略，可以为相应的图形基元阵列中每个图形基元确定一个码值；

表1 图2所示的图形基元阵列的编码码字阵列

1	3	2	2	1	3	2
							2	1	2	2	1	2	2
2	1	3	1	1	2	1
							2	2	1	2	1	0	0
1	0	1	2	3	1	2
							3	1	1	0	0	3	0
3	2	1	2	0	2	3

本实施方式中利用所述的4个图形基元组合形成图形基元阵列的方法为：以构造10行20列的图形基元阵列为例，首先从第一列第一行开始在左上角先形成一个3×3的随机子阵列，如图5(a)所示；然后沿着该子阵列第3列连续添加3×1的随机列向量，如图5(b)所示，每添加一个3×1的随机列向量，则会得到一个新的3×3子阵列，比较新生成的3×3子阵列与已经存在的子阵列之间汉明距离的大小，判断汉明距离是否为0，是，则继续向下一列添加一个3×1的随机列向量，否，则在当前列重新添加一个3×1的随机列向量，在当前列添加的所有3×1的随机列向量都不满足汉明距离为0时，则对前列重新添加3×1的随机列向量，按照前述方法直到第20列添加完毕后，接着沿初始3×3子阵列第三行连续添加1×3的随机行向量， 如图5(c)所示，每添加一个1×3的随机行向量，则会得到一个新的3×3子阵列，比较新生成的子阵列与已经存在的子阵列之间汉明距离的大小，判断汉明距离是否为0，是，则继续向下一行添加一个1×3的随机行向量，否，则在当前行重新添加一个1×3的随机行向量，在当前行添加的所有3×1的随机列向量都不满足汉明距离为0时，则对上一行重新添加1×3的随机行向量，按照前述方法，直到第10行添加完毕后，如图5(d)所示，再按照一次随机填入一个图形基元，如图5(e)所示，每填入一个图形基元，则会得到一个新的3×3子阵列，比较新生成的3×3子阵列与已经存在的3×3子阵列之间汉明距离的大小，判断汉明距离是否为0，是，则继续填入随机图形基元，否，则在当前位置重新代入其他图形基元，当代入的所有的图形基元都不满足汉明距离为0时，则对上一位置重新填入随机图形基元，直到10行20列全部填满，得到符合要求的图形基元阵列。

本发明中编码结构光特征点的位置与特征点的局部区域的信息有关，受阴影以及其余部分区域缺失的影响较小，并且在基元图案其中一角因遮挡而发生缺失时，特征点的位置仍然不会发生变化。

本实施方式的面向深度测量的沙漏码结构光的解码方法，如图6所示，包括如下步骤：

步骤1：利用小波去噪算法，对捕捉到的目标区域的图像进行去噪处理，实现图像增强；

小波去噪算法主要思想在于：小波变换具有能量压缩性，即图像经过小波变换后，大部分能量集中在少数幅度较大的小波系数上，这些系数对应图像的重要特征；而大多数小波系数幅度很小，一般对应着图像噪声。小波阈值去噪方法就是通过设置某种阈值，将小波系数与阈值进行比较，然后，按照某种阈值函数对小波系数进行修正。因此，小波阈值去噪算法研究中两个核心问题是阈值函数的选择和阈值的确定。

小波阈值去噪方法一般描述为：y＝x+n，其中y代表小波域中含噪信号、x代表真实信号、n代表噪声的小波系数；其中n是独立同分布的高斯噪声，n～N(0,σ²)，σ²为信号方差。设T(y,λ)代表阈值函数，λ为阈值，则利用小波阈值去噪，得到真实信号小波系数估计：

小波阈值去噪具体步骤如下：

(1)将带噪图像在各尺度上进行小波分解，保留大尺度低分辨率下的全部小波系数；

(2)对于各尺度高分辨率下的小波系数，设定一个阈值，幅值低于该阈值的小波系数置0，高于该阈值的小波系数则保留；

(3)将处理后获得的小波系数利用逆小波变换进行重构得到去噪后图像。

步骤2：对去噪后图像中的各个图形基元进行图形边缘提取操作，提取出各个图形基元的图形边缘特征，得到各个图形基元的图案轮廓；

本实施方式采用Canny算子对去噪图像中的图形基元进行边缘提取操作，可以得到各图形基元的边缘轮廓，如图7所示。

基于Canny算子提取图形基元边缘的具体算法步骤如下：

(1)用一阶偏导有限差分计算梯度幅值和方向；

(2)对梯度幅值进行非极大值抑制；

(3)用双阈值算法检测和连接边缘。

步骤3：对步骤2中得到图案轮廓的图形基元的特征点进行提取；

步骤3.1：求取图形基元质心坐标，进行图形基元特征点粗提取；

本实施方式通过质心公式分别对所有图形基元进行质心坐标计算，质心坐标(x_c,y_c)为：

$x_c=\frac{m_{10}}{m_{00}},y_c=\frac{m_{01}}{m_{00}}$

其中，m_pq表示图像的p+q阶的几何矩，p,q＝0,1,2,...,计算公式如下：

$m_{\mathrm{pq}}=\underset{i=0}{\overset{k-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{l-1}{\mathrm{\Σ}}}{i}^p{j}^{q}f(i,j)$

其中，k×l表示图像尺寸；i和j表示像素坐标；f(i,j)表示相应位置的像素值；

步骤3.2：基于灰度梯度的图形基元特征点精提取；

以步骤3.1得到的图形基元的质心作为中心，在其八邻域内根据灰度梯度变化进行图形基元特征点的精确定位，使特征点提取达到亚像素级别，如图8所示。

基于灰度梯度特征点精提取方法的具体步骤如下：

以粗提取步骤得到的质心作为待测质心，将待测质心及其周围8个邻域像素点作为一个3×3的单位检测区域，待测质心的灰度梯度计算步骤如下:

1)设定灰度梯度初始值m＝0，分别计算所述3×3的单位检测区域中的各像素点的灰度值；

2)计算待测质心与其周围某个邻域像素点的灰度值之差,并判断该灰度值之差是否小于事先设定的灰度阈值，是,则转至步骤3)，否,则转至步骤4)；

3)m＝m+1，m∈[0,8]；

4)判断是否完成待测质心与其周围8个邻域像素点的灰度值之差的计算，是,则将灰度梯度值m输出；否,则转去执行步骤2)。

5)若m∈[2,6]，则待测质心为图形基元的特征点，基于以上灰度梯度计算方法，若n∈{0,1，7，8}，则依次将8个邻域像素点作为待测质心，按照步骤1)至步骤4)的方法，找到符合要求的特征点。

步骤4：根据步骤2得到的各图形基元的轮廓及步骤3提取的各图形基元的特征点，确定出各图形基元的中线；由于中线为穿过特征点并且平分基元图案两个对顶三角形顶角的直线，因此，在各图形基元的轮廓及特征点确定后，也就能够确定出中线.

步骤5：根据基元图案的中线，确定基元图案的方向角，即还原得到图像中编码结构光的各个图形基元，相应得到图形基元阵列；根据方向角为图形基元的中线沿着基轴正向顺时针旋转与基轴正向所成的夹角,从而容易得到每个图形基元的方向角；

步骤6：根据步骤5得到的图形基元阵列，对应还原出编码码字阵列和每个图形基元的码值；

本实施方式使用领域的空间编码策略对编码结构光进行解码，基于领域的空间编码策略是指每个基元的码值都由其自身码字和其八邻域的码字决定。本实施方式采用的待测特征的码值解码方法为：根据某一待解码图形基元，如图9所示的虚线框内的图形基元，及其周围八邻域图形基元(如图9所示虚线框外的8个图形基元)对应的码字可以得出其码字阵列，如图10所示。

将该码字阵列中的各个码字按照一定顺序排列可以获取到一个码值，本实施方式中的码值以待解码图形基元的码字为码值的第一个码字，其余8个码字分别按照与待解码图形基元相邻的上侧、右侧、下侧、左侧、左上侧、右上侧、右下侧、左下侧的图形基元的码字的顺序排列，如图10所示，得出待测图形基元的码值为123200103。通过此方法对图形基元阵列中每个图形基元均进行解码。

Claims (3)

1.一种面向深度测量的沙漏码结构光的编码方法，其特征在于：

建立基元图案的约束条件；采用沙漏状图案作为编码结构光的基元图案；将沙漏状基元图案中两个对顶三角形的顶点交点作为基元图案的特征点；选择多个具有不同方向角的沙漏状基元图案作为编码结构光的图形基元；为每种图形基元配置码字；根据结构光投射范围需求，采用伪随机阵列编码方法，利用不同的图形基元进行组合排列，形成相应规模的图形基元阵列，对应得到编码码字阵列；基于邻域的空间编码策略和编码码字阵列，为图形基元阵列中的每个图形基元确定编码码值；由图形基元阵列构成的结构光将被投射到待测物体上进行深度测量；

所述基元图案的约束条件为：

(1)获取空间物体深度信息时只投射一幅编码结构光图案；

(2)投射单色光，即所投射的编码结构光图案由黑白两色构成：

(3)一幅编码结构光图案中单位位置上基元图案的唯一性；

(4)基元图案中心对称，具有明显的特征点；

所述方向角为基元图案的中线沿着基轴正向顺时针旋转与基轴正向所成的夹角；所述基元图案的中线为穿过沙漏状基元图案特征点平分两个对顶三角形顶角的直线；所述基轴为图形基元阵列的纵向轴，即图形基元阵列中每列图形基元的特征点连线。

2.根据权利要求1所述的面向深度测量的沙漏码结构光的编码方法，其特征在于：优选4个方向角分别为0°、45°、90°和135°的沙漏状基元图案作为编码结构光的4个图形基元。

3.一种面向深度测量的沙漏码结构光的解码方法，针对权利要求1所述的面向深度测量的沙漏码结构光的编码方法，其特征在于：包括如下步骤：

步骤1：利用小波去噪算法，对捕捉到的目标区域的图像进行去噪处理；

步骤2：对去噪后图像中的各个基元图案进行图形边缘提取操作，提取出各个基元图案的边缘特征，得到各个基元图案的轮廓；

步骤3：对步骤2已得到轮廓的基元图案的特征点进行提取；

步骤3.1：求取基元图案的质心坐标，进行基元图案特征点粗提取；

步骤3.2：基于灰度梯度的基元图案特征点的精提取；

步骤4：根据步骤2得到的各基元图案的轮廓及步骤3提取的各基元图案的特征点，确定出各基元图案的中线；

步骤5：根据基元图案的中线，确定基元图案的方向角，即还原得到图像中编码结构光的各个图形基元，相应得到图形基元阵列；

步骤6：根据步骤5得到的图形基元阵列，还原出编码码字阵列和每个图形基元的编码码值。