CN101738172B - 基于绿条纹分割的高采样密度彩色结构光三维测量方法 - Google Patents

Abstract

基于绿条纹分割的高采样密度彩色结构光三维测量方法。在以往的研究中彩色编码多用于空间编码和直接编码，而且大都能用于动态物体的测量，但由于基于CCD摄像机的颜色保真度及分辨率的影响，对三维物体的测量精度不高，很难用于精确物体的测量。1)向所需测量或重建的三维物体依次连续投射基于绿条纹分割的红蓝格雷码编码结构光，分别摄取各幅投射图案；2)对摄取的各幅投射图案进行红绿蓝彩色条纹分割，获得各幅图案像素的颜色值；3)提取各幅拍摄图案中绿条纹的中心及左右边界，依据其前几幅相应像素颜色值获得绿条纹中心及左右边界的编码值；4)对绿条纹中心及左右边界进行亚像素定位，再依据***标定参数实现三维物体的测量及重构。本发明应用于三维测量技术中。

Description

基于绿条纹分割的高采样密度彩色结构光三维测量方法

技术领域：

本发明涉及一种视觉传感测量技术、三维信息采集与重构领域，尤其涉及一种基于绿条纹分割的彩色结构光三维测量方法。

背景技术：

在非接触三维测量技术中，视觉三维测量技术是获取物体三维信息有效的手段之一，它无需接触被测物表面，是以三维视觉传感器所得到的图形、图像为基础来恢复物体的三维形状，具有速度高、效率高、自动化程度高、造价较低等优点。目前视觉三维测量技术的重点发展方向包括有结构光、立体图像、莫尔法、全息法、激光雷达等方法，其中结构光法具有成本低、分辨率高和速度快优势，被公认为实用性最强的光学非接触三维测量技术，正日益受到重视并得到应用。

结构光法是将投射器发出的光经过光学***形成点、线、编码图案等形式投向景物，在景物上形成图案并由摄像机摄取，而后由图像根据三角法和传感器结构参数进行计算，得到景物表面的三维坐标值。

在结构光法中，相比投射点、线的结构光扫描法，结构光编码法向景物投射编码图案，大大提高了测量速度并解决了扫描法图案混淆问题，因此结构光编码法以其准确度高、测量速度快、成本低等优点在三维重构、工业测量等领域有着广泛的应用前景。结构光的编码方法可分为时间编码、空间编码和直接编码，三者各具优缺点。它们都可采用灰度或颜色来进行编码，灰度编码技术的研究更成熟一些。然而随着处理彩色图像的彩色传感器和硬件价格变得更容易接受，彩色图像处理技术应用也日益广泛。

在以往的研究中彩色编码多用于空间编码和直接编码，而且大都能用于动态物体的测量，但由于基于CCD摄像机的颜色保真度及分辨率的影响，对三维物体的测量精度不高，很难用于精确物体的测量。在已有的几种彩色时间编码方法中，精度较之空间编码和直接编码有所提高，但也存在由于运用的颜色一般多于三种，出现颜色混淆不易识别的问题，而且通常采样密度和分辨率都不高。

发明内容：

本发明的目的是针对现有技术的不足，提供一种基于绿条纹分割的红蓝格雷码结构光时间编码方法，提取绿条纹中心及左右边界达到消除格雷码一位解码误差及提高物面采样密度的目的，从而提高测量分辨率。

上述的目的通过以下的技术方案实现：

基于绿条纹分割的高采样密度彩色结构光三维测量方法，

1)向所需测量或重建的三维物体依次连续投射基于绿条纹分割的红蓝格雷码编码结构光，分别摄取各幅投射图案；

2)对摄取的各幅投射图案进行红绿蓝彩色条纹分割，获得各幅图案像素的颜色值；

3)提取各幅拍摄图案中绿条纹的中心及左右边界，依据其前几幅相应像素颜色值获得绿条纹中心及左右边界的编码值；

4)对绿条纹中心及左右边界进行亚像素定位，再依据***标定参数实现三维物体的测量及重构。

所述的基于绿条纹分割的高采样密度彩色结构光三维测量方法，在第1步中，所述的投射图案由三基色红(R)、绿(G)、蓝(B)组成，使得每种颜色之间的差别达到最大易于解码，依次投射的编码图案中红蓝条纹按格雷码方式编排，并且在每相邻的红蓝条纹中***四个像素宽的绿条纹。

所述的基于绿条纹分割的高采样密度彩色结构光三维测量方法，在第2步中，红绿蓝彩色条纹分割采用自适应阈值法，所述的自适应阈值法是建立在对每幅每一像素的每一颜色分量进行归一化处理的基础上，以此可消除环境光及物面颜色对测量结果的影响。

所述的基于绿条纹分割的高采样密度彩色结构光三维测量方法，在第2步中，提取绿条纹中心实现像素边缘解码，绿条纹中心码值只依赖于前[1，...，i-1]幅的红蓝条纹码值而决定，与其相邻像素的颜色值无关，以此消除格雷码一位转换误差。在提取绿条纹中心的同时，提取绿条纹与红蓝条纹的边界，以此将物面采样密度提高近一倍，从而提高三维测量精度。

所述的基于绿条纹分割的高采样密度彩色结构光三维测量方法，在第4步中，基于摄像机硬件设备的颜色耦合影响，采用行扫描技术对绿条纹中心及左右边界进行亚像素定位。

这个技术方案有以下有益效果：

1.本发明可以最大限度减少颜色之间的模糊，提高条纹检测的抗干扰能力，解码更可靠。

2.本发明条纹解码值只与其前几幅投射的相应像素颜色值有关，与其相邻像素颜色无关，从而可消除格雷码固有的一位转换误差，降低当物体表面不连续或非常陡峭时由于条纹压缩严重或丢失产生的解码误差。

3.本发明采用亚像素定位技术提取绿条纹中心及左右边界，提高条纹定位精度，保证图像采样点与物面采样点的一一对应。

4.本发明因对绿条纹中心及左右边界同时提取，因此在投射相同幅数的条纹图像时，采样密度可比普通方法提高近一倍，从而提高测量精度。

附图说明：

附图1是红蓝格雷码编码图案。图中白色代表红条纹，黑色代表蓝条纹，若投射n幅图案可得到2ⁿ个条纹编码，图中给出的是投射5幅时的编码图案，得到2⁵＝32个条纹编码值，其相邻列的码值存在着一位转换误差，图中n₁、n₂、n₃、n₄、n₅为投射序列。

附图2是绿条纹分割的红蓝格雷码编码图案。其中带网格图案代表绿条纹，绿条纹像素宽度为四位分别占红蓝条纹的两位。提取绿条纹中心可实现像素边缘解码，消除格雷码一位转换误差。

附图3是各像素颜色分量归一化。

附图4是绿条纹中心及边界定位。

附图5是投射的红绿蓝图像

附图6是投射图像第300行扫描图。

附图7是拍摄的红绿蓝图像第300行扫描图。

本发明的具体实施方式：

实施例1：

本发明方法要求有一个投影仪、一个摄像机和一台计算机。一下分三部分说明该方法：

1.编码解码原理

色彩是图像分析中一个强有力的描绘子，人眼仅能区分二十几种灰度级，却能识别成千上万的色彩。几乎所有经常使用的颜色可由红、绿、蓝三种基色直接混合，且这三基色恰与人眼视网膜上红视锥、绿视锥和蓝视锥细胞所敏感的颜色相一致。对于一幅24位真彩色图像，每一通道颜色中有2⁸种灰度级，灰度取值为0～255，其颜色可达16万多种。由于受摄像机硬件设备分辨率的影响很难分辨出所有灰度级的颜色。为使每种颜色之间的差别达到最大，本编码方法采用的彩色条纹只采用每一通道的最大灰度级255，即使用三基色红(255，0，0)、绿(0，255，0)、蓝(0，0，255)来编码。这使拍摄的条纹图像中各种颜色之间、***噪声的影响都大大减少，有利于图像正确解码得到可靠的处理数据。

格雷码编码方法是一种可靠、错误最小化的编码，其循环、单步特性消除了随机取数时出现重大误差的可能，但其每相邻两列的码值中会出现一位的译码转换误差。图1是红蓝格雷码编码图案，图中白色代表红条纹，深灰色代表蓝条纹，若投射n幅图案可得到2ⁿ个条纹编码，图1中给出的是投射5幅时的编码图案，得到2⁵＝32个条纹编码值，其相邻列的码值存在着一位转换误差，图1中n₁、n₂、n₃、n₄、n₅为投射序列。

图2是用绿条纹对红蓝条纹加以分割时的编码图案，其中带网格图案代表绿条纹，绿条纹像素宽度为四位分别占红蓝条纹的两位。提取绿条纹中心可实现像素边缘解码，消除格雷码一位转换误差。

投射n幅图像得到的n幅图像中绿条纹中心的像素边缘解码值可由公式(1)获得：

$k=2^{n-i+2}+T_0\·2^{n+2}+T_0\⊕T_1\·2^{n+1}+T_0\⊕T_1\⊕T_2\·2^n+\·\·\·$

$+(T_0\⊕T_1\⊕T_2\⊕\·\·\·\⊕T_{i-1}\·2^{n-i+3})$

(1)

式中k表示绿条纹中心的像素边缘解码值，T表示条纹图像中像素的码值，规定红条纹像素码值为0，蓝条纹像素码值为1。取T₀等于0。i代表投射图案的次序。T₁代表第一幅图像中当前像素的码值，同理T₂代表第二幅投射图像中对应像素的码值，依此类推T_i-1代表第i-1幅中对应像素的码值。

图2中绿条纹中心分别位于第4、8、12、16、20、24、28列边缘上。以第三幅(n＝3，i＝3)第三个绿条纹中心为例，它的解码值由前两幅该位置的红蓝码值决定的，公式(1)中的T₀规定为0，第n₁幅中与该绿条纹中心对应的条纹颜色为蓝T₁值为1，则T₀与T₁的异或值为1，第n₂幅中与该绿条纹中心对应的条纹颜色仍为蓝T₂值仍为1，那么T₂与前一异或结果进行异或后为0，分别把它们代到公式(1)中，得到该绿条纹中心的码值为20代表第20列像素边缘。依此类推可获得所有绿条纹中心的像素边缘解码值。从图2中可以看出每一绿条纹中心提取出的条纹边缘编码值只依赖于前[1，...，i-1]幅的红蓝条纹码值的异或值所决定。也就是绿条纹中心的码值与其所在的投射图案无关，因此该编码方法可消除格雷码的一位转换误差。而且该方法各列之间没有相互依赖性，可避免当物体表面不连续或非常陡峭时由于条纹压缩严重或丢失产生的解码误差。

图2中投射幅数为3幅，提取绿条纹中心得到2³-1＝7个码值，同时提取前两幅中绿条纹的左右边界可得到2³-2＝6个码值。因此投射n幅图像会可到2ⁿ+1-3个码值，比红蓝格雷码2ⁿ个编码数量提高了近一倍，从而实现高采样密度。

投射n幅图像得到的前n-1幅图像中绿条纹左右边界确定的像素边缘解码值可由公式(2)获得：

$k=2^{n-i+2}+T_0\·2^{n+2}+T_0\⊕T_1\·2^{n+1}+T_0\⊕T_1\⊕T_2\·2^n+\·\·\·$

$+(T_0\⊕T_1\⊕T_2\⊕\·\·\·\⊕T_{i-1}\·2^{n-i+3})+G\·2$

(2)

式中G的取值为-1或+1，当提取的是绿条纹的左边界时G取-1，右边界时取+1。其中，k表示绿条纹左右边界的像素边缘解码值，其它符号与公式(1)中的符号规定一致。

图2中前两幅绿条纹边界分别位于第6、10、14、18、22、26列边缘上。以第二幅(n＝3，i＝2)第一个绿条纹右边界为例，它的解码值由前一幅该位置的红蓝码值决定的，公式(2)中的T₀规定为0，第n₁幅中与该绿条纹右边界对应的条纹颜色为红则T₁值为0，则T₀与T₁的异或值为0，因为是绿条纹的右边界，所以G取+1，把它们代到公式(2)中，得到该绿条纹边界码值为10代表第10列像素边缘。同样，该处像素边缘的码值是由其前[1，...，i-1]幅的红蓝条纹码值决定，可避免当物体表面不连续或非常陡峭时由于条纹压缩严重或丢失产生的解码误差。

至此，投射n幅条纹图案会得到2ⁿ+1-3个像素边缘，而且去掉的三个边缘是位于投射图案两侧的，通常落在背景上，对三维物面的重构不产生影响，因此相当于物面采样率提高了一倍，而且克服了格雷码一位转换误差。

2.红绿蓝彩色条纹分割

由公式(1)、(2)可看出要想获得正确的像素边缘解码值必须对红、绿、蓝条纹区域做到正确的分割。对于彩色图像分割主要有两方面，一是选择合适的彩色空间；二是采用合适的分割策略和方法。

本方法采用的颜色有红、绿、蓝三种颜色，颜色少，排列有规律，因此采用面向硬件设备的、物理意义明确RGB彩色空间来进行彩色条纹的分割。

为消除光照不均匀及物面颜色带来的影响，本方法中彩色条纹的分割需进行归一化处理，它是建立在对条纹图像的每个像素的每个R、G、B分量进行归一化处理的基础上的。

归一化编码要求在一个编码值中至少有一个最小值和一个最大值。本测量方法中投射的彩色条纹只采用每一分量中的最大灰度级255和最小灰度级0，且最大灰度级在三分量中只出现一次。将图2所示的投射图案中第9列到第24列条纹的各像素的颜色分量展开，如图3所示，图中白色代表红条纹，黑色代表蓝条纹，网格代表绿条纹。从图中可看出，每个像素的每个颜色分量在其所投射的三幅图像中都存在最大值(记为1)和最小值(记为0)。那么，对于拍摄的条纹图像任意一个像素来说，它的三个颜色分量中的每一分量在连续投射的多幅图像中既有最大值出现，也会有最小值出现，因此可以将每个像素的每个颜色分量归一化，从而达到颜色的归一化。

利用颜色分量的归一化为每个像素的每个R、G、B分量都产生自己的单一阈值，以此对每个颜色分量进行阈值分割，从而完成红绿蓝彩色条纹的自适应阈值分割。

3.绿条纹中心及左右边界亚像素定位

本***采用的测量方法中，为正确获得像素边缘，关键一点是正确提取绿条纹的中心及左右边界，为此采样一种行扫描技术，就是对拍摄图案中每一行像素进行扫描，分析各像素红绿蓝分量的特征来定位绿条纹中心及边界。图4所示为拍射图案中某一行像素的行扫描图的一部分。图4中虚线代表绿分量，粗实现代表红分量，细实线代表蓝分量，横坐标为像素列坐标，纵坐标为该点像素分量的灰度值。提取图4(a)中的绿分量各个顶点可以找到绿条纹的中心，利用图4(b)和(c)中红绿分量、蓝绿分量行扫描线的交点可以获得绿条纹的左右边界。

但事实上，每个基于CCD的彩色摄像机对颜色分量的影响都是不相同的，也就是虽然投射图案中各个颜色的强度是相同的，但拍得图像的颜色之间存在着互相耦合的现象。这种现象会使上述绿条纹中心和左右边界的定位不准确。

图5是投影仪投射的一幅含有红绿蓝三种颜色条纹的图像，白色代表红条纹，灰色代表绿条纹，深灰色代表蓝条纹。图6是投射图像中第300行的各分量行扫描图，图6(a)中的粗实线代表红分量扫描图，图6(b)中的虚线是绿分量的行扫描图，图6(c)中的细实线是蓝分量的行扫描图。从图中显示各分量间没有影响，也就是说投射图案中红、绿、蓝的灰度级是相同的。图7是用某一彩色CCD摄像机拍摄图5图像的第300行的各分量行扫描图，从图中可以看出各颜色分量之间存在着颜色耦合现象，绿、蓝对红的耦合十分强烈，红分量的最大灰度值由原先的255变化到150左右。

为解决这种硬件设备各颜色分量耦合的影响，在采样行扫描方法对绿条纹中心及边界定位时，先计算出红蓝对绿条纹的耦合系数，利用此系数对绿条纹中心及边界进行亚像素定位，以此获得更精确的条纹定位。

得到条纹精确定位和相应码值后，可依据***参数对三维物体进行重构和测量，***参数的标定可采用传统的标定方法来获得。

Claims (3)

1.一种基于绿条纹分割的高采样密度彩色结构光三维测量方法，其特征是：

1)向所需测量或重建的三维物体依次连续投射基于绿条纹分割的红蓝格雷码编码结构光，分别摄取各幅投射图案，所述的投射图案由三基色红(R)、绿(G)、蓝(B)组成，使得每种颜色之间的差别达到最大易于解码，依次投射的编码图案中红蓝条纹按格雷码方式编排，并且在每相邻的红蓝条纹中***四个像素宽的绿条纹；

2)对摄取的各幅投射图案进行红绿蓝彩色条纹分割，获得各幅图案像素的颜色值；

3)提取各幅拍摄图案中绿条纹的中心及左右边界，依据其前几幅相应像素颜色值获得绿条纹中心及左右边界的像素边缘解码值：

投射n幅图像得到的n幅图像中绿条纹中心的像素边缘解码值可由公式(1)获得：

(1)

式中k7表示绿条纹中心的像素边缘解码值，T表示条纹图像中像素的码值，规定红条纹像素码值为0，蓝条纹像素码值为1，取T₀等于0，i代表投射图案的次序，T₁代表第一幅图像中当前像素的码值，同理T₂代表第二幅投射图像中对应像素的码值，依此类推T_i-1代表第i-1幅中对应像素的码值，

投射n幅图像得到的前n-1幅图像中绿条纹左右边界确定的像素边缘解码值可由公式(2)获得：

(2)

式中G的取值为-1或+1，当提取的是绿条纹的左边界时G取-1，右边界时取+1，其中，k2表示绿条纹左右边界的像素边缘解码值；

4)对绿条纹中心及左右边界进行亚像素定位，再依据***标定参数实现三 维物体的测量及重构。

2.根据权利要求1所述的基于绿条纹分割的高采样密度彩色结构光三维测量方法，其特征是：在第2步中，红绿蓝彩色条纹分割采用自适应阈值法，所述的自适应阈值法是建立在对每幅每一像素的每一颜色分量进行归一化处理的基础上，以此可消除环境光及物面颜色对测量结果的影响。

3.如权利要求1所述的基于绿条纹分割的高采样密度彩色结构光三维测量方法，其特征是：在第4步中，基于摄像机硬件设备的颜色耦合影响，采用行扫描技术对绿条纹中心及左右边界进行亚像素定位。 

Images