CN104835196B - 一种车载红外图像彩色化三维重建方法 - Google Patents

Abstract

本发明公开了一种车载红外图像彩色化三维重建技术，其特征在于：将基于随机森林分类器的彩色化算法与基于面板参数估计的三维重建算法相结合，进行车载红外图像的三维重建。本发明具有以下优点：将红外图像的彩色互技术与三维重建技术相结合，使得红外图像可以更加直观的呈现出来；适用于多种车载红外场景的彩色化任务并且获得良好的彩色化结果；适应于多变的道路场景。

Description

一种车载红外图像彩色化三维重建方法

技术领域

本发明涉及基于随机森林和面板参数马尔科夫模型的车载红外图像彩色化三维重建方法。

背景技术

随着车载红外辅助驾驶***在民用领域的普及，车载红外方面的研究工作逐渐被人们所关注。红外图像的深度估计已经成为近年来的研究热点。

由于车载红外图像是一种灰度图像，所以其有着对比度低，辨识度低等特点，不便于驾驶员对于这类图像的观察。为了使得车载红外图像更加易于表现车辆驾驶中所包含的全部信息，需要利用图像处理技术对车载红外图像进行图像处理，使得其更加符合人的视觉习惯。

随着研究的不断深入，对于红外图像彩色化和红外图像的三维重建技术越来越深入，通过上述手段都使得车载红外图像的表现力大大增强。但是这两种技术还未很好的相结合。

近年来随着图像彩色化研究的不断深入，如基于标签转移算法的图像分类彩色化技术和分层分割技术以及使用局部特征描述符和条件随机场(CRF)相结合的图像分类彩色化技术。在图像的三维重建上有着shape-from-shading和shape-from-texture算法，但是这些算法在表面纹理与色彩变化不明显时，效果较差。由Ashutosh Saxena，Min Sun andAndrew Y.Ng提出的基于PP-MRF模型的单目的图像三维重建在正确率，效果上面都相比其他算法有明显的提高。

发明内容

本发明的目的是将红外图像彩色化技术和红外图像三维重建技术相结合，提出一种新的车载红外图像彩色化三维重建方法。

为了达到上述目的，本发明的技术方案是提供了一种车载红外图像彩色化三维重建方法，其特征在于，包括以下步骤：

步骤1、获取多幅车载红外原始图像及每幅车载红外原始图像所对应的分类图像；

步骤2、使用劳斯掩膜对车载红外原始图像进行基像素的多尺度的特征提取，并与对应的分类图像构成彩色化训练集；

步骤3、使用彩色化训练集训练随机森林分类器；

步骤4、使用劳斯掩膜对待测试的车载红外图像进行基像素的多尺度的特征提取后输入训练后的随机森林分类器，获得初步的分类结果图；

步骤5、使用超像素分割方法将初步的分类结果图分割成超像素块，并在超像素块中进行直方图统计，统计结果中出现频率最大的分类即为整个超像素块的分类，获得最终的分类结果图；

步骤6、对于最终的分类结果图进行彩色化，将图像的RGB空间转为HSV色彩空间，根据分类结果给予对应的色调，同时将原待测试的车载红外图像的亮度赋予彩色化后的V层，得到彩色图像，将该彩色图像做为三维重建的测试图像；

步骤7、获取自然彩色图像和对应的深度图像，对于自然彩色图像进行超像素分割，在对应的深度图中获取分割所得超像素块对应的面板参数，构成三维重建训练集；

步骤8、建立面板参数马尔科夫模型，将三维重建训练集做超像素分割并特征提取后输入到面板参数马尔科夫模型中，整定面板参数马尔科夫模型中的参数；

步骤9、将步骤6得到的测试图像超像素分割并特征提取后输入到整定后的面板参数马尔科夫模型中，进行面板参数估计；

步骤10、根据步骤9中估计所得的面板参数构建三维模型，所得的最终结果即为待测试的车载红外图像的彩色化三维重建结果。

优选地，在所述步骤5中使用超像素分割方法将初步的分类结果图分割成超像素块包括以下步骤：

步骤5.1、确定算法参数K，即分类结果图需要被分成多少个超像素块，确定算法参数K后，将分类结果图的色彩空间转为CIELAB颜色空间，将图像初始分割为间距为S的方格，其中超像素中心位置C_i＝[l_i，a_i，b_i，x_i，y_i]^T即为方格的中心位置，为了避免种子点处在图像的边缘位置，以及对后续的聚类过程造成干扰，需要将种子点在以它为中心的3×3的窗口内移动到梯度值最小的位置；

步骤5.2、在每个超像素中心位置的2S范围内计算每个像素点到中心的距离，其距离计算公式如公式(1)所示：

公式(1)中，d_c为色彩上距离，d_s为空间距离，m用来调整d_c和d_s之间的比例关系；

步骤5.3、每一个像素点都被归为与它距离D′最小的类别，重新计算每个超像素的中心位置，重复步骤5.2。

优选地，在所述步骤7中，采用基于图论的超像素分割法对自然彩色图像进行超像素分割，包括以下步骤：

步骤7.1、把图像中的每个像素点看成是一个顶点，顶点和顶点之间存在着一条边e，每条边上含有对应的权值w(e)，所有的顶点的集合为V，将V分割成很多的小区域，这样把区域C中的任意像素点作为顶点，每个区域都可以看成是一个树形结构；

步骤7.2、计算子集的内部差异，就是该区域的最小生成树MST(C，E)上的最大权值，内部差异计算公式如下公式(2)所示：

步骤7.3、计算两部分子集C₁，之间的外部差异，为连接这两部分的最小权值边，外部差异如下公式(3)所示：

步骤7.4、如果两个子集C₁，C₂的区域之间的外部差异大于C₁和C₂的任意一个的内部差异，则两个子集C₁，C₂分为不同的部分，否则就认定为同一个部分，即属于同一超级像素，如下公式(4)所示：

优选地，所述面板参数马尔科夫模型的定义如下公式(5)所示：

公式(5)中，α_i是超像素i的面板参数，假设超像素i中包含了S_i个像素点，表示超像素i中的第s_i个像素的特征，所有点的特征用向量表示，为从摄像头光心到超像素i上每一个像素点的单位方向向量的集合；向量v_i描述了从局部特征来描述面板参数的可信度；第一项f₁(g)对面板参数α与像素的局部特征之间关系进行建模，θ为需要整定的参数，其值与面板所在的行数相关；第二项f₂(g)主要针对超像素i，j之间存在闭合曲线边界处，此时需要考虑对面板之间的关系进行建模，假设像素点s_i和s_j分别来自超像素i，j，f₂(·)定义如下公式(6)所示：

通过选用不同的函数h(·)和在不同超像素之间的像素对{s_i，s_j}来分别对邻接性、共面性和共线性这些重要的结构关系进行描述和捕捉：

邻接性结构：在超像素i，j的连接的边界上分别选取s_i和s_j，那么h(·)如下公式(7)可以很好地对邻接性给出概率模型：

共面性：在相邻接的超像素上选取像素对和如果相邻接的超像素之间确实存在共面关系的话，那么在理论上面板参数α_i与α_j参数的值相等，共面性的关系函数如下公式(8)所示：

如果两个超像素共面，那么在的条件下的理论值为1：

共线性：超像素的共线性也是非常重要的需要考虑的问题。如果在图像平面上2个超像素共线，那么在实际的3D模型中，他们共线的概率就非常高。函数关系如公式(9)所示：

如果两个面板共线，那么的理论值为1，可以利用此项来找出图像平面中2个超像素之间存在的所有的长直线。

本发明由于采取以上技术方案，其具有以下优点：

1、将红外图像的彩色互技术与三维重建技术相结合，使得红外图像可以更加直观的呈现出来。

2、基于随机森林的彩色化算法具有很好的实时性能和稳定性，适用于多种车载红外场景的彩色化任务并且获得良好的彩色化结果。

3、本项技术采用的三维重建技术较之前的各种重建技术来说，面板参数马尔科夫模型在建模时就考虑了一般性的图像结构关系，而不存在一些条件上的先验知识假设这使得三维重建算法有更强的鲁棒性，适应于多变的道路场景。

附图说明

图1为本发明提供的一种车载红外图像彩色化三维重建算法流程框图；

图2(a)至图2(c)为训练用图的3个不同尺度；

图3(a)及图3(b)为训练集的原始图像和对应的分类结果图；

图4(a)及图4(b)为彩色化三维重建算法结果图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

结合图1，本发明提供了一种车载红外图像彩色化三维重建方法，包括以下步骤：

步骤1、获取多幅车载红外原始图像及每幅车载红外原始图像所对应的分类图像；

步骤2、使用劳斯掩膜对车载红外原始图像进行基像素的多尺度的特征提取，并与对应的分类图像构成彩色化训练集；

步骤3、使用彩色化训练集训练随机森林分类器；

步骤4、使用劳斯掩膜对待测试的车载红外图像进行基像素的多尺度的特征提取后输入训练后的随机森林分类器，获得初步的分类结果图；

步骤5、使用超像素分割方法将初步的分类结果图分割成超像素块，并在超像素块中进行直方图统计，统计结果中出现频率最大的分类即为整个超像素块的分类，获得最终的分类结果图；

步骤6、对于最终的分类结果图进行彩色化，将图像的RGB空间转为HSV色彩空间，根据分类结果给予对应的色调，同时将原待测试的车载红外图像的亮度赋予彩色化后的V层，得到彩色图像，将该彩色图像做为三维重建的测试图像；

步骤7、获取自然彩色图像和对应的深度图像，对于自然彩色图像进行超像素分割，在对应的深度图中获取分割所得超像素块对应的面板参数，构成三维重建训练集；

步骤8、建立面板参数马尔科夫模型，将三维重建训练集做超像素分割并特征提取后输入到面板参数马尔科夫模型中，整定面板参数马尔科夫模型中的参数；

步骤9、将步骤6得到的测试图像超像素分割并特征提取后输入到整定后的面板参数马尔科夫模型中，进行面板参数估计；

步骤10、根据步骤9中估计所得的面板参数构建三维模型，所得的最终结果即为待测试的车载红外图像的彩色化三维重建结果。

上述方法主要包括：1、训练随机森林分类器。2、多尺度特征提取。3、超像素分割和直方图统计优化算法。4、超像素内部分类结果直方图统计。5、红外图像彩色化算法。6、超像素分割和马尔科夫模型的建立。7、图像的面板参数的估计和三维重建。以下将会对这7个部分分别做出详细的描述。

1、随机森林分类器

随机森林算法由Leo Breiman和Adele Cutler提出，该算法结合了Breim-ans的“Bootstrap aggregating”思想和Ho的“random subspace”方法。其实质是一个包含多个决策树的分类器，这些决策树的形成采用了随机的方法，因此也叫做随机决策树，随机森林中的树之间是没有关联的。当测试数据进入随机森林时，即让每一棵决策树进行分类，最后取所有决策树中分类结果最多的那类为最终的结果。因此随机森林是一个包含多个决策树分类器，并且其输出的类别是由个别树输出的类别的众数而定。它具有很高的的预测准确率，对异常和噪声具有很好的容忍度，且不容易出现过拟合。

随机森林算法是基于Bootstrap方法的重采样，产生多个训练集。随机森林算法在构建决策树时采用了随机选取***属性集的方法。详细的随机森林算法流程如下：

(1)利用Bootstrap方法重采样，随机产生T个训练集S₁，S₂…，S_T。

(2)利用每个训练集，生成对应的决策树C₁，C₂，…，C_T；在每个非叶子节点上选择属性前，从M个属性中随机抽取m个属性作为当前节点的***属性集，并以这m个属性中最好的***方式对该节点进行***。

(3)每棵树都完整生长，而不进行剪枝。

(4)对于测试样本X，利用每个决策树进行测试，得到对应的类别C₁(X)，C₂(X)，…，C_T(X)。

(5)采用投票的方法，将T个决策树中输出最多类别的作为测试急样本类别。

2、基于Law’s掩膜的多尺度特征提取

对于每个像素点而言，需要计算一系列的特征值来捕捉每个像素及其周边一定范围内的像素所蕴含的视觉特征，同时需要对还需要结合该像素点的位置信息等。使用Law’s掩膜对图像进行3个尺度的特征提取。

训练所使用的图像的三个不同尺度的图像如图2(a)至图2(c)所示。

在特征提取时使用Law’s掩膜分别在上述训练图像的三个不同尺度上进行卷积，输出结果为F_n(x，y)，n＝1，2，...，9。定义每个超像素块上的纹理能量如公式(1)所示：

公式(1)中，当k＝2，4时的E_i(n)分别代表了像素纹理的能量和峰度特性，因此每个像素有9×3×2＝54个特征，最后再结合像素点上的x，y位置信息，那么对于每个像素提取了一个56维的特征与之对应。

3、超像素分割和直方图统计优化算法

由于随机森林的输出结果图中包含了部分的不连续的错误分类的点，所以本文使用超像素分割对原始的分类图进行分割，分割成超像素块。再对超像素块内部进行直方图统计。在超像素内部统计到的分类属性最多的那一类，最终标记为超像素所在的最终分类。

所谓超像素，是指具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块。SLIC超像素分割由Radhakrishna Achanta等人提出，其它超像素分割算法相比，该算法分割速度快，内存使用效率高，算法效果好，非常适合对于车载红外图像的优化处理。该算法将彩色图像转换为CIELAB颜色空间，结合像素点的位置信息，对于每一个像素点都生成一个[l_i，a_i，b_i，x_i，y_i]^T的向量。然后对5维特征向量构造度量标准，对图像像素进行局部聚类的过程其具体步骤如下：

(1)确定算法参数K，即图像需要被分成多少个超像素块。确定参数后，将图像的色彩空间转为CIELAB颜色空间。像图像初始分割为间距为S的方格，其中超像素中心位置C_i＝[l_i，a_i，b_i，x_i，y_i]^T即为方格的中心位置。为了避免种子点处在图像的边缘位置，以及对后续的聚类过程造成干扰，需要将种子点在以它为中心的3×3的窗口内移动到梯度值最小的位置。

(2)在每个超像素中心位置的2S范围内计算每个像素点到中心的距离。其距离计算公式如公式(2)所示：

公式(2)中，d_c为色彩上距离，d_s为空间距离，m用来调整d_c和d_s之间的比例关系。

(3)每一个像素点都被归为与它距离D′最小的类别。重新计算每个超像素的中心位置，重复步骤(2)。

4、超像素内部分类结果直方图统计

为了去除随机森林分类结果中存在部分像素点错误分类的情况，增强像素点之间分类结果的连续性。在超像素分割之后，在超像素内部使用直方图统计，整个超像素的所属分类结果将被标记为统计结果中出现频率最大的类别。若天空、地面、树林的所属分类分别用数值1～3表示，超像素中包含某种分类结果的数量用N(i)，i∈1，2，3，某超像素块j所属分类用Sup_j表示那么超像素直方图统计公式如下公式(3)所示。

N(i)＝max N(t)，t∈1，2，3 (3)

Sup_j＝i

5、红外图像彩色化算法

首先创建和原始图像大小一样的RGB图像，将图像的色彩空间转换至HSV色彩空间。H为彩色图像的色调层，S为彩色图像的饱和度层，V为彩色图像的亮度层。在彩色化中根据先验知识，根据最终优化后的分类输出的分类结果，将对应的赋予对应的色调其取值范围均为0～1之间。如天空的色调值为0.55，树木的色调为0.32，地面的色调为0.09，整幅图像饱和度的取值为0.65。关于色调与饱和度的取值可以有多种，彩色化后可以根据用户的视觉习惯相应调整。

由于红外图像主要为亮度信息，因此需要在彩色化后的图像中保留这一至关重要的信息，因此将原红外图像的亮度值赋予给最终彩色化后的图像的V层。使得最终彩色化后的图像保留了红外图像的原始信息。

所使用的训练图像的尺寸大小为344×132像素，去除边后所使用的尺寸大小为340×128像素。本实验使用8幅图像作为训练图像，700幅图像为测试图像。训练用的8幅样本图像和对应的分类图像构成了最原始的训练集，如图3(a)及图3(b)所示。在原始的训练图像上进行特征提取。根据特征提取部分可知，每个像素均有一个56维的特征向量代表该像素点与其周围一定范围内图像的特征。

将700幅测试图像输入随机森林分类器中，测试图像如图4(a)及图4(b)中的第1行所示，随机森林分类器输出的分类图像如图4(a)及图4(b)中第2行所示。超像素分割算法对分类器输出的图像进行分割并在超像素块内进行直方图统计，优化结果如图4(a)及图4(b)中第3行所示。最终将优化的结果图像进行彩色化处理最终的效果图如图4(a)及图4(b)第4行所示。

6、超像素分割和马尔科夫模型的建立

首先对于上述彩色化图像进行超像素分割，所谓超像素，是指具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块。红外图像相比于可见光图像，缺少丰富的纹理信息和色彩，但是相对来说其包含着较为明显的边缘特征。基于这些特征，超像素分割的方法非常适用于红外图像，能够在红外图像上分割出很多的小的面板类，并且较好的保持图像边界，速度较快，非常适合后续的面板参数的估计。

本发明采用了基于图论的超像素分割，采用最小生成树的思想，目的是使同一区域内的元素尽可能的相似，不同区域的元素尽可能的不相似。把图像中的每个像素点看成是一个顶点，顶点和顶点之间存在着一条边e，每条边上含有对应的权值w(e)，所有的顶点的集合为V，将V分割成很多的小区域，这样把区域C中的任意像素点作为顶点，每个区域都可以看成是一个树形结构。

对于子集的内部差异，就是该区域的最小生成树MST(C，E)上的最大权值。内部差异计算公式如下公式4所示：

两部分子集C₁，之间的差异为连接这两部分的最小权值边。外部差异如下公式(5)所示：

如果C₁，C₂两个部分的区域之间的外部差异大于C₁和C₂的任意一个的内部差异则两部分为不同的部分，否则就认定为同一个部分，如下公式(6)所示：

超像素分割结果如图4(a)及图4(b)第5行所示。

为了不仅可以包含图像的局部特征，同时兼顾面板之间的邻接、共面、共线等关系。面板参数马尔科夫模型的定义如下公式(7)所示：

其中α_i是超像素i的面板参数，假设超像素i中包含了S_i个像素点，表示超像素i中的第s_i个像素的特征。所有点的特征用向量表不。为从摄像头光心到超像素i上每一个像素点的单位方向向量的集合。向量v_i描述了从局部特征来描述面板参数的可信度。其中第一项f₁(g)对面板参数α与像素的局部特征之间关系进行建模，θ为需要整定的参数，其值与面板所在的行数相关。第二项f₂(g)主要针对超像素i，j之间存在闭合曲线边界处，此时需要考虑对面板之间的关系进行建模。假设像素点s_i和s_j分别来自超像素i，j。f₂(·)定义如下公式8所示：

通过选用不同的函数h(·)和在不同超像素之间的像素对{s_i，s_j}来分别对邻接性、共面性和共线性这些重要的结构关系进行描述和捉。

1、邻接性结构：我们在超像素i，j的连接的边界上分别选取s_i和s_j那么h(·)如下公式9可以很好的对邻接性给出概率模型。

2、共面性：在相邻接的超像素上选取像素对和如果相邻接的超像素之间确实存在共面关系的话，那么在理论上面板参数α_i与α_j参数的值相等。共面性的关系函数如下公式10所示：

如果两个超像素共面，那么在的条件下的理论值为1。

3、共线性：超像素的共线性也是非常重要的需要考虑的问题。如果在图像平面上2个超像素共线，那么在实际的3D模型中，他们共线的概率就非常高。函数关系如公式11所示：

如果两个面板共线，那么的理论值为1。可以利用此项来找出图像平面中2个超像素之间存在的所有的长直线。

7、面板参数模型的参数整定和三维重建

通过面板参数模型的训练就可以整定PP-MRF的内部参数，由于PP-MRF模型的如公式(10)所示，其中的待学习的参数为θ，由于考虑到在图像的不同的行上面θ的含义会不一样，比如在行数比较低时，是道路的可能性比较大，在行数比较高时是远处的天空和树木的概率比较大，所以将θ分为10种不同的情况考虑。每个参数都代表了图像中对应的那部分的1/10行的参数。

在学习部分使用多条件学习，把整个复杂的学习问题，拆分成一系列的条件概率问题，简化了学习的复杂性。最后将参数θ的估计转为线性极小化的问题。所使用的训练图像和对应的深度图像来自康奈尔大学计算机学院的官方网站。所使用的400幅训练图像的分辨率为2272*1704，对应的深度图为(55*305*4)。其中第一维度是图像的X坐标，第二维度是Y坐标，第三维度是透视的深度，第四维坐标为真是的距离坐标。坐标单位都用米表示。

对于上述400幅图像进行超像素分割，并对每一个超像素及其周围的超像素进行多尺度的Law’s掩膜的特征提取，同时由于深度图已知，就可以获取对应的超像素的面板参数，构成面板参数马尔科夫的训练集。

最后对于测试图像，利用已经训练好的面板参数模型对测试图像中的面板参数和深度进行估计进行车载红外图像的三维重建。重建结果如图4(a)及图4(b)第6～7行所示。

Claims (1)

1.一种车载红外图像彩色化三维重建方法，其特征在于，包括以下步骤：

步骤1、获取多幅车载红外原始图像及每幅车载红外原始图像所对应的分类图像；

步骤2、使用劳斯掩膜对车载红外原始图像进行基像素的多尺度的特征提取，并与对应的分类图像构成彩色化训练集；

步骤3、使用彩色化训练集训练随机森林分类器；

步骤4、使用劳斯掩膜对待测试的车载红外图像进行基像素的多尺度的特征提取后输入训练后的随机森林分类器，获得初步的分类结果图；

步骤5、使用超像素分割方法将初步的分类结果图分割成超像素块，并在超像素块中进行直方图统计，统计结果中出现频率最大的分类即为整个超像素块的分类，获得最终的分类结果图；

步骤6、对于最终的分类结果图进行彩色化，将图像的RGB空间转为HSV色彩空间，根据分类结果给予对应的色调，同时将原待测试的车载红外图像的亮度赋予彩色化后的V层，得到彩色图像，将该彩色图像做为三维重建的测试图像；

步骤7、获取自然彩色图像和对应的深度图像，对于自然彩色图像进行超像素分割，在对应的深度图中获取分割所得超像素块对应的面板参数，构成三维重建训练集；

步骤8、建立面板参数马尔科夫模型，将三维重建训练集做超像素分割并特征提取后输入到面板参数马尔科夫模型中，整定面板参数马尔科夫模型中的参数；

步骤9、将步骤6得到的测试图像超像素分割并特征提取后输入到整定后的面板参数马尔科夫模型中，进行面板参数估计；

步骤10、根据步骤9中估计所得的面板参数构建三维模型，所得的最终结果即为待测试的车载红外图像的彩色化三维重建结果。