CN102999892B - 基于区域遮罩的深度图像与rgb图像的智能融合方法 - Google Patents

Abstract

本发明涉及一种基于区域遮罩的深度图像与RGB图像的智能融合方法，其特征在于，步骤为：在同一时刻采集同一场景的深度图像与RGB图像，选取深度图像与RGB图像的大区域不变性关联特征；利用大区域不变性关联特征进行图像配准；在配准后的深度图像中，设置感兴趣的深度范围，得到新的只包含感兴趣的深度范围的新深度图像；为目标物体产生遮罩；将遮罩与配准后的RGB图像进行融合。本发明的优点是：融合后的图像既包含深度信息，也可以包含色彩和纹理信息；减小算法复杂度，极大地提高对目标物体识别的正确率；提高检测速度；提高跟踪速度；提高配准的精度。

Description

基于区域遮罩的深度图像与RGB图像的智能融合方法

技术领域

本发明涉及一种基于区域遮罩的深度图像与RGB图像的智能融合方法，属于机器视觉及图像融合领域。

背景技术

图像融合是将两个或者两个以上的传感器在同一时间或者不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合，以生成新的有关此场景解释的处理信息，而这种信息无法从单一的图像源中获取，融合后可以获取更可靠，更丰富，更准确的有用信息。

在此之前，已公开了许多有关图像融合算法的专利。例如，公开号为CN1932882，名称为《基于目标检测的红外与可见光序列图像特征级融合方法》的专利利用小波变换的方法对红外图像与可见光图像进行融合。公开号为CN102117483A，名称为《不同空间分辨率的多光谱遥感图像融合方法》的专利对多分辨率的遥感图像进行融合。公开号为CN102402855A，名称为《用于智能交通的双摄像机实时全景视频融合方法及***》的专利则是针对多源的视频图像提出了新的算法。公开号为CN102288963A，名称为《基于子孔径参数估计的双基地ISAR图像融合方法》的专利提出了针对多源ISAR图像的融合方法。公开号为CN102184534，名称为《一种利用多尺度高帽选择变换的图像融合方法》的专利提出了新的尺度变换的图像融合方法。公开号为CN1402191，名称为《基于块分割的多聚焦图像融合方法》的专利提出了一种新的多聚焦图像的融合方法。

以上所公开的专利文献，都反映了多源图像融合研究的一个问题：很难设计出一种能够适应各类图像源的图像融合算法，因此在实际应用中一般针对不同的图像源开发不同的图像融合算法，现有的算法无法满足对深度图像与RGB图像的融合。

发明内容

本发明的目的是提供一种基于区域遮罩的融合深度图像与RGB图像的方法。

为了达到上述目的，本发明的技术方案是提供了一种基于区域遮罩的深度图像与RGB图像的智能融合方法，其特征在于，步骤为：

第一步、在同一时刻采集同一场景的深度图像与RGB图像，选取深度图像与RGB图像的大区域不变性关联特征，该大区域不变性关联特征的检测或描述对图像的各种变化保持不变；

第二步、利用大区域不变性关联特征进行图像配准，将深度图像与RGB图像的坐标***一；

第三步、在配准后的深度图像中，设置感兴趣的深度范围，得到新的只包含感兴趣的深度范围的新深度图像，感兴趣的深度范围指目标物体距离相机的空间距离的范围；

第四步、对新深度图像进行梯度运算，得到深度梯度图G(x，y)，利用边缘梯度特征为新深度图像中的目标物体产生遮罩Q(x，y)或者采用模式识别的方法为新深度图像中的目标物体产生遮罩Q(x，y)；

第五步、将遮罩Q(x，y)与配准后的RGB图像进行融合。

优选地，所述第二步中进行图像配准的具体步骤为：

分别选取深度图像与RGB图像中的大区域不变性关联特征，对深度图像与RGB图像分别进行特征提取，得到深度图像特征点及RGB图像特征点；对深度图像特征点及RGB图像特征点进行相似度量，找到匹配的特征点对；通过特征点对求出深度图像与RGB图像的坐标变换参数，统一深度图像与RGB图像的坐标系；进行图像配准。

优选地，所述第三步的具体步骤为：

配准后的深度图像为D₂(x，y)，其中，d_ij(0≤i≤m，0≤j≤n)表示深度图像中各个物体到相机的距离，设感兴趣的深度范围δ，则新深度图像为D₂′(x，y)，其中，

${d^{\′}}_{\mathrm{ij}}=\left\{\begin{array}{cc}{d}_{\mathrm{ij}}& d_{\mathrm{ij}}\∈\mathrm{\δ}\\ 0& d_{\mathrm{ij}}\∉\mathrm{\δ}\end{array}\right..$

优选地，利用模式识别的方法为深度梯度图中的目标物体产生遮罩Q(x，y)的步骤为：

在新深度图像D₂′(x，y)中提取目标物体的区域范围D，

则 $q_{\mathrm{ij}}=\left\{\begin{array}{cc}1& {d^{\′}}_{\mathrm{ij}}\∈D\\ 0& {d^{\′}}_{\mathrm{ij}}\∉D\end{array}\right..$

优选地，利用边缘梯度特征为深度梯度图G(x，y)中的目标物体产生遮罩Q(x，y)的步骤为：

根据所选取的目标物体设定梯度阈值ε，则 $q_{\mathrm{ij}}=\left\{\begin{array}{cc}1& g_{\mathrm{ij}}\&GreaterEqual;\mathrm{\&epsiv;}\\ 0& g_{\mathrm{ij}}<\mathrm{\&epsiv;}\end{array}\right..$

由于采用了上述解决方案，本发明与现有技术相比，具有如下的优点和积极效果：

(1)深度图像其像素结构中包含了物体与相机之间的距离信息，普通的RGB图像中含有物体的色彩信息以及物体的纹理信息。利用本发明提供的融合方法可以发挥两种图像各自的优点，融合后的图像既包含深度信息，也可以包含色彩和纹理信息。

(2)普通的RGB图像其像素值由物体的颜色、纹理、光照、强度等决定，利用普通的RGB图像来检测目标物体，经常会受到光照变化和复杂背景的干扰而造成误识别，如将绿色物体置于绿色背景，目标物体与背景可能无法区分。利用物体与背景之间存在的深度差，可以很容易地提取出目标物体轮廓，减小算法复杂度，极大地提高对目标物体识别的正确率。

(3)在融合过程中可以设置感兴趣的深度范围，可以将目标物体的空间位置范围缩小，减小后续算法的计算量，提高检测速度。

(4)提出了一种“区域遮罩”的概念，对于同一个场景中的多个目标，只需要生成不同的遮罩，在对多目标物体进行跟踪时只需要处理遮罩信息，从而减少计算量，提高跟踪速度。

(5)本发明选择了大区域不变性关联特征进行图像配准，可以提高配准的精度。

附图说明

图1为本发明的流程图；

图2为图像配准流程图；

图3为提取感兴趣深度图像流程图；

图4为深度梯度图流程图；

图5为区域遮罩流程图；

图6为图像融合流程图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

结合图1，本发明提供的一种基于区域遮罩的深度图像与RGB图像的智能融合方法，其特征在于，步骤为：

第一步、在同一时刻采集同一场景的深度图像与RGB图像，选取深度图像与RGB图像的大区域不变性关联特征，该大区域不变性关联特征的检测或描述对图像的各种变化保持不变。

所述大区域不变性关联特征，其“大区域”是指特定场景中的背景平面，或者固定物体的表面大区域。这种大区域特征信息同时存在于深度图像和RGB图像中，区别只在于RGB图像出现的局部区域特征。“不变性”指选取的大区域特征的检测或描述对图像的各种变化，如光度变化、几何变化、视角变化等保持不变。不变性特征采用基于矩的描述方法如下：矩可以定义在2D、3D和高维空间，直接作用于彩色图像、二值图像、灰度图像或图像区域特征上。数字图像f(x，y)可以用p*q阶矩阵来表示，则其定义为：

${\mathrm{\&mu;}}_{\mathrm{pq}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{(x-\stackrel{\&OverBar;}{x})}^p{(y-\stackrel{\&OverBar;}{y})}^{q}f(x,y).$

式中，μ_pq表示图像的p*q阶矩，x与y表示数字图像f(x，y)某一像素点的x轴坐标和y轴坐标，与表示数字图像f(x，y)所有像素点的x轴坐标的均值和y轴坐标的均值，f(x，y)表示数字图像f(x，y)在(x，y)像素点的函数值，这里就是图像的RGB值。

第二步、利用大区域不变性关联特征进行图像配准，将深度图像与RGB图像的坐标***一，结合图2，其具体步骤为：分别选取深度图像与RGB图像中的大区域不变性关联特征，对深度图像与RGB图像分别进行特征提取，得到深度图像特征点及RGB图像特征点；对深度图像特征点及RGB图像特征点进行相似度量，找到匹配的特征点对；通过特征点对求出深度图像与RGB图像的坐标变换参数，统一深度图像与RGB图像的坐标系；进行图像配准，在本实施例中，以RGB图像为基准，对深度图像进行变换。

同一场景的双源图像必然满足仿射变换模型，设仿射变换模型为：X′＝RX+T， $R=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]$ 为旋转矩阵， $T=\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]$ 为平移矩阵。即

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right];$

平移、旋转、缩放都是二维仿射变换的特例。一个坐标点经平移、旋转、缩放后的坐标可用仿射变换表示为：

式中(x，y)和(x′，y′)分别是转换前图像的坐标及转换后图像对应点的坐标。其中4个参数(平移像素b₁及b₂、旋转角度θ、行缩放倍数和列缩放倍数k)的向量将决定两幅图像坐标之间的转换关系。

RGB图像设为C₁(x，y)，深度图像设为D₁(x，y)；配准后的RGB图像为C₂(x，y)，配准后的深度图像为D₂(x，y)，则

其中，其中c_ij(0≤i≤m，0≤j≤n)表示RGB图像C₂(x，y)中每个像素点的像素值。

第三步、结合图3，在配准后的深度图像D₂(x，y)中，d_ij(0≤i≤m，0≤j≤n)表示深度图像中各个物体到相机的距离，设置感兴趣的深度范围δ，得到新的只包含感兴趣的深度范围的新深度图像D₂′(x，y)，感兴趣的深度范围指目标物体距离相机的空间距离的范围；

其中， ${d^{\&prime;}}_{\mathrm{ij}}=\left\{\begin{array}{cc}{d}_{\mathrm{ij}}& d_{\mathrm{ij}}\&Element;\mathrm{\&delta;}\\ 0& d_{\mathrm{ij}}\&NotElement;\mathrm{\&delta;}\end{array}\right..$

第四步、对新深度图像进行梯度运算，得到深度梯度图G(x，y)，结合图4，其步骤为。

对于空间某点的水平梯度G_x(x，y)有：

G_x(x，y)＝D₂′(x+1，y)-D₂′(x-1，y)；

对于空间某点的垂直梯度G_y(x，y)有：

G_y(x，y)＝D₂′(x，y+1)-D₂′(x，y-1)G_y(x，y)

得到该点的空间梯度函数 $G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2:}$

得到深度梯度图像

结合图5，由于深度图像在边缘处的梯度值会发生显著变化，故利用边缘梯度特征为深度梯度图中的目标物体产生遮罩Q(x，y)或者采用模式识别的方法为深度梯度图中的目标物体产生遮罩Q(x，y)；

利用模式识别的方法为新深度图像中的目标物体产生遮罩Q(x，y)的步骤为：

在新深度图像D₂′(x，y)中提取目标物体的区域范围D，

则 $q_{\mathrm{ij}}=\left\{\begin{array}{cc}1& {d^{\&prime;}}_{\mathrm{ij}}\&Element;D\\ 0& {d^{\&prime;}}_{\mathrm{ij}}\&NotElement;D\end{array}\right.;$

利用边缘梯度特征为新深度图像中的目标物体产生遮罩Q(x，y)的步骤为：

根据所选取的目标物体设定梯度阈值ε，则 $q_{\mathrm{ij}}=\left\{\begin{array}{cc}1& g_{\mathrm{ij}}\&GreaterEqual;\mathrm{\&epsiv;}\\ 0& g_{\mathrm{ij}}<\mathrm{\&epsiv;}\end{array}\right..$

第五步、结合图6，将遮罩Q(x，y)与配准后的RGB图像进行融合，设融合后的图像为F(x，y)，则F(x，y)＝Q(x，y)·C₂(x，y)，取两幅图像中相对应的点相乘，得融合图像。此融合后的图像就包含了所选感兴趣深度范围内的包含色彩和纹理信息。

本发明提供的一种基于区域遮罩的深度图像与RGB图像的智能融合方法，充分利用两种图像特有的信息，融合深度图像与RGB图像，利用融合后的图像进行目标识别可以减少计算量，提高检测速度，并且提高目标物体的检测率和多目标物体跟踪速度。

Claims (2)

1.一种基于区域遮罩的深度图像与RGB图像的智能融合方法，其特征在于，步骤为：

第一步、在同一时刻采集同一场景的深度图像与RGB图像，选取深度图像与RGB图像的大区域不变性关联特征，该大区域不变性关联特征的检测或描述对图像的各种变化保持不变，所述大区域不变性关联特征，其大区域是指特定场景中的背景平面，或者固定物体的表面大区域，这种大区域特征信息同时存在于深度图像和RGB图像中，区别只在于RGB图像出现的局部区域特征；不变性指选取的大区域特征的检测或描述对图像的各种变化，不变性特征采用基于矩的描述方法如下：矩可以定义在2D、3D和高维空间，直接作用于彩色图像、二值图像、灰度图像或图像区域特征上，数字图像f(x，y)可以用p*q阶矩阵来表示，则其定义为：

${\mathrm{\&mu;}}_{\mathrm{pq}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{(x-\stackrel{\&OverBar;}{x})}^p{(y-\stackrel{\&OverBar;}{y})}^{q}f(x,y)$

式中，μ_pq表示图像的p*q阶矩，x与y表示数字图像f(x，y)某一像素点的x轴坐标和y轴坐标，与表示数字图像f(x，y)所有像素点的x轴坐标的均值和y轴坐标的均值，f(x，y)表示数字图像f(x，y)在(x，y)像素点的函数值，这里就是图像的RGB值；

第二步、利用大区域不变性关联特征进行图像配准，将深度图像与RGB图像的坐标***一，进行图像配准的具体步骤为：

分别选取深度图像与RGB图像中的大区域不变性关联特征，对深度图像与RGB图像分别进行特征提取，得到深度图像特征点及RGB图像特征点；对深度图像特征点及RGB图像特征点进行相似度量，找到匹配的特征点对；通过特征点对求出深度图像与RGB图像的坐标变换参数，统一深度图像与RGB图像的坐标系；进行图像配准；

第三步、在配准后的深度图像中，设置感兴趣的深度范围，得到新的只包含感兴趣的深度范围的新深度图像，感兴趣的深度范围指目标物体距离相机的空间距离的范围；

第四步、对新深度图像进行梯度运算，得到深度梯度图G(x，y)，利用边缘梯度特征为新深度图像中的目标物体产生遮罩Q(x，y)或者采用模式识别的方法为新深度图像中的目标物体产生遮罩Q(x，y)，其中：

利用边缘梯度特征为新深度图像中的目标物体产生遮罩Q(x，y)的步骤为：

根据所选取的目标物体设定梯度阈值ε，则 <math> <mrow> <msub> <mi>q</mi> <mi>ij</mi> </msub> <mo>=</mo> <mfenced open='{' close=''> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <msub> <mi>g</mi> <mi>ij</mi> </msub> <mo>&amp;GreaterEqual;</mo> <mi>&amp;epsiv;</mi> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <msub> <mi>g</mi> <mi>ij</mi> </msub> <mtext>&lt;&amp;epsiv;</mtext> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow> </math>

利用模式识别的方法为新深度图像中的目标物体产生遮罩Q(x，y)的步骤为：

在新深度图像D₂′(x，y)中提取目标物体的区域范围D，则 $q_{\mathrm{ij}}=\left\{\begin{array}{cc}1& {d^{\&prime;}}_{\mathrm{ij}}\&Element;D\\ 0& {d^{\&prime;}}_{\mathrm{ij}}\&NotElement;D\end{array}\right.;$

第五步、将遮罩Q(x，y)与配准后的RGB图像进行融合，设融合后的图像为F(x，y)，则F(x，y)＝Q(x，y)·C₂(x，y)，取两幅图像中相对应的点相乘，得融合图像。

2.如权利要求1所述的一种基于区域遮罩的深度图像与RGB图像的智能融合方法，其特征在于：所述第三步的具体步骤为：

配准后的深度图像为D₂(x，y)，其中，d_ij表示深度图像中各个物体到相机的距离，1≤i≤m，1≤j≤n，设感兴趣的深度范围δ，则新深度图像为D₂′(x，y)，其中， ${d^{\&prime;}}_{\mathrm{ij}}\left\{\begin{array}{cc}{d}_{\mathrm{ij}}& d_{\mathrm{ij}}\&Element;\mathrm{\&delta;}\\ 0& d_{\mathrm{ij}}\&NotElement;\mathrm{\&delta;}\end{array}\right..$