CN105844635A - 一种基于结构字典的稀疏表示深度图像重建算法 - Google Patents

Abstract

本发明公开了一种基于结构字典的稀疏表示深度图像重建算法，属于图像处理技术领域。首先将对应的深度图和彩色图像作为整体来考虑，在求解过程中，主要注重通过构造具有逻辑对应关系的结构字典来提高深度图像和彩色图像的重建效果。在字典构造的过程中，利用深度图像和彩色图像之间的逻辑对应关系和深度图像本身存在的相似关系，提升字典训练的效率和质量。本发明在收集和整理大量国内外相关资料的基础上，结合稀疏编码等相关理论，针对对应的深度图像与彩色图像之间存在的密切关联，分析数据之间的相关性，主要解决了基于结构字典的稀疏表示深度图的重建问题，减小了运算复杂度，提高了深度图和对应彩色图的重建质量。

Description

一种基于结构字典的稀疏表示深度图像重建算法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于结构字典的稀疏表示深度图像重建算法。

背景技术

稀疏表示(sparse representation)是一种信号表示方法，即给定的信号可以被某个变换域内的基线性稀疏重构。变换域内的基的集合称之为字典。为了使得信号的表示具有平移不变性，研究者又引入了冗余表示的概念，即要求信号在变换域内表示系数的维度大于信号本身的维度，即“超完备”。通过寻找一组“超完备”基向量来更高效的表示样本数据,将一个信号表示为一组基的线性组合。在超完备字典下，信号可以用几个基元的线性组合来表示信号本身，由于这种字典基元不在限定为正交完备的字典，因此对信号的表达能力变得更强，而且通过训练得到的超完备字典能够更加自适应的表达信号特性。具有存储能力大、具有联想记忆能力、使信号结构更加清晰等优点。在图像去噪、图像超分辨率、图像分割，图像分类和人脸识别等领域都有着广泛的应用。

假设D＝[d₁,d₂,...，d_n]表示一个包含n个基元的超完备字典，一个信号y＝[y₁ y₂... y_n]^T表示成这些基元的线性组合，即

$y\≈D\mathrm{\α}={\mathrm{\Σ}}_{i=1}^K{\mathrm{\α}}_i{d}_i---\left(1\right)$

α＝[α₁ α₂ ... α_n]^T是稀疏系数，该向量只包含很少的非零元素或者只有很少的几个远大于零的元素。稀疏编码算法就是通过求解优化问题

${\min }_{\mathrm{\α},D}\left|\right|y-D\mathrm{\α}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_1---\left(2\right)$

找到系数α和字典D来重建目标信号。

稀疏表示的求解过程包括两个部分，分别是字典训练(Training)和编码(Coding)。字典训练部分是在给定一系列图像样本X＝[x₁,x₂,...,x_n]的情况下，从样本中学习得到一组基D＝[d₁,d₂,...，d_n]即字典。训练的过程是一个重复迭代的过程，目标函数为

${\min }_{\mathrm{\α},D}\left|\right|x_i-{\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{d}_i|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_1---\left(3\right)$

通过交替更改α和D使得目标函数最小。每次迭代分为两个步骤：1)固定字典d_i，i＝1，2，..，n调整系数α.使目标函数最小，即求解Lasso问题；2)固定系数α_i，i＝1，2，...，n，调整D,使目标函数最小,即求解凸QP问题。两个步骤交替执行直至收敛，此时得到的字典D即可以良好表达样本信号的一组基。编码部分就是给定新的图像Y，由上部分训练得到的字典D，通过求解Lasso问题获得稀疏向量α，该向量即输入图像Y的稀疏表达。通过y≈Dα重建目标图像。目前常用的字典训练算法有MOD算法和KSVD算法。

学习字典的结构的不同，在应用和计算方面也有很大差异。2014年，Tiezheng Ge[3]等人提出在稀疏求解的过程中，可将其分解为两个子问题进行求解，通过将原优化问题的超完备字典表示为两个规模较小的字典的笛卡尔积，并对其分别求解，将一个规模较大的问题分解成了两个较小的子问题，大大降低了运算量，提升了运算速度。因此找到结构更加合理的学习字典，是提升算法性能的一个重要突破口。

深度图是表示场景中各个点相对于摄像机的距离的图像，即每个像素值表示场景中某一点与摄像机之间的距离。在3D电视、增强实现和3D重建中，深度图像都有非常重要的作用。目前随着RGB-D相机的发展，例如ToF相机和微软公司研发的Kinect，使得普通用户也能同时获得彩色图像获得深度图像。但是由于用户经验不足或者设备本身的限制，获得的深度图像往往存在噪声和深度值缺失等问题。因此获得高质量深度图是计算机视觉***的重要任务之一。由于深度图中的像素点记录的是场景中点与摄像机的距离，即场景中处于同一平面上的点拥有相同的深度信息。彩色图是记录场景中各个点颜色信息的图像，根据其性质可知同一平面可以存在很多不同的颜色。由于对应的深度和彩色图像之间的关联密切，可以考虑在提升图像质量的方法中利用其相互关系来进一步提升效果。而通过增加彩色图像的细节信息，利用低秩和回归模型来增强深度图像，取得了较好的实验结果。

在本发明中，首先将对应的深度图和彩色图像作为整体来考虑，在求解过程中，主要注重通过构造结构字典来提高深度图像和彩色图像的重建效果。在字典训练的过程中，利用深度图像和彩色图像之间的逻辑对应关系和深度图像本身存在的相似关系，提升字典训练的效率和质量。

发明内容

本发明在收集和整理大量国内外相关资料的基础上，结合稀疏表示等相关理论，针对深度图像与彩色图像之间存在的密切关联，分析数据之间的相关性，提出了一种基于结构字典的稀疏表示深度图像重建算法，主要解决的技术问题包括结构字典的的设计与更新，以及深度彩色图像联合重建。与普遍运用的无结构随机字典相比较，结构字典通过其深度部分和彩色部分之间的逻辑关系对应，提取了深度彩色图像中的关键信息，压缩了字典的维度，减小了运算复杂度，提高了深度图像的重建质量。

为了实现上述目的，本发明采用的技术方案为一种基于结构字典的稀疏表示深度图像重建算法，一个普通的稀疏表示优化求解问题可由如下公式表示：

${\min }_x\left|\right|Y-Dx|{|}_2^2+\mathrm{\λ}|\left|x\right|{|}_1---\left(4\right)$

Y代表输入图像，D为字典，x是待求解的稀疏系数，λ为平衡求解精度与稀疏度之间关系的参数。考虑图像Y由深度和彩色两部分组成，即其中Y₁表示深度部分，Y₂表示彩色部分，优化表达式可写成如下形式：

${\min }_x\left|\right|\left[\begin{array}{c}{Y}_1\\ Y_2\end{array}\right]-\left[\begin{array}{c}{D}_1\\ D_2\end{array}\right]x|{|}_2+\mathrm{\λ}|\left|x\right|{|}_1---\left(5\right)$

上述表达式可转化成如下形式来表示：

${\min }_x\left|\right|Y_1-D_{1}x|{|}_2^2+||Y_2-D_{2}x|{|}_2^2+\mathrm{\λ}\left|\right|x|{|}_1---\left(6\right)$

该问题可分解成两个子问题进行求解：

${\min }_x\left|\right|Y_1-D_{1}x|{|}_2^2+{\mathrm{\λ}}_1|\left|x\right|{|}_2^2---\left(7\right)$

${\min }_x\left|\right|Y_2-D_{2}x|{|}_2^2+{\mathrm{\λ}}_2|\left|x\right|{|}_2^2---\left(8\right)$

由背景技术可知，同一场景所拍摄的深度图像中。同一平面的点具有相同的深度信息，在对应的彩色图像中，同一平面的点则可以包含不同的彩色信息。根据深度图像的特点，场景中同一平面上的点具有相同的深度信息，则可知该深度图像中只需要少量的深度信息即可表示该图像所包含的的信息。基于这样的经验观测，假设在同一场景拍摄的深度图像和彩色图像中，同一个深度信息可对应多个不同的彩色信息，即深度信息和彩色信息之间存在一对多的关系。

需要说明的是，此对应关系并不是线性关系而是逻辑对应关系，旨在利用深度图像本身存在的具有大片深度值相同的区域的特点，找到对应彩色图中该区域所存在色彩值的差异。利用彩色图像中更加丰富的信息，在训练过程中增加深度字典更新的准确程度。

基于上述假设，分别代表对应的深度和彩色图像样本，a和b分别代表Y₁和Y₂的样本列，则a和b两者之间对的逻辑对应关系可以由如下矩阵来表示：

$Y_i=\left[\begin{array}{c}{Y}_{1i}\\ Y_{2i}\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\ω}}_j{a}_i& {\mathrm{\ω}}_{j+1}{a}_i& ...& {\mathrm{\ω}}_{m_i}{a}_i\\ b_j& b_{j+1}& ...& b_{m_i}\end{array}\right],i,j=1,\mathrm{...},n$

其中a为深度信息，b为彩色图像中对应位置的彩色信息,ω为平衡参数,m_i是整体样本中的一组样本，1≤m_i≤n。令则引入参数u_i，令u＝[u₁ u₂ ... u_n]^T则(7)(8)可表示成如下形式：

${\min }_u\left|\right|Y_1-D_{1}u|{|}_2^2+{\mathrm{\λ}}_1|\left|u\right|{|}_2^2---\left(9\right)$

${\min }_x\left|\right|X_2-D_{2}x|{|}_2^2+{\mathrm{\λ}}_2|\left|x\right|{|}_2^2---\left(10\right)$

u和x之间的对应关系可用矩阵Ω来表达，即u＝Ωx。通过探究得到关系矩阵Ω之后，系数u便可根据公式(10)的稀疏解得到。通过交替求解(9)(10)，并更新字典D₁和D₂，将最终训练完成的字典D₁和D₂进行组合，得到结构字典D。

附图说明

图1为深度平均PSNR曲线图

图2为彩色平均PSNR曲线图

图3为本发明探究对应深度图像和彩色图像逻辑对应关系矩阵实施例流程图

图4为本发明基于结构字典的稀疏表示深度图像重建实施例流程图

具体实施方式

如图1-4所示，为了验证所提方法的有效性，在matlab R2012a下进行了基于稀疏编码的“深度-彩色”结构字典构造和训练并对目标图像进行重建的模拟实验。在普通的重建方法下，对使用无结构的随机字典(USRD)和结构字典(SD)两种方案进行了比较。实验结果的客观评价采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)度量，单位为分贝(dB)。

采用图像集Middlebury_Dataset进行实验，对图像集中的30组对应的深度和彩色图像进行了重建。结果如表1所示。

表1通过不同的迭代次数训练字典重建的平均PSNR(dB)，采样块8×8

实验结果表明，当迭代次数相同，使用普通的稀疏求解算法时，无结构的随机字典则需要在较多的迭代次数下才会达到最优效果，“深度-彩色”字典在较小的迭代次数即可取得较稳定的实验结果，且与无结构随机字典相比显著提升了深度图像和彩色图像的重建效果，获得了非常明显的PSNR增益，证明了“深度-彩色”结构字典方法的有效性。

实施例

探究对应深度和彩色图像逻辑对应关系矩阵Ω，具体包括:

1)对对应深度和彩色图像进行采样

利用普通采样算法对对应深度图像Y₁和彩色图像Y₂分别进行采样，得到深度样本X₁，彩色样本X₂。

2)对深度样本进行聚类

由于本发明将深度和彩色图像作为整体进行考虑，在采样完成后将深度和彩色样本进行组合得到整体样本X，即根据深度图像的特点，场景中同一平面上的点具有相同的深度信息，则可知该在样本中只需要少量的深度信息即可抽取该图像的特征。因此根据整体样本中的深度信息，利用普通聚类算法(如K-Means算法)对整体样本X进行聚类操作，即聚类过程中计算每个样本列到聚类中心的距离是只考虑深度样本部分，彩色样本部分只做对应的调整，保持与原始深度样本的位置一致而不参与任何有关聚类的计算。聚类完成后得到深度样本和彩色样本以及每类样本的数目n_i,i＝1,2,...，m，m为类的数目。

3)对每类彩色样本进行第二次聚类

利用普通聚类算法对上一步骤操作完成的彩色样本每类彩色样本 进行聚类。得到第i类的聚类中心p_i为第i类聚类所得到类的数目，其中每类的样本列的数目为q_j，j＝1，2，...，p_i。

4)根据彩色样本每类内部的分类数目计算对应关系矩阵Ω

聚类完成之后的每类彩色样本的聚类中心，即彩色图对应的深度图提取的深度信息所对应的彩色信息。由于同一深度信息对应多种彩色信息，并且每类彩色信息与深度信息的逻辑对应关系有强弱之分，因此采用系数β来描述不同彩色信息之间的比重。本发明中采用加权值的方法来构造关系矩阵Ω。根据彩色样本每一类中的样本列的数目计算其加权值，确定其与深度信息之间逻辑关系的比重。其中第类彩色样本中第k子类的加权值为：是参数，根据经验值设定。根据加权值，则可得到第i类的参数 总体的关系矩阵为

本发明结构字典训练和重建实施具体包括:

1)利用普通稀疏求解算法(如OMP)求得彩色样本的稀疏系数y

利用OMP算法进行系数求解，得到稀疏系数y：y＝argmin_y||y||₁,s.t.D₂y＝X₂。

2)根据对应关系矩阵Ω求出对应深度样本的稀疏系数u

由假设可知u＝Ωx，根据该公式求得深度样本的系数系数u。

3)利用普通字典更新算法根据系数y和u分别更新彩色字典D₂和深度字典D₁

4)对步骤1)-3)重复迭代直至收敛，得到训练完成的D₁,D₂，将其组合得到结构字典D即先求得彩色稀疏系数y，根据y与u的关系矩阵Ω求得深度系数u，根据y和u分别更新彩色和深度字典D₂,D₁，利用更新完成后的字典再进行下一次迭代的稀疏求解。直至优化问题收敛。“深度-彩色”结构字典D即将深度字典D₁和彩色字典D₂进行逻辑对应，

5)通过训练得到的字典D重建目标深度图像Y₁和彩色图像Y₂，包括稀疏求解和重建两部分。利用OMP算法进行系数求解，得到稀疏系数在结合信号的稀疏表达，重建出原始深度图像和彩色图像。也可利用OMP算法分别求解深度和彩色的稀疏系数y和u:, 结合稀疏表达重建出原始深度图像和彩色图像。

需要说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (3)

1.一种基于结构字典的稀疏表示深度图像重建算法，稀疏表示是一种信号表示方法，即给定的信号可以被某个变换域内的基线性稀疏重构；变换域内的基的集合称之为字典；为了使得信号的表示具有平移不变性，研究者又引入了冗余表示的概念，即要求信号在变换域内表示系数的维度大于信号本身的维度，即“超完备”；通过寻找一组超完备基向量来更高效的表示样本数据,将一个信号表示为一组冗余基的线性组合；在超完备字典下，信号可以用几个基元的线性组合来表示信号本身，由于这种字典基元不在限定为正交完备的字典，因此对信号的表达能力变得更强，而且通过训练得到的超完备字典能够更加自适应的表达信号特性；具有存储能力大、具有联想记忆能力、使信号结构更加清晰等优点；在图像去噪、图像超分辨率、图像分割，图像分类和人脸识别等领域都有着广泛的应用；

假设D＝[d₁，d₂，…，d_n]表示一个包含n个基元的超完备字典，一个信号y＝[y₁ y₂ …y_n]^T表示成这些基元的线性组合，即

$y\≈D\mathrm{\α}={\mathrm{\Σ}}_{i=1}^K{\mathrm{\α}}_i{d}_i---\left(1\right)$

α＝[α₁ α₂ … α_n]^T是稀疏系数，该向量只包含很少的非零元素或者只有很少的几个远大于零的元素；稀疏表示的优化问题如下：

${\min }_{\mathrm{\α},D}\left|\right|y-D\mathrm{\α}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_1---\left(2\right)$

通过求解(2)找到系数α和字典D来重建目标信号；

稀疏表示模型的求解包括两个部分，分别是字典训练(Training)和编码(Coding)；字典训练部分是在给定一系列图像样本X＝[x₁，x₂，…，x_n]的情况下，从样本中学习得到一组基D＝[d₁，d₂，…，d_n],即字典；训练的过程是一个重复迭代的过程，目标函数为

${\min }_{\mathrm{\α},D}\left|\right|x_i-{\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i{d}_i|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_1---\left(3\right)$

通过交替更改α和D使得目标函数最小；每次迭代分为两个步骤：1)固定字典d_i，i＝1，2，..，n，调整系数α.使目标函数最小，即求解Lasso问题；2)固定系数α_i，i＝1，2，…，n，调整D,使目标函数最小,即求解凸QP问题；两个步骤交替执行直至收敛，此时得到的字典D即可以良好表达样本信号的一组基；编码部分就是给定新的图像Y，由上部分训练得到的字典D，通过求解Lasso问题获得稀疏向量α，该向量即输入图像Y的稀疏表达；通过y≈Dα重建目标图像；目前常用的字典训练算法有MOD算法和KSVD算法；

其特征在于：

一个普通的稀疏表示优化求解问题可由如下公式表示：

${\min }_x\left|\right|Y-Dx|{|}_2^2+\mathrm{\λ}|\left|x\right|{|}_1---\left(4\right)$

Y代表输入图像，D为字典，x是待求解的稀疏系数，λ为平衡求解精度与稀疏度之间关系的参数；考虑图像Y由深度和彩色两部分组成，即其中Y₁表示深度部分，Y₂表示彩色部分，优化表达式可写成如下形式：

${\min }_x\left|\right|\left[\begin{array}{c}{Y}_1\\ Y_2\end{array}\right]-\left[\begin{array}{c}{D}_1\\ D_2\end{array}\right]x|{|}_2+\mathrm{\λ}|\left|x\right|{|}_1---\left(5\right)$

上述表达式可转化成如下形式来表示：

${\min }_x\left|\right|Y_1-D_{1}x|{|}_2^2+||Y_2-D_{2}x|{|}_2^2+\mathrm{\λ}\left|\right|x|{|}_1---\left(6\right)$

该问题可分解成两个子问题进行求解：

${\min }_x\left|\right|Y_1-D_{1}x|{|}_2^2+{\mathrm{\λ}}_1|\left|x\right|{|}_2^2---\left(7\right)$

${\min }_x\left|\right|Y_2-D_{2}x|{|}_2^2+{\mathrm{\λ}}_2|\left|x\right|{|}_2^2---\left(8\right)$

同一场景所拍摄的深度图像中，同一平面的点具有相同的深度信息，在对应的彩色图像中，同一平面的点则可以包含不同的彩色信息；根据深度图像的特点，场景中同一平面上的点具有相同的深度信息，则可知该深度图像中只需要少量的深度信息即可表示该图像所包含的的信息；基于这样的经验观测，假设在同一场景拍摄的深度图像和彩色图像中，同一个深度信息可对应多个不同的彩色信息，即深度信息和彩色信息之间存在一对多的关系；

需要说明的是，此对应关系并不是线性关系而是逻辑对应关系，旨在利用深度图像本身存在的具有大片深度值相同的区域的特点，找到对应彩色图中该区域所存在色彩值的差异；利用彩色图像中更加丰富的信息，在训练过程中增加深度字典更新的准确程度；

基于上述假设，分别代表对应的深度和彩色图像样本，a和b分别代表Y₁和Y₂的样本列，则a和b两者之间对的逻辑对应关系可以由如下矩阵来表示：

$Y_i=\left[\begin{array}{c}{Y}_{1i}\\ Y_{2i}\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\ω}}_j{a}_i& {\mathrm{\ω}}_{j+1}{a}_i& ...& {\mathrm{\ω}}_{m_i}{a}_i\\ b_j& b_{j+1}& ...& b_{m_i}\end{array}\right],i,j=1,...,n$

其中a为深度信息，b为彩色图像中对应位置的彩色信息,ω为平衡参数,m_i是整体样本中的一组样本，1≤m_i≤n；令则引入参数u_i，令u＝[u₁ u₂ … u_n]^T则(7)(8)可表示成如下形式：

${\min }_u\left|\right|Y_1-D_{1}u|{|}_2^2+{\mathrm{\λ}}_1|\left|u\right|{|}_2^2---\left(9\right)$

${\min }_x\left|\right|X_2-D_{2}x|{|}_2^2+{\mathrm{\λ}}_2|\left|x\right|{|}_2^2---\left(10\right)$

u和x之间的对应关系可用矩阵Ω来表达，即u＝Ωx；通过探究得到关系矩阵Ω之后，系数u便可根据公式(10)的稀疏解得到；通过交替求解(9)(10)，并更新字典D₁和D₂，将最终训练完成的字典D₁和D₂进行组合，得到结构字典D。

2.根据权利要求1所述的一种基于结构字典的稀疏表示深度图重建算法，其特征在于：探究对应深度和彩色图像逻辑对应关系矩阵Ω，具体包括：

1)对对应深度和彩色图像进行采样

利用普通采样算法对对应深度图像Y₁和彩色图像Y₂分别进行采样，得到深度样本X₁，彩色样本X₂；

2)对深度样本进行聚类

由于本发明将深度和彩色图像作为整体进行考虑，在采样完成后将深度和彩色样本进行组合得到整体样本X，即根据深度图像的特点，场景中同一平面上的点具有相同的深度信息，则可知该在样本中只需要少量的深度信息即可抽取该图像的特征；因此根据整体样本中的深度信息，利用普通聚类算法(如K-Means算法)对整体样本X进行聚类操作，即聚类过程中计算每个样本列到聚类中心的距离是只考虑深度样本部分，彩色样本部分只做对应的调整，保持与原始深度样本的位置一致而不参与任何有关聚类的计算；聚类完成后得到深度样本和彩色样本以及每类样本的数目n_i，i＝1，2，…，m，m为类的数目；

3)对每类彩色样本进行第二次聚类

利用普通聚类算法对上一步骤操作完成的彩色样本每类彩色样本 进行聚类；得到第i类的聚类中心p_i为第i类聚类所得到类的数目，其中每类的样本列的数目为q_j，j＝1，2，…，p_i；

4)根据彩色样本每类内部的分类数目计算对应关系矩阵Ω

聚类完成之后的每类彩色样本的聚类中心，即彩色图对应的深度图提取的深度信息所对应的彩色信息；由于同一深度信息对应多种彩色信息，并且每类彩色信息与深度信息的逻辑对应关系有强弱之分，因此采用系数β来描述不同彩色信息之间的比重；本发明中采用加权值的方法来构造关系矩阵Ω；根据彩色样本每一类中的样本列的数目计算其加权值，确定其与深度信息之间逻辑关系的比重；其中第类彩色样本中第k子类的加权值为：h是参数，根据经验值设定；根据加权值，则可得到第i类的参数 总体的关系矩阵为

3.根据权利要求1所述的一种基于结构字典的深度图重建算法，其特征在于：基于结构字典的稀疏表示深度图重建实施具体包括，

1)利用普通稀疏求解算法求得彩色样本的稀疏系数y

利用OMP算法进行系数求解，得到稀疏系数y:y＝argmin_y||y||₁，s.t.D₂y＝X₂；

2)根据对应关系矩阵Ω求出对应深度样本的稀疏系数u

由假设可知u＝Ωx，根据该公式求得深度样本的系数系数u；

3)利用普通字典更新算法根据系数y和u分别更新彩色字典D₂和深度字典D₁

4)对步骤1)-3)重复迭代直至收敛，得到训练完成的D₁,D₂，将其组合得到结构字典D即先求得彩色稀疏系数y，根据y与u的关系矩阵Ω求得深度系数u，根据y和u分别更新彩色和深度字典D₂,D₁，利用更新完成后的字典再进行下一次迭代的稀疏求解；直至优化问题收敛；“深度-彩色”结构字典D即将深度字典D₁和彩色字典D₂进行逻辑对应，

5)通过训练得到的字典D重建目标深度图像Y₁和彩色图像Y₂，包括稀疏求解和重建两部分；利用OMP算法进行系数求解，得到稀疏系数α:在结合信号的稀疏表达，重建出原始深度图像和彩色图像；也可利用OMP算法分别求解深度和彩色的稀疏系数y和u:,结合稀疏表达重建出原始深度图像和彩色图像。