CN108985356A - 基于nmf的图像分解方法 - Google Patents

Abstract

本发明公开一种基于NMF的图像分解方法，步骤包括：S1：获取待分解的原始数据矩阵，并对获取的原始数据矩阵进行SVD分解，得到奇异值矩阵以及奇异向量矩阵；S2：使用奇异值矩阵、奇异向量矩阵分别对NMF分解中的基矩阵、系数矩阵进行初始化；S3：对初始化后的基矩阵、系数矩阵进行迭代更新，以将原始数据矩阵进行NMF分解，得到基图像与系数矩阵的乘积。本发明具有实现原理简单、分解效率高且分解效果好等优点。

Description

基于NMF的图像分解方法

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种基于NMF的图像分解方法。

背景技术

矩阵分解是将高维矩阵分解成若干个低维矩阵乘积的过程，通过分解成若干个低维矩阵的乘积，可以有效的对原有图像数据进行压缩，降低需要存储的数据量，并且可以对原有图像数据中隐藏的信息等进行提取，以便根据提取出的特征信息作进一步的处理，如特征提取、文本聚类等。

目前常用的矩阵分解算法包括LU分解、SVD(奇异值分解，Singular ValueDecomposition)分解以及主成分分析(PCA)等，但上述分解方法将原始矩阵A被近似分解成低维的UV的形式时，在分解得到的矩阵U和矩阵V中的元素可为正可为负，而在图像数据中，不可能存在有负值的像素点，因而不适用于图像处理当中。非负矩阵分解(NMF,Non-negative Matrix Factorizatioin)算法，是在矩阵分解过程中可以约束每个元素都非负，并且具有良好的降维、特征提取功能，能够更好的满足图像处理的需求。如图1所示，NMF算法将输入矩阵V分解成两个低维的矩阵W、H的乘积，在分解过程中约束W、H的任一元素都是非负，矩阵经过NMF分解后可实现降维功能，降低需要存储的数据量，并且在进行降维过程中，具有较好的特征提取能力。

为提高矩阵分解的特征提取的能力、对原始数据的描述能力以及降低计算复杂度等问题，最为关键的就在于矩阵分解的求解过程。NMF求解过程是通过定义合适的损失函数，将NMF的求解过程变为损失函数的优化问题，而由于损失函数是非凸的，因此极易求得局部最优解而不是全局最优解。目前应用于图像处理的NMF算法在求解过程中，通常都是按照一定方式调整原始矩阵的数据结构后，采取随机初始化的形式对分解矩阵进行初始化，再进行迭代更新实现分解，基于该类NMF分解方式实现图像处理存在以下问题：

(1)采用随机初始化方式会使得最终求得的结果极易落入局部最优解区域内，导致分解效果差，还会增加了下一步求解过程中的迭代次数，使得计算性能较低；

(2)需要破坏原始矩阵的数据结构，使得包括方向信息在内的多种数据特征被破坏，造成信息的丢失，不利于图像处理的最终效果。

中国专利申请CN104867124A公开一种基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法，其中涉及的图像数据NMF分解方法就是在对图像数据进行分解之前，首先将该矩阵进行了列向量化，再对分解矩阵使用0到1之间的随机初始化策略，列向量化处理会使得原来图像中隐藏于邻域数据中的方向信息被破坏，导致信息丢失，同时对分解矩阵使用随机初始化策略，导致最终所需的迭代次数达到1000次，严重降低了分解实现的性能。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现原理简单、分解效率高且分解效果好的基于NMF的图像分解方法。

为解决上述技术问题，本发明提出的技术方案为：

一种基于NMF的图像分解方法，步骤包括：

S1：获取目标图像的原始数据矩阵，并对获取的所述原始数据矩阵进行SVD分解，得到多个奇异值构成奇异值矩阵、以及对应各所述奇异值的奇异向量构成奇异向量矩阵；

S2：使用所述奇异值矩阵、奇异向量矩阵分别对NMF分解中的基矩阵、系数矩阵进行初始化；

S3：对初始后的所述基矩阵、系数矩阵进行迭代更新，以将所述原始数据矩阵进行NMF分解，得到基图像与所述系数矩阵的乘积。

作为本发明的进一步改进：所述步骤S2具体从所述奇异值矩阵中获取指定个数的奇异值，使用获取的各所述奇异值以及对应的所述奇异向量对所述基矩阵、系数矩阵进行初始化。

作为本发明的进一步改进：所述步骤S2具体从所述奇异值矩阵中获取前r个所述奇异值、以及对应的所述奇异向量对所述基矩阵、系数矩阵进行初始化，其中r满足：所述奇异值矩阵中前r个奇异值之和、与所有奇异值之和的比值小于第一预设阈值，以及前r+1个奇异值之和、与所有奇异值之和的比值大于第二预设阈值。

作为本发明的进一步改进：所述步骤S2中具体对基矩阵、系数矩阵进行初始化的表达式为：

其中，W₀为初始化后的基矩阵，H₀为初始化后的系数矩阵，U、V分别为所述奇异向量构成的矩阵，∑为奇异值矩阵，|U|表示对矩阵U取绝对值，V^T为矩阵V的转置，|V^T|表示对矩阵V^T取绝对值。

作为本发明的进一步改进：所述步骤S1中具体基于CUDA并行执行所述SVD分解。

作为本发明的进一步改进：所述步骤S3中基矩阵、系数矩阵具体采用下式进行迭代更新；

其中，W为所述基矩阵，H为所述系数矩阵，A为所述原始数据矩阵，H^T为矩阵H的转置，W^T为矩阵W的转置。

作为本发明的进一步改进：所述步骤S3中采用CUDA并行执行所述基矩阵、所述系数矩阵中每个列向量的迭代更新。

作为本发明的进一步改进：所述步骤S3中基矩阵、系数矩阵具体基于CUDA采用下式进行迭代更新；

其中，W为所述基矩阵，H为所述系数矩阵，A为所述原始数据矩阵，m为矩阵H的列维度，n为矩阵W的行维度。

与现有技术相比，本发明的优点在于：

1)本发明基于NMF的图像分解方法，通过对输入图像原始数据矩阵首先进行SVD分解，计算所有奇异值及其对应的所有奇异向量，提供给后续NMF分解的矩阵进行初始化，可以获得更优的全局最优解的效果，而且对于输入矩阵无需进行列向量化等任何数据结构的改变处理，不会破坏原始数据的数据结构，能够保留更多的细节信息、方向信息等，从而提高图像分解效果；

2)本发明基于NMF的图像分解方法，进一步从奇异值矩阵中获取指定个数的奇异值，使用获取的各奇异值以及对应的奇异向量对基矩阵、系数矩阵进行初始化，即初始化过程中仅选取指定个数的奇异值及其对应的奇异向量进行处理，并不需要全部的奇异值，大大减少了所需处理的数据，同时能够保证最终分解的精度；

3)本发明基于NMF的图像分解方法，进一步将SVD分解过程使用并行计算，能够提高SVD分解执行效率，消除SVD分解计算过程带来的计算量影响，从而提高整体图像分解的效率；

4)本发明基于NMF的图像分解方法，进一步采用CUDA并行执行NMF分解矩阵的迭代更新，将分解矩阵的每个列向量的迭代更新并行执行，以将大量的矩阵相乘以及数据不相关的迭代操作采用并行执行，可以进一步降低延时，极大的提高整体图像分解的效率。

附图说明

图1是NMF算法的分解原理示意图。

图2是本实施例基于NMF的图像分解方法的实现流程示意图。

图3是本发明具体实施例中基于NMF的图像分解方法的详细实现流程示意图。

图4是本发明具体实施例中NMF分解矩阵迭代更新的实现原理示意图。

图5是本实施例采用的CUDA平台编程层次模型的原理示意图。

图6是本发明具体实施例中不同NMF分解重构方式的重构结果对比示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图2、3所示，本实施例基于NMF的图像分解方法步骤包括：

S1：获取待分解图像的数据矩阵，并对获取的数据矩阵进行SVD分解，得到奇异值矩阵以及奇异向量矩阵。

由于NMF分解具有如下形式：

A_n×m＝W_n×rH_r×m (1)

其中A为原始数据矩阵，即待分解矩阵，W为基矩阵，H为系数矩阵。经过NMF分解，n×m的原始数据矩阵A被分解为n×r的基矩阵W与r×m的系数矩阵H的乘积。

SVD分解具有如下形式：

其中，A为原始数据矩阵，即待分解矩阵，U、V分别为奇异向量构成的矩阵，V^T为矩阵V的转置，∑为奇异值矩阵。

从SVD分解计算公式(2)可以看出，其计算结果的形式与NMF计算结果类似，均是若干个矩阵相乘的结果。本实施例基于SVD与NMF两种矩阵分解算法的相似特性，以及图像数据的非负性特性，建立SVD与NMF两种矩阵分解之间如式(3)所示的关系式：

其中W₀为基矩阵的初始值，H₀为系数矩阵的初始值，∑V^T为矩阵∑与矩阵V^T的乘积。

由式(3)可得，通过SVD分解得到的奇异向量矩阵U、V以及奇异值矩阵∑，可以获取得到NMF分解的初始基矩阵以及初始系数矩阵，即实现基矩阵W与系数矩阵H的初始化。

本实施例通过对输入图像原始数据矩阵引入SVD分解机制，计算所有奇异值及其对应的所有奇异向量，以提供给后续NMF分解的矩阵进行初始化，不仅可以获得更优的全局最优解的效果，而且对于输入矩阵无需进行列向量化等任何数据结构的改变处理，不会破坏原始数据的数据结构，能够保留更多的细节信息、方向信息等，提高图像分解效果。

由于在NMF分解前引入了SVD分解算法，SVD分解会增加计算量，而SVD分解的求解过程是一个不断迭代更新值的过程，包含大量可以并行计算的部分。本实施例通过将SVD分解过程使用并行计算，将SVD中可并行计算的部分通过并行执行，能够提高SVD分解执行效率，消除SVD分解计算过程带来的计算量影响，从而提高整体图像分解的效率。

在具体实施例中，具体使用CUDA平台并行执行SVD分解，以基于CUDA平台按照并行的方式完成SVD分解。基于CUDA实现SVD分解的并行执行，所需开发成本低，且执行效率高，可直接基于cuSolverDN函数库实现SVD分解的并行执行，进一步简化了SVD分解的实现。

S2：使用奇异值矩阵、奇异向量矩阵分别对NMF分解中的基矩阵、系数矩阵进行初始化。

NMF分解的效果，取决于以下两方面：①分解矩阵的初始化问题，初始化问题将直接影响最后的分解效果以及初始化后的迭代过程；②确定分解得到的分解矩阵的秩，不同秩得到的分解效果可能不同。

对于初始化问题，由于图像数据都是非负的以及NMF分解中需要约束W、H中的每个元素都是非负，则由步骤S1得到原图像矩阵的所有奇异值及其对应的所有奇异向量后，还需进行进一步处理以对NMF矩阵分解中的基矩阵W和系数矩阵H进行初始化，NMF分解的基矩阵W以及系数矩阵H最终的初始化公式为：

即由SVD分解的结果采用取绝对值的方式对NMF的分解矩阵进行初始化，初始化后后续还需执行迭代更新，因此该取绝对值并不会影响最终的分解效果。

对于分解矩阵的秩的问题，即确定基矩阵W、系数矩阵H的维数r，由SVD分解的性质可知，奇异值越大，其包含的原始矩阵中的能量信息也就越多，同时奇异值减少的特别快，如在很多情况下，前10％甚至1％的奇异值的和大于全部奇异值之和的90％，因而仅利用部分奇异值就可以近似描述矩阵。本实施例引入主成分分析(PCA)思想，具体从奇异值矩阵中获取指定个数的奇异值，如最大的若干个奇异值，使用获取的各奇异值以及对应的奇异向量对基矩阵、系数矩阵进行初始化，即初始化过程中仅选取指定个数的奇异值及其对应的奇异向量进行处理，并不需要全部的奇异值，大大减少了所需处理的数据，同时能够保证最终分解的精度。

在具体应用实施例中，从奇异值矩阵中取前r个奇异值对基矩阵、系数矩阵进行初始化，且满足r个奇异值之和、与所有奇异值之和的比值小于第一预设阈值(具体可取90％)，以及前r+1个奇异值之和、与奇异值之和的比值大于第二预设阈值(具体可取90％)，具体表达式为：

sum_r/sum_p<90％&&sum_r+1/sum_p≥90％ (5)

其中，p为SVD分解计算得到的奇异值的总个数，sumr为前r个奇异值的和，sump为所有奇异值的和。第一预设阈值、第二预设阈值的具体取值也可以根据实际需求设定为其他值。

在具体应用实施例中，SVD分解后，通过程序获取SVD分解得到的奇异值，按照上式(5)即可自动确定得到最优的分解秩数r的取值，能够进一步提高分解效果。由于仅需要少数的奇异值就可以满足式(5)的规则需求，实际实现时r值均较小，可以实现良好的降维功能。

S3：对基矩阵、系数矩阵进行迭代更新，以将待分解图像进行NMF分解为基图像与系数矩阵的乘积。

对基矩阵W、系数矩阵H进行初始化后进行迭代求解，以得到最优的分解效果。在具体应用实施例中，基矩阵W、系数矩阵H具体采用下式进行迭代更新：

其中，W为基矩阵，H为系数矩阵，A为原始数据矩阵，H^T为矩阵H的转置，W^T为矩阵W的转置，W_ik为矩阵W的第(i,k)个元素，H_kj为矩阵H的第(k,j)个元素。

按照迭代公式(6)不断对基矩阵W、系数矩阵H进行迭代更新，直至基矩阵W、系数矩阵H的乘积与原始数据矩阵A之间的误差小于预设阈值，即同时实现了矩阵的迭代更新，以及不断减小更新后的基矩阵W、系数矩阵H的乘积与原始数据矩阵A之间的误差，最终满足最大误差约束。

本实施例具体采用交替迭代更新方式，对基矩阵W、系数矩阵H进行迭代更新，如图4所示，以系数矩阵H的迭代过程为例，系数矩阵H由m个列向量构成，迭代过程以列向量为单元进行处理，每个列向量与基矩阵W在一个线程内进行相乘，然后与原始数据矩阵A进行相除，相除结果与基矩阵W的转置进行相乘，最后与前一次迭代得到的系数矩阵H的相对应的列向量进行相乘，即得到本次迭代后的结果。基矩阵W的迭代求解过程与上述系数矩阵H迭代求解原理一致。相比于传统的乘法迭代法以及投影梯度下降法等，本实施例上述交替迭代更新方式，计算复杂度低，易于实现并行加速，且收敛速度快、所需迭代次数少。

从上述可以看出，基矩阵W、系数矩阵H的迭代过程中存在大量的矩阵相乘以及数据不相关的迭代操作等，本实施例采用CUDA并行执行上述NMF分解矩阵的迭代更新，将大量的矩阵相乘以及数据不相关的迭代操作采用并行执行，可以进一步降低延时，直到分解后满足最大误差约束。

如图5所示为CUDA的编程层次模型，CUDA的编程层次模型由Grid、Block、Thread构成，存储包括全局内存、常量内存以及共享内存等，每一个线程都具有自己私有存储器，同时同一Block内具有Thread之间共享的共享内存，且对于该共享内存，其它Block内的线程都无法访问，同一个Grid内部具有所有线程都可以访问的全局内存。CUDA的上述硬件结构特点使得可以方便的根据程序操作数的特点进行并行程序设计，在CUDA内运行的功能函数即为Kernel函数，Kernel函数需要由主机(host)完成初始化，本实施例由CPU与GPU之间的配合共同实现上述SVD分解以及NMF分解矩阵的迭代更新。

如式(6)所示迭代公式是由矩阵相乘以及代数运算组成，则根据图4中所示的CUDA平台编程层次模型，矩阵相乘可以以并行的方式快速实现；同时分析迭代公式(6)可知，在两次迭代之间也可并行执行，如对矩阵W的更新过程中，后一次迭代产生的W的第t列只与低t-1次迭代得到的矩阵W的第t列有关，而与其它列向量不相关，本实施例基于该特性，通过多个线程并行的对每个列向量进行更新，即由CUDA并行执行基矩阵W、系数矩阵H中每个列向量的迭代更新，进一步提高图像分解的执行效率。传统的需要对原始矩阵进行列向量化方式，由于需要进行列向量化，无法基于列向量执行并行加速。采用上述并行方式时，并行的程度受W中列向量数的限制，r值的确定将直接影响整体分解性能，结合上述分解矩阵的秩r值的确定方式以及分解并行方式，则可以提高图像分解效率的同时，保证分解效果。

为符合上述对并行实现的要求，本实施例具有基于CUDA采用如下迭代公式进行迭代更新：

其中，m为矩阵H的列维度，n为矩阵W的行维度，为矩阵A_ijH_pj的第j列元素的和。

上述迭代公式(7)能够更适用于CUDA的硬件特点，因而可以获得更高的并行执行性能。

如图6所示，基于上面r值的选取规则相比于人为设定具有更好的分解效果，分解重构后矩阵的误差更小。

为验证本发明上述图像分解方法的有效性，分别使用传统的三种方式以及本发明上述图像分解方法对同一幅图像进行分解，并重构后对比重构结果，对比结果如图6所示，其中图(a)对应为采用随机方式初始化以及乘法迭代完成矩阵分解重构，r的取值为30，记为方法一；图(b)为首先将输入图像进行列向量化，然后利用SVD初始化最后用乘法迭代更新得到的重构结果，由于采用了列向量化处理，所以r值只能取1，记为方法二；图(c)为采用本发明上述图像分解方法分解重构后的重构结果，图(a)、(b)、(c)均是迭代100次后得到的结果；图(e)为输入待分解的图像。从图中可以看出，采用本发明图像分解方法进行重构后的重构图像效果明显优于图(a)、(b)所示的传统方式。

如图6所示，图(d)为采用与上述方法一相同的方法完成矩阵分解重构，不同在于分解矩阵的秩r的是依据经验取值为10，对比图(a)、(d)两幅图可看出，分解矩阵的秩r的取值对重构结果具有较大的影响，同时，采用本发明上述方式确定分解矩阵的秩r，相比于直接人为设定秩r，能够取得更好的重构效果。

采用式(8)分别计算上述各种方式的误差值，误差计算公式具体为：

其中||·||_F为矩阵的Frobenius范数。

各方式得到的误差大小如表1所示，其中方法一即为上述采用随机方式初始化以及乘法迭代完成矩阵分解重构的方式，方法二即为上述先将输入图像进行列向量化，然后利用SVD初始化最后用乘法迭代更新的方式，方法三即为本发明基于NMF的图像分解方法，方法四即为采用本发明基于NMF的图像分解方法，同时分解矩阵的秩r取10。

表1：误差大小对比表。

	方法一	方法二	方法三	方法四
					误差(err)	0.1617	0.3416	0.1125	0.1973

由表1可得，采用本发明上述图像分解方法，误差最小，分解效果明显优于传统的NMF分解方式。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (8)

1.一种基于NMF的图像分解方法，其特征在于，步骤包括：

S1：获取目标图像的原始数据矩阵，并对获取的所述原始数据矩阵进行SVD分解，得到多个奇异值构成奇异值矩阵、以及对应各所述奇异值的奇异向量构成奇异向量矩阵；

S2：使用所述奇异值矩阵、奇异向量矩阵分别对NMF分解中的基矩阵、系数矩阵进行初始化；

S3：对初始后的所述基矩阵、系数矩阵进行迭代更新，以将所述原始数据矩阵进行NMF分解，得到基图像与所述系数矩阵的乘积。

2.根据权利要求1所述的基于NMF的图像分解方法，其特征在于，所述步骤S2具体从所述奇异值矩阵中获取指定个数的奇异值，使用获取的各所述奇异值以及对应的所述奇异向量对所述基矩阵、系数矩阵进行初始化。

3.根据权利要求2所述的基于NMF的图像分解方法，其特征在于：所述步骤S2具体从所述奇异值矩阵中获取前r个所述奇异值、以及对应的所述奇异向量对所述基矩阵、系数矩阵进行初始化，其中r满足：所述奇异值矩阵中前r个奇异值之和、与所有奇异值之和的比值小于第一预设阈值，以及前r+1个奇异值之和、与所有奇异值之和的比值大于第二预设阈值。

4.根据权利要求1或2或3所述的基于NMF的图像分解方法，其特征在于：所述步骤S2中具体对基矩阵、系数矩阵进行初始化的表达式为：

其中，W₀为初始化后的基矩阵，H₀为初始化后的系数矩阵，U、V分别为所述奇异向量构成的矩阵，∑为奇异值矩阵，|U|表示对矩阵U取绝对值，V^T为矩阵V的转置，|V^T|表示对矩阵V^T取绝对值。

5.根据权利要求1或2或3所述的基于NMF的图像分解方法，其特征在于，所述步骤S1中具体基于CUDA并行执行所述SVD分解。

6.根据权利要求1或2或3所述的基于NMF的图像分解方法，其特征在于：所述步骤S3中基矩阵、系数矩阵具体采用下式进行迭代更新；

其中，W为所述基矩阵，H为所述系数矩阵，A为所述原始数据矩阵，H^T为矩阵H的转置，W^T为矩阵W的转置。

7.根据权利要求1或2或3所述的基于NMF的图像分解方法，其特征在于，所述步骤S3中采用CUDA并行执行所述基矩阵、所述系数矩阵中每个列向量的迭代更新。

8.根据权利要求7所述的基于NMF的图像分解方法，其特征在于，所述步骤S3中基矩阵、系数矩阵具体基于CUDA采用下式进行迭代更新；

其中，W为所述基矩阵，H为所述系数矩阵，A为所述原始数据矩阵，m为矩阵H的列维度，n为矩阵W的行维度。