CN105678699A - 基于测量域分块显著性检测的压缩感知图像重构方法 - Google Patents

Abstract

本发明公开了一种基于测量域分块显著性检测的压缩感知图像重构方法，主要解决现有技术在采样数不增加的情况下难以提高图像重构质量的问题。其实现步骤为：(1)将原图分为大小相同互不重叠的子块，用压缩感知的方法进行测量；(2)对子块测量值进行变换并判断，把子块划归为显著块或非显著块；(3)对显著块和非显著块分配不同采样率；(4)根据显著块和非显著块的采样率对图像进行二次测量，得到测量值矩阵；(5)从测量值矩阵中重构出显著块和非显著块，恢复出图像。本发明能在采样数大致相同的情况下有效提高重构图像的主观质量和信噪比，可用于图像编解码领域。

Description

基于测量域分块显著性检测的压缩感知图像重构方法

技术领域

本发明属于图像处理领域，特别涉及一种压缩感知图像重构方法，可用于图像编解码领域。

背景技术

近年来，随着数字信号处理的高速发展，人们需要处理的数据量越来越大，传统的奈奎斯特Nyquist采样定理要求信号的采样频率不低于信号最大频率的两倍，这对信号采集和处理设备提出了较高的要求，为了突破以奈奎斯特采样理论为支撑的信息获取、压缩处理并存储传输的传统信号处理方式，一种新型的将数据采集和数据压缩过程合二为一的压缩感知理论开始成为国内外研究的热点之一。

在图像处理领域中，显著图是一个很方便而且有用的工具。图像中每一个像素点在色彩，亮度，方向等方面与背景作对比生成一个显著值，所有显著值构成的一幅图称为显著图，它所表征的是人们在观看一幅图像时视觉焦点聚集的区域，故基于人类视觉特征的显著图特别适合处理自然图像。由于显著图是人类主观视觉的客观描述，因此对于图像的显著区域进行加工和修改可以大幅提高图像的主观质量。显著图在图像重构，图像要素提取，图像分类，物体检测方面都有广泛的应用。

传统的显著图生成算法有很多，比如P²CA、PCT、STB等。但这些算法都有一个共同的特点，即原始图像是分析的基础，算法建立在像素域。在不解码得到像素域图像的基础上是无法进行显著图生成和分析的。在压缩感知领域，图像的采集设备简单，复杂度集中于接收端，在接收端重构之前是不可能得到原始图像的，而重构则又要花费相当大的代价，所以基于像素域的显著图生成方法在压缩感知领域就没有了用武之地，因此现有显著图生成算法是无法结合压缩感知的。但另一方面，压缩感知结合显著图又是非常必要的，如果能在测量域分析出原图的显著区域，就可以在不解码的情况下对数据进行分析和加工，或者在同等条件下对采样数进行分类以得到更好的结果。例如在测量时对显著区域分配高采样系数，非显著区域分配低采样系数，这样重构图像就可以在采样代价不变的条件下获得更高的质量。由以上分析可知，基于测量域的显著性分析是非常有必要的。

传统的压缩感知图像在采样时对图像整体进行压缩测量，无论图像如何分块，都是对所有图像块分配统一的采样数和采样率，并不关心图像的显著性构成。这种做法目前看来是存在缺陷的。对于背景纹理等图像细节一视同仁使得要想提高图像质量需要提高全局采样率。全局采样率的提升造成编码端采样数增加，从而削弱了压缩感知编码端复杂度低的优势，提高了采样成本。与此同时，压缩感知复杂度集中于解码端的特点使得全局采样率的增加会大幅提高解码端的算法复杂度。因此传统方法中提高全局采样率以换取图像质量的做法对于编码端和解码端都是有负面影响的，并且采样数越高，负面影响也就越大。

发明内容

本发明的目的在于克服上述已有技术的缺点，提出一种基于测量域分块显著性检测的压缩感知图像重构方法，在不增加编码端总采样数和解码端算法复杂度的条件下，提高重构图像的主观质量和峰值信噪比，避免因提高图像质量而给编码端和解码端带来的负面影响。

实现本发明目的的技术方案是：将原始图像分块测量，在测量域上对测量矩阵进行变换和运算，求出对应原始图像块的属性，再根据不同属性的块二次分配不同的采样率进行采样和重构，以实现更高质量的图像重构，其具体步骤如下：

(1)将原始图像转换为灰度图并将灰度图分成n个大小相同，互不重叠的子块B_i，i＝1,2…n，对所有子块用原始采样率为M₀的相同测量矩阵进行测量，得到测量值矩阵f，其中n为大于1的自然数；

(2)检测n个子块的显著性：

2a)对测量值矩阵f依次进行离散余弦变换、求符号函数和逆离散余弦变换，得到测量值压缩矩阵f'，再对该测量值压缩矩阵f'中的每一个元素求平方得到平方增强矩阵f"；

2b)将平方增强矩阵f"的第i列均值与阈值1进行对比：如果该均值大于1，则子块B_i为显著块，否则，为非显著块，其中i＝1,2…n。

(3)设显著块采样率为：M₁＝M₀+0.1，非显著块采样率为：M₂＝M₀‐0.05，进行二次采样率分配，其中M₀是原始采样率；

(4)根据分块显著性检测和二次采样率分配进行二次测量：

4a)设a₁为M₁与单个子块像素点总数乘积的四舍五入，b₁为单个子块像素点总数，构造一个a₁行b₁列的显著块测量矩阵Φ₁，Φ₁的每一个元素都是计算机随机生成的满足高斯分布的随机数；

4b)设a₂为M₂与单个子块像素点总数乘积的四舍五入，b₂＝b₁，构造一个a₂行b₂列的非显著块测量矩阵Φ₂，Φ₂的每一个元素都是计算机随机生成的满足高斯分布的随机数；

4c)将检测出来的每一个显著块转置，按照各列顺次纵向拼接成一维列向量，再将各显著块拼接得到的一维列向量横向排列，组成图像的二维显著块像素矩阵X₁；

4d)将检测出来的每一个非显著块转置，按照各列顺次纵向拼接成一维列向量，再将所有非显著块拼接得到的一维列向量横向排列，组成图像的二维非显著块像素矩阵X₂；

4e)根据步骤4a)‐4d)的结果，得到显著测量值Y₁＝Φ₁·X₁和非显著测量值Y₂＝Φ₂·X₂；

(5)从显著测量值矩阵Y₁和非显著测量值矩阵Y₂中分别恢复出显著块和非显著块，组成重构图像。

本发明与现有技术相比，具有如下优点：

第一，本发明提出了由于建立了像素域显著区域与测量域显著区域的一一对应关系，克服了传统显著区域只能求解于像素域的技术缺陷，可在测量域完成对图像的显著性分析。

第二，本发明通过测量域显著性分析进行二次采样，即对显著块分配高采样率，对非显著块分配低采样率，可在采样数大致相同的情况下得到更高质量的图像。

附图说明

图1是本发明的实现流程图；

图2是用现有方法和本发明对lena.bmp图像进行显著块判断的实验结果图；

图3是用现有方法和本发明对lena.bmp图像进行重构的实验结果图；

图4是计算现有方法重构图像和本发明重构图像峰值信噪比时所用的实验图像。

具体实施方式

下面结合附图1、附图2和附图3对本发明作进一步的详细描述：

步骤1.对图像分块

将附图2(a)的lena.bmp灰度图像分成大小相同、互不重叠的1024个子块B_i，i＝1,2…1024，每个子块的大小为16×16，将每一个子块转置，每一个转置后的子块按照各列顺次纵向拼接成一维列向量，得到1024个列向量x_i。

步骤2.构造测量矩阵Φ

由步骤1得到单个子块的像素点总数为16×16＝256，选取原始采样率M₀＝0.7；

将M₀与单个子块像素点总数相乘，四舍五入得到数为0.7×256≈179；

将单个子块像素点总数256作为测量矩阵Φ的列数，将179作为测量矩阵Φ的行数，得出179行256列的测量矩阵Φ，其中测量矩阵Φ的每一个元素都是计算机随机生成的满足高斯分布的随机数。

步骤3.获取测量值矩阵f

把步骤2得到的测量矩阵Φ和步骤1得到的列向量x_i相乘得到测量值矩阵f的第i列，即f_i＝Φx_i，i＝1,2…1024，其中每一列有179个元素；

将所求的1024个列依次横向排列，组成179行1024列的测量值矩阵f。

步骤4.获取变换域矩阵F

对测量值矩阵f进行离散余弦变换，得到变换域矩阵F，其中第u行第v列的元素为：

式中，N为步骤3得到的测量值矩阵f的列数1024，M为测量值矩阵f的行数179，f(x,y)是测量值矩阵f中第x行y列对应的元素；x,u＝0,1,…M-1；y,v＝0,1…N-1；

步骤5.获取变换域压缩矩阵F'

对步骤4得到的变换域矩阵F中的每一个元素求符号函数，得变换域压缩矩阵F'，其中第u行v列的元素为：

步骤6.获取测量值压缩矩阵f'

对步骤5得到的变换域压缩矩阵F'进行逆离散余弦变换，得到测量值压缩矩阵f'，其中第x行第y列对应的元素为：

式中，M＝179，N＝1024。

步骤7.对步骤6得到的测量值压缩矩阵f'中的每一项元素平方，得到平方增强矩阵f"，其中平方增强矩阵f"规格与测量值矩阵f相同，为179行1024列。

步骤8.将子块划分为显著块或非显著块

将步骤7得到的平方增强矩阵f"的每一列向量的均值与1对比，如果平方增强矩阵f"的第i列均值大于1，则步骤1中的子块B_i为显著块，否则，为非显著块，其中i＝1,2…1024。

步骤9.构造图像的显著块像素矩阵X₁和非显著块像素矩阵X₂

9.2)将检测出来的每一个显著块转置，按照各列顺次纵向拼接成一维列向量，再将各显著块拼接得到的一维列向量横向排列，组成图像二维显著块像素矩阵X₁；

9.2)将检测出来的每一个非显著块转置，按照各列顺次纵向拼接成一维列向量，再将所有非显著块拼接得到的一维列向量横向排列，组成图像二维非显著块像素矩阵X₂。

步骤10.二次采样率分配

根据步骤2中原始采样率M₀，重新设置设置显著块采样率M₁和非显著块采样率M₂，即M₁＝M₀+0.1＝0.8，M₂＝M₀-0.05＝0.65。

步骤11.构造显著块测量矩阵Φ₁和非显著块测量矩阵Φ₂

11.1)将显著块采样率M₁与单个子块像素点总数256相乘，四舍五入得到0.8×256≈205；将205作为显著块测量矩阵Φ₁的行数，将单个子块像素点总数256作为显著块测量矩阵Φ₁的列数，得出205行256列的显著块测量矩阵Φ₁；

11.2)将非显著块采样率M₂与单个子块像素点总数256相乘，四舍五入得到0.65×256≈166；将166作为非显著块测量矩阵Φ₂的行数，将单个子块像素点总数256作为非显著块测量矩阵Φ₂的列数，得出166行256列的非显著块测量矩阵Φ₂；

上述测量矩阵Φ₁和非测量矩阵Φ₂的每一个元素，均通过计算机随机生成的满足高斯分布的随机数。

步骤12.获取显著测量值Y₁和非显著测量值Y₂

将显著块测量矩阵Φ₁与显著块像素矩阵X₁相乘，得到显著测量值矩阵Y₁＝Φ₁·X₁；

将非显著块测量矩阵Φ₂和非显著块像素矩阵X₂相乘，得到非显著测量值矩阵Y₂＝Φ₂·X₂。

步骤13.图像重构

利用压缩感知重构算法从显著测量值矩阵Y₁中恢复出显著块，如附图3(c)所示；从非显著测量值矩阵Y₂中恢复出非显著块，如附图3(d)所示；

将附图3(c)与附图3(d)的所示的图像块相加得重构图像，如附图3(b)所示。

所述压缩感知重构算法，是现有一种成熟的重构算法，其包括有匹配追踪算法、基追踪算法、稀疏贝叶斯算法等。本实施例采用是基追踪算法，见文献LiuHaixiao,SongBin,QinHao,QiuZhiliang,ADictionaryGenerationSchemeforBlock‐BasedCompressedVideoSensing,ProceedingsofICSPCC,Sep2011)。

本发明的效果可通过以下仿真进一步说明：

1.仿真条件：硬件环境：CPUIntel(R)Core(TM)i5-2410M,2GB内存；软件环境：Windows7，Matlab7.10.0(R2010a)；参考图像：lena.bmp，分辨率：512×512；

2.仿真内容

仿真1：设原始采样率M₀为0.7，将附图2(a)的lena.bmp图像按4×4的大小分块，用本发明判断对应4×4大小的显著块，结果如图2所示。其中：

附图2(a)是原始lena.bmp图像；

附图2(b)是现有方法生成的像素域显著图；

附图2(c)为本发明判断的4×4大小的显著块。

从附图2(c)和附图2(b)可以看出，经过测量域判断出来的显著块所在区域与传统像素域显著图的显著区域十分相似。就压缩感知领域而言，传统的附图2(b)是基于像素域得出的，计算代价很大，而基于本方法得到的附图2(c)所需要的计算代价很小。

仿真2：设初始采样率M₀为0.7，对附图2(a)的lena.bmp图像以16×16的大小分块，分别用现有方法和本发明方法得到重构图像，结果如图3所示。其中：

附图3(c)是用本发明重构出16×16的显著块；

附图3(d)是用本方明重构出的16×16的非显著块；

附图3(a)是用现有方法得到的重构图像；

附图3(b)是用本发明方法得到的重构图像。

从附图3(a)和附图3(b)可以看出，基于本发明的图像重构主观质量更好。同时，附图3(a)的测量域矩阵点数为183296个，附图3(b)的测量域矩阵点数为182620个。在采样数减少的情况下，基于本发明的附图3(b)不仅比附图3(a)拥有更好的主观质量，而且峰值信噪比还高出了1.5dB。充分说明了本发明所提出的算法不仅能很好的找出图像的显著区域，在图像重构方面也拥有更好的性能。

仿真3：设初始采样率M₀为0.8，对附图4所示的所有实验图像均以16×16的大小分块，其中：附图4(a)为baboon.jpg图像，附图4(b)为elaine.jpg图像，附图4(c)为peppers.jpg图像。针对各实验图像分别计算出现有方法重构图像的峰值信噪比和本发明重构图像的峰值信噪比，结果如表1所示。

表1

从表1可以看出，本发明与传统压缩感知图像重构技术相比，其重构图像的峰值信噪比PSNR提高了约1.5到3.9dB，图像质量大幅度提高了。由于本发明中关于显著性检测的算法是在测量域内完成的，因此对于重构***的复杂度增加很少，加之本方法相较传统方法在总体测量数方面是相等或者略有减少的，因此本发明提高了整个重构图像的客观质量。

上述仿真验证了本发明提出的基于测量域分块显著性检测的压缩感知图像采样方法可以完成测量域分块显著性分析并提高重构图像的重构质量。

Claims (5)

1.一种基于测量域分块显著性检测的压缩感知图像重构方法，包括步骤如下：

(1)将原始图像转换为灰度图并将灰度图分成n个大小相同，互不重叠的子块B_i，i＝1,2…n，对所有子块用原始采样率为M₀的相同测量矩阵进行测量，得到测量值矩阵f，其中n为大于1的自然数；

(2)检测n个子块的显著性：

2a)对测量值矩阵f依次进行离散余弦变换、求符号函数和逆离散余弦变换，得到测量值压缩矩阵f'，再对该测量值压缩矩阵f'中的每一个元素求平方得到平方增强矩阵f"；

2b)将平方增强矩阵f"的第i列均值与阈值1进行对比：如果该均值大于1，则子块B_i为显著块，否则，为非显著块，其中i＝1,2…n。

(3)设显著块采样率为：M₁＝M₀+0.1，非显著块采样率为：M₂＝M₀-0.05，进行二次采样率分配，其中M₀是原始采样率；

(4)根据分块显著性检测和二次采样率分配进行二次测量：

4a)设a₁为M₁与单个子块像素点总数乘积的四舍五入，b₁为单个子块像素点总数，构造一个a₁行b₁列的显著块测量矩阵Φ₁，Φ₁的每一个元素都是计算机随机生成的满足高斯分布的随机数；

4b)设a₂为M₂与单个子块像素点总数乘积的四舍五入，b₂＝b₁，构造一个a₂行b₂列的非显著块测量矩阵Φ₂，Φ₂的每一个元素都是计算机随机生成的满足高斯分布的随机数；

4c)将检测出来的每一个显著块转置，按照各列顺次纵向拼接成一维列向量，再将各显著块拼接得到的一维列向量横向排列，组成图像的二维显著块像素矩阵X₁；

4d)将检测出来的每一个非显著块转置，按照各列顺次纵向拼接成一维列向量，再将所有非显著块拼接得到的一维列向量横向排列组成图像的二维非显著块像素矩阵X₂；

4e)根据步骤4a)-4d)的结果，得到显著测量值Y₁＝Φ₁·X₁和非显著测量值Y₂＝Φ₂·X₂；

(5)从显著测量值矩阵Y₁和非显著测量值矩阵Y₂中分别恢复出图像的显著块和非显著块，组成重构图像。

2.根据权利要求1所述的方法，其中所述步骤(1)中对所有子块用原始采样率为M₀的相同的测量矩阵进行测量，通过如下步骤进行：

2a)设a为M₀与单个子块像素点总数的乘积取整，b为单个子块像素点总数，构造一个a行b列的测量矩阵Φ，Φ的每一个元素都是计算机随机生成的满足高斯分布的随机数；

2b)将i个子块转置，按照各列顺次纵向拼接成一维列向量，记为x_i，i＝1,2,...n，n是子块的总个数；

2c)根据2a)和2b)的结果，得到测量值矩阵f的第i列，即f_i＝Φx_i。

3.根据权利要求1所述的方法，其中所述步骤2a)的离散余弦变换，其公式如下：

$F(u,v)=c\left(u\right)c\left(v\right)\frac{2}{\sqrt{MN}}\underset{x=0}{\overset{M-1}{\Σ}}\underset{y=0}{\overset{N-1}{\Σ}}f(x,y)cos\left(\frac{2x+1}{2M}u\mathrm{\π}\right)cos\left(\frac{2y+1}{2N}v\mathrm{\π}\right)$

其中f(x,y)是测量值矩阵f中第x行y列对应的元素；F(u,v)是变换域矩阵F中第u行v列的元素；x,u＝0,1…M-1；y,v＝0,1…N-1；N为测量值矩阵f的列数；M为测量值矩阵f的行数；

4.根据权利要求1所述的方法，其中所述步骤2a)的符号函数，其公式如下：

$F^{\&prime;}(u,v)=\left\{\begin{array}{cc}1& F(u,v)>0\\ 0& F(u,v)=0\\ -1& F(u,v)<0\end{array}\right.,$

其中F'(u,v)是变换域压缩矩阵F'中第u行v列的元素，F(u,v)是变换域矩阵F中第u行v列的元素。

5.根据权利要求1所述的方法，其中所述步骤2a)的逆离散余弦变换，其公式如下：

$f^{\&prime;}(x,y)=\frac{2}{\sqrt{MN}}\underset{u=0}{\overset{M-1}{\&Sigma;}}\underset{v=0}{\overset{N-1}{\&Sigma;}}c\left(u\right)c\left(v\right)F^{\&prime;}(u,v)cos\left(\frac{2x+1}{2M}u\mathrm{\&pi;}\right)cos\left(\frac{2y+1}{2N}v\mathrm{\&pi;}\right)$

其中f'(x,y)是测量值压缩矩阵f'中第x行第y列对应的元素；F'(u,v)是变换域压缩矩阵F'中第u行v列的元素；x,u＝0,1…M-1；y,v＝0,1…N-1；N为测量值矩阵f的列数；M为测量值矩阵f的行数；