CN107705271B - 一种基于混合样本和稀疏表示的图像超分辨率方法 - Google Patents
一种基于混合样本和稀疏表示的图像超分辨率方法 Download PDFInfo
- Publication number
- CN107705271B CN107705271B CN201711060969.8A CN201711060969A CN107705271B CN 107705271 B CN107705271 B CN 107705271B CN 201711060969 A CN201711060969 A CN 201711060969A CN 107705271 B CN107705271 B CN 107705271B
- Authority
- CN
- China
- Prior art keywords
- image
- samples
- dictionary
- sample
- mixed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
一种基于混合样本和稀疏表示的图像超分辨率方法,其步骤为:(1)利用输入图像构建图像金字塔,并从中提取内部样本;(2)从外部图像中提取外部样本;(3)将步骤(1)中的内部样本聚类,根据不同的类中心,选择步骤2)中与内部样本相似的外部样本并将其添加到各个类中,从而得到分类的混合样本。(4)采用K‑SVD字典训练方法,对步骤(3)中每一类混合样本进行训练,得到分类字典。(5)选择与每一个输入图像块最相似的字典,利用正交匹配追踪算法将每个输入图像块在与其最相似的字典上稀疏表示,得到的稀疏系数用于重建,得到高分图像。
Description
技术领域
本发明涉及图像超分辨率方法,更具体的是基于混合样本和稀疏表示的图像超分辨率方法。
背景技术
图像超分辨率是指利用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率图像转换成高分辨率图像的技术。它在视频监控、图像打印、刑侦分析、医学图像处理、卫星成像等领域有较广泛的应用。
目前,主流的图像超分辨率算法可分为基于外部样本的图像超分辨率算法和基于内部样本的图像超分辨率算法。基于外部样本的超分辨率算法利用大量的外部样本进行字典训练,由于外部样本包含丰富的特征,所以重建结果具有比较丰富的细节信息。但是大量的外部样本并不包含与低分输入图像完全相同的信息,所以重建结果的边缘会呈现明显的锯齿状。基于内部样本的超分辨率算法仅利用低分输入图像本身以及它的不同尺度图像产生训练样本,对于低分输入图像来说,此类样本虽具有很强的针对性,但是样本数量有限,缺少外部样本具有的丰富性,因此,此类方法经常导致重建效果失真。
发明内容
本发明的目的是提供一种结合上述两种方法的基于混合样本和稀疏表示的图像超分辨率方法。
本发明是一种基于混合样本和稀疏表示的图像超分辨率方法,其步骤为:
(1)利用输入图像构建图像金字塔,并从中提取内部样本;
(2)从外部图像中提取外部样本;
(3)将步骤(1)中的内部样本聚类,根据不同的类中心,选择步骤2)中与内部样本相似的外部样本并将其添加到各个类中,从而得到分类的混合样本。
(4)采用K-SVD字典训练方法,对步骤(3)中每一类混合样本进行训练,得到分类字典。
(5)选择与每一个输入图像块最相似的字典,利用正交匹配追踪算法将每个输入图像块在与其最相似的字典上稀疏表示,得到的稀疏系数用于重建,得到高分图像。
本发明的有益之处是:本算法通过自样本聚类并根据不同的类中心选择相应的外部样本,从而生成丰富且具有针对性的混合样本,使得训练的分类字典能够更准确地表达输入图像。重建时,计算每个输入图像块和不同类中心之间的距离,自适应地选择相应的分类字典并在所选择的字典上稀疏编码。本发明在有效减少了锯齿效应的同时,使得重建的高分变率图像边缘比较锐利,有效去除了视觉伪影,并保留了大量的细节信息,提高了重建图像的质量,具有非常重要的实际应用价值。
附图说明
图1为本发明的基于混合样本和稀疏表示的图像超分辨率方法示意图,图2-图11为不同的超分辨率方法的结果比较。
具体实施方式
本发明是一种基于混合样本和稀疏表示的图像超分辨率方法,其步骤为:
(1)利用输入图像构建图像金字塔,并从中提取内部样本;
(2)从外部图像中提取外部样本;
(3)将步骤(1)中的内部样本聚类,根据不同的类中心,选择步骤2)中与内部样本相似的外部样本并将其添加到各个类中,从而得到分类的混合样本。
(4)采用K-SVD字典训练方法,对步骤(3)中每一类混合样本进行训练,得到分类字典。
(5)选择与每一个输入图像块最相似的字典,利用正交匹配追踪算法将每个输入图像块在与其最相似的字典上稀疏表示,得到的稀疏系数用于重建,得到高分图像。
以上所述的步骤(1)利用图像金字塔的输入层和最高层提取内部样本,并采用最大重叠率进行提取。
以上所述的步骤(3)用内部样本类中心和外部样本之间的欧氏距离衡量其相似度。
以上所述的步骤(3)采用K-means算法进行聚类,聚类个数取为20。
以上所述的步骤(5)通过计算输入图像块与类中心的欧式距离选择字典。
以上所述的步骤(4)中分类字典的计算公式为:
其中,Dk是第k类子字典,Mk是第k类混合样本,Ak是Mk对应的稀疏系数。
图1为本发明的基于混合样本和稀疏表示的图像超分辨率方法示意图。输入为低分图像,输出为高分图像。如图1所示,本发明各部分具体实施步骤如下:
阶段1分别利用输入低分图像和外部图像生成内部样本和外部样本,再将二者结合得到混合样本。
混合样本生成的过程具体分为以下三步:
1)生成内部样本。利用低分图像xl(本步骤中用I0表示)像构建图像金字塔,In是图像金字塔中最高层,其尺寸是I0尺寸的s倍。将I0以放大倍数s进行双三次方(Bi-cubic)插值,得到I。从In和I的相对应位置中提取高低分样本块对,其中,低分样本块由四个高通滤波器 滤波。同时,对于高分图像块,减去其块均值,从而得到内部训练集
2)生成外部样本。给出若干高清晰图像,对其进行模糊和降采样操作,得到与之对应的低分辨率图像。为了降低计算复杂度,将所得低分辨率图像进行插值,使得所得到的图像与高分图像具有相同的尺寸,并将其作为最终的低分辨率图像。同步骤1),从高低分辨率图像中的相对应位置提取高低分样本块对,其中,低分样本块由四个高通滤波器滤波。同时,对于高分图像块,减去其块均值,从而得到外部训练集
3)混合样本选择。混合样本可由下式直观的表示
其中,表示c类混合样本。利用K-means算法将内部样本分为K类{C1,C2,...,CK},其中,每一类的类中心用uk表示,k=1,2,...K。由于内部样本的限制条件,仅利用内部样本作为训练样本是不充分的,因此,本发明向每一类内部样本中添加外部样本以丰富训练集。公式(3)是为每类内部样本选择相似外部样本的原则:
完成此步骤后,即得到K类具有不同模式的混合样本{M1,M2,...,MK}并将这些混合样本作为最终的训练集。
阶段2对每类混合样本进行训练。
利用K-SVD算法对每类混合样本进行训练得到k个分类字典,公式如下:
其中,Dk表示第k类子字典,Mk是第k类混合样本,Ak是相对于Mk的稀疏系数矩阵。
阶段3是对低分图像的重建。
其次,应用正交匹配追踪(OMP)算法对中每一个向量在其相应的字典上稀疏编码,得到稀疏系数Ak={qm},稀疏系数qm乘以相应的高分辨率字典得到高分辨率图像块,将所得高分辨率图像块放置图像中相应位置并将重叠块加权平均得到最终的高分图像。
本发明所提出的方法与现有的三种图像超分辨率方法进行了比较。图2、图7为是原始图像,图3、图8为使用双三次方插值(Bi-cubic)方法获得的图像,图4、图9是利用外部样本作为训练集的方法得到的结果图像,图5、图10是采用内部样本作为训练集的方法得到的结果,图6、图11为采用本发明超分辨率后获得的图像。可以看出本发明能较好地重建出高分图像,使得图像边缘更加清晰,细节更加丰富;但利用外部样本作为训练集的方法得到的图像边缘具有明显的锯齿状,另外,采用内部样本作为训练集的方法使得重建图像存在大量视觉伪影。
Claims (6)
1.一种基于混合样本和稀疏表示的图像超分辨率方法,其特征在于,其步骤为:
(1)利用输入图像构建图像金字塔,并从中提取内部样本;
(2)从外部图像中提取外部样本;
(3)将步骤(1)中的内部样本聚类,根据不同的类中心,选择步骤2)中与内部样本相似的外部样本并将其添加到各个类中,从而得到分类的混合样本。
(4)采用K-SVD字典训练方法,对步骤(3)中每一类混合样本进行训练,得到分类字典。
(5)选择与每一个输入图像块最相似的字典,利用正交匹配追踪算法将每个输入图像块在与其最相似的字典上稀疏表示,得到的稀疏系数用于重建,得到高分图像。
2.根据权利要求1所述的基于混合样本和稀疏表示的图像超分辨率方法,其特征在于,所述的步骤(1)利用图像金字塔的输入层和最高层提取内部样本,并采用最大重叠率进行提取。
3.根据权利要求1所述的基于混合样本和稀疏表示的图像超分辨率方法,其特征在于,所述的步骤(3)用内部样本类中心和外部样本之间的欧氏距离衡量其相似度。
4.根据权利要求1所述的基于混合样本和稀疏表示的图像超分辨率方法,其特征在于,所述的步骤(3)采用K-means算法进行聚类,聚类个数取为20。
5.根据权利要求1所述的基于混合样本和稀疏表示的图像超分辨率方法,其特征在于,所述的步骤(5)通过计算输入图像块与类中心的欧式距离选择字典。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711060969.8A CN107705271B (zh) | 2017-11-02 | 2017-11-02 | 一种基于混合样本和稀疏表示的图像超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711060969.8A CN107705271B (zh) | 2017-11-02 | 2017-11-02 | 一种基于混合样本和稀疏表示的图像超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107705271A CN107705271A (zh) | 2018-02-16 |
CN107705271B true CN107705271B (zh) | 2021-04-02 |
Family
ID=61177549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711060969.8A Active CN107705271B (zh) | 2017-11-02 | 2017-11-02 | 一种基于混合样本和稀疏表示的图像超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107705271B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101556690A (zh) * | 2009-05-14 | 2009-10-14 | 复旦大学 | 基于词典学习和稀疏表示的超分辨率算法 |
CN103366347A (zh) * | 2013-07-16 | 2013-10-23 | 苏州新视线文化科技发展有限公司 | 基于稀疏表示的图像超分辨率重建方法 |
CN104103052A (zh) * | 2013-04-11 | 2014-10-15 | 北京大学 | 一种基于稀疏表示的图像超分辨率重建方法 |
CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
-
2017
- 2017-11-02 CN CN201711060969.8A patent/CN107705271B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101556690A (zh) * | 2009-05-14 | 2009-10-14 | 复旦大学 | 基于词典学习和稀疏表示的超分辨率算法 |
CN104103052A (zh) * | 2013-04-11 | 2014-10-15 | 北京大学 | 一种基于稀疏表示的图像超分辨率重建方法 |
CN103366347A (zh) * | 2013-07-16 | 2013-10-23 | 苏州新视线文化科技发展有限公司 | 基于稀疏表示的图像超分辨率重建方法 |
CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
Non-Patent Citations (3)
Title |
---|
Exploiting self-similarities for single frame super-resolution;Yang C Y;《Asian Conference on Computer Vision》;20101231;论文第4-5章 * |
基于双字典学习的图像及视频超分辨重建;季佩媛;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140115;论文第3章 * |
基于稀疏表示的图像超分辨率重建算法研究;贾云霞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315;论文全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN107705271A (zh) | 2018-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Anwar et al. | Densely residual laplacian super-resolution | |
Fang et al. | Soft-edge assisted network for single image super-resolution | |
CN110033410B (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
Suryanarayana et al. | Accurate magnetic resonance image super-resolution using deep networks and Gaussian filtering in the stationary wavelet domain | |
CN108537733B (zh) | 基于多路径深度卷积神经网络的超分辨率重建方法 | |
CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
CN103279933B (zh) | 一种基于双层模型的单幅图像超分辨率重建方法 | |
CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
CN107590775B (zh) | 一种利用回归树场的图像超分辨率放大方法 | |
CN109035146A (zh) | 一种基于深度学习的低质量图像超分方法 | |
Fan et al. | Compressed multi-scale feature fusion network for single image super-resolution | |
Guo et al. | Multiscale semilocal interpolation with antialiasing | |
Gu et al. | Deep generative adversarial networks for thin-section infant MR image reconstruction | |
CN105654425A (zh) | 一种应用于医学x光图像的单幅图像超分辨率重建方法 | |
Thawakar et al. | Image and video super resolution using recurrent generative adversarial network | |
Yang et al. | An effective and comprehensive image super resolution algorithm combined with a novel convolutional neural network and wavelet transform | |
CN108492252A (zh) | 基于二次重建的人脸图像超分辨率重建方法 | |
Sui et al. | GCRDN: Global context-driven residual dense network for remote sensing image superresolution | |
Thakur et al. | Gradient and multi scale feature inspired deep blind gaussian denoiser | |
Rashid et al. | Single MR image super-resolution using generative adversarial network | |
CN110288529A (zh) | 一种基于递归局部合成网络的单幅图像超分辨率重建方法 | |
CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
CN109272450A (zh) | 一种基于卷积神经网络的图像超分方法 | |
CN107705271B (zh) | 一种基于混合样本和稀疏表示的图像超分辨率方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |