CN110443754B - 一种数字图像分辨率提升的方法 - Google Patents
一种数字图像分辨率提升的方法 Download PDFInfo
- Publication number
- CN110443754B CN110443754B CN201910720980.5A CN201910720980A CN110443754B CN 110443754 B CN110443754 B CN 110443754B CN 201910720980 A CN201910720980 A CN 201910720980A CN 110443754 B CN110443754 B CN 110443754B
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- block
- resolution
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000000295 complement effect Effects 0.000 claims description 17
- 238000002156 mixing Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008929 regeneration Effects 0.000 claims description 3
- 238000011069 regeneration method Methods 0.000 claims description 3
- 230000000153 supplemental effect Effects 0.000 claims 3
- 230000001360 synchronised effect Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000001914 filtration Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开了一种数字图像分辨率提升的方法，涉及数字图像处理技术领域，本发明首先将输入的原始图像进行插值处理，然后对插值处理图像进行四组采样，形成四个可相互拼贴形成插值图像的四个采样矩阵，之后构成四个采样矩阵对应的低分辨率图像，在原始对象对应的低分辨率图像中选取任一块为处理块，并在其它三个低分辨率图像中选取与其相似的块集并计算块集对应的稀疏性表达系数，然后形成三个与处理块对应的相似块，并对相似块与处理块进行拼贴，形成目标块，对低分辨率图像中的每个块均进行上述操作，最终形成目标图像；本发明提供的方法原理简单，易实现，有助于提升数字视频分辨率。
Description
技术领域
本发明涉及视频图像增强领域，尤其涉及一种通过插值的方式提升视频图像分辨率的新方法。
背景技术
图像是人类获得信息的主要来源，据统计，人类从外界获取信息的75％来自于视觉。随着数字移动通信和计算机技术的发展，远程教育、在线点播、远程医疗、多人在线视频会议等各类新兴应用层出不穷，为人们的工作和生活提供了极大的便捷，促进了生产力发展和社会进步。与此同时，人们对数字视频图像的质量也提出了越来越高的要求，清晰度从标清到高清再到超高清，分辨率从480p到720p再到目前流行的1080p和2160p(4K)以及未来的4320p(8K)。一方面，这种清晰度和分辨率的提高能够顺应终端用户需求，展现更多的图像细节和提供更好的视觉质量；另一方面，高分辨率视频在还原更多精细内容的同时，也为整个视频内容的生产和消费生态链增加了成本负担：图像采集端更昂贵的成像、采集及存储设备，媒体创作端用于视频编辑和创意的额外的计算资源，通信网络所面临的更大的数据传输压力及时延等，这些均成为制约视频图像分辨率进一步增长的因素。为了解决上述问题，目前常用的做法是使用图像后处理的方法，在用户终端以插值的方式对低分辨率图像进行超分辨率重建，从而达到增强分辨率、提高清晰度的目的。这种基于软件的方案不改变现有图像的采集和传输***硬件框架，不增加硬件成本，因此在视频通话、虚拟现实、增强现实、视频游戏和标清视频的高清化重制等方面拥有广泛的应用价值。目前主要采用的方法有三类：一是利用最邻近或双线性/双立方插值法，以拟合的方式对采样网格内的像素进行简单估算；二是综合考虑图像的边缘结构特点和视频帧间及帧内的冗余信息，以自适应视频滤波的方式进行基于边缘保护的分辨率增强；三是基于学习的方式，使用一个充分受训的深度神经网络作为估计器，对输入的低分辨率图像进行超分辨率复原。总体看来，上述三类方案均存在局限性，主要体现在计算量大、对具有复杂结构和丰富纹理的视频图像进行插值时精度不高，主观视觉质量较差等问题。
与本发明相关的现有技术1：
双立方插值法
双立方插值法是目前最广泛使用的图像分辨率增强方法，其基本原理是使用内插的方式，根据待恢复像素周围的八个已知像素，由一个简单的局部三次多项式方程对未知像素进行估计，从而获得分辨率增强后的输出图像。该方法实现简单、速度快，对图像低频平坦区域的处理效果较好。
现有技术1的缺点
双立方插值法所依赖的是一个过度简化的分段光滑图像模型，该模型没有考虑自然图像中的局部边缘结构和纹理特征，因此往往在图像的高频区域导致较为严重的过度平滑现象，所产生的输出图像在物体边缘及纹理部分存在严重的锯齿和模糊效应，视觉质量较差。
现有技术2：
自适应视频滤波法
自适应视频滤波方法综合考虑了图像的边缘结构特点和视频帧间及帧内的时空冗余信息，通过构造符合图像模型的优化方程，对低分辨率图像中的结构进行人为拟合与增强，实现对高分辨率目标图像的估计。该方法能够对物体的边缘轮廓进行保护，抑制锯齿和模糊效应，因此能够得到比双立方插值方法更好的视觉质量。
现有技术2的缺点
为了合理地对图像的边缘和纹理进行复原，自适应视频滤波法往往需要精确的边缘定位和分类信息作为指导。当图像内容复杂或有噪声干扰时，输出结果容易因边缘分类和定位的误差而引入虚假的插值结构，产生明显的人工痕迹。另外该方法往往涉及到大量高维度非凸优化方程的求解和复杂的滤波操作，计算量较大，难以实时化应用。
现有技术3：
深度学习方法
基于深度学习的超分辨率重建方法本质上是一种有监督训练的非线性回归方法，该方法首先对一组高、低分辨率图像对进行特征分解，然后以此作为样本对神经网络进行训练，建立输入图像与高分辨率目标输出之间的关系。基于深度学习的方法插值速度快，效果好，相对于传统的双立方插值和自适应视频滤波方法可以取得最好的输出图像质量，具有较大的应用潜力。
现有技术3的缺点
为了取得较好的泛化性能，用于增强视频图像分辨率的深度网络往往需要大量的样本进行训练。由于网络中的参数数量巨大，因此所需的样本规模也是海量的，并且训练时间极长。以nVidia公司的深度学习超级采样(Deep Learning Super Sampling,DLSS)算法为例，其需要定期由位于公司总部的土星-V超级计算机(660个计算节点，每节点配置8个基于Volta核心的Tesla V100GPU，AI总峰值计算能力达660PFLOPS)根据用户提交的样本进行在线增量训练，然后以驱动程序的形式提供更新。除此之外，根据用户反馈和报导，DLSS只能在4K及以上的目标高分辨率下才具有较好的性能表现，不适用于低分辨率图像的增强。最后，基于深度学习方法的另一个重要困难在于其无法对插值算法的推理过程和依据做出明确的数学解释，难以对算法本质进行深入分析。
因此，如何解决上述技术问题，是现今急需解决的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种数字图像分辨率提升的方法，以解决现有技术中数字图像处理技术过于复杂的技术问题。
本发明是通过以下技术方案实现的：
本发明提供了一种数字图像分辨率提升的方法，该方法包括以下步骤：
步骤1、输入原始图像y
步骤2、对y进行插值处理，获得
步骤3、利用下式对
进行采样：
获得与
对应的四个低分辨率图像ya、yb、yc、yd，且
其中：ya＝y(3)
Ha、Hb、Hc、Hd分别为
对应的采样矩阵，u、v分别为
中的横、纵坐标，p、q分别为采样后对应的低分辨率图像的横、纵坐标；
步骤4、将ya、yb、yc、yd均分为多个图像块，其中，ya中任一图像块为fi，在yb、yc、yd中分别通过归一化内积法获得与fi相似的三个块集，三个块集当中每个块集均任意选取M个块并分别构成集，作为fi的三个相似集Φb、Φc、Φd，令Φs＝[fs1,fs2,...fsM]，且s＝b,c,d，令fb、fc、fd为fi的三个互补块；
且：
其中：αsj为s相似集中第j个块对应的稀疏表达系数，αs为s相似集整体对应的稀疏表达系数；
且：
γ为求解系数，α为变量
步骤5、将fi在
当中对应完整块替换为重生块
且：
步骤6、对每个fi对应的
进行步骤4和5，获得本次迭代的
步骤7、将步骤6获取的
返回步骤1作为新的原始图像进行步骤1-6，重复T次，获得分辨率提升的目标图像。
进一步，步骤2中采用双立方插值法进行插值。
进一步，当步骤1输入的为彩色图像时，首先将其分为亮度分量图像和色度分量图像，然后分别进行步骤1-7后，将获取两个的目标图像合并后变换为RGB获得最终目标彩色图像。
进一步，当输入的图像为连续帧的视频序列并选取当前帧的图像为处理图像时，选取与当前帧相邻的多帧图像作为补充帧，然后令当前帧和补充帧同步并分别作为原始图像进行步骤1-3，在进行步骤4时，当前帧和补充帧获取的相似集分别对应合并形成三个总的相似集，其余步骤不变。
进一步，所述补充帧具体为当前帧的前一帧和后一帧图像构成的。
进一步，所述补充帧具体为当前帧的前n帧连续帧图像构成的。
进一步，所述补充帧具体为当前帧的后n帧连续帧图像构成的。
进一步，所述γ＝1。
进一步，所述T＝4。
进一步，所述M＝12
本发明相比现有技术具有以下优点：本发明提供了一种数字图像分辨率提升的方法，利用视频图像中的空域自相似冗余结构和稀疏性先验，结合图像帧之间的时空冗余性质，由低分辨率互补图像块的残留信息对目标高分辨率图像中因采样而丢失的数据进行恢复，达到增强分辨率的目的。
附图说明
图1是实施例1中Fi和他的三个互补块Fa、Fb、Fc的示意图，其中四个图像块的左上角坐标分别位于四种不同的采样网格上，各采样网格以不同的灰度表示。
图2为实施例1中Yi和它的低分辨率互补块Ya、Yb和Yc以拼贴的方式精确重建示意图；
图3foreman视频序列分辨率增强结果示意图；其中(参考帧＝4)，(a)低分辨率帧#15、(b)低分辨率帧#23、(c)插值帧#15、(d)插值帧#23、(e)PSNR指标。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
为了更好的理解本发明，在本实施例中首先对本发明的原理进行介绍：
步骤1、首先输入一个
高分辨率图像F，进行下述操作
步骤2、定义2×2倍下采样网格
g＝{(U,V)V|U＝2P-1,V＝2Q-1}P,Q∈Z (A)
该网格用于对
进行采样，相应的低分辨率观测图像为Y＝hF，其中
为g对应的采样矩阵，U、V分别为F中的横、纵坐标，P、Q分别为采样后对应的低分辨率图像的横、纵坐标。类似地，定义关于g的另外三种互补采样网格
以及F在这些互补采样网格下的低分辨率图像haF、hbF和hcF。显然，原始的高分辨率图像F可以由四幅低分辨率图像haF、hbF、hcF和Y拼贴得到
F＝Y∪haF∪hbF∪hcF (C)
考虑左上角坐标位于g的高分辨率图像块
假设在图像中存在三个与Fi相同的块Fi＝Fa＝Fb＝Fc，并且Fa、Fb和Fc的左上角坐标分别位于ga、gb和gc内，则称Fa、Fb、Fc和Fi是互补的，由图1易知这些互补块存在如下关系
与(C)式类似，高分辨率图像块与低分辨率互补块之间同样存在拼贴关系
Fi＝Yi∪Ya∪Yb∪Yc＝Yi∪haFa∪hbFb∪hcFc (E)
上式意味着：对于低分辨率观测图像块Yi，其原始的高分辨率块Fi可以由Yi和它的低分辨率互补块Ya、Yb和Yc以拼贴的方式精确重建，如图2所示。
考虑到自然图像往往并不具备严格的自相似关系，因此局部拼贴关系所需的限定的条件往往过于严格。为了解决此问题，我们将Fi的互补块Fs(s＝a,b,c)作如下替换
其中:
下标s表明图像块的左上角坐标所属的采样网格,βsj为s采样网格中选取的第j个相似块，共选取M个块构成集合，πs＝[Fs1,Fs2,...FsM]，并称πs为s采样网格采样块对应的字典。
对于(F)式给出的表达模型，可以将Fa、Fb和Fc看成Fi在F中的三个虚拟的互补块。以Fa为例，由(E)式知Ya＝haFa用于恢复Fa在采样网格ga上的像素，为了保证Fa在ga位置上像素值的准确性，我们限定(F)式中πa的原子图像块的左上角坐标位于ga上。
在图像的稀疏性先验下，使用下列方程对式(F)中的表达系数求解
在上式中，为了能够更有效地对Fi进行表达，我们选取F中与Fi高度相似的图像块Fi作为原子，以自适应的方式构造相应的字典Φs，其中Fj与Fi的相似度由归一化内积进行度量。为了减少计算时间，可将字典原子的搜索限制在以Fi为中心、宽度为W的窗口内进行。将(G)式求得的稀疏解代回到(F)式，得到插值方程
Fi＝Yi∪haπaα′a∪haπbα′b∪haπcα′c (H)
在上述方程中，左端为待插值的原始高分辨率图像块Fi，右端第一项Yi为已知的低分辨率观测图像块，剩余的三项haπaα′a＝Ya、haπbα′b＝Yb和haπcα′c＝Yc为Yi的互补块。因为πa、πb和πc是未知的，为了使得插值方程能够被实际求解，我们考虑如下迭代求解策略：首先对低分辨率图像Y进行某种预插值算法(例如双立方插值)，得到F的一个近似估计
然后为
中的每个图像块
进行互补块的搜索并构造字典
利用(G)式计算
在
下的稀疏表达系数
再由(H)式得到高分辨率目标块的估计
当所有的图像块重建完成后，将更新后的高分辨率图像作为预插值图像，进行下一次迭代。由上述分析可知，在每次迭代中，每个图像块的处理步骤都是相同的，并且彼此之间完全独立，因此算法具有高度的并行化结构。
在本实施例中n＝8×8、M＝12、W＝40、γ＝1、迭代次数T＝4。
对于彩色图像，我们利用YUV色彩模型，分别对亮度分量和色度分量进行上述非局部块互补拼贴插值和传统的双立方插值，然后再将各分量的插值结果进行合并，最后变换回RGB空间，得到插值后的彩色图像。
最后，对于视频序列，考虑到绝大多数视频帧间场景的变化都是平缓的，所以相邻图像帧之间的差别很小。根据这一特点，我们在为目标图像块建立自适应字典时，综合使用该图像块所在的当前帧和前后相邻的若干个帧作为参考，对这些参考帧进行分块，然后按照上述单幅图像插值时采用的方式，从分块得到的候选原子集中根据归一化内积，选取与目标图像块相似的M个图像块构造字典。由于多幅图像构成的参考帧具有比单帧图像更大的时空冗余性，因此作为字典原的非局部邻居块目标块的相似度更好，(G)式得到的表达系数也更稀疏，最终获得插值性能也更优。
基于上述原理，在本实施例2中对上述方法进行整理，得出本发明主要步骤为：
实施例2
本发明提供的实施例：
一种数字图像分辨率提升的方法，该方法包括以下步骤：
步骤1、输入原始图像y
步骤2、对y进行插值处理，获得
步骤3、利用下式对
进行采样：
获得与
对应的四个低分辨率图像ya、yb、yc、yd，且
其中：ya＝y (3)
Ha、Hb、Hc、Hd分别为
对应的采样矩阵，u、v分别为
中的横、纵坐标，p、q分别为采样后对应的低分辨率图像的横、纵坐标；
步骤4、将ya、yb、ycy、d均均分为多个图像块，其中，ya中任一图像块为fi，在yb、yc、yd中分别通过归一化内积法获得与fi相似的三个块集，三个块集当中每个块集均任意选取M个块并分别构成集，作为fi的三个相似集Φb、Φc、Φd，令Φs＝[fs1,fs2,...fsM]，且s＝b,c,d，令fb、fc、fd为fi的三个互补块；
且：
其中：αsj为s相似集中第j个块对应的稀疏表达系数，αs为s相似集整体对应的稀疏表达系数；
且：
γ为求解系数，α为变量
步骤5、将fi在
当中对应的完整块替换为重生块
且：
步骤6、对每个fi对应的
进行步骤4和5，获得本次迭代的
步骤7、将步骤6获取的
返回步骤1作为新的原始图像进行步骤1-6，重复T次，获得分辨率提升的目标图像。
进一步，步骤2中采用双立方插值法进行插值。
进一步，当步骤1输入的为彩色图像时，首先将其分为亮度分量图像和色度分量图像，然后分别进行步骤1-7后，将获取两个的目标图像合并后变换为RGB获得最终目标彩色图像。
进一步，当输入的图像为连续帧的视频序列并选取当前帧的图像为处理图像时，选取与当前帧相邻的多帧图像作为补充帧，然后令当前帧和补充帧同步并分别作为原始图像进行步骤1-3，在进行步骤4时，当前帧和补充帧获取的相似集分别对应合并形成三个总的相似集，其余步骤不变。
进一步，所述补充帧具体为当前帧的前一帧和后一帧图像构成的。
进一步，所述补充帧具体为当前帧的前n帧连续帧图像构成的。
进一步，所述补充帧具体为当前帧的后n帧连续帧图像构成的。
实施例3
为验证本发明所提方法(实施例2所述方法)的有效性，且在本实施例中进一步，所述γ＝1，所述T＝4，所述M＝12。
作为演示，图3给出了上述方法对视频序列foreman和ice进行2×2倍分辨率增强后的结果：
由图3可知，图中(c)和(a)、(d)和(b)的对比可以看出，原始低分辨率图像在经过本发明所提方法进行分辨率增强后，边缘和纹理区域清晰锐利、细节丰富，平坦区域色彩过渡光滑自然，不存在锯齿效应，视觉效果明显提升，PSNR客观评价指标也有大幅提高。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数字图像分辨率提升的方法，该方法包括以下步骤：
步骤1、输入原始图像y
步骤2、对y进行插值处理，获得
步骤3、利用下式对
进行采样：
获得与
对应的四个低分辨率图像ya、yb、yc、yd，且
其中：ya＝y (3)
Ha、Hb、Hc、Hd分别为
对应的采样矩阵，u、v分别为
中的横、纵坐标，p、q分别为采样后对应的低分辨率图像的横、纵坐标；
步骤4、将ya、yb、yc、yd均分为多个图像块，其中，ya中任一图像块为fi，在yb、yc、yd中分别通过归一化内积法获得与fi相似的三个块集，三个块集当中每个块集均任意选取M个块并分别构成集，作为fi的三个相似集Φb、Φc、Φd，令Φs＝[fs1,fs2,...fsM]，且s＝b,c,d，令fb、fc、fd为fi的三个互补块；
且：
其中：αsj为s相似集中第j个块对应的稀疏表达系数，αs为s相似集整体对应的稀疏表达系数；
且：
γ为求解系数，α为变量
步骤5、将fi在
当中对应完整块替换为重生块
且：
步骤6、对每个fi对应的
进行步骤4和5，获得本次迭代的
步骤7、将步骤6获取的
返回步骤1作为新的原始图像进行步骤1-6，重复T次，获得分辨率提升的目标图像。
2.根据权利要求1所述的方法，其特征在于，步骤2中采用双立方插值法进行插值。
3.根据权利要求2所述的方法，其特征在于，当步骤1输入的为彩色图像时，首先将其分为亮度分量图像和色度分量图像，然后分别进行步骤1-7后，将获取两个的目标图像合并后变换为RGB获得最终目标彩色图像。
4.根据权利要求3所述的方法，其特征在于，当输入的图像为连续帧的视频序列并选取当前帧的图像为处理图像时，选取与当前帧相邻的多帧图像作为补充帧，然后令当前帧和补充帧同步并分别作为原始图像进行步骤1-3，在进行步骤4时，当前帧和补充帧获取的相似集分别对应合并形成三个总的相似集，其余步骤不变。
5.根据权利要求4所述的方法，其特征在于，所述补充帧具体为当前帧的前一帧和后一帧图像构成的。
6.根据权利要求4所述的方法，其特征在于，所述补充帧具体为当前帧的前n帧连续帧图像构成的。
7.根据权利要求4所述的方法，其特征在于，所述补充帧具体为当前帧的后n帧连续帧图像构成的。
8.根据权利要求1-7任一所述的方法，其特征在于，所述γ＝1。
9.根据权利要求8所述的方法，其特征在于，所述T＝4。
10.根据权利要求9所述的方法，其特征在于，所述M＝12。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910720980.5A CN110443754B (zh) | 2019-08-06 | 2019-08-06 | 一种数字图像分辨率提升的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910720980.5A CN110443754B (zh) | 2019-08-06 | 2019-08-06 | 一种数字图像分辨率提升的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110443754A CN110443754A (zh) | 2019-11-12 |
| CN110443754B true CN110443754B (zh) | 2022-09-13 |
Family
ID=68433363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910720980.5A Active CN110443754B (zh) | 2019-08-06 | 2019-08-06 | 一种数字图像分辨率提升的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110443754B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942425A (zh) * | 2019-11-26 | 2020-03-31 | 贵州师范学院 | 一种超分辨率图像的重构方法、重构***和电子设备 |
| CN111654723B (zh) * | 2020-05-14 | 2022-04-12 | 北京百度网讯科技有限公司 | 视频质量提升方法、装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
| CN108122262A (zh) * | 2016-11-28 | 2018-06-05 | 南京理工大学 | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 |
| WO2018120329A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
-
2019
- 2019-08-06 CN CN201910720980.5A patent/CN110443754B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
| CN108122262A (zh) * | 2016-11-28 | 2018-06-05 | 南京理工大学 | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 |
| WO2018120329A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 改进型字典学习的图像超分辨率重建;朱华生等;《南昌工程学院学报》;20150228(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110443754A (zh) | 2019-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jin et al. | A flexible deep CNN framework for image restoration | |
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| Kang et al. | Learning-based joint super-resolution and deblocking for a highly compressed image | |
| CN111260560B (zh) | 一种融合注意力机制的多帧视频超分辨率方法 | |
| CN112801877B (zh) | 一种视频帧的超分辨率重构方法 | |
| CN106127688B (zh) | 一种超分辨率图像重建方法及其*** | |
| CN110634147B (zh) | 基于双边引导上采样的图像抠图方法 | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| CN110443754B (zh) | 一种数字图像分辨率提升的方法 | |
| CN105513033A (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| Cui et al. | Color image restoration exploiting inter-channel correlation with a 3-stage CNN | |
| Liu et al. | Single image super-resolution using a deep encoder–decoder symmetrical network with iterative back projection | |
| Li et al. | Space–time super-resolution with patch group cuts prior | |
| CN115131229A (zh) | 图像降噪、滤波数据处理方法、装置和计算机设备 | |
| CN112150356A (zh) | 基于级联框架的单幅压缩图像超分辨率重建方法 | |
| Huang et al. | Image restoration from patch-based compressed sensing measurement | |
| CN111275620A (zh) | 一种基于Stacking集成学习的图像超分辨方法 | |
| Miao et al. | Snapshot compressive imaging using domain-factorized deep video prior | |
| Zhao et al. | Fast blind decontouring network | |
| Cao et al. | Super-resolution algorithm through neighbor embedding with new feature selection and example training | |
| Choi et al. | HiRN: Hierarchical recurrent neural network for video super-resolution (VSR) using two-stage feature evolution | |
| Zhao et al. | Rethinking deinterlacing for early interlaced videos | |
| CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 | |
| Chang et al. | A genetic algorithm approach to image sequence interpolation | |
| Li et al. | Super-resolution network with dynamic cleanup and temporal–spatial attention for compressed videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |