CN107977929A - 图像超分辨率处理方法和装置 - Google Patents
图像超分辨率处理方法和装置 Download PDFInfo
- Publication number
- CN107977929A CN107977929A CN201610920030.3A CN201610920030A CN107977929A CN 107977929 A CN107977929 A CN 107977929A CN 201610920030 A CN201610920030 A CN 201610920030A CN 107977929 A CN107977929 A CN 107977929A
- Authority
- CN
- China
- Prior art keywords
- dictionary
- resolution
- piecemeal
- block
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000010276 construction Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开一种图像超分辨率处理方法和装置。该方法包括：根据低分辨率图像和对应的高分辨率图像构建多个字典；自适应选择与输入图像相对应的字典；采用自适应选择的字典对输入图像进行超分辨率处理。本发明通过把传统的单一字典按照不同场景和不同分块大小划分为了多个字典，从而大大提高了重构的准确性，提高了图像超分辨率处理的效果。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种图像超分辨率处理方法和装置。
背景技术
目前的4K图像超分辨率技术有三种，一是运用特定的内插方法来实现图像的超分辨率处理，二是运用稀疏编码的方法，通过研究图像的高分辨率细节在低分辨率下的表现形式来训练字典，构建出图像的超分辨率处理模型，三是运用CNN的方法，通过大量的高分辨率图像和低分辨率图像来学习出图像的超分辨率处理模型。
运用内插的方法虽然处理速度较快，但效果不佳，运用稀疏编码的方法效果比内插的方法好，但需要提前进行训练，CNN(Convolution Neural Network,卷积神经网络)的方法效果比前两种都好，但需要提前用大量的数据进行训练，且训练的时间较长。
发明内容
鉴于以上技术问题，本发明提供了一种图像超分辨率处理方法和装置，可以将图像按照不同分块大小、不同场景进行超分辨率处理，从而大大提高了重构的准确性。
根据本发明的一个方面，提供一种图像超分辨率处理方法，包括：
根据低分辨率图像和对应的高分辨率图像构建多个字典；
自适应选择与输入图像相对应的字典；
采用自适应选择的字典对输入图像进行超分辨率处理。
在本发明的一个实施例中，所述根据低分辨率图像和对应的高分辨率图像构建多个字典包括：
使用多组低分辨率图像块和对应的高分辨率图像细节块构建多个字典；
针对每一字典，通过低分辨率块的像素信息进行聚类，得到若干个子字典。
在本发明的一个实施例中，所述使用多组低分辨率图像块和对应的高分辨率图像细节块构建多个字典包括：
将低分辨率图像进行场景分类；
将每一低分辨率图像按照不同分块大小进行分块；
确定每一低分辨率图像块对应的高分辨率细节块；
将同一场景和同一分块大小的所有低分辨率图像块和对应的高分辨率细节块构成一个字典。
在本发明的一个实施例中，所述确定每一低分辨率图像块对应的高分辨率细节块包括：
确定每一低分辨率图像块对应的高分辨率图像块；
将高分辨率图像块与低分辨率图像块的插值图像块做差得到高分辨率细节块。
在本发明的一个实施例中，所述自适应选择与输入图像相对应的字典的步骤包括：
确定输入图像的场景；
确定输入图像的最佳分块方式，并按照最佳分块方式对输入图像进行分块；
根据分块后每个图像块的场景和分块大小确定所述图像块对应的字典。
在本发明的一个实施例中，所述确定输入图像的最佳分块方式、并按照最佳分块方式对输入图像进行分块的步骤包括：
按照预先构建的多个字典中，分块大小最大的分块方式对输入图像进行第一次分块；
对第一次分块后的每个图像块，通过纹理复杂度来确定是否需要进行第二次分块以及第二次分块的分块数量，其中，第二次分块后的图像块大小符合预先构建的多个字典中的分块大小；
若确定需要进行第二次分块，则按照第二次分块的分块数量进行第二次分块。
在本发明的一个实施例中，所述采用自适应选择的字典对输入图像进行超分辨率处理包括：
采用自适应选择的字典中多个子字典的集合对输入图像中的每一小块进行超分辨率处理；
将所有超分辨率处理后的小块合成为一张图。
在本发明的一个实施例中，所述使用自适应选择的字典中多个子字典的集合对输入图像中的每一小块进行超分辨率处理包括：
将对应字典中每个子字典的低分辨率块求平均值得到字典中心，将字典中心与输入图像块最相似的子字典作为初始字典，其中初始字典的字典半径R＝0，所述对应字典为自适应选择的字典；
根据当前字典中的低分辨率图像块对输入图像块进行重构；
根据重构图像块与输入图形块的差值获取重构误差；
在重构误差不大于预定阈值、或当前字典已经包含对应字典的所有子字典的情况下，根据当前字典中的高分辨率细节块对输入图像块进行超分辨率处理；
在重构误差大于预定阈值的情况下，在当前字典半径上加一个固定值，并将所有与初始字典中心距离小于R的字典中心对应的子字典合成为新的当前字典，之后执行根据当前字典中的低分辨率图像块对输入图像块进行重构的步骤。
根据本发明的另一方面，提供一种图像超分辨率处理装置，包括多字典构建模块、字典选择模块和超分辨率处理模块，其中：
多字典构建模块，用于根据低分辨率图像和对应的高分辨率图像构建多个字典；
字典选择模块，用于自适应选择与输入图像相对应的字典；
超分辨率处理模块，用于采用自适应选择的字典对输入图像进行超分辨率处理。
在本发明的一个实施例中，多字典构建模块包括多字典构建单元和子字典生成单元，其中：
多字典构建单元，用于使用多组低分辨率图像块和对应的高分辨率图像细节块构建多个字典；
子字典生成单元，用于针对每一字典，通过低分辨率块的像素信息进行聚类，得到若干个子字典。
在本发明的一个实施例中，多字典构建单元包括场景分类子模块、切分子模块、细节块确定子模块和字典构建子模块，其中：
场景分类子模块，用于将低分辨率图像进行场景分类；
切分子模块，用于将每一低分辨率图像按照不同分块大小进行分块；
细节块确定子模块，用于确定每一低分辨率图像块对应的高分辨率细节块；
字典构建子模块，用于将同一场景和同一分块大小的所有低分辨率图像块和对应的高分辨率细节块构成一个字典。
在本发明的一个实施例中，所述细节块确定子模块用于确定每一低分辨率图像块对应的高分辨率图像块；并将高分辨率图像块与低分辨率图像块的插值图像块做差得到高分辨率细节块。
在本发明的一个实施例中，字典选择模块包括场景确定单元、分块方式确定单元和字典确定单元，其中：
场景确定单元，用于确定输入图像的场景；
分块方式确定单元，用于确定输入图像的最佳分块方式，并按照最佳分块方式对输入图像进行分块；
字典确定单元，用于根据分块后每个图像块的场景和分块大小确定所述图像块对应的字典。
在本发明的一个实施例中，分块方式确定单元包括第一分块子模块、第二分块判断子模块和第二分块子模块，其中：
第一分块子模块，用于按照预先构建的多个字典中，分块大小最大的分块方式对输入图像进行第一次分块；
第二分块判断子模块，用于对第一次分块后的每个图像块，通过纹理复杂度来确定是否需要进行第二次分块以及第二次分块的分块数量，其中，第二次分块后的图像块大小符合预先构建的多个字典中的分块大小；
第二分块子模块，用于在第二分块判断子模块确定需要进行第二次分块的情况下，按照第二次分块的分块数量进行第二次分块。
在本发明的一个实施例中，超分辨率处理模块包括超分辨率处理单元和图像合成单元，其中：
超分辨率处理单元，用于采用自适应选择的字典中多个子字典的集合对输入图像中的每一小块进行超分辨率处理；
图像合成单元，用于将所有超分辨率处理后的小块合成为一张图。
在本发明的一个实施例中，超分辨率处理单元包括初始字典确定子模块、重构子模块、重构误差获取子模块、超分辨率处理子模块和新字典确定子模块，其中：
初始字典确定子模块，用于将对应字典中每个子字典的低分辨率块求平均值得到字典中心，将字典中心与输入图像块最相似的子字典作为初始字典，其中初始字典的字典半径R＝0，所述对应字典为自适应选择的字典；
重构子模块，用于根据当前字典中的低分辨率图像块对输入图像块进行重构；
重构误差获取子模块，用于根据重构图像块与输入图形块的差值获取重构误差；
超分辨率处理子模块，用于在重构误差不大于预定阈值、或当前字典已经包含对应字典的所有子字典的情况下，根据当前字典中的高分辨率细节块对输入图像块进行超分辨率处理；
新字典确定子模块，用于在重构误差大于预定阈值的情况下，在当前字典半径上加一个固定值，并将所有与初始字典中心距离小于R的字典中心对应的子字典合成为新的当前字典，之后指示重构子模块执行根据当前字典中的低分辨率图像块对输入图像块进行重构的操作。
本发明通过把传统的单一字典按照不同场景和不同分块大小划分为了多个字典，从而大大提高了重构的准确性，提高了图像超分辨率处理的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明图像超分辨率处理方法一个实施例的示意图。
图2为本发明图像超分辨率处理装置一个实施例的示意图。
图3为本发明一个实施例中多字典构建模块的示意图。
图4为本发明一个实施例中多字典构建单元的示意图。
图5为本发明一个实施例中字典选择模块的示意图。
图6为本发明一个实施例中分块方式确定单元的示意图。
图7为本发明一个实施例中超分辨率处理模块的示意图。
图8为本发明一个实施例中超分辨率处理单元的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本发明图像超分辨率处理方法一个实施例的示意图。优选的，本实施例可由本发明图像超分辨率处理装置执行。
本发明图像超分辨率处理方法的核心思想是构建多个字典自适应选择来进行图像超分辨率处理。如图1所示，该方法包括多字典构建、自适应字典选择、超分辨率处理三个步骤。
下面对如1所示的三个步骤分别进行具体说明。
步骤1，根据低分辨率图像和对应的高分辨率图像构建多个字典。本发明构建多字典的初始数据为低分辨率图像和对应的高分辨率图像。本发明按照不同分块大小、不同场景构建多字典。
在本发明的一个实施例中，步骤1可以包括：
步骤11，使用多组低分辨率图像块和对应的高分辨率图像细节块构建多个字典。
在本发明的一个具体实施例中，步骤11又可以包括：
步骤111，将原低分辨率图像BOW(bag of words，词袋)和SVM(Support VectorMachine，支持向量机)的方法进行场景分类。若原图像属于某一场景，则该图像的所有分块都属于该场景。
步骤112，将每一低分辨率图像按照不同分块大小进行分块。
例如，在一个具体示例中，步骤112可以包括：将每一低分辨率图像按照4×4像素块、8×8像素块、16×16像素块进行分块。
步骤113，确定每一低分辨率图像块对应的高分辨率细节块。
在本发明一个具体示例中，步骤113又可以包括：
步骤1131，确定每一低分辨率图像块对应的高分辨率图像块。
步骤1132，将高分辨率图像块与低分辨率图像块的插值图像块做差得到高分辨率细节块。
步骤114，将同一场景和同一分块大小的所有低分辨率图像块和对应的高分辨率细节块构成一个字典。
步骤12，针对每一字典，通过低分辨率块的像素信息进行聚类，得到若干个子字典。
步骤2，自适应选择与输入图像相对应的字典。
在本发明的一个实施例中，步骤2可以包括：
步骤21，确定输入图像的场景。
输入图像的所有分块都用该场景的字典进行超分辨率处理，但同一图像的小块选择字典的分块大小不一定相同。
步骤22，确定输入图像的最佳分块方式，并按照最佳分块方式对输入图像进行分块。
在本发明的一个具体实施例中，步骤22又可以包括：
步骤221，按照预先构建的多个字典中，分块大小最大的分块方式对输入图像进行第一次分块。
例如：假设有三种不同分块大小的字典，分别为按照4×4像素块、8×8像素块、16×16像素块进行分块，则先将输入图像按照16×16像素块进行分块。
步骤222，对第一次分块后的每个图像块，通过纹理复杂度来确定是否需要进行第二次分块以及第二次分块的分块数量，其中，第二次分块后的图像块大小符合预先构建的多个字典中的分块大小。
例如：对于前述有三种不同分块大小的字典，在将输入图像按照16×16像素块进行分块后，通过纹理复杂度来确定是否要进一步将其分为8×8或4×4的像素块。对每个16×16的像素块，有三种进一步分块的方式：设分块方式为x，分块数为n，则x＝1代表不分块，即n＝1；x＝2代表分为8×8的像素块，n＝4；x＝3代表分为4×4的像素块，n＝16。
在本发明的一个实施例中，步骤222可以根据公式(1)确定。
其中表示x分块后的第i块，H表示纹理复杂度，S表示分块大小，λ为一常数，为最佳分块方式，其中纹理复杂度函数如公式(2)所示，前述具体实施例的分块大小函数如公式(3)所示。求纹理复杂度时需要先得到小块的颜色分布直方图，公式(2)中的k代表直方图中的bin，p(k)代表该bin的概率。
步骤223，若确定需要进行第二次分块，则按照第二次分块的分块数量进行第二次分块。
步骤23，根据分块后每个图像块的场景和分块大小确定所述图像块对应的字典。
步骤3，采用自适应选择的字典对输入图像进行超分辨率处理。
对于输入图像的每个小块，在步骤2中已经选择好了对应的字典，但对低分辨率块进行重构时并不是直接用该字典，而是用该字典中若干个子字典的集合，子字典在步骤1中已经进行了说明。
在本发明的一个实施例中，步骤3可以包括：
步骤31，采用自适应选择的字典中多个子字典的集合对输入图像中的每一小块进行超分辨率处理。
在本发明的一个具体实施例中，步骤31又可以包括：
步骤311，将对应字典中每个子字典的低分辨率块求平均值得到字典中心，将字典中心与输入图像块最相似的子字典作为初始字典，其中初始字典的字典半径R＝0，所述对应字典为自适应选择的字典。
步骤312，根据当前字典中的低分辨率图像块对输入图像块进行重构。
在本发明一个示例中，步骤312可以包括：采用稀疏编码的方法，根据当前字典中的低分辨率图像块对输入图像块进行重构。
在本发明一个具体示例中，步骤312可以包括：根据公式(4)对输入图像块进行重构。
公式(4)中，输入图像块为P，字典中的低分辨率图像块为Li，αi为Li对应的重构系数。
步骤313，根据重构图像块与输入图形块的差值获取重构误差。
在本发明一个具体示例中，步骤313可以包括：根据公式(5)获取重构误差e。
步骤314，在重构误差e不大于预定阈值T、或当前字典已经包含对应字典的所有子字典的情况下，根据当前字典中的高分辨率细节块对输入图像块进行超分辨率处理。
在本发明一个具体示例中，步骤314中，根据当前字典中的高分辨率细节块对输入图像块进行超分辨率处理的步骤可以包括：根据公式(6)进行超分辨率处理。
公式(6)中，HR(P)为得出的高分辨率块，B为双三次插值函数，Hi为Li对应的高分辨率细节图像块。
步骤315，在重构误差e大于预定阈值T的情况下，在当前字典半径上加一个固定值r，并将所有与初始字典中心距离小于R的字典中心对应的子字典合成为新的当前字典，之后执行步骤312。
步骤32，将所有超分辨率处理后的小块合成为一张图。
基于本发明上述实施例提供的图像超分辨率处理方法，是一种基于多字典构建以及自适应字典选择的稀疏编码图像超分辨率处理方法，把传统的单一字典按照不同场景和不同分块大小划分为了多个字典，从而大大提高了图像超分辨率重构的准确性，提高了图像超分辨率处理的效果。
本发明上述实施例中每个字典的规模都比传统单一字典小很多，求重构系数的速度也会快得多，从而提高了图像超分辨率处理的速度。
本发明上述实施例可以将图像按照不同分块大小、不同场景进行超分辨率处理，图像超分辨率处理效果好，且速度快，非常适用于进行蓝光电影超分辨成4K视频的应用场景。
图2为本发明图像超分辨率处理装置一个实施例的示意图。如图2所示，所述图像超分辨率处理装置包括多字典构建模块100、字典选择模块200和超分辨率处理模块300，其中：
多字典构建模块100，用于根据低分辨率图像和对应的高分辨率图像构建多个字典。
字典选择模块200，用于自适应选择与输入图像相对应的字典。
超分辨率处理模块300，用于采用自适应选择的字典对输入图像进行超分辨率处理。
下面通过具体示例对图2实施例中多字典构建模块100、字典选择模块200和超分辨率处理模块300的结构和功能进行进一步说明。
图3为本发明一个实施例中多字典构建模块的示意图。如图3所示，图2实施例的多字典构建模块100可以包括多字典构建单元110和子字典生成单元120，其中：
多字典构建单元110，用于使用多组低分辨率图像块和对应的高分辨率图像细节块构建多个字典。
子字典生成单元120，用于针对每一字典，通过低分辨率块的像素信息进行聚类，得到若干个子字典。
图4为本发明一个实施例中多字典构建单元的示意图。如图4所示，图3实施例的多字典构建单元110可以包括场景分类子模块111、切分子模块112、细节块确定子模块113和字典构建子模块114，其中：
场景分类子模块111，用于将低分辨率图像进行场景分类。
切分子模块112，用于将每一低分辨率图像按照不同分块大小进行分块。
细节块确定子模块113，用于确定每一低分辨率图像块对应的高分辨率细节块。
在本发明的一个实施例中，所述细节块确定子模块113具体可以用于确定每一低分辨率图像块对应的高分辨率图像块；并将高分辨率图像块与低分辨率图像块的插值图像块做差得到高分辨率细节块。
字典构建子模块114，用于将同一场景和同一分块大小的所有低分辨率图像块和对应的高分辨率细节块构成一个字典。
图5为本发明一个实施例中字典选择模块的示意图。如图5所示，图2实施例的字典选择模块200可以包括场景确定单元210、分块方式确定单元220和字典确定单元230，其中：
场景确定单元210，用于确定输入图像的场景。
分块方式确定单元220，用于确定输入图像的最佳分块方式，并按照最佳分块方式对输入图像进行分块。
字典确定单元230，用于根据分块后每个图像块的场景和分块大小确定所述图像块对应的字典。
图6为本发明一个实施例中分块方式确定单元的示意图。如图6所示，图5实施例的分块方式确定单元220可以包括第一分块子模块221、第二分块判断子模块222和第二分块子模块223，其中：
第一分块子模块221，用于按照预先构建的多个字典中，分块大小最大的分块方式对输入图像进行第一次分块。
第二分块判断子模块222，用于对第一次分块后的每个图像块，通过纹理复杂度来确定是否需要进行第二次分块以及第二次分块的分块数量，其中，第二次分块后的图像块大小符合预先构建的多个字典中的分块大小。
第二分块子模块223，用于在第二分块判断子模块222确定需要进行第二次分块的情况下，按照第二次分块的分块数量进行第二次分块。
图7为本发明一个实施例中超分辨率处理模块的示意图。如图7所示，图2实施例的超分辨率处理模块300可以包括超分辨率处理单元310和图像合成单元320，其中：
超分辨率处理单元310，用于采用自适应选择的字典中多个子字典的集合对输入图像中的每一小块进行超分辨率处理。
图像合成单元320，用于将所有超分辨率处理后的小块合成为一张图。
图8为本发明一个实施例中超分辨率处理单元的示意图。如图8所示，图2实施例的超分辨率处理单元310可以包括初始字典确定子模块311、重构子模块312、重构误差获取子模块313、超分辨率处理子模块314和新字典确定子模块315，其中：
初始字典确定子模块311，用于将对应字典中每个子字典的低分辨率块求平均值得到字典中心，将字典中心与输入图像块最相似的子字典作为初始字典，其中初始字典的字典半径R＝0，所述对应字典为自适应选择的字典。
重构子模块312，用于根据当前字典中的低分辨率图像块对输入图像块进行重构。
重构误差获取子模块313，用于根据重构图像块与输入图形块的差值获取重构误差。
超分辨率处理子模块314，用于在重构误差不大于预定阈值、或当前字典已经包含对应字典的所有子字典的情况下，根据当前字典中的高分辨率细节块对输入图像块进行超分辨率处理。
新字典确定子模块315，用于在重构误差大于预定阈值的情况下，在当前字典半径上加一个固定值，并将所有与初始字典中心距离小于R的字典中心对应的子字典合成为新的当前字典，之后指示重构子模块312执行根据当前字典中的低分辨率图像块对输入图像块进行重构的操作。
基于本发明上述实施例提供的图像超分辨率处理装置，是一种基于多字典构建以及自适应字典选择的稀疏编码图像超分辨率处理装置，把传统的单一字典按照不同场景和不同分块大小划分为了多个字典，从而大大提高了图像超分辨率重构的准确性，提高了图像超分辨率处理的效果。
本发明上述实施例中每个字典的规模都比传统单一字典小很多，求重构系数的速度也会快得多，从而提高了图像超分辨率处理的速度。
本发明上述实施例可以将图像按照不同分块大小、不同场景进行超分辨率处理，图像超分辨率处理效果好，且速度快，非常适用于进行蓝光电影超分辨成4K视频的应用场景。
在上面所描述的多字典构建模块100、字典选择模块200、超分辨率处理模块300等功能单元可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (16)
1.一种图像超分辨率处理方法，其特征在于，包括：
根据低分辨率图像和对应的高分辨率图像构建多个字典；
自适应选择与输入图像相对应的字典；
采用自适应选择的字典对输入图像进行超分辨率处理。
2.根据权利要求1所述的方法，其特征在于，所述根据低分辨率图像和对应的高分辨率图像构建多个字典包括：
使用多组低分辨率图像块和对应的高分辨率图像细节块构建多个字典；
针对每一字典，通过低分辨率块的像素信息进行聚类，得到若干个子字典。
3.根据权利要求2所述的方法，其特征在于，所述使用多组低分辨率图像块和对应的高分辨率图像细节块构建多个字典包括：
将低分辨率图像进行场景分类；
将每一低分辨率图像按照不同分块大小进行分块；
确定每一低分辨率图像块对应的高分辨率细节块；
将同一场景和同一分块大小的所有低分辨率图像块和对应的高分辨率细节块构成一个字典。
4.根据权利要求3所述的方法，其特征在于，所述确定每一低分辨率图像块对应的高分辨率细节块包括：
确定每一低分辨率图像块对应的高分辨率图像块；
将高分辨率图像块与低分辨率图像块的插值图像块做差得到高分辨率细节块。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述自适应选择与输入图像相对应的字典的步骤包括：
确定输入图像的场景；
确定输入图像的最佳分块方式，并按照最佳分块方式对输入图像进行分块；
根据分块后每个图像块的场景和分块大小确定所述图像块对应的字典。
6.根据权利要求5所述的方法，其特征在于，所述确定输入图像的最佳分块方式、并按照最佳分块方式对输入图像进行分块的步骤包括：
按照预先构建的多个字典中，分块大小最大的分块方式对输入图像进行第一次分块；
对第一次分块后的每个图像块，通过纹理复杂度来确定是否需要进行第二次分块以及第二次分块的分块数量，其中，第二次分块后的图像块大小符合预先构建的多个字典中的分块大小；
若确定需要进行第二次分块，则按照第二次分块的分块数量进行第二次分块。
7.根据权利要求1-4中任一项所述的方法，其特征在于，所述采用自适应选择的字典对输入图像进行超分辨率处理包括：
采用自适应选择的字典中多个子字典的集合对输入图像中的每一小块进行超分辨率处理；
将所有超分辨率处理后的小块合成为一张图。
8.根据权利要求7所述的方法，其特征在于，所述使用自适应选择的字典中多个子字典的集合对输入图像中的每一小块进行超分辨率处理包括：
将对应字典中每个子字典的低分辨率块求平均值得到字典中心，将字典中心与输入图像块最相似的子字典作为初始字典，其中初始字典的字典半径R＝0，所述对应字典为自适应选择的字典；
根据当前字典中的低分辨率图像块对输入图像块进行重构；
根据重构图像块与输入图形块的差值获取重构误差；
在重构误差不大于预定阈值、或当前字典已经包含对应字典的所有子字典的情况下，根据当前字典中的高分辨率细节块对输入图像块进行超分辨率处理；
在重构误差大于预定阈值的情况下，在当前字典半径上加一个固定值，并将所有与初始字典中心距离小于R的字典中心对应的子字典合成为新的当前字典，之后执行根据当前字典中的低分辨率图像块对输入图像块进行重构的步骤。
9.一种图像超分辨率处理装置，其特征在于，包括多字典构建模块、字典选择模块和超分辨率处理模块，其中：
多字典构建模块，用于根据低分辨率图像和对应的高分辨率图像构建多个字典；
字典选择模块，用于自适应选择与输入图像相对应的字典；
超分辨率处理模块，用于采用自适应选择的字典对输入图像进行超分辨率处理。
10.根据权利要求9所述的装置，其特征在于，多字典构建模块包括多字典构建单元和子字典生成单元，其中：
多字典构建单元，用于使用多组低分辨率图像块和对应的高分辨率图像细节块构建多个字典；
子字典生成单元，用于针对每一字典，通过低分辨率块的像素信息进行聚类，得到若干个子字典。
11.根据权利要求10所述的装置，其特征在于，多字典构建单元包括场景分类子模块、切分子模块、细节块确定子模块和字典构建子模块，其中：
场景分类子模块，用于将低分辨率图像进行场景分类；
切分子模块，用于将每一低分辨率图像按照不同分块大小进行分块；
细节块确定子模块，用于确定每一低分辨率图像块对应的高分辨率细节块；
字典构建子模块，用于将同一场景和同一分块大小的所有低分辨率图像块和对应的高分辨率细节块构成一个字典。
12.根据权利要求11所述的装置，其特征在于，
所述细节块确定子模块用于确定每一低分辨率图像块对应的高分辨率图像块；并将高分辨率图像块与低分辨率图像块的插值图像块做差得到高分辨率细节块。
13.根据权利要求9-12中任一项所述的装置，其特征在于，字典选择模块包括场景确定单元、分块方式确定单元和字典确定单元，其中：
场景确定单元，用于确定输入图像的场景；
分块方式确定单元，用于确定输入图像的最佳分块方式，并按照最佳分块方式对输入图像进行分块；
字典确定单元，用于根据分块后每个图像块的场景和分块大小确定所述图像块对应的字典。
14.根据权利要求13所述的装置，其特征在于，分块方式确定单元包括第一分块子模块、第二分块判断子模块和第二分块子模块，其中：
第一分块子模块，用于按照预先构建的多个字典中，分块大小最大的分块方式对输入图像进行第一次分块；
第二分块判断子模块，用于对第一次分块后的每个图像块，通过纹理复杂度来确定是否需要进行第二次分块以及第二次分块的分块数量，其中，第二次分块后的图像块大小符合预先构建的多个字典中的分块大小；
第二分块子模块，用于在第二分块判断子模块确定需要进行第二次分块的情况下，按照第二次分块的分块数量进行第二次分块。
15.根据权利要求9-12中任一项所述的装置，其特征在于，超分辨率处理模块包括超分辨率处理单元和图像合成单元，其中：
超分辨率处理单元，用于采用自适应选择的字典中多个子字典的集合对输入图像中的每一小块进行超分辨率处理；
图像合成单元，用于将所有超分辨率处理后的小块合成为一张图。
16.根据权利要求15所述的装置，其特征在于，超分辨率处理单元包括初始字典确定子模块、重构子模块、重构误差获取子模块、超分辨率处理子模块和新字典确定子模块，其中：
初始字典确定子模块，用于将对应字典中每个子字典的低分辨率块求平均值得到字典中心，将字典中心与输入图像块最相似的子字典作为初始字典，其中初始字典的字典半径R＝0，所述对应字典为自适应选择的字典；
重构子模块，用于根据当前字典中的低分辨率图像块对输入图像块进行重构；
重构误差获取子模块，用于根据重构图像块与输入图形块的差值获取重构误差；
超分辨率处理子模块，用于在重构误差不大于预定阈值、或当前字典已经包含对应字典的所有子字典的情况下，根据当前字典中的高分辨率细节块对输入图像块进行超分辨率处理；
新字典确定子模块，用于在重构误差大于预定阈值的情况下，在当前字典半径上加一个固定值，并将所有与初始字典中心距离小于R的字典中心对应的子字典合成为新的当前字典，之后指示重构子模块执行根据当前字典中的低分辨率图像块对输入图像块进行重构的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610920030.3A CN107977929B (zh) | 2016-10-21 | 2016-10-21 | 图像超分辨率处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610920030.3A CN107977929B (zh) | 2016-10-21 | 2016-10-21 | 图像超分辨率处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107977929A true CN107977929A (zh) | 2018-05-01 |
| CN107977929B CN107977929B (zh) | 2021-02-23 |
Family
ID=62003836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610920030.3A Active CN107977929B (zh) | 2016-10-21 | 2016-10-21 | 图像超分辨率处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107977929B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064399A (zh) * | 2018-07-20 | 2018-12-21 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法和***、计算机设备及其存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080078217A (ko) * | 2007-02-22 | 2008-08-27 | 정태우 | 영상에 포함된 객체 색인 방법과 그 색인 정보를 이용한부가 서비스 방법 및 그 영상 처리 장치 |
| CN102547301A (zh) * | 2010-09-30 | 2012-07-04 | 苹果公司 | 使用图像信号处理器处理图像数据的***和方法 |
| CN102722876A (zh) * | 2012-05-29 | 2012-10-10 | 杭州电子科技大学 | 一种基于残差的图像超分辨率重建方法 |
| CN102968766A (zh) * | 2012-11-23 | 2013-03-13 | 上海交通大学 | 基于字典数据库的自适应图像超分辨率重构方法 |
| CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
| CN105046672A (zh) * | 2015-06-30 | 2015-11-11 | 北京工业大学 | 一种图像超分辨率重建方法 |
| CN105389778A (zh) * | 2015-11-04 | 2016-03-09 | 北京大学深圳研究生院 | 一种基于字典匹配的图像超分辨率重建方法及装置 |
| CN105825473A (zh) * | 2015-12-24 | 2016-08-03 | 三维通信股份有限公司 | 一种基于自适应切换分析稀疏与合成稀疏正则化的图像复原方法 |
| CN105844590A (zh) * | 2016-03-23 | 2016-08-10 | 武汉理工大学 | 基于稀疏表示的图像超分辨率重建方法及*** |
-
2016
- 2016-10-21 CN CN201610920030.3A patent/CN107977929B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080078217A (ko) * | 2007-02-22 | 2008-08-27 | 정태우 | 영상에 포함된 객체 색인 방법과 그 색인 정보를 이용한부가 서비스 방법 및 그 영상 처리 장치 |
| CN102547301A (zh) * | 2010-09-30 | 2012-07-04 | 苹果公司 | 使用图像信号处理器处理图像数据的***和方法 |
| CN102722876A (zh) * | 2012-05-29 | 2012-10-10 | 杭州电子科技大学 | 一种基于残差的图像超分辨率重建方法 |
| CN102968766A (zh) * | 2012-11-23 | 2013-03-13 | 上海交通大学 | 基于字典数据库的自适应图像超分辨率重构方法 |
| CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
| CN105046672A (zh) * | 2015-06-30 | 2015-11-11 | 北京工业大学 | 一种图像超分辨率重建方法 |
| CN105389778A (zh) * | 2015-11-04 | 2016-03-09 | 北京大学深圳研究生院 | 一种基于字典匹配的图像超分辨率重建方法及装置 |
| CN105825473A (zh) * | 2015-12-24 | 2016-08-03 | 三维通信股份有限公司 | 一种基于自适应切换分析稀疏与合成稀疏正则化的图像复原方法 |
| CN105844590A (zh) * | 2016-03-23 | 2016-08-10 | 武汉理工大学 | 基于稀疏表示的图像超分辨率重建方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 苏衡 等: "超分辨率图像重建方法综述", 《自动化学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064399A (zh) * | 2018-07-20 | 2018-12-21 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法和***、计算机设备及其存储介质 |
| CN109064399B (zh) * | 2018-07-20 | 2023-01-24 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法和***、计算机设备及其存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107977929B (zh) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Adaptive fractional dilated convolution network for image aesthetics assessment | |
| Xiao et al. | Example‐Based Colourization Via Dense Encoding Pyramids | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN110751649B (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
| CN110689599A (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| CN104952083B (zh) | 一种基于显著性目标背景建模的视频显著性检测方法 | |
| CN110889416B (zh) | 一种基于级联改良网络的显著性物体检测方法 | |
| CN106709872B (zh) | 一种快速图像超分辨率重构方法 | |
| EP3923585A1 (en) | Video transcoding method and device | |
| CN112750125B (zh) | 一种基于端到端关键点检测的玻璃绝缘子片定位方法 | |
| CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
| WO2023185284A1 (zh) | 视频处理方法和装置 | |
| Jiang et al. | MeshCut data augmentation for deep learning in computer vision | |
| CN107463932A (zh) | 一种使用二进制瓶颈神经网络来抽取图片特征的方法 | |
| CN112329808A (zh) | 一种Deeplab语义分割算法的优化方法及*** | |
| Liu et al. | A deep recursive multi-scale feature fusion network for image super-resolution | |
| KR102128789B1 (ko) | 심층 합성곱 뉴럴 네트워크를 위한 효율적인 팽창 합성곱 기법을 제공하는 방법 및 장치 | |
| CN115564995A (zh) | 一种退役新能源动力电池识别方法及*** | |
| Niu et al. | Image retargeting quality assessment based on registration confidence measure and noticeability-based pooling | |
| CN115239564A (zh) | 一种结合语义信息的矿井图像超分辨率重建方法 | |
| CN101650824B (zh) | 基于共形能量的内容敏感图像缩放方法 | |
| CN110110775A (zh) | 一种基于超连接网络的匹配代价计算方法 | |
| CN107977929A (zh) | 图像超分辨率处理方法和装置 | |
| CN116524180A (zh) | 基于轻量级主干结构的戏曲舞台场景分割方法 | |
| CN113297899B (zh) | 一种基于深度学习的视频哈希算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |