CN108475415B - 用于图像处理的方法和*** - Google Patents
用于图像处理的方法和*** Download PDFInfo
- Publication number
- CN108475415B CN108475415B CN201580085452.7A CN201580085452A CN108475415B CN 108475415 B CN108475415 B CN 108475415B CN 201580085452 A CN201580085452 A CN 201580085452A CN 108475415 B CN108475415 B CN 108475415B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- deconvolution
- convolution
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000010586 diagram Methods 0.000 claims abstract description 51
- 238000001914 filtration Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims description 82
- 238000013528 artificial neural network Methods 0.000 claims description 49
- 238000013507 mapping Methods 0.000 claims description 36
- 238000005070 sampling Methods 0.000 claims description 31
- 238000012360 testing method Methods 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 24
- 230000008602 contraction Effects 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 230000003278 mimic effect Effects 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims 2
- 238000010168 coupling process Methods 0.000 claims 2
- 238000005859 coupling reaction Methods 0.000 claims 2
- 239000010410 layer Substances 0.000 description 125
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
公开一种用于处理图像的方法，其包括：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与第一真实图像相比具有增强性能和更高分辨率的第二真实图像。本公开还包含一种用于处理图像的***。
Description
技术领域
本公开涉及一种用于图像处理的方法和***。
背景技术
图像处理的一个目标是从单个或多个低分辨率图像恢复出高分辨率图像。分辨率提高技术可克服低成本成像传感器(例如，蜂窝电话或监控摄像机)固有的一些分辨率局限性，而且分辨率提高技术在根据低质量图像进行诊断或分析可能极为困难的医疗成像和卫星成像中也是必需的。另外，分辨率提高技术也被视为是视频超分辨率(SR)的关键组成部分，且可用作预-预处理技术以帮助实现其它高级计算机视觉算法(例如，人脸识别、图像分类和对象检测)。深度图的SR在例如自动驾驶导航、3D重建、人机互动和虚拟现实的多种应用中也是必需的。
针对图像超分辨率已研发了许多基于学习(或基于批数据)的方法。作为用于图像超分辨率的成功深度模型，超分辨率卷积神经网络(SRCNN)与先前手工模型相比，无论在速度还是重建质量方面均已表现出优良的性能。然而，这些方法通常要求在学习之前将输入的低分辨率图像上采样为期望大小(使用双立方或双线性插值)。因此，算法的计算复杂度将随被上采样的图像的大小二次方地增加。这限制SR对于较大图像的运行速度，从而阻碍了SR的实际使用率，尤其在需要实时性能的领域中。另外，传统插值技术(例如，双立方和双线性)并不理想且期望根据不同数据集替换为其它优化插值内核。
发明内容
下面将简要概述本公开的内容，以提供对本公开的一些方面的基本理解。此概述并非本公开内容的详尽综述。这些概述内容既不是用来指出本公开的重要或关键要素，也并不是用来界定本公开的具体实施方式的任何范围，或权利要求书的任何范围。其唯一目的是以简化形式呈现本公开的一些概念，作为后文详细描述的序言。
在一个方面中，公开了一种用于处理图像的方法，其包括：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
在本申请的一个实施方式中，在卷积-反卷积神经网络中实施所述方法，所述卷积-反卷积神经网络包括：第一卷积层，用于对所述第一真实图像进行过滤以获得所述第一特征图；反卷积层，联接到所述第一卷积层并对所述第一特征图进行上采样以形成所述第二特征图；及第二卷积层，联接到所述反卷积层并从所述第二特征图构建所述第二真实图像。
在本申请的一个实施方式中，所述方法还包括通过以下来训练卷积-反卷积神经网络：通过所述第一卷积层对所述第一图像进行过滤以提高所述第一图像的图像特征性能；通过所述反卷积层对经过过滤的图像进行上采样以提高其分辨率；通过所述第二卷积层将经过上采样的图像构建形成测试图像；将所述测试图像与从真值(ground truth)图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及将所述重构误差反复地反向传播通过所述卷积-反卷积神经网络，以调节所述卷积-反卷积神经网络的神经元之间的连接权重，直到所述重构误差低于预定阈值。
在本申请的一个实施方式中，训练集通过以下准备：使每个所述真值图像模糊以使得其图像特征模糊；对每个经过模糊处理的真值图像进行降采样以获得具有模糊图像特征及减小像素密度的、经过模糊且降采样处理的训练图像；及将每个所述真值图像与经过模糊且降采样处理的训练图像进行配对。
在本申请的一个实施方式中，第一卷积层包括：提取层，提取所述第一真实图像的图像特征；收缩层，联接到所述提取层且减小所提取的图像特征的特征维度；映射层，联接到所述收缩层且对所提取的、具有减小特征维度的图像特征进行非线性映射；及扩展层，将所述映射层与所述反卷积层联接，且用于对映射后的图像特征的特征维度进行扩展以获得所述第一特征图。
在本申请的一个实施方式中，所述上采样是通过反卷积操作来执行；而在本申请的另一实施方式中，所述上采样是通过多个卷积过滤器来执行以模仿反卷积过滤器的功能来对所述第一特征图进行上采样以获得所述第二特征图。
在一个方面中，公开一种用于处理图像的***，包括：预处理单元，用于对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；内插器，用于对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及后处理单元，用于从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
在一个方面中，公开一种用于处理图像的***，包括：存储器，其存储可执行组件；以及处理器，其电联接到所述存储器来执行所述可执行组件，从而执行以下操作：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
在一个方面中，公开一种计算机可读存储介质，所述计算机可读存储介质存储有可由处理器运行以执行以下操作的计算机可读指令，所述操作包括：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
附图说明
在下文中将参考附图描述本申请的示例性的非限制性实施方式。附图是示意性的且通常未按确切的比例绘制。在不同的附图中使用相同的附图标号来表示相同或相似的元件。
图1是示出传统图像超分辨率***的示意图。
图2是示出根据本申请实施方式的图像超分辨率***的示意图。
图3是示出根据本申请实施方式的上采样过程的示意图。
图4是示出根据本申请的另一实施方式的上采样过程的示意图。
图5是示出根据本申请实施方式的第一卷积层的配置的示意图。
图6是示出用于生成训练集的方法的流程图。
图7是示出根据本申请实施方式的、卷积-反卷积神经网络***的训练过程的流程图。
具体实施方式
下面将详细参考本发明的一些具体实施方式，这些实施方式包含发明人预期用于实行本发明的最佳模式。在附图中示出的是这些具体实施方式的示例。尽管结合这些具体的实施方式描述了本发明，但本领域技术人员应该理解这些描述并不是用来将本发明限制为所描述的实施方式。相反，其用意是希望涵盖如所附权利要求书限定的本发明的精神和范围内的替代方案、修改和等同方案。在以下描述中，为了完整理解本申请阐述了众多具体的细节，但是在实践中本申请可不具有这些特定细节中的一些细节或全部细节。在其它情况下，对公知的过程操作没有进行详细的描述以免不必要地混淆本申请。
本文中所使用的术语仅出于描述具体实施方式的目的，而不是用来限制本发明。在本文中所使用时，除非上下文另外清楚地表示，否则单数形式“一”和“所述”还可包含复数形式。还应该进一步理解，当在本说明书中使用术语“包括(comprise)”和/或“包括(comprising)”时，该术语用于说明存在所陈述的特征、整体、步骤、操作、元件和/或组件，但并不排除一个或多个其它特征、整体、步骤、操作、元件、组件和/或其组合的存在或添加。
图1是示出传统图像超分辨率***100的示意图。图像超分辨率***100包括用于对输入低分辨率(LR)图像上采样的内插器101，和用于处理上采样的图像的高分辨率(HR)图像处理单元102。内插器101可为任何类型的内插器/上采样器，在其中执行双立方(bicubic)或双线性内插操作来将输入LR图像上采样为期望大小。随后，内插器101将上采样的图像输出到HR图像处理单元102进一步处理。HR图像处理单元102可实施于提高图像质量(例如信噪比、对比度、色彩性能或锐度等)的任何类型的图像处理***中。处理之后，输出具有提高图像质量的高分辨率图像。随着基于学习(或基于批数据)的图像处理技术的发展，应理解，卷积神经网络(CNN)***由于其简单的网络结构及优秀的重构质量，而适合用于HR图像处理单元102。在此情况下，HR图像处理单元102可包括下文中进一步论述的多个卷积层。尽管如此，在对上采样的图像执行图像处理时，计算复杂度随着HR图像而非原始LR图像的大小成二次方地增长。对于上采样系数n，对内插后的LR图像进行卷积的计算成本将是原始LR图像的n2倍。这也是对大多数基于学习的SR方法的限制。然而，如果CNN网络直接从原始LR图像中学习，那么速度提升将是显著的，即，快约n2倍。
图2是示出根据本申请实施方式的图像超分辨率***200的示意图。图像超分辨率***200包括对输入LR图像进行过滤以提高图像质量的预处理单元201。预处理单元201功能类似于HR图像处理单元102，除向其中输入的是LR图像而非HR图像之外。预处理/过滤之后，预处理单元201生成具有提高的图像品质(例如较高的信噪比、适中的对比度、更佳色彩性能等)的LR图像。内插器202将预处理单元201的输出上采样来获得期望大小。随后，上采样后的图像通过后处理单元203来进一步处理，以精确调整上采样的图像且输出最终高分辨率图像。
在一个实施方式中，在卷积-反卷积神经网络中实施图像超分辨率***200。在该实施方式中，预处理单元201可包括卷积层组，卷积层组中的每一个卷积层均含有过滤器组。过滤器组中的每一个过滤器可对输入LR图像进行卷积操作以提高其图像特征性能。根据实际要求可在单个或多个卷积层中实施卷积操作。一般来说，过滤处理可表示为：
Fi(Y)＝f(Wi*Fi-1(Y)+Bi)，F0(Y)＝Y (1)
其中，符号“*”表示卷积操作，标号“i”表示卷积层的序号(index)并且属于集合(0，N)，及标号“N”(不小于0)是预处理单元201中的层的数量。另外，Wi和Bi分别表示过滤器和第i层的偏差。本文中，Wi的大小是ni-1×fi×fi×ni，其中ni是第i层的过滤器数量，n0＝c是输入图像的通道数量，fi是过滤器的空间大小。Y是输入图像，f(x)表示非线性函数，例如max(0，x)、tanh(x)或max(0，x)+a·min(0，x)。
预处理单元201的输出是特征图组，特征图组中的每个特征图与输入LR图像具有相同大小。由于在输入LR图像上直接执行过滤操作，所以过滤的计算复杂度仅与原始LR图像的大小成比例，并且处理速度可得到提升。
内插器202可包括反卷积层，反卷积层联接到预处理单元201的最后卷积层来接收预处理单元201的特征图并生成高分辨率特征图组。本文中的反卷积层可被看作是通用的插值内核且起到了上采样作用。所生成高分辨率特征图与所需输出高分辨率图像大小相同。通过内插器202执行的操作可表示为：
其中符号
表示反卷积操作，而标号“M”(不小于1)是内插器202中的层的个数。其它标号类似于公式(1)的描述，由此省略对它们的描述。内插器202的输出是这样的高分辨率特征图组，该高分辨率特征图组中的每个特征图与所需高分辨率图像具有相同大小。
包括多个卷积层的后处理单元203接收高分辨率特征图组。经过过滤及上采样的特征图可在后处理单元203中通过一或多个卷积操作进行组合，并构建为具有提高图像特征和增强图像维度的最终HR图像。后处理/构建方法可以表示为：
Fi(Y)＝f(Wi*Fi-1(Y)+Bi)，i∈(N+M+1，N+M+K) (3)
其中，符号“*”表示卷积操作，而标号“K”(不小于0)是后处理单元203中的卷积层的数量。其它符号类似于参照公式(1)所描述的符号，因此省略针对其的描述。FN+M+K(Y)是最终输出的HR图像。
在本申请中还参照图3和图4分别提供了用于在内插器202中执行上采样的两种策略。图3是示出了根据本申请实施方式的、内插器202所采用的上采样方法300的示意图。在该实施方式中，内插器202对经过过滤操作后的特征图执行常规反卷积操作(其为卷积操作的逆运算)。对于卷积，如果过滤器以步长(stride)k对图像进行卷积，那么输出是输入的1/k倍。相反，如果将输入与输出的位置交换，那么输出将是输入的k倍，如图3所示。具体来说，输入图像的每一像素与反卷积层310中的反卷积过滤器301相乘，接着将相乘的结果通过步长k组合起来。重叠面积302例如通过特定权重而被平均。因此，输出特征图的大小比输入LR特征图要大(k-1)倍。对于上采样系数n，可将步长k设置为n。在替代实施例中可使用M个反卷积层，其中的每个反卷积层进行反卷积操作的步长为ki(s.t.,k1+…+kM＝n)。
图4是示出根据本申请另一实施方式的、内插器202所采用的上采样方法400的示意图。不同于方法300，方法400采用多个卷积过滤器来模仿反卷积过滤器的功能。具体来说，如果上采样系数为n，则使用n×n个卷积过滤器，并生成n×n个特征图序列。随后，这些特征图通过特定权重组合，以形成输入特征图的(n-1)倍的较大特征图。为简明起见，图4仅示出了由3×3个特征图411至419组成的特征图矩阵，其中特征图矩阵中的每个特征图与对应过滤器进行卷积，并含有由不同符号形状表示的特定图像特征。组合操作之后，输出特征图420可具有以系数3上采样的特征维度。也就是说，像素密度为2×2的每一特征图上采样成像素密度为(2×3)×(2×3)的特征图。在替代实施方案中，该步骤可被分解到M个反卷积层中执行，每个反卷积层对特征图上采样的系数为ki(s.t.,k1+…+kM＝n)。
图5示出了根据本申请实施方式的预处理单元201的示例性配置。在该实施方式中，预处理单元201包括多个卷积层510-540以用于对输入LR图像进行过滤。提取层510配备有多个过滤器以用于卷积操作，从而提取输入图像的图像特征。提取层510可实施为单层或多层。收缩层520联接到提取层510，并且减小由提取层510所提取的特征图的特征维度。随后，将具有减小特征维度的特征图转移到与收缩层520相继联接的映射层530。映射层530对输入特征图进行将一系列非线性计算以如上文所述提高图像特征的性能。映射层530可实施为多个卷积层或单个卷积层，而每个卷积层可具有多个过滤器或单个过滤器。通常说来，映射层530在以处理速度为代价的情况下通过更多卷积层和更多过滤器将实现更佳结果。扩展层540联接到映射层530，其作用类似于收缩层520的逆过程。为了计算效率，收缩操作减小了LR特征维度。然而，如果直接根据这些较低维度特征生成HR图像，那么最终重构的质量将是不良的。因此，将扩展层540添加在映射层530之后来扩展HR特征维度。此外，扩展层540也联接到内插器202以向其传递经过滤的特征图。归功于收缩层520，非线性计算的计算负担大大减小且映射速度因此得以提高。作为收缩方法的逆过程，扩展层弥补了维度损失并确保了输出特征图的特征性能。
如先前描述，卷积-反卷积神经网络是基于学习的深度模型，其需要训练方法来保证正确操作。图6和图7示出了该训练方法。图6示出了训练集的准备方法。在步骤S601，多个高分辨率图像经裁剪作为真值图像。在步骤S602，真值图像中的每一个通过例如高斯内核(Gaussian kernel)模糊化。经过模糊处理之后，模糊图像的特征性能劣化。在步骤S603，对被模糊的每个图像进行降采样以使其具有降低的图像像素密度，这样就提供了一组训练图像。在步骤S604，将经过模糊且降采样处理后的训练图像与对应真值图像进行配对，且由此形成训练集。
图7示出了示例性训练方法的原理。在步骤S701，从训练集中任意地选择训练图像。在步骤S702，如上文所述，在卷积-反卷积神经网络中对选定训练图像执行过滤、上采样以及构建处理。因此，获得了具有提高的特征性能和更高分辨率的测试图像。在步骤S703，将测试图像与被配对的真值图像进行比较，从而生成重构误差。在步骤S704，将重构误差反向传播通过卷积-反卷积神经网络来调节该网络的神经元之间的连接权重。另外，在步骤S705将重构误差与预定阈值进行比较。如果重构误差低于预定阈值，那么训练方法将结束，这意味着卷积-反卷积神经网络已经受到了良好训练因此将能正确地用于图像处理操作。否则，方法将返回到步骤S701以进一步训练网络。本领域技术人员应该理解还可应用其它训练方法。
本申请在一方面提供了一种用于处理图像的方法，其包括：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
该图像处理方法可在在卷积-反卷积神经网络中实施，所述卷积-反卷积神经网络可包括：第一卷积层，用于对所述第一真实图像进行过滤以获得所述第一特征图；反卷积层，联接到所述第一卷积层并对所述第一特征图进行上采样以形成所述第二特征图；及第二卷积层，联接到所述反卷积层并从所述第二特征图构建所述第二真实图像。
该图像处理方法还可包括：通过执行以下操作来训练所述卷积-反卷积神经网络。这些操作包括：通过所述第一卷积层对所述第一图像进行过滤以提高所述第一图像的图像特征性能；通过所述反卷积层对经过过滤的图像进行上采样以提高其分辨率；通过所述第二卷积层将经过上采样的图像构建形成测试图像；将所述测试图像与从真值图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及将所述重构误差反复地反向传播通过所述卷积-反卷积神经网络，以调节所述卷积-反卷积神经网络的神经元之间的连接权重，直到所述重构误差低于预定阈值。
所述训练集可通过以下操作准备：使每个所述真值图像模糊以使得其图像特征模糊；对每个经过模糊处理的真值图像进行降采样以获得具有模糊图像特征及减小像素密度的、经过模糊且降采样处理的训练图像；及将每个所述真值图像与经过模糊且降采样处理的训练图像进行配对。
所述第一卷积层可包括：提取层，提取所述第一真实图像的图像特征；收缩层，联接到所述提取层且减小所提取的图像特征的特征维度；映射层，联接到所述收缩层且对所提取的、具有减小特征维度的图像特征进行非线性映射；及扩展层，将所述映射层与所述反卷积层联接，且用于对映射后的图像特征的特征维度进行扩展以获得所述第一特征图。
所述上采样可通过反卷积操作来执行。作为替代的方案，所述上采样可通过多个卷积过滤器来执行以模仿反卷积过滤器的功能来对所述第一特征图进行上采样以获得所述第二特征图。
本申请在另一方面提供了一种用于处理图像的***，包括：预处理单元，用于对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；内插器，用于对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及后处理单元，用于从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
该图像处理***可包括卷积-反卷积神经网络，所述卷积-反卷积神经网络可包括：第一卷积层，用于对所述第一真实图像进行过滤以获得所述第一特征图；反卷积层，联接到所述第一卷积层及用于对所述第一特征图进行上采样以形成所述第二特征图；及第二卷积层，联接到所述反卷积层及用于从所述第二特征图构建所述第二真实图像。
所述卷积-反卷积神经网络可通过以下操作来训练：通过所述卷积-反卷积神经网络的第一卷积层对所述第一图像进行过滤以提高所述第一图像的图像特征性能；通过所述卷积-反卷积神经网络的反卷积层对经过过滤的图像进行上采样以提高其分辨率；通过所述卷积-反卷积神经网络的第二卷积层将经过上采样的图像构建形成测试图像；将所述测试图像与从真值图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及将所述重构误差反复地反向传播通过所述卷积-反卷积神经网络，以调节所述卷积-反卷积神经网络的神经元之间的连接权重，直到所述重构误差低于预定阈值。
所述训练集可通过以下操作准备：使每个所述真值图像模糊以使得其图像特征模糊；对每个经过模糊处理的真值图像进行降采样以获得具有模糊图像特征及减小像素密度的、经过模糊且降采样处理的训练图像；及将每个所述真值图像与经过模糊且降采样处理的训练图像进行配对。
所述第一卷积层可包括：提取层，包括提取所述第一真实图像的图像特征的多个特征提取器；收缩层，联接到所述提取层且减小所提取的图像特征的特征维度；映射层，联接到所述收缩层且对所提取的、具有减小特征维度的图像特征进行非线性映射；及扩展层，将所述映射层与所述反卷积层联接，且用于对映射后的图像特征的特征维度进行扩展以获得所述第一特征图。
所述内插器可执行反卷积操作以对所获得的第一特征图进行上采样。作为替代的方案，所述内插器可包括多个卷积过滤器以模仿反卷积过滤器的功能来对所述第一特征图进行上采样以获得所述第二特征图。
本申请在又一方面提供了一种用于处理图像的***，其包括：存储器，其存储可执行组件；以及处理器，其电联接到所述存储器来执行所述可执行组件，从而执行以下操作：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
所述可执行组件可包括卷积-反卷积神经网络，所述卷积-反卷积神经网络可包括：第一卷积层，用于对所述第一真实图像进行过滤以获得所述第一特征图；反卷积层，联接到所述第一卷积层并对所述第一特征图进行上采样以形成所述第二特征图；及第二卷积层，联接到所述反卷积层并从所述第二特征图构建所述第二真实图像。
所述可执行组件可经进一步执行以通过以下操作来训练所述卷积-反卷积神经网络：通过所述第一卷积层对所述第一图像进行过滤以提高所述第一图像的图像特征性能；通过所述反卷积层对经过过滤的图像进行上采样以提高其分辨率；通过所述第二卷积层将经过上采样的图像构建形成测试图像；将所述测试图像与从真值图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及将所述重构误差反复地反向传播通过所述卷积-反卷积神经网络，以调节所述卷积-反卷积神经网络的神经元之间的连接权重，直到所述重构误差低于预定阈值。
所述训练集可通过以下操作准备：使每个所述真值图像模糊以使得其图像特征模糊；对每个经过模糊处理的真值图像进行降采样以获得具有模糊图像特征及减小像素密度的、经过模糊且降采样处理的训练图像；及将每个所述真值图像与经过模糊且降采样处理的训练图像进行配对。
所述第一卷积层可包括：提取层，提取所述第一真实图像的图像特征；收缩层，联接到所述提取层且减小所提取的图像特征的特征维度；映射层，联接到所述收缩层且对所提取的、具有减小特征维度的图像特征进行非线性映射；及扩展层，将所述映射层与所述反卷积层联接，且用于对映射后的图像特征的特征维度进行扩展以获得所述第一特征图。
所述上采样可通过反卷积操作来执行。作为替代的方案，所述上采样可通过多个卷积过滤器来执行以模仿反卷积过滤器的功能来对所述第一特征图进行上采样以获得所述第二特征图。
本申请在再一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有可由处理器运行以执行以下操作的计算机可读指令，所述操作包括：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
上述操作可在在卷积-反卷积神经网络中实施，所述卷积-反卷积神经网络可包括：第一卷积层，用于对所述第一真实图像进行过滤以获得所述第一特征图；反卷积层，联接到所述第一卷积层并对所述第一特征图进行上采样以形成所述第二特征图；及第二卷积层，联接到所述反卷积层并从所述第二特征图构建所述第二真实图像。
上述操作还可包括：通过执行以下操作来训练所述卷积-反卷积神经网络。这些操作包括：通过所述第一卷积层对所述第一图像进行过滤以提高所述第一图像的图像特征性能；通过所述反卷积层对经过过滤的图像进行上采样以提高其分辨率；通过所述第二卷积层将经过上采样的图像构建形成测试图像；将所述测试图像与从真值图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及将所述重构误差反复地反向传播通过所述卷积-反卷积神经网络，以调节所述卷积-反卷积神经网络的神经元之间的连接权重，直到所述重构误差低于预定阈值。
所述训练集可通过以下操作准备：使每个所述真值图像模糊以使得其图像特征模糊；对每个经过模糊处理的真值图像进行降采样以获得具有模糊图像特征及减小像素密度的、经过模糊且降采样处理的训练图像；及将每个所述真值图像与经过模糊且降采样处理的训练图像进行配对。
所述第一卷积层可包括：提取层，提取所述第一真实图像的图像特征；收缩层，联接到所述提取层且减小所提取的图像特征的特征维度；映射层，联接到所述收缩层且对所提取的、具有减小特征维度的图像特征进行非线性映射；及扩展层，将所述映射层与所述反卷积层联接，且用于对映射后的图像特征的特征维度进行扩展以获得所述第一特征图。
所述上采样可通过反卷积操作来执行。作为替代的方案，所述上采样可通过多个卷积过滤器来执行以模仿反卷积过滤器的功能来对所述第一特征图进行上采样以获得所述第二特征图。
如本领域技术人员应该理解的那样，本申请可体现为***、方法或计算机程序产品。因此，本申请可采取完全为硬件的实施方式和方面，而在本文中硬件通常被称为“单元”、“电路”、“模块”或“***”。在实施时，许多发明功能和许多发明原理能够通过例如数字信号处理器的集成电路(IC)及其软件或者专用IC来得到最好地支持。可以预期的是，本领域普通技术人员根据本文公开的概念和原理的教导能够通过最少的实验容易地生成IC，而不必考虑例如由时间、当前技术和经济考量等驱使的可能的繁重工作量和许多其它设计选项。因此，为了减少并最小化对本申请原理和概念进行混淆的任何风险，对此类软件和IC(如果存在的话)的进一步论述将被限制为对于在优选实施方式中使用的原理和概念而言必要的部分。另外，本发明可采取完全为软件的实施方式(包含固件、驻存软件、微码等)或可采取组合了软件的实施方式。例如，本发明的***可包括存储可执行组件的存储器以及处理器，所述处理器电联接到存储器以执行可执行组件来执行***的、如参考图1到图6所论述的操作。另外，本发明可采用计算机程序产品的形式，该计算机程序产品可实施为任意有形的、在其中具有计算机可用程序代码的介质的形式。
虽然已经描述了本申请的优选示例，但是本领域技术人员可在知晓基本发明概念后对这些示例作出变化或修改。所附权利要求书可被理解为包括落在本申请范围内的优选示例及其所有变化或修改。
显然，本领域技术人员可在不背离本申请精神和范围的情况下对本申请作出变化或修改。因而，如果这些变化或修改属于权利要求书和等同技术的范围，那么其也落在本申请的范围内。
Claims (24)
1.一种用于处理图像的方法，其中，所述方法在卷积-反卷积神经网络中实施，所述卷积-反卷积神经网络包括第一卷积层、第二卷积层和反卷积层，所述反卷积层联接到所述第一卷积层和所述第二卷积层，所述方法包括：
通过所述第一卷积层对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；
通过所述反卷积层对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及
通过所述第二卷积层从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
2.根据权利要求1所述的方法，还包括：
通过执行以下操作来训练所述卷积-反卷积神经网络：
通过所述第一卷积层对从预定训练集选择出的训练图像进行过滤以提高所述训练图像的图像特征性能；
通过所述反卷积层对经过过滤的训练图像进行上采样以提高其分辨率；
通过所述第二卷积层将经过上采样的训练图像构建形成测试图像；
将所述测试图像与从真值图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及
将所述重构误差反复地反向传播通过所述卷积-反卷积神经网络，以调节所述卷积-反卷积神经网络的神经元之间的连接权重，直到所述重构误差低于预定阈值。
3.根据权利要求2所述的方法，其中，所述训练集通过以下准备：
使每个所述真值图像模糊以使得其图像特征模糊；
对每个经过模糊处理的真值图像进行降采样以获得具有模糊图像特征及减小像素密度的、经过模糊且降采样处理的训练图像；及
将每个所述真值图像与经过模糊且降采样处理的训练图像进行配对。
4.根据权利要求1所述的方法，其中，所述第一卷积层包括提取层、联接到所述提取层的收缩层、联接到所述收缩层的映射层、和将所述映射层与所述反卷积层联接的扩展层，
其中，获得所述第一特征图包括：
通过所述提取层提取所述第一真实图像的图像特征；
通过所述收缩层减小所提取的图像特征的特征维度；
通过所述映射层对所提取的、具有减小特征维度的图像特征进行非线性映射；及
通过所述扩展层对映射后的图像特征的特征维度进行扩展以获得所述第一特征图。
5.根据权利要求1所述的方法，其中，所述上采样通过反卷积操作来执行。
6.根据权利要求1所述的方法，其中，所述上采样通过多个卷积过滤器来执行以模仿反卷积过滤器的功能来对所述第一特征图进行上采样以获得所述第二特征图。
7.一种用于基于卷积-反卷积神经网络处理图像的***，
所述卷积-反卷积神经网络包括第一卷积层、第二卷积层和反卷积层，所述反卷积层联接到所述第一卷积层和所述第二卷积层；所述***包括：
预处理单元，用于通过所述第一卷积层对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；
内插器，用于通过所述反卷积层对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及
后处理单元，用于通过所述第二卷积层从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
8.根据权利要求7所述的***，其中，所述卷积-反卷积神经网络通过以下操作来训练：
通过所述卷积-反卷积神经网络的第一卷积层对从预定训练集选择出的训练图像进行过滤以提高所述训练图像的图像特征性能；
通过所述卷积-反卷积神经网络的反卷积层对经过过滤的训练图像进行上采样以提高其分辨率；
通过所述卷积-反卷积神经网络的第二卷积层将经过上采样的训练图像构建形成测试图像；
将所述测试图像与从真值图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及
将所述重构误差反复地反向传播通过所述卷积-反卷积神经网络，以调节所述卷积-反卷积神经网络的神经元之间的连接权重，直到所述重构误差低于预定阈值。
9.根据权利要求8所述的***，其中，所述训练集通过以下准备：
使每个所述真值图像模糊以使得其图像特征模糊；
对每个经过模糊处理的真值图像进行降采样以获得具有模糊图像特征及减小像素密度的、经过模糊且降采样处理的训练图像；及
将每个所述真值图像与经过模糊且降采样处理的训练图像进行配对。
10.根据权利要求7所述的***，其中，所述第一卷积层包括：
提取层，包括提取所述第一真实图像的图像特征的多个特征提取器；
收缩层，联接到所述提取层且减小所提取的图像特征的特征维度；
映射层，联接到所述收缩层且对所提取的、具有减小特征维度的图像特征进行非线性映射；及
扩展层，将所述映射层与所述反卷积层联接，且用于对映射后的图像特征的特征维度进行扩展以获得所述第一特征图。
11.根据权利要求7所述的***，其中，所述内插器执行反卷积操作以对所获得的第一特征图进行上采样。
12.根据权利要求7所述的***，其中，所述内插器包括多个卷积过滤器以模仿反卷积过滤器的功能来对所述第一特征图进行上采样以获得所述第二特征图。
13.一种用于处理图像的***，其包括：
存储器，其存储可执行组件，所述可执行组件包括卷积-反卷积神经网络，所述卷积-反卷积神经网络包括第一卷积层、反卷积层和第二卷积层，所述反卷积层联接到所述第一卷积层和所述第二卷积层；以及
处理器，其电联接到所述存储器来执行所述可执行组件，从而执行以下操作:
通过所述第一卷积层对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；
通过所述反卷积层对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及
通过所述第二卷积层从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
14.根据权利要求13所述的***，其中所述可执行组件经进一步执行以通过以下操作来训练所述卷积-反卷积神经网络：
通过所述第一卷积层对从预定训练集选择出的训练图像进行过滤以提高所述训练图像的图像特征性能；
通过所述反卷积层对经过过滤的训练图像进行上采样以提高其分辨率；
通过所述第二卷积层将经过上采样的训练图像构建形成测试图像；
将所述测试图像与从真值图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及
将所述重构误差反复地反向传播通过所述卷积-反卷积神经网络，以调节所述卷积-反卷积神经网络的神经元之间的连接权重，直到所述重构误差低于预定阈值。
15.根据权利要求14所述的***，其中，所述训练集通过以下准备：
使每个所述真值图像模糊以使得其图像特征模糊；
对每个经过模糊处理的真值图像进行降采样以获得具有模糊图像特征及减小像素密度的、经过模糊且降采样处理的训练图像；及
将每个所述真值图像与经过模糊且降采样处理的训练图像进行配对。
16.根据权利要求13所述的***，其中，所述第一卷积层包括：
提取层，提取所述第一真实图像的图像特征；
收缩层，联接到所述提取层且减小所提取的图像特征的特征维度；
映射层，联接到所述收缩层且对所提取的、具有减小特征维度的图像特征进行非线性映射；及
扩展层，将所述映射层与所述反卷积层联接，且用于对映射后的图像特征的特征维度进行扩展以获得所述第一特征图。
17.根据权利要求13所述的***，其中，所述上采样通过反卷积操作来执行。
18.根据权利要求13所述的***，其中，所述上采样通过多个卷积过滤器来执行以模仿反卷积过滤器的功能来对所述第一特征图进行上采样以获得所述第二特征图。
19.一种计算机可读存储介质，所述计算机可读存储介质存储有可由处理器运行以执行以下操作的计算机可读指令，所述操作在卷积-反卷积神经网络中实施，所述卷积-反卷积神经网络包括第一卷积层、第二卷积层和反卷积层，所述反卷积层联接到所述第一卷积层和所述第二卷积层，所述操作包括：
通过所述第一卷积层对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；
通过所述反卷积层对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及
通过所述第二卷积层从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。
20.根据权利要求19所述的计算机可读存储介质，还包括：
通过执行以下操作来训练所述卷积-反卷积神经网络：
通过所述第一卷积层对从预定训练集选择出的训练图像进行过滤以提高所述训练图像的图像特征性能；
通过所述反卷积层对经过过滤的训练图像进行上采样以提高其分辨率；
通过所述第二卷积层将经过上采样的训练图像构建形成测试图像；
将所述测试图像与从真值图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及
将所述重构误差反复地反向传播通过所述卷积-反卷积神经网络，以调节所述卷积-反卷积神经网络的神经元之间的连接权重，直到所述重构误差低于预定阈值。
21.根据权利要求20所述的计算机可读存储介质，其中，所述训练集通过以下准备：
使每个所述真值图像模糊以使得其图像特征模糊；
对每个经过模糊处理的真值图像进行降采样以获得具有模糊图像特征及减小像素密度的、经过模糊且降采样处理的训练图像；及
将每个所述真值图像与经过模糊且降采样处理的训练图像进行配对。
22.根据权利要求19所述的计算机可读存储介质，其中，所述第一卷积层包括提取层、联接到所述提取层的收缩层、联接到所述收缩层的映射层、和将所述映射层与所述反卷积层联接的扩展层，
其中，获得所述第一特征图包括：
通过所述提取层提取所述第一真实图像的图像特征；
通过所述收缩层减小所提取的图像特征的特征维度；
通过所述映射层对所提取的、具有减小特征维度的图像特征进行非线性映射；及
通过所述扩展层对映射后的图像特征的特征维度进行扩展以获得所述第一特征图。
23.根据权利要求19所述的计算机可读存储介质，其中，所述上采样通过反卷积操作来执行。
24.根据权利要求19所述的计算机可读存储介质，其中，所述上采样通过多个卷积过滤器来执行以模仿反卷积过滤器的功能来对所述第一特征图进行上采样以获得所述第二特征图。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2015/098027 WO2017106998A1 (en) | 2015-12-21 | 2015-12-21 | A method and a system for image processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108475415A CN108475415A (zh) | 2018-08-31 |
| CN108475415B true CN108475415B (zh) | 2022-05-27 |
Family
ID=59088818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580085452.7A Active CN108475415B (zh) | 2015-12-21 | 2015-12-21 | 用于图像处理的方法和*** |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10853916B2 (zh) |
| CN (1) | CN108475415B (zh) |
| WO (1) | WO2017106998A1 (zh) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI624804B (zh) * | 2016-11-07 | 2018-05-21 | 盾心科技股份有限公司 | 利用超解析重建法生成高解析度影像的方法與系統 |
| US20180197317A1 (en) * | 2017-01-06 | 2018-07-12 | General Electric Company | Deep learning based acceleration for iterative tomographic reconstruction |
| US10803378B2 (en) * | 2017-03-15 | 2020-10-13 | Samsung Electronics Co., Ltd | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
| US10489887B2 (en) * | 2017-04-10 | 2019-11-26 | Samsung Electronics Co., Ltd. | System and method for deep learning image super resolution |
| US10979718B2 (en) * | 2017-09-01 | 2021-04-13 | Apple Inc. | Machine learning video processing systems and methods |
| US10410350B2 (en) * | 2017-10-30 | 2019-09-10 | Rakuten, Inc. | Skip architecture neural network machine and method for improved semantic segmentation |
| US10395147B2 (en) | 2017-10-30 | 2019-08-27 | Rakuten, Inc. | Method and apparatus for improved segmentation and recognition of images |
| CN108012191B (zh) * | 2017-12-22 | 2020-08-14 | 北京奇虎科技有限公司 | 视频数据处理方法及装置、计算设备、介质 |
| CN108038832A (zh) * | 2017-12-25 | 2018-05-15 | 中国科学院深圳先进技术研究院 | 一种水下图像增强方法及*** |
| KR102237288B1 (ko) * | 2018-02-07 | 2021-04-07 | 울산과학기술원 | 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치 |
| KR102452653B1 (ko) * | 2018-02-20 | 2022-10-11 | 삼성전자주식회사 | 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 |
| US11457030B2 (en) * | 2018-02-20 | 2022-09-27 | Darktrace Holdings Limited | Artificial intelligence researcher assistant for cybersecurity analysis |
| US10489943B2 (en) | 2018-02-28 | 2019-11-26 | General Electric Company | System and method for sparse image reconstruction |
| CN108229591B (zh) * | 2018-03-15 | 2020-09-22 | 北京市商汤科技开发有限公司 | 神经网络自适应训练方法和装置、设备、程序和存储介质 |
| CN108537824B (zh) * | 2018-03-15 | 2021-07-16 | 上海交通大学 | 基于交替反卷积与卷积的特征图增强的网络结构优化方法 |
| US10628705B2 (en) | 2018-03-29 | 2020-04-21 | Qualcomm Incorporated | Combining convolution and deconvolution for object detection |
| WO2019216897A1 (en) * | 2018-05-10 | 2019-11-14 | Sony Corporation | Method and system for training machine learning system |
| CN108921786B (zh) * | 2018-06-14 | 2022-06-28 | 天津大学 | 基于残差卷积神经网络的图像超分辨率重构方法 |
| US10311337B1 (en) * | 2018-09-04 | 2019-06-04 | StradVision, Inc. | Method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network |
| US10504027B1 (en) * | 2018-10-26 | 2019-12-10 | StradVision, Inc. | CNN-based learning method, learning device for selecting useful training data and test method, test device using the same |
| CN109615674B (zh) * | 2018-11-28 | 2020-09-18 | 浙江大学 | 基于混合损失函数3d cnn的动态双示踪pet重建方法 |
| CN111507362B (zh) * | 2019-01-30 | 2023-12-19 | 中强光电股份有限公司 | 神经网络的训练方法、基于神经网络的分类方法及其装置 |
| CN109886874B (zh) * | 2019-01-31 | 2022-11-29 | 西安理工大学 | 超分辨率图像重建方法及专用加速电路 |
| CN110378854B (zh) * | 2019-07-17 | 2021-10-26 | 上海商汤智能科技有限公司 | 机器人图像增强方法及装置 |
| CN112241934B (zh) * | 2019-07-19 | 2024-05-14 | 华为技术有限公司 | 一种图像处理方法以及相关设备 |
| US11769180B2 (en) * | 2019-10-15 | 2023-09-26 | Orchard Technologies, Inc. | Machine learning systems and methods for determining home value |
| KR20210052040A (ko) | 2019-10-31 | 2021-05-10 | 엘지전자 주식회사 | 비디오 품질 향상 방법 및 장치 |
| CN111127320B (zh) * | 2019-12-23 | 2023-08-04 | 哈尔滨工业大学（威海） | 基于深度学习的光声图像超分辨重建方法及装置 |
| CN111292338B (zh) * | 2020-01-22 | 2023-04-21 | 苏州大学 | 一种从眼底oct图像中分割脉络膜新生血管的方法及*** |
| US11354784B2 (en) * | 2020-03-02 | 2022-06-07 | GM Global Technology Operations LLC | Systems and methods for training a non-blind image deblurring module |
| US20210287338A1 (en) * | 2020-03-11 | 2021-09-16 | Mediatek Inc. | Image-guided adjustment to super-resolution operations |
| US11288771B2 (en) * | 2020-04-29 | 2022-03-29 | Adobe Inc. | Texture hallucination for large-scale image super-resolution |
| CN111798385B (zh) * | 2020-06-10 | 2023-09-15 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读介质和电子设备 |
| US20220067879A1 (en) * | 2020-09-03 | 2022-03-03 | Nvidia Corporation | Image enhancement using one or more neural networks |
| CA3195077A1 (en) * | 2020-10-07 | 2022-04-14 | Dante DE NIGRIS | Systems and methods for segmenting 3d images |
| CN112950476A (zh) * | 2021-03-12 | 2021-06-11 | 广州冠图视觉科技有限公司 | 一种用于提高图片分辨率和清晰度的方法 |
| US20220366261A1 (en) * | 2021-05-14 | 2022-11-17 | Maxim Integrated Products, Inc. | Storage-efficient systems and methods for deeply embedded on-device machine learning |
| CN113379598B (zh) * | 2021-05-20 | 2023-07-14 | 山东省科学院自动化研究所 | 基于残差通道注意力网络的太赫兹图像重建方法及*** |
| CN113538243B (zh) * | 2021-07-22 | 2023-04-07 | 西安电子科技大学 | 基于多视差注意力模块组合的超分辨图像重建方法 |
| US11468543B1 (en) * | 2021-08-27 | 2022-10-11 | Hong Kong Applied Science and Technology Research Institute Company Limited | Neural-network for raw low-light image enhancement |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136727A (zh) * | 2012-12-14 | 2013-06-05 | 西安电子科技大学 | 基于梯度一致性与各向异性正则化的超分辨图像重建方法 |
| CN104361363A (zh) * | 2014-11-25 | 2015-02-18 | 中国科学院自动化研究所 | 深度反卷积特征学习网络、生成方法及图像分类方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8406564B2 (en) * | 2008-09-24 | 2013-03-26 | Microsoft Corporation | Removing blur from an image |
| US20110150354A1 (en) * | 2009-12-18 | 2011-06-23 | Magor Communications Corporation | Image up-sampling method using 2d wavelet filters |
| US8923653B2 (en) * | 2011-06-27 | 2014-12-30 | Yutaka Yamamoto | Super-resolution processing method and system |
| CN102354394B (zh) * | 2011-09-22 | 2015-03-11 | 中国科学院深圳先进技术研究院 | 图像超分辨方法及*** |
| CN105046651B (zh) * | 2015-08-04 | 2019-07-02 | 深圳信息职业技术学院 | 一种图像的超分辨率重构方法和装置 |
| US9754351B2 (en) * | 2015-11-05 | 2017-09-05 | Facebook, Inc. | Systems and methods for processing content using convolutional neural networks |
| WO2017100903A1 (en) * | 2015-12-14 | 2017-06-22 | Motion Metrics International Corp. | Method and apparatus for identifying fragmented material portions within an image |
| WO2017106645A1 (en) * | 2015-12-18 | 2017-06-22 | The Regents Of The University Of California | Interpretation and quantification of emergency features on head computed tomography |
-
2015
- 2015-12-21 WO PCT/CN2015/098027 patent/WO2017106998A1/en active Application Filing
- 2015-12-21 CN CN201580085452.7A patent/CN108475415B/zh active Active
-
2018
- 2018-06-20 US US16/013,886 patent/US10853916B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136727A (zh) * | 2012-12-14 | 2013-06-05 | 西安电子科技大学 | 基于梯度一致性与各向异性正则化的超分辨图像重建方法 |
| CN104361363A (zh) * | 2014-11-25 | 2015-02-18 | 中国科学院自动化研究所 | 深度反卷积特征学习网络、生成方法及图像分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| Learning a Deep Convolutional Network for Image Super-Resolution;Chao Dong等;《13th European Conference on Computer Vision (ECCV)》;20141231;第8692卷;第182-199页 * |
| 基于Gibbs模型的提高图像分辨率方法;彭旭俊等;《红外与激光工程》;20031231;第32卷(第6期);第613-616页 * |
| 基于多层卷积神经网络学习的单帧图像超分辨率重建方法;刘娜等;《中国科技论文》;20150131;第10卷(第2期);第201-206页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017106998A1 (en) | 2017-06-29 |
| US20180300855A1 (en) | 2018-10-18 |
| CN108475415A (zh) | 2018-08-31 |
| US10853916B2 (en) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108475415B (zh) | 用于图像处理的方法和*** | |
| CN112750082B (zh) | 基于融合注意力机制的人脸超分辨率方法及*** | |
| Shi et al. | Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network | |
| CN107154023B (zh) | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 | |
| Kappeler et al. | Video super-resolution with convolutional neural networks | |
| CN112446383B (zh) | 车牌识别方法及装置、存储介质、终端 | |
| Fan et al. | Balanced two-stage residual networks for image super-resolution | |
| Ren et al. | Single image super-resolution via adaptive high-dimensional non-local total variation and adaptive geometric feature | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| CN112070670B (zh) | 全局-局部分离注意力机制的人脸超分辨率方法及*** | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| CN109636721B (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| CN105488759B (zh) | 一种基于局部回归模型的图像超分辨率重建方法 | |
| CN111696038A (zh) | 图像超分辨率方法、装置、设备及计算机可读存储介质 | |
| Fang et al. | High-resolution optical flow and frame-recurrent network for video super-resolution and deblurring | |
| CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
| WO2014114635A1 (en) | Method and apparatus for performing super-resolution of single images | |
| CN111951164A (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN114641790A (zh) | 红外图像的超分辨率的处理方法及*** | |
| Liu et al. | Multi-scale residual hierarchical dense networks for single image super-resolution | |
| López-Tapia et al. | Deep learning approaches to inverse problems in imaging: Past, present and future | |
| Deshpande et al. | SURVEY OF SUPER RESOLUTION TECHNIQUES. | |
| CN115761258A (zh) | 一种基于多尺度融合与注意力机制的图像方向预测方法 | |
| CN116757930A (zh) | 基于残差分离注意力机制的遥感图像超分辨率方法、***及介质 | |
| Gao et al. | Bayesian image super-resolution with deep modeling of image statistics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |