CN109191382A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109191382A
CN109191382A CN201811216933.9A CN201811216933A CN109191382A CN 109191382 A CN109191382 A CN 109191382A CN 201811216933 A CN201811216933 A CN 201811216933A CN 109191382 A CN109191382 A CN 109191382A
Authority
CN
China
Prior art keywords
image
resolution
neural network
trained
resolution level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811216933.9A
Other languages
English (en)
Other versions
CN109191382B (zh
Inventor
刘瀚文
那彦波
张丽杰
朱丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201811216933.9A priority Critical patent/CN109191382B/zh
Publication of CN109191382A publication Critical patent/CN109191382A/zh
Priority to US16/447,547 priority patent/US11069047B2/en
Application granted granted Critical
Publication of CN109191382B publication Critical patent/CN109191382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、装置电子设备及计算机可读介质，该图像处理方法包括：获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。通过引入预设的图像处理神经网络来对待处理的图像进行图像处理，得到了具有目标风格的高分辨率图像，相较于现有技术中的图像处理方式，提高了处理效率，且实现了对高分辨率图像的输出，提升了用户的使用体验。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
深度学习技术在过去几年中取得了突飞猛进的发展。一些巨头企业投入了巨大资本和人力进行深度学习技术研究，不断推出其特有的产品和技术。其他很多企业也在不断进军深度学习领域，并取得了一定的成果。深度学习技术在类人类数据感知领域取得了突破性的进展，例如描述图像内容、识别图像中的复杂环境下的物体以及在嘈杂环境中进行语音识别。同时，现有的深度学习技术还可以解决图像生成和融合的问题，但如何融合出具有高分辨率的图像是当下亟待解决的技术问题。
发明内容
本申请提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，以将待处理的图像通过图像处理，得到高分辨率的图像。所述技术方案如下：
第一方面，提供了一种图像处理方法，包括：
获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；
将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；
其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。
第二方面，提供了一种图像处理装置，包括：
获取单元，用于获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；
第一处理单元，用于将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；
其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。
第三方面，提供了一种电子设备，包括：
至少一个处理器；
以及与所述处理器连接的至少一个存储器、总线；其中，
所述处理器、存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行如第一方面所示的图像处理方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面所示的图像处理方法。
本申请实施例中，通过获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。通过引入预设的图像处理神经网络来对待处理的图像进行图像处理，得到了具有目标风格的高分辨率图像，相较于现有技术中的图像处理方式，提高了处理效率，且实现了对高分辨率图像的输出，提升了用户的使用体验。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请实施例提供的现有技术中卷积神经网络的结构示意图；
图2为本申请实施例提供的上采样Muxer层的结构示意图；
图3为本申请实施例提供的图像信息处理方法的流程示意图；
图4为本申请实施例提供的图像处理神经网络的结构示意图；
图5为本申请实施例提供的分析神经网络的结构示意图；
图6为本申请实施例提供的训练图像处理神经网络的示意图；
图7为本申请实施例提供的图像处理装置的结构示意图；
图8为本申请实施例提供的图像处理处理方法的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
为使发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在现有技术中，利用深度神经网络进行图片的艺术风格转移是随着深度学习技术的发展而新兴起来的技术。下面简单列举三种比较有代表性的处理方案。
方案一、一款非常流行的对照片进行风格转换的工具，其可以在秒级的时间内将用户照片转换成某种特定的艺术风格。但是该工具产生的图片效果较差，风格增强的程度不明显。
方案二、利用卷积神经网络VGG进行图片内容特征、风格特征的提取，以此作为损失对另一个卷积神经网络进行训练，可以在秒级时间内得到效果较好的输出图片，但该种处理仅能处理和输出较低分辨率的图像。
方案三、在前述方案二的基础上，使用色度抽样的思想，在YUV色度空间内对图像的YUV三个通道分别处理，同时减小处理U和V通道的网络尺寸，类似YUV422的思想。在得到与前述方案二类似结果的基础上大幅提高了处理速度，由于该方案三并没有针对图像分辨率进行处理，因此无法克服方案二无法处理和输出的高分辨率的图像的问题。
针对现有技术中的上述问题，本申请实施例通过结合卷积神经网络、超分辨率技术和风格迁移技术，可以实现输出一副高分辨率的处理结果。本申请相比于前述的方案二和方案三，在经典风格迁移网络的基础上，另外开辟了一个同时进行风格迁移和超分辨的分支处理，两个分支可以分别输出风格化的低分辨率图像和风格化的高分辨率图像。
进一步地，下面对卷积神经网络及其相关的各层做简单介绍。
卷积神经网络是神经网络的一种特殊结构，将图像作为***的输入、输出并用卷积核替代标量的权值。一个三层结构的卷积神经网络如图1所示。该网络具有4个输入，隐藏层中具有3个输出，输出层含有2个输出，最终***输出两幅图像。每个模块表示一个卷积核。k表示输入层编号，i和j表示输入和输出的单位编号。偏置是一组叠加在卷积层输出上的标量。叠加了偏置的卷积层输出接下来会进入到激活层(通常为RELU或者sigmoid函数)。经过训练后，***的卷积核和偏置是固定的。训练则是通过一组匹配的输入输出以及优化算法对卷积核和偏置进行参数调优。通常情况下每个卷积层可包含数十个或数百个卷积核，深度神经网络往往包含5层以上的卷积层。
池化层：
池化层是下采样的一种形式，能够减小卷积特征的尺寸。常用的池化层包括max-pooling、avg-polling、decimation、和demuxout。
Flatten层：
Flatten层用来将2D的特征图像转换成1D，该1D的数据可以输出到全连接层。Flatten层的公式如下：
vk＝fk/j,k％j
其中，v是一个包含k个元素的向量，f是一个具有i行j列的矩阵。
均化层和全连接层(FCN)：
均化层利用特征图像的均值来表示图像，因此一个2D的特征会变成一个标量。
全连接层具有和卷积神经网络相同的结构，只是用标量值替换了卷积核。
Softmax层：
Softmax层是一种逻辑函数的生成器，可以把一个包含任意实数的K维向量z压缩成K维向量σ(z)。其中，σ(z)包含范围在(0,1)内的实数，且所有元素的和为1。Softmax的公式如下：
Muxer层：
Muxer层可以在卷积神经网络中用于上采样。该层获取若干个输入，然后交错重拍他们的像素值，并产生相同数量的输出。特征图像的数量经过Muxer层处理后不发生变化，且每一个特征图像的尺寸增大4倍(取决于上采样倍数，这里以2倍为例)。如此，Muxer层通过不同的排列组合增加了更多的信息，从而可以让后续的处理层通过激活层选择某些组合。图2展示了了一个2x2的上采样Muxer层。
实例归一化Instance Normalization层：
Instance Normalization层用于将卷积层输出的特征图像进行标准化处理。Instance Normalization层根据每个特征图像自身的均值和方差，对该特征图像进行标准化处理。假设mini-batch的尺寸为T，某卷积层输出的特征数量为C，每个特征图像均为H行W列的矩阵，则特征图像的shape为(T,C,W,H)。则Instance Normalization层的标准化公式如下：
其中，xtijk为某卷积层输出的特征图像集合中的第t个patch、第i个特征图像、第j列、第k行的值。ytijk表示xtijk输入Instance Normalization层得到的结果。ε为一个很小的整数，为了避免分母为0。
Merge模块：
Merge模块用于将YUV图像转换成为RGB图像，其标准公式如下：
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
如图3所示，为本发明实施例提供的图像处理方法的流程示意图，该方法应用于电子设备中，该方法包括如下步骤：
步骤S301，获取待处理的图像及图像的目标风格；
其中，待处理的图像为第二分辨率级别图像；
步骤S302，将待处理的图像及目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像。
目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。
本申请实施例中，通过获取待处理的图像及图像的目标风格，待处理的图像为第二分辨率级别图像；将待处理的图像及目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。通过引入预设的图像处理神经网络来对待处理的图像进行图像处理，得到了具有目标风格的高分辨率图像，相较于现有技术中的图像处理方式，提高了处理效率，且实现了对高分辨率图像的输出，提升了用户的使用体验。
基于上述本申请实施例所提供的技术方案，下面对该技术方案进行详尽阐释。
对于本申请实施例，第一分辨率级别图像、第二分辨率级别图像和第三分辨率级别图像是指的具有不同分辨率的图像，且第一分辨率级别图像对应的分辨率要高于第二分辨率级别图像对应的分辨率，第二分辨率级别图像对应的分辨率与第三分辨率级别图像对应的分辨率相同。其中的分辨率级别具体可以采用高分辨率和低分辨率进行区分。当然，对于高低分辨率的区分，现有技术中并没有很明确的定义。为了便于理解，定义高分辨率与低分辨率的方式可以有几种；1、以某个分辨率值作为界定，大于该分辨率值的即为高分辨率，小于该分辨率值的即为低分辨率，如以640*480作为界定；2、以一定的范围作为界定，如分辨率值处于160*120～640*480范围内的分辨率即为低分辨率，分辨率值处于800*600～1366*768范围内的分辨率即为高分辨率；3、以两个分辨率值的相对大小作为界定，如两个分辨率值分别为600*400与640*480，则定义该分辨率值640*480的分辨率为高分辨率，定义该分辨率值600*400的分辨率为低分辨率。当然，对于上述高分辨率与低分辨率的定义方式，仅是为了说明高分辨率与低分辨率是两种不同的分辨率，对两个分辨率做一种区分进行的说明，同时对于上述各定义方式对应的列举实例及其中的分辨率值与分辨率范围，仅是为了说明该定义方式所列举的一种实施例，并不代表该定义方式中对于高低分辨率和分辨率范围的划分。
在一个可能地实现方式中，步骤S301，获取待处理的图像及图像的目标风格。
对于本申请实施例，该待处理的图像为第二分辨率级别图像，且对于该待处理的图像，其本身携带有特定的风格。同时，还会获取到该待处理的图像的风格所要转换成的目标风格。
对于图像的风格，可以以国别区分，如中式风格、欧式风格、美式风格、古罗马风格等；以年代区分，如古代风格、现代风格及未来风格；以画风区分，宁静画风、寒境画风等；还可以以画种来区分，国画、油画、版画、水彩画，水粉画、素描、速写等。当然，上述风格的划分及各风格对应的具体风格样式仅是为了说明风格所列举的几个实施例，并不代表所有。
对于本申请实施例，该获取的待处理的图像可以是用户输入的图像，也可以是用户从本地存储的图像中选取的图像，还可以是通过接收终端的上传请求中携带的用户输入的图像。
在一个可能地实现方式中，步骤S302，将待处理的图像及目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像。
对于本申请实施例，该经过图像处理神经网络处理之后得到的目标风格的目标图像为第一分辨率级别图像。
对于本申请实施例，通过将获取到的待处理的图像及该图像的目标风格输入到预先配置的图像处理神经网络中进行图像处理，从而基于该图像处理神经网络的处理得到期望的目标风格的图像。
对于本申请实施例，在利用该图像处理神经网络进行处理之前，还需要先对该图像处理神经网络进行训练，其训练过程可以在电子设备中进行，预先准备好神经网络，通过选取大量的样本数据输入到该神经网络中进行不断地训练过程，不断地对该神经网络中的参数进行调整完善，使得通过该神经网络输出的数据趋于准确，直至达到期望值，从而确定该训练后的神经网络为图像处理神经网络。通过上述训练过程的处理，提升了该神经网络的输出准确度。
进一步地，基于上述对该图像处理神经网络的训练过程的简单介绍，为了更加详尽、清楚该图像处理神经网络的训练过程，下面对该训练过程进行详尽介绍。首先需要了解神经网络的基本构成，由于前述已对本申请实施例所采用的卷积神经网络的构成及各层的关系进行了阐释，此处不再进行详尽阐述，直接阐述其具体的训练流程。
A、获取样本数据
该样本数据可以包括待训练的图像。
对于本发明实施例，在进行该图像处理神经网络训练之前，会先获取大量的样本数据，该样本数据可以是人为进行输入的，也可以是从本地存储中提取到的，还可以通过向服务器发送样本数据的获取请求来得到的，当然，该样本数据的获取途径并不仅限于此。
B、图像处理神经网络的训练过程
对于本申请实施例，该训练过程可以包括两步，通过循环反复执行下述两步，直到该训练后的神经网络的输出符合预期。
B1、基于样本数据的神经网络训练
对于获取到的大量样本数据，首先，选取其中一个样本数据输入到待训练的神经网络中，神经网络对该样本数据进行处理后输出两幅保留了样本数据内容且包含了某种艺术风格的图像，一副图像为与样本数据具有相同分辨率的图像1，另一幅图像为比样本数据的分辨率高的图像2。
其具体训练过程如图4所示，包括：
接收输入的待训练的图像(内容图像)，经过处理后输出一副保留图片内容并且包含了某种艺术风格的图像。该神经网络将输入的图像经过若干卷积层、实例标准化层和下采样层处理，减小特征图像的尺寸。经过一个包含多个卷积层的网络(该部分可以为标准卷积网络、基于残差网络的残差单元或基于密集网络的密集单元)继续处理。然后该神经网络分出两个不同的分支：分支一保持与现有方案二和方案三相似的结构，再经多个卷积层处理后，经过同样个数的上采样层、卷积层和实例标准化层，输出一副与输入的待训练的图像具有相同大小分辨率的风格化图像(低分辨率图像)；分支二经过多个卷积层处理后，在经过数量多于分支一(图4为示例，比分支一多两个)的上采样层、卷积层和实例标准化层处理后，输出一副具有高分辨率的风格化图像(高分辨率图像)。由于实例标准化层使用时始终跟在卷积层之后，为简洁考虑，该图4中“conv”块包含了卷积层和实例标准化层。***中的下采样层和上采样层可采用stride-convolution、MUXER层等方式进行实现。
对于本申请实施例，上述处理过程包括：
基于样本数据中待训练的图像在神经网络中进行处理，得到与待训练的图像对应的第一分辨率级别图像和第二分辨率级别图像。
B2、基于总损失的神经网络训练
对于本申请实施例，通过引用损失函数来对该神经网络进行训练处理。
其中，先对该损失函数进行简单介绍，在该损失函数中用到了分析神经网络，后续也会对该分析神经网络进行相应的阐述。该损失函数包括：
内容损失：
在分析神经网络中，每一个卷积层的输出都是输入图像的特征图像。假设某个具有Nl个卷积核的卷积层，其输出包含Nl个特征图像，每个特征图像的尺寸都是Ml(特征图像的宽x高)。这样l层的输出可以存储在矩阵中。表示第l层中第i个卷积核输出的特征图像中第j个位置的值。
定义和分别为原始输入图像和生成图像，Pl和Fl分别为他们在分析神经网络中第l层的输出的特征图像，则内容损失的定义如下
其中，C1为一个常数，用于对结果进行标准化处理。
风格损失：
Gram矩阵的定义如下：
定义和分别为原始输入风格图像和生成图像，Al和Gl分别为他们在分析神经网络中第l层的输出的Gram矩阵，则该层的风格损失定义如下：
其中，C2为一常数，用于对结果进行标准化处理。总的风格损失为
其中，wl为第l层风格损失占总风格损失的权重。
MSE损失：
图像处理神经网络的输出包含低分辨率的风格化图像LR和高分辨率的风格化图像HR。由于期望这两张图像包含完全相同的内容和风格。LR的内容和风格由前文所描述的内容损失和风格损失进行约束。因此，本申请实施例仅保证HR下采样后的图像LR’与LR像素级一致，这里采用均方误差MSE进行约束。
其中，图像LR’为图像HR将分辨率调整为与图像LR的分辨率相同的图像，i和j分别为图像LR和LR’的宽和高，LRij指图像LR在(i,j)位置的像素值。
L1损失：
在卷积神经网络中，卷积核和偏置都是需要通过***训练得到的参数。卷积核决定了对输入图像进行怎样的处理，偏置决定了该卷积核的输出是否输入到下一个层。因此，在卷积神经网络中，偏置可形象地比喻为“开关”，决定了该卷积核是“打开”还是“关闭”。针对不同的输入图像，***打开或关闭不同的卷积核，以达到多种不同的效果。
由于本申请希望偏置与卷积核相比具有比较大的绝对值，这样可以更有效地发挥“开关”的作用。因此，本申请定义L1损失如下：
首先，计算***中所有卷积核绝对值的均值：
其中，Cw为***中卷积核的数量。
然后，计算***中所有偏置绝对值的均值：
其中，Cb为***中偏置的数量。
最后，计算L1损失的函数如下：
其中，ε为一个极小的正数，用于保证分母不为0。
总损失：
***总损失定义如下：
Ltotal＝αLcontent+βLstyle+χLL1
其中，α、β和χ分别为总损失中内容损失、风格损失和L1损失所占的权重。
对于本申请实施例，上述处理过程包括：
计算第二分辨率级别图像与第三分辨率级别图像的相似度，得到对应的相似度值；
基于预先配置的特征信息与相似度值，通过损失函数进行计算，得到对应的总损失；
基于总损失对神经网络进行训练，得到训练后的图像处理神经网络。
其中，预先配置的特征信息包括待训练的图像对应的第一特征信息以及第二级别分辨率图像对应的第二特征信息，
该第一特征信息与第二特征信息的确定方法，包括：
将待训练的图像输入预设的分析神经网络进行处理，得到待训练的图像对应的第一特征信息；
将第二分辨率级别图像输入预设的分析神经网络进行处理，得到第二分辨率级别图像对应的第二特征信息。
其中，第一特征信息包括待训练的图像对应的内容特征信息和风格特征信息；第二特征信息包括第二分辨率级别图像对应的内容特征信息和风格特征信息。
进一步地，基于总损失对神经网络进行训练，得到训练后的图像处理神经网络，包括：
基于总损失调整神经网络的相应参数，以使得到训练后的图像处理神经网络。
对于本申请实施例，该分析神经网络的处理过程，如图5所示，包括：
输入图像经过若干个卷积层和池化层处理后，再通过flatten层、全连接层以及Softmax层的处理之后，可以得到表征图像类别的标签。其中每一个卷积层的输出都是从输入图像中提出的特征。池化层降低特征图像的分辨率并传递给下一个卷积层。这样经过每个卷积层后的特征图像都表征了输入图像在不同级别上的特征(如纹理、边缘、物体等)。经过若干个卷积层和池化层之后，flatten层将特征图像转换成向量然后传递给全连接层。最后通过softmax层，输出输入图像属于每一个标签的概率，其中概率最大的标签将作为该***最终的输出。
本***的应用中，截取卷积层和池化层部分，用于提取输入图像的图像特征，包含内容特征和风格特征。其中，风格特征可以从某几个卷积层中提取，内容特征可以从某一个卷积层中提取。
对于上述本申请实施例中的图像处理神经网络的处理过程，如图6所示，包括如下处理：
输入图像进入神经网络，产生相应的输出低分辨率图像LR和高分辨率图像HR。将输入图像和图像LR均放入上述的分析神经网络，获得各自的内容特征和风格特征。同时，将图像HR经过标准下采样模块下采样到和图像LR相同的分辨率，得到图像LR’；之后经过MSE模块计算LR和LR’的相似程度，得到相似度值。最后将之前计算出来的内容特征、风格特征和相似度值输入损失计算模块，得到总损失，通过优化器调整该神经网络的参数，通过不断地训练，直到得到训练后的图像处理神经网络。
通过上述循环往复第大量训练，不断完善该神经网络，进而得到该图像处理神经网络，通过大量训练也使得该图像处理神经网络在对类似图像的处理时能够愈发精确、准确，提升了处理准确性，使得得到的图像的风格突出、图像清晰。
本申请实施例中，通过获取待处理的图像及图像的目标风格，待处理的图像为第二分辨率级别图像；将待处理的图像及目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。通过引入预设的图像处理神经网络来对待处理的图像进行图像处理，得到了具有目标风格的高分辨率图像，相较于现有技术中的图像处理方式，提高了处理效率，且实现了对高分辨率图像的输出，提升了用户的使用体验。
本申请实施例提供一种图像处理装置的结构示意图，如图7所示，本申请实施例的图像处理装置70可以包括：获取单元71、第一处理单元72、训练单元73以及第二处理单元74，其中，
获取单元71，用于获取待处理的图像及图像的目标风格，待处理的图像为第二分辨率级别图像；
第一处理单元72，用于将待处理的图像及目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，目标图像为第一分辨率级别图像；
其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。
获取单元71，还用于获取样本数据，样本数据包括待训练的图像；
训练单元73，用于基于样本数据对神经网络进行训练，得到训练后的图像处理神经网络。
训练单元73，用于基于样本数据中待训练的图像在神经网络中进行处理，得到与待训练的图像对应的第一分辨率级别图像和第二分辨率级别图像；利用损失函数对第一分辨率级别图像和第二分辨率级别图像进行计算，得到对应的总损失；基于总损失对神经网络进行训练，得到训练后的图像处理神经网络。
训练单元73，具体用于基于第二分辨率级别图像对第一分辨率级别图像进行分辨率调整，得到与第二分辨率级别图像的分辨率相同的第三分辨率级别图像；计算第二分辨率级别图像与第三分辨率级别图像的相似度，得到对应的相似度值；基于预先配置的特征信息与相似度值，通过损失函数进行计算，得到对应的总损失。
其中，预先配置的特征信息包括待训练的图像对应的第一特征信息以及第二分辨率级别图像对应的第二特征信息，
第二处理单元74，用于将待训练的图像输入预设的分析神经网络进行处理，得到待训练的图像对应的第一特征信息；将第二分辨率级别图像输入预设的分析神经网络进行处理，得到第二分辨率级别图像对应的第二特征信息。
第一特征信息包括待训练的图像对应的内容特征信息和风格特征信息；第二特征信息包括第二分辨率级别图像对应的内容特征信息和风格特征信息。
训练单元73，还具体用于基于总损失调整神经网络的相应参数，以使得到训练后的图像处理神经网络。
本申请实施例中，通过获取待处理的图像及图像的目标风格，待处理的图像为第二分辨率级别图像；将待处理的图像及目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。通过引入预设的图像处理神经网络来对待处理的图像进行图像处理，得到了具有目标风格的高分辨率图像，相较于现有技术中的图像处理方式，提高了处理效率，且实现了对高分辨率图像的输出，提升了用户的使用体验。
本申请实施例提供了一种电子设备，如图8所示，图8所示的电子设备800包括：处理器801和存储器803。其中，处理器801和存储器803相连，如通过总线802相连。可选地，电子设备800还可以包括收发器804。需要说明的是，实际应用中收发器804不限于一个，该电子设备800的结构并不构成对本申请实施例的限定。
其中，处理器801应用于本申请实施例中，用于实现图7所示的获取单元71、第一处理单元72、训练单元73以及第二处理单元74的功能。收发器804包括接收机和发射机。
处理器801可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器801也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线802可包括一通路，在上述组件之间传送信息。总线802可以是PCI总线或EISA总线等。总线802可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器803可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器803用于存储执行本申请方案的应用程序代码，并由处理器801来控制执行。处理器801用于执行存储器803中存储的应用程序代码，以实现图7所示实施例提供的图像处理装置的动作。
本申请实施例中，通过获取待处理的图像及图像的目标风格，待处理的图像为第二分辨率级别图像；将待处理的图像及目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。通过引入预设的图像处理神经网络来对待处理的图像进行图像处理，得到了具有目标风格的高分辨率图像，相较于现有技术中的图像处理方式，提高了处理效率，且实现了对高分辨率图像的输出，提升了用户的使用体验。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述本申请实施例所示的图像处理方法。
本申请实施例提供了一种计算机可读存储介质适用于上述方法任一实施例。在此不再赘述。
本申请实施例中，通过获取待处理的图像及图像的目标风格，待处理的图像为第二分辨率级别图像；将待处理的图像及目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。通过引入预设的图像处理神经网络来对待处理的图像进行图像处理，得到了具有目标风格的高分辨率图像，相较于现有技术中的图像处理方式，提高了处理效率，且实现了对高分辨率图像的输出，提升了用户的使用体验。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
其中，本申请装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施例的优劣。
以上公开的仅为本申请的几个具体实施例，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (16)

1.一种图像处理方法，其特征在于，包括：
获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；
将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；
其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。
2.如权利要求1所述方法，其特征在于，将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理之前，还包括：
获取样本数据，所述样本数据包括待训练的图像；
基于所述样本数据对神经网络进行训练，得到训练后的图像处理神经网络。
3.如权利要求2所述方法，其特征在于，基于所述样本数据对神经网络进行训练，得到训练后的图像处理神经网络，包括：
基于所述样本数据中待训练的图像在所述神经网络中进行处理，得到与所述待训练的图像对应的第一分辨率级别图像和第二分辨率级别图像；
利用损失函数对所述第一分辨率级别图像和所述第二分辨率级别图像进行计算，得到对应的总损失；
基于所述总损失对所述神经网络进行训练，得到训练后的图像处理神经网络。
4.如权利要求3所述方法，其特征在于，利用损失函数对所述第一分辨率级别图像和所述第二分辨率级别图像进行计算，得到对应的总损失，包括：
基于所述第二分辨率级别图像对所述第一分辨率级别图像进行分辨率调整，得到与所述第二分辨率级别图像的分辨率相同的第三分辨率级别图像；
计算所述第二分辨率级别图像与所述第三分辨率级别图像的相似度，得到对应的相似度值；
基于预先配置的特征信息与所述相似度值，通过所述损失函数进行计算，得到对应的总损失。
5.如权利要求4所述方法，其特征在于，所述预先配置的特征信息包括待训练的图像对应的第一特征信息以及第二级别分辨率图像对应的第二特征信息，
其中，所述第一特征信息与所述第二特征信息的确定方法，包括：
将所述待训练的图像输入预设的分析神经网络进行处理，得到待训练的图像对应的第一特征信息；
将所述第二分辨率级别图像输入预设的分析神经网络进行处理，得到第二分辨率级别图像对应的第二特征信息。
6.如权利要求5所述方法，其特征在于，所述第一特征信息包括待训练的图像对应的内容特征信息和风格特征信息；所述第二特征信息包括第二分辨率级别图像对应的内容特征信息和风格特征信息。
7.如权利要求3-6中任一项所述方法，其特征在于，基于所述总损失对所述神经网络进行训练，得到训练后的图像处理神经网络，包括：
基于所述总损失调整所述神经网络的相应参数，以使得到训练后的图像处理神经网络。
8.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；
第一处理单元，用于将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；
其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。
9.如权利要求8所述装置，其特征在于，还包括：
所述获取单元，还用于获取样本数据，所述样本数据包括待训练的图像；
训练单元，用于基于所述样本数据对神经网络进行训练，得到训练后的图像处理神经网络。
10.如权利要求9所述装置，其特征在于，所述训练单元，用于基于所述样本数据中待训练的图像在所述神经网络中进行处理，得到与所述待训练的图像对应的第一分辨率级别图像和第二分辨率级别图像；利用损失函数对所述第一分辨率级别图像和第二分辨率级别图像进行计算，得到对应的总损失；基于所述总损失对所述神经网络进行训练，得到训练后的图像处理神经网络。
11.如权利要求10所述装置，其特征在于，所述训练单元，具体用于基于所述第二分辨率级别图像对所述第一分辨率级别图像进行分辨率调整，得到与所述第二分辨率级别图像的分辨率相同的第三分辨率级别图像；计算所述第二分辨率级别图像与所述第三分辨率级别图像的相似度，得到对应的相似度值；基于预先配置的特征信息与所述相似度值，通过所述损失函数进行计算，得到对应的总损失。
12.如权利要求11所述装置，其特征在于，所述预先配置的特征信息包括待训练的图像对应的第一特征信息以及第二分辨率级别图像对应的第二特征信息，
第二处理单元，用于将所述待训练的图像输入预设的分析神经网络进行处理，得到待训练的图像对应的第一特征信息；将所述第二分辨率级别图像输入预设的分析神经网络进行处理，得到第二分辨率级别图像对应的第二特征信息。
13.如权利要求12所述装置，其特征在于，所述第一特征信息包括待训练的图像对应的内容特征信息和风格特征信息；所述第二特征信息包括第二分辨率级别图像对应的内容特征信息和风格特征信息。
14.如权利要求10-13中任一项所述装置，其特征在于，所述训练单元，还具体用于基于所述总损失调整所述神经网络的相应参数，以使得到训练后的图像处理神经网络。
15.一种电子设备，其特征在于，包括：
至少一个处理器；
以及与所述处理器连接的至少一个存储器、总线；其中，
所述处理器、存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行权利要求1至权利要求7中任一项所述的图像处理方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至权利要求7中任一项所述的图像处理方法。
CN201811216933.9A 2018-10-18 2018-10-18 图像处理方法、装置、电子设备及计算机可读存储介质 Active CN109191382B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811216933.9A CN109191382B (zh) 2018-10-18 2018-10-18 图像处理方法、装置、电子设备及计算机可读存储介质
US16/447,547 US11069047B2 (en) 2018-10-18 2019-06-20 Image processing method, image processing apparatus, computing device and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811216933.9A CN109191382B (zh) 2018-10-18 2018-10-18 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109191382A true CN109191382A (zh) 2019-01-11
CN109191382B CN109191382B (zh) 2023-12-05

Family

ID=64946147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811216933.9A Active CN109191382B (zh) 2018-10-18 2018-10-18 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (2)

Country Link
US (1) US11069047B2 (zh)
CN (1) CN109191382B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188776A (zh) * 2019-05-30 2019-08-30 京东方科技集团股份有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
CN110363709A (zh) * 2019-07-23 2019-10-22 腾讯科技（深圳）有限公司 一种图像处理方法、图像展示方法、模型训练方法及装置
CN110866866A (zh) * 2019-11-14 2020-03-06 腾讯科技（深圳）有限公司 图像仿色处理方法、装置、电子设备及存储介质
CN111127309A (zh) * 2019-12-12 2020-05-08 杭州格像科技有限公司 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN111161193A (zh) * 2019-12-31 2020-05-15 深圳度影医疗科技有限公司 一种超声图像质量的优化方法、存储介质及终端设备
CN111192255A (zh) * 2019-12-30 2020-05-22 上海联影智能医疗科技有限公司 指标检测方法、计算机设备和存储介质
CN111583165A (zh) * 2019-02-19 2020-08-25 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
CN111797855A (zh) * 2019-04-09 2020-10-20 腾讯科技（深圳）有限公司 图像处理、模型训练方法、装置、介质和设备
CN113065638A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种神经网络压缩方法及其相关设备
CN113240576A (zh) * 2021-05-12 2021-08-10 北京达佳互联信息技术有限公司 风格迁移模型的训练方法、装置、电子设备及存储介质
CN113329173A (zh) * 2021-05-19 2021-08-31 Tcl通讯（宁波）有限公司 一种影像优化方法、装置、存储介质及终端设备
CN113395440A (zh) * 2020-03-13 2021-09-14 华为技术有限公司 一种图像处理方法及电子设备
CN113436062A (zh) * 2021-07-28 2021-09-24 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN113674152A (zh) * 2021-08-03 2021-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113992618A (zh) * 2021-10-21 2022-01-28 北京明略软件***有限公司 超分辨率图像处理方法、***、电子设备及存储介质
CN116385270A (zh) * 2023-04-18 2023-07-04 华院计算技术(上海)股份有限公司 一种基于多重损失和分辨率的图像转图像的方法
WO2024032331A1 (zh) * 2022-08-12 2024-02-15 中国电信股份有限公司 图像处理方法及装置、电子设备、存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018119684A1 (zh) * 2016-12-27 2018-07-05 深圳前海达闼云端智能科技有限公司 一种图像识别***及图像识别方法
CN109766895A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法
CN110516099A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 图像处理方法和装置
CN111951177B (zh) * 2020-07-07 2022-10-11 浙江大学 一种基于图像超分辨损失函数的红外图像细节增强方法
CN111932445B (zh) * 2020-07-27 2024-07-16 广州市百果园信息技术有限公司 对风格迁移网络的压缩方法及风格迁移方法、装置和***
CN112184568A (zh) * 2020-09-04 2021-01-05 北京爱芯科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN112733946B (zh) * 2021-01-14 2023-09-19 北京市商汤科技开发有限公司 一种训练样本的生成方法、装置、电子设备及存储介质
CN112784857B (zh) * 2021-01-29 2022-11-04 北京三快在线科技有限公司 一种模型训练以及图像处理方法及装置
CN113065575A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像处理方法及相关装置
US20230029335A1 (en) * 2021-07-23 2023-01-26 Taiwan Semiconductor Manufacturing Company, Ltd. System and method of convolutional neural network

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN107392842A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 图像风格化处理方法、装置、计算设备及计算机存储介质
CN107507134A (zh) * 2017-09-21 2017-12-22 大连理工大学 基于卷积神经网络的超分辨率方法
CN107767343A (zh) * 2017-11-09 2018-03-06 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120130B (zh) * 2015-09-17 2018-06-29 京东方科技集团股份有限公司 一种图像升频***、其训练方法及图像升频方法
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
CN106847294B (zh) * 2017-01-17 2018-11-30 百度在线网络技术（北京）有限公司 基于人工智能的音频处理方法和装置
CN107124609A (zh) * 2017-04-27 2017-09-01 京东方科技集团股份有限公司 一种视频图像的处理***、其处理方法及显示装置
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
US10832387B2 (en) * 2017-07-19 2020-11-10 Petuum Inc. Real-time intelligent image manipulation system
CN109426858B (zh) * 2017-08-29 2021-04-06 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
CN107895174B (zh) * 2017-11-09 2020-01-07 京东方科技集团股份有限公司 图像分类和转换方法、装置以及图像处理***
CN107801026B (zh) * 2017-11-09 2019-12-03 京东方科技集团股份有限公司 图像压缩方法及装置、图像压缩及解压缩***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN107392842A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 图像风格化处理方法、装置、计算设备及计算机存储介质
CN107507134A (zh) * 2017-09-21 2017-12-22 大连理工大学 基于卷积神经网络的超分辨率方法
CN107767343A (zh) * 2017-11-09 2018-03-06 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUSTION JOHNSON 等: "Perceptual loss for real time style transfer and super-resolution", ARXIV *
MICHAEL ELAD: "Style Transfer Via Texture Synthesis", IEEE, pages 2338 - 2351 *
XIN DENG 等: "Enhancing Image Quality via Style Transfer for Single Image Super-Resolution", 《IEEE SIGNAL PROCESSING LETTERS》 *
XIN DENG 等: "Enhancing Image Quality via Style Transfer for Single Image Super-Resolution", 《IEEE SIGNAL PROCESSING LETTERS》, 13 February 2018 (2018-02-13) *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583165B (zh) * 2019-02-19 2023-08-08 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
CN111583165A (zh) * 2019-02-19 2020-08-25 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
WO2020168844A1 (en) * 2019-02-19 2020-08-27 Boe Technology Group Co., Ltd. Image processing method, apparatus, equipment, and storage medium
US11403838B2 (en) 2019-02-19 2022-08-02 Boe Technology Group Co., Ltd. Image processing method, apparatus, equipment, and storage medium to obtain target image features
CN111797855A (zh) * 2019-04-09 2020-10-20 腾讯科技（深圳）有限公司 图像处理、模型训练方法、装置、介质和设备
US11908102B2 (en) 2019-05-30 2024-02-20 Boe Technology Group Co., Ltd. Image processing method and device, training method of neural network, and storage medium
CN110188776A (zh) * 2019-05-30 2019-08-30 京东方科技集团股份有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
CN110363709A (zh) * 2019-07-23 2019-10-22 腾讯科技（深圳）有限公司 一种图像处理方法、图像展示方法、模型训练方法及装置
CN110866866A (zh) * 2019-11-14 2020-03-06 腾讯科技（深圳）有限公司 图像仿色处理方法、装置、电子设备及存储介质
CN110866866B (zh) * 2019-11-14 2023-10-17 腾讯科技（深圳）有限公司 图像仿色处理方法、装置、电子设备及存储介质
CN111127309B (zh) * 2019-12-12 2023-08-11 杭州格像科技有限公司 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN111127309A (zh) * 2019-12-12 2020-05-08 杭州格像科技有限公司 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN111192255B (zh) * 2019-12-30 2024-04-26 上海联影智能医疗科技有限公司 指标检测方法、计算机设备和存储介质
CN111192255A (zh) * 2019-12-30 2020-05-22 上海联影智能医疗科技有限公司 指标检测方法、计算机设备和存储介质
CN111161193A (zh) * 2019-12-31 2020-05-15 深圳度影医疗科技有限公司 一种超声图像质量的优化方法、存储介质及终端设备
CN111161193B (zh) * 2019-12-31 2023-09-05 深圳度影医疗科技有限公司 一种超声图像质量的优化方法、存储介质及终端设备
CN113395440A (zh) * 2020-03-13 2021-09-14 华为技术有限公司 一种图像处理方法及电子设备
CN113065638A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种神经网络压缩方法及其相关设备
CN113240576A (zh) * 2021-05-12 2021-08-10 北京达佳互联信息技术有限公司 风格迁移模型的训练方法、装置、电子设备及存储介质
CN113240576B (zh) * 2021-05-12 2024-04-30 北京达佳互联信息技术有限公司 风格迁移模型的训练方法、装置、电子设备及存储介质
CN113329173A (zh) * 2021-05-19 2021-08-31 Tcl通讯（宁波）有限公司 一种影像优化方法、装置、存储介质及终端设备
CN113436062A (zh) * 2021-07-28 2021-09-24 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN113674152A (zh) * 2021-08-03 2021-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113992618A (zh) * 2021-10-21 2022-01-28 北京明略软件***有限公司 超分辨率图像处理方法、***、电子设备及存储介质
CN113992618B (zh) * 2021-10-21 2023-09-15 北京明略软件***有限公司 超分辨率图像处理方法、***、电子设备及存储介质
WO2024032331A1 (zh) * 2022-08-12 2024-02-15 中国电信股份有限公司 图像处理方法及装置、电子设备、存储介质
CN116385270A (zh) * 2023-04-18 2023-07-04 华院计算技术(上海)股份有限公司 一种基于多重损失和分辨率的图像转图像的方法

Also Published As

Publication number Publication date
CN109191382B (zh) 2023-12-05
US20200126205A1 (en) 2020-04-23
US11069047B2 (en) 2021-07-20

Similar Documents

Publication Publication Date Title
CN109191382A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
Lin et al. Hyperspectral image denoising via matrix factorization and deep prior regularization
CN109426858A (zh) 神经网络、训练方法、图像处理方法及图像处理装置
CN112819737B (zh) 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
US11216913B2 (en) Convolutional neural network processor, image processing method and electronic device
CN109816612A (zh) 图像增强方法和装置、计算机可读存储介质
Wang et al. A new blind image quality framework based on natural color statistic
Kanimozhi et al. Brain MR image segmentation using self organizing map
CN115661754B (zh) 一种基于维度融合注意力的行人重识别方法
Aljarrah Effect of image degradation on performance of convolutional neural networks
CN111881920B (zh) 一种大分辨率图像的网络适配方法及神经网络训练装置
CN115511767A (zh) 一种自监督学习的多模态图像融合方法及其应用
CN111898614B (zh) 神经网络***以及图像信号、数据处理的方法
CN115526777A (zh) 一种盲超分网络建立方法、盲超分方法及存储介质
CN110826534A (zh) 一种基于局部主成分分析的人脸关键点检测方法及***
Lu et al. Infrared and visible image fusion based on tight frame learning via VGG19 network
Lai et al. Generative focused feedback residual networks for image steganalysis and hidden information reconstruction
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN115496819B (zh) 一种基于能量集中特性的快速编码光谱成像方法
CN116137043A (zh) 一种基于卷积和Transformer的红外图像彩色化方法
CN115239943A (zh) 图像矫正模型的训练方法及切片图像的色彩矫正方法
CN114511470A (zh) 一种基于注意力机制的双分支全色锐化方法
CN114283301A (zh) 一种基于Transformer的自适应医学影像分类方法及***
CN114627370A (zh) 一种基于transformer特征融合的高光谱影像分类方法
CN113705346B (zh) 一种遥感影像地物分类泛化性提升方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant