CN111145097B - 图像处理方法、装置和图像处理*** - Google Patents

图像处理方法、装置和图像处理*** Download PDF

Info

Publication number
CN111145097B
CN111145097B CN201911416486.6A CN201911416486A CN111145097B CN 111145097 B CN111145097 B CN 111145097B CN 201911416486 A CN201911416486 A CN 201911416486A CN 111145097 B CN111145097 B CN 111145097B
Authority
CN
China
Prior art keywords
image
initial
processing
initial image
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911416486.6A
Other languages
English (en)
Other versions
CN111145097A (zh
Inventor
宣章洋
孙航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201911416486.6A priority Critical patent/CN111145097B/zh
Publication of CN111145097A publication Critical patent/CN111145097A/zh
Priority to EP20909573.6A priority patent/EP4075374A4/en
Priority to PCT/CN2020/127994 priority patent/WO2021135657A1/zh
Priority to US17/854,452 priority patent/US20220335583A1/en
Application granted granted Critical
Publication of CN111145097B publication Critical patent/CN111145097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了图像处理方法、装置和图像处理***。该图像处理方法包括：获取初始图像；根据初始图像的图像特征将初始图像由一种类型转换到另一种类型，进而得到目标图像；呈现目标图像或者对目标图像进行分析处理。本申请中，根据初始图像的图像特征能够实现对初始图像的处理，从而得到另一种类型的图像。

Description

图像处理方法、装置和图像处理***
技术领域
本申请涉及图像处理技术领域，并且更具体地，涉及一种图像处理方法、装置和图像处理***。
背景技术
由于不同类型的图像的显示效果可能会有所不同，常常需要对图像进行处理，从而将一种类型的图像转化为另一种类型的图像，以便于后续的处理或者分析。因此，如何更好地将一种类型的图像转化成另一种类型的图像是一个需要解决的问题。
发明内容
本申请提供一种图像处理方法、装置和图像处理***，能够根据图像特征将一种类型的图像转化成另一种类型的图像。
第一方面，提供了一种图像处理方法，该图像处理方法包括：获取初始图像；根据初始图像的图像特征得到目标图像；呈现目标图像或者对目标图像进行分析处理。
其中，上述初始图像为第一类型的图像，上述目标图像为第二类型的图像，初始图像和目标图像可以是不同类型的图像。
在一种可能的实现方式中，上述目标图像的分辨率大于初始图像的分辨率。
也就是说，上述初始图像可以是分辨率较低的图像，上述目标图像可以是分辨率较高的图像，通过上述第一方面的方法，能够提高初始图像的分辨率，得到分辨率更高的目标图像。
在另一种可能的实现方式中，上述目标图像的图像质量高于初始图像的图像质量。
也就是说，上述初始图像可以是图像质量较低的图像，上述目标图像可以是图像质量较高的图像，通过上述第一方面的方法，能够实现对低质量的初始图像的恢复，能够得到图像质量较高的目标图像。
在另一种可能的实现方式中，上述初始图像为标准动态范围(standard dynamicrange，SDR)图像，上述目标图像为高动态范围(high dynamic range，HDR)图像。
本申请实施例中，根据初始图像的图像特征能够实现对初始图像的处理，从而得到另一种类型的图像。
在另一种可能的实现方式中，上述根据初始图像的图像特征得到目标图像，包括：根据初始图像的全局图像特征和初始图像的局部图像特征得到目标图像。
在另一种可能的实现方式中，上述根据初始图像的全局图像特征以及初始图像的局部图像特征，得到目标图像，包括：根据初始图像的全局图像特征以及初始图像的局部图像特征得到初始图像的最终特征图；对初始图像的最终特征图进行多次上采样处理，得到目标图像。
上述初始图像的局部图像特征可以是指初始图像的局部区域的特征。
例如，当初始图像中的一个区域包括人，另一个区域包括猫时，那么，初始图像的局部图像特征可以包括初始图像的一个区域中的猫的轮廓特征，以及另一个区域中的人的轮廓特征等。
上述初始图像的全局图像特征可以是指初始图像的整体图像特征，例如，初始图像的光照强度，色调等。
一般来说，图像的全局特征表示的图像的高级信息。例如，图像的全局特征可以包括图像的场景类别、主题类型或整体照明条件，这些信息对于图像的单个像素确定它们的局部调整是有用的。
在另一种可能的实现方式中，上述根据初始图像的全局图像特征以及初始图像的局部图像特征得到初始图像的最终特征图，包括：将初始图像的全局图像特征和初始图像的局部图像特征进行拼接，得到初始图像的最终特征图。
例如，初始图像的全局图像特征的大小为(1，1，Z)，初始图像的局部图像特征的大小为(P，Q，Z)，那么，在拼接时，可以先将初始图像的全局图像特征的每个通道复制P×Q份，然后将复制后的全局图像特征与布局图像特征在通道维度上进行连接，得到大小为(P，Q，2Z)的最终特征图。其中，全局图像特征的宽和高均为1，通道数为Z，局部图像特征的宽和高分别为P和Q，通道数为Z，拼接后得到的最终特征图的宽和高分别为P和Q，通道数为2Z。
通过对初始图像的全局图像特征和初始图像的局部图像特征进行拼接，能够得到融合了初始图像的全局特征和局部特征的最终特征图。
在另一种可能的实现方式中，上述方法还包括：获取初始图像的全局图像特征。
其中，上述初始图像的全局图像特征是根据初始图像的第二特征图确定的，初始图像的第二特征图是对初始图像的第一特征图的进行自适应池化处理得到的，初始图像的第一特征图是对初始图像进行卷积处理得到的，初始图像的第二特征图为固定大小的特征图。
在另一种可能的实现方式中，初始图像的局部图像特征是对初始图像进行卷积处理得到的。
当对初始图像的卷积处理次数为多次时，上述初始图像的布局图像特征可以包括对初始图像进行多次卷积得到的图像特征。
在另一种可能的实现方式中，获取初始图像的全局图像特征包括：
获取初始图像的第一特征图；根据第一特征图的大小对第一特征图进行自适应池化处理，以得到第二特征图；根据第二特征图确定初始图像的全局图像特征。
其中，上述第一特征图是对初始图像进行L次卷积处理之后得到的，第一特征图的大小为M×N，L、M和N均为正整数。上述第二特征图的大小为R×S，R和S为预先设定的固定数值，R和S均为正整数。
通过对第一特征图进行自适应池化处理，能够得到固定大小的第二特征图，便于后续根据固定大小第二特征图确定初始图像的全局图像特征。
本申请实施例中，通过采用对初始图像的特征图进行自适应池化处理，能够得到固定尺寸大小的特征图，便于后续提取初始图像的全局图像特征，提高了图像处理的灵活性。
具体地，由于在对图像处理过程中经常需要获取图像的全局图像特征，但是在获取不同大小图像的全局图像特征时往往要采用不同结构的网络或者生成器，因此，在获取图像的全局特征之前，通过先对图像进行处理得到固定大小的特征图，然后再根据该固定大小的特征图来提取图像全局特征，能够极大的提高图像处理过程的灵活性，使得采用同一种结构网络或者图像处理器就能够提取不同大小的图像的全局图像特征，从而实现对不同大小图像的灵活处理。
在另一种可能的实现方式中，根据第一特征图的大小对第一特征图进行自适应池化处理，以得到第二特征图，包括：采用滑窗对第一特征图进行池化处理，得到第二特征图。
其中，上述滑窗大小和滑窗滑动时的步长是根据第一特征图的大小和第二特征图的大小确定的。
可选地，上述滑窗的步长与第一特征图的大小为正相关关系。
当第一特征图的尺寸越大时，上述滑窗的步长也越大。
可选地，上述滑窗的大小与第一特征图的为正相关关系。
当第一特征图的尺寸越大时，上述滑窗也越大。
上述滑窗的大小并不是固定不变的，而是可以根据第一特征图的大小灵活设置。
结合第一方面，在第一方面的某些实现方式中，滑窗的大小和滑窗滑动时的步长是根据如下公式确定的：
s_h＝M//R；
s_w＝N//S；
k_h＝M–(R-1)*s_h；
k_w＝N–(S-1)*s_w；
其中，滑窗的大小为(k_h,k_w)，滑窗滑动时的步长为(s_h,s_w)，//表示整除。
此外，k_h和k_w分别表示滑窗的高和宽，s_h和s_w分别表示滑窗在水平方向和竖直方向滑动时的步长值。
由上述公式可知，滑窗的竖直方向滑动的步长(s_h)与第一特征图的宽(M)呈正相关关系。
由上述公式可知，滑窗的水平方向滑动的步长(s_w)与第一特征图的高(N)呈正相关关系。
由上述公式可知，滑窗的高(k_h)与第一特征图的宽(M)呈正相关关系。
由上述公式可知，滑窗的宽(k_w)与第二特征图的高(N)呈正相关关系。
上述滑窗的大小并不是固定不变的，而是可以根据池化处理前的图像的大小以及池化处理后的图像的大小来灵活确定，通过调整滑窗的大小就能够实现对不同大小的特征图进行池化处理，并得到固定大小的特征图，提高了处理不同大小图像的灵活性。
在另一种可能的实现方式中，对目标图像进行分析处理，包括：对目标图像进行图像分类处理或者图像识别处理，得到图像的处理结果。
通过将初始图像从一种类型转换成另一种类型，便于后续更灵活地对转换后得到的目标图像进行图像分类或者图像识别。
例如，当初始图像为低质量图像，目标图像为高质量图像时，通过将初始图像从低质量图像变换成高质量图像，便于后续更好地对图像进行分类或者识别，能够提高图像的分类或者识别效果。
第二方面，提供了一种图像处理装置，所述装置包括用于执行所述第一方面或第一方面任一种可能实现方式中的所述车辆控制方法的各个模块。
第三方面，提供了一种控制器，该控制器包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，该处理器用于执行上述第一方面中的任意一种方法的操作步骤。
第四方面，提供了一种图像处理***，图像处理***包括至少一个虚拟机，至少一个虚拟机用于执行上述第一方面中的任意一种方法的操作步骤。
第五方面，提供了一种电子设备，该电子设备包括上述第二方面的图像恢复装置。
在上述第五方面中，电子设备具体可以是移动终端(例如，智能手机)，平板电脑，笔记本电脑，增强现实/虚拟现实设备以及车载终端设备等等。
第六方面，提供一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，该程序代码包括用于执行第一方面中的任意一种方法中的步骤的指令。
第七方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面中的任意一种方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行上述第一方面中的任意一种方法。
上述芯片具体可以是现场可编程门阵列FPGA或者专用集成电路ASIC。
本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
图1是本申请实施例的一种可能的应用场景的示意图；
图2是本申请实施例的***架构的示意图；
图3是双路循环生成对抗网络进行图像处理的示意图；
图4是本申请实施例的图像处理方法的示意性流程图；
图5是根据初始图像得到目标图像的示意性流程图
图6是对第一特征图进行池化处理的示意图；
图7是本申请实施例的图像处理网络的训练方法的示意性流程图；
图8是本申请实施例的图像处理装置的示意性框图；
图9是本申请实施例的图像处理装置的示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
本申请的方案可以应用在辅助驾驶、自动驾驶的智能车中、平安城市、智能终端等计算机视觉领域中需要进行图像处理的领域。具体地，本申请的方案可以对低质量图像进行处理得到高质量图像，或者，对低分辨率的图像进行处理，得到高分辨率的图像，或者，将SDR图像转化为HDR图像。例如，在智能车中，需要将不同格式的图像进行转换，或者，在使用智能终端(例如，手机)的播放器播放视频时，为了提高显示效果，经常需要将SDR图像转化为HDR图像。另外，在安防领域中，监控摄像头拍摄到的图像画质一般比较低，这样会影响人或者识别算法识别目标和判断事件的准确性，因此，需要提高这些图片的分辨率和清晰度，也就是需要对图像进行处理，以便于后续根据恢复后的图像进行准确的判断。
在本申请方案中，可以利用神经网络(模型)进行图像处理，为了更好地理解本申请方案，下面先对神经网络的相关术语和概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以如下面的公式所示：
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，该激活函数用于对神经网络中的特征进行非线性变换，从而将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(deep neural network，DNN)，也可以称多层神经网络，DNN可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：其中，/>是输入向量，/>是输出向量，/>是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量/>经过如此简单的操作得到输出向量/>由于DNN层数多，系数W和偏移向量/>的数量也比较多。这些参数在DNN中的定义如下所述：以系数W为例，假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为/>上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。
综上，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(3)卷积神经网络
卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(4)残差网络
残差网络是在2015年提出的一种深度卷积网络，相比于传统的卷积神经网络，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。残差网络的核心是解决了增加深度带来的副作用(退化问题)，这样能够通过单纯地增加网络深度，来提高网络性能。残差网络一般会包含很多结构相同的子模块，通常会采用残差网络(residualnetwork，ResNet)连接一个数字表示子模块重复的次数，比如ResNet50表示残差网络中有50个子模块。
(5)分类器
很多神经网络结构最后都有一个分类器，用于对图像中的物体进行分类。分类器一般由全连接层(fully connected layer)和softmax函数(可以称为归一化指数函数)组成，能够根据输入而输出不同类别的概率。
(6)损失函数
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
(7)反向传播算法
神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的数值，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
图1是本申请实施例的一种可能的应用场景的示意图，如图所示，第一处理单元从存储器中获取图像数据(该图像数据可以是需要处理的图像)，并将该图像传输到第二处理单元，第二处理单元获取到图像数据之后对该图像数据进行处理，得到处理后的图像数据，从而完成了对图像数据的处理。接下来，第二处理单元将处理后的图像数据传输到第一处理单元，第一处理单元获取到处理后的图像数据之后再将该处理后的图像数据存储到存储器中。
第一处理单元和存储器可以位于电子设备中，第二处理单元可以位于数据中心设备中，第一处理单元在将图像数据传输到第二处理单元之前，还可以对图像数据进行预处理，然后再将预处理后的图像数据传输到第二处理单元。其中，电子设备可以是车载的控制器，也可以是具有第一处理单元或第二处理单元的服务器，该服务器应用于安防领域，用于收集摄像头或相机采集的图像，并执行图像处理过程。
上述数据中心设备可以是位于云端的设备，电子设备与数据中心设备可以通过无线通信来传输数据。电子设备可以将用户的待处理图像上传到数据中心设备，由数据中心设备对待处理图像进行处理，并将处理的图像反馈给电子设备。
上述数据中心设备可以是服务器或者其他具有图像处理能力的计算机设备。
上述第一处理单元可将初始图像传输给第二处理单元，第二单元接收到初始图像之后，可以对初始图像进行如下处理：
(1)对初始图像进行至少一次卷积处理，得到初始图像的第一特征图；
(2)采用与第一特征图大小匹配的滑窗对第一特征图进行自适应池化处理，得到第二特征图；
(3)根据第二特征图确定初始图像的全局图像特征；
(4)对初始图像的全局图像特征以及初始图像的局部图像特征进行拼接，得到初始图像的最终特征图，并对初始图像的最终特征图进行多次上采样处理，以得到目标图像。
可选地，上述初始图像可以是SDR图像，上述目标图像可以是HDR图像。
当初始图像为SDR图像，目标图像为HDR图像时，通过上述处理过程能够将SDR图像转化为HDR图像，可以提高图像的显示效果。
下面对HDR图像和SDR图像进行简单的介绍。
随着计算机图形学和屏幕显示技术的发展，很多电子设备的显示屏开始慢慢支持HDR技术，HDR技术使得图像以及视频的视觉效果更加艳丽鲜明，细节更加明显。相比普通图像，HDR图像可以提供更多的动态范围和图像细节，根据不同的曝光时间的低动态范围(lowdynamic range，LDR)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好地反映出真实环境中的视觉效果。目前常用的HDR是10bit颜色深度。
一般来说，人眼能感受的亮度范围大概为10-3-106nit，人眼所能感受的瞬时对比度范围可达10000：1，而目前消费级液晶显示器的亮度一般在300-400堪德拉每平米(cd/m2)(或称nits)左右，其亮度范围一般为2000：1。因此，人眼的亮度分辨能力远高于当前主流的显示设备。而HDR显示技术就是要提升显示的亮度范围，使得人们看到的图像色彩更加绚丽。
然而，制作HDR图像和视频成本是比较高的，并且各大视频网站现存的大量视频都是8bit的SDR视频，SDR图像使用传统的伽玛(EOTF)曲线显示，SDR图像通常具有8bit颜色深度。将现网存量的大量SDR视频转换为HDR视频就成为一个迫切且具有巨大价值的任务。
应理解，上述第一处理单元和第二处理单元也可以同时位于一个设备中。例如，上述第一处理单元和第二处理单元均可以位于同一个终端设备中，在这种情况下，通过终端设备自身就能够实现对初始图像的处理。
上述第一处理单元可以是中央处理器(central processing unit，CPU)，上述第二处理单元可以是GPU或者其他能够进行图像处理的处理单元。
可选地，上述第二处理单元利用双路循环生成对抗网络(cycle generativeadversarial network，CycleGAN)对初始图像进行处理得到目标图像。
下面结合图2对本申请实施例的***架构进行详细的介绍，图2是本申请实施例的***架构的示意图。如图2所示，***架构100包括执行设备110、训练设备120、数据库130、客户设备140、数据存储***150、以及数据采集***160。
另外，执行设备110包括计算模块111、I/O接口112、预处理模块113和预处理模块114。其中，计算模块111中可以包括目标模型/规则101，预处理模块113和预处理模块114是可选的。其中，执行设备110相当于图1中的数据中心设备。通过该执行设备110能够实现对图像的处理。客户设备140相当于图1中的电子设备，该客户设备140可以将待处理的图像输入到执行设备110中进行处理。
数据采集设备160用于采集训练数据。针对本申请实施例的图像处理网络的训练方法来说，训练数据可以包括训练图像和训练图像对应的标准图像。在采集到训练数据之后，数据采集设备160将这些训练数据存入数据库130，训练设备120基于数据库130中维护的训练数据训练得到目标模型/规则101。
在本申请中，上述训练图像和训练图像对应的标准图像可以是以下几种情况：
(1)训练图像是SDR图像，训练图像对应的标准图像是相应的HDR图像；
(2)训练图像是低分辨率的图像，训练图像对应的标准图像是高分辨率图像；
(3)训练图像是低质量图像，训练图像对应的标准图像是高质量图像。
下面对训练设备120基于训练数据得到目标模型/规则101进行描述，训练设备120对输入的训练图像进行处理，得到处理后的图像，接下来，将处理后的图像与标准图像进行对比，并根据处理后的图像与标准图像之间的差异来更新图像处理网络，直到图像处理网络满足预设要求，从而完成目标模型/规则101的训练。这里的目标模型/规则101就相当于是图像处理网络。
上述目标模型/规则101能够用于实现本申请实施例的图像处理方法，即，将待处理图像输入该目标模型/规则101，即可得到处理后的图像。本申请实施例中的目标模型/规则101具体可以为神经网络。需要说明的是，在实际应用中，数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。
根据训练设备120训练得到的目标模型/规则101可以应用于不同的***或设备中，如应用于图2所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备，车载终端等，还可以是服务器或者云端等。在图2中，执行设备110配置输入/输出(input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向I/O接口112输入数据，所述输入数据在本申请实施例中可以包括：客户设备输入的待处理图像。这里的客户设备140具体可以是终端设备。
预处理模块113和预处理模块114用于根据I/O接口112接收到的输入数据(如待处理图像)进行预处理，在本申请实施例中，可以没有预处理模块113和预处理模块114或者只有的一个预处理模块。当不存在预处理模块113和预处理模块114时，可以直接采用计算模块111对输入数据进行处理。
在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理过程中，执行设备110可以调用数据存储***150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储***150中。
最后，I/O接口112将处理结果(具体可以处理后的图像)，如将目标模型/规则101对待处理图像进行图像处理得到的处理后的图像呈现给客户设备140，从而提供给用户。
具体地，经过计算模块111中的目标模型/规则101进行图像处理得到的处理后的图像可以通过预处理模块113(也可以再加上预处理模块114的处理)的处理(例如，进行图像渲染处理)后将处理结果送入到I/O接口，再由I/O接口将处理结果送入到客户设备140中显示。
应理解，当上述***架构100中不存在预处理模块113和预处理模块114时，计算模块111还可以将通过图像处理得到的处理后的图像传输到I/O接口，然后再由I/O接口将处理结果送入到客户设备140中显示。
值得说明的是，训练设备120可以针对不同的目标或称不同的任务(例如，训练设备可以针对不同场景下的训练图像和训练图像对应的标准图像进行训练)完成图像处理，基于不同的训练数据生成相应的目标模型/规则101，该相应的目标模型/规则101即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。
在图2中，用户可以手动给定输入数据(该输入数据可以是待处理图像)，该“手动给定输入数据”可以通过I/O接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库130。
值得注意的是，图2仅是本申请实施例提供的一种***架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图2中，数据存储***150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储***150置于执行设备110中。
如图2所示，根据训练设备120训练得到目标模型/规则101，可以是本申请实施例中的神经网络，具体的，本申请实施例提供的神经网络可以是CNN以及深度卷积神经网络(deep convolutional neural networks,DCNN)等等。
下面结合图3对利用双路循环生成对抗网络进行图像处理的过程进行详细描述。
如图3所示，双路循环生成对抗网络包括左侧的循环对抗网络1和右侧的循环对抗网络2，其中，循环对抗网络1包括2个生成器网络(Gx和G′y)和1个鉴别器网络(Dy)，循环对抗网络2包括2个生成器网络(G′x和Gy)和1个鉴别器网络(Dx)。
图3所示的双路循环生成对抗网络中的4个生成器的网络结构可以都相同，都可以采用语义分割网络(可以简称为UNet网络，由于Unet网络的结构是对称的，形似英文字母U所以被称为Unet)，2个鉴别器网络的网络结构也可以是相同的。2个鉴别器中，一个用来鉴别生成的HDR图像与真实的HDR图像，另一个用来鉴别生成的SDR图像与真实的SDR图像。另外，Unet网络有一个编码器和一个解码器，编码器主要由卷积层和下采样层组成，用来提取图像的特征，解码器主要由卷积层和上采样层组成，用于将图像的特征解码为目标域图像。
Gx与G′x都是将SDR图像转化为HDR图像的转化器，Gx和G′x共享卷积参数，但不共享批归一化层的参数；Gy与G′y都是将SDR图像转化为HDR图像的逆转化器，Gy与G′y也可以共享卷积参数，但不共享批归一化层的参数。
如图3所示，双路循环生成对抗网络对图像进行处理的具体工作过程如下：
(1)Gx对输入的图像X(图像X为SDR图像)进行处理，得到图像Y'(图像Y'为HDR图像)；
(2)G′y对输入的图像Y'(图像Y'为HDR图像)进行处理，得到图像X”(图像X”为SDR图像)；
(3)将图像Y'和图像X”输入到鉴别器Dy中，以鉴别出真实的HDR图像与生成的HDR图像；
其中，在将图像Y'输入到鉴别器Dy后，最小化其输出，在将图像Y输入到鉴别器Dy后，最大化其输出；
(4)Gy对输入的图像Y(图像Y为HDR图像)进行处理，得到图像X'(图像X'为SDR图像)；
(5)G′x对输入的图像X'(图像X'为SDR图像)进行处理，得到图像Y”(图像Y”为HDR图像)；
(6)将图像Y'和图像X”输入到鉴别器Dy中，以鉴别出真实的SDR图像与生成的SDR图像。
其中，在将图像X'输入到鉴别器Dy时，最小化其输出，在将图像X输入到鉴别器Dy时，最大化其输出。
经过上述过程(1)至(6)可以得到两个循环一致性损失(loss1和loss3)和两个身份映射损失(loss2和loss4)。各个损失的具体含义如下：
loss1表示图像X与图像X”之间的均方误差(mean square error，MSE)；
loss2表示图像X与图像Y'之间的MSE；
loss3表示图像Y与图像Y”之间的MSE；
loss4表示图像X'与图像Y之间的MSE。
在利用双路循环生成对抗网络将SDR图像转化为HDR图像之前，可以采用大量的训练数据(包括多个SDR图像以及该多个SDR图像对应的HDR图像)对双路循环生成对抗网络进行训练，训练得到的双路循环生成对抗网络就可以用于将SDR图像转化为HDR图像。
下面对双路循环生成对抗网络的训练过程进行简单的描述。
对上述双路循环生成对抗网络的训练具体包括步骤S1001至步骤S1011，下面对这些步骤进行详细的介绍。
S1001、将图像X(SDR图像)输入到生成器Gx。
S1002、生成器Gx对输入图像X进行处理，得到图像Y'(HDR图像)。
其中，上述图像X与图像Y'的大小相同。
S1003、将图像Y'输入到生成器G′y中。
S1004、生成器G′y对图像Y'进行处理，得到X”(SDR图像)。
上述图像X”与图像Y'的大小相同。
S1005、将图像Y(真实HDR图像)输入到生成器Gy中进行处理。
S1006、生成器Gy对图像Y进行处理，得到图像X'(SDR图像)。
其中，图像X'与图像Y的大小相同。
S1007、将图像X'(SDR图像)输入到生成器G′x中进行处理，得到图像Y”。
上述图像X'与图像Y”的大小相同。
S1008、将图像Y'(HDR图像)输入到鉴别器Dy中，将图像X'(SDR图像)输入到鉴别器Dx中。
其中，Dy是用来鉴别图像是否为HDR图像的鉴别器，Dx是用来鉴别图像是否为SDR图像的鉴别器。
S1009、计算损失函数。
具体地，在步骤S1009中，需要计算损失函数loss1至loss6，其中，loss1至loss6的含义具体如下：
loss1表示图像X与图像X”之间的MSE；
loss2表示图像X与图像Y'之间的MSE；
loss3表示图像Y与图像Y”之间的MSE；
loss4表示图像X'与图像Y之间的MSE；
S1010、将图像X输入到鉴别器Dx中，将真实HDR图像输入鉴别器Dy中。
S1011、将步骤S1008中鉴别器Dy与Dx输出结果分别和0输入到对抗损失函数loss5与loss6中，将步骤S1010中鉴别器Dy与Dx输出结果分别和1输入到对抗损失函数loss5与loss6中，再将loss5和loss6的结果相加得到总的鉴别器的损失，用以反向传播更新两个鉴别器的参数。
通过上述步骤S1001至S1011可以实现对双路循环生成对抗网络的训练，接下来，就可以利用训练得到的双路循环生成对抗网络进行图像处理了。
下面结合图4对本申请实施例的图像处理方法进行详细的介绍。
图4是本申请实施例的图像处理方法的示意性流程图。图4所示的方法包括步骤S2001至步骤S2003，下面对这些步骤进行详细的介绍。
S2001、获取初始图像，该初始图像为第一类型的图像。
S2002、根据初始图像的图像特征得到目标图像，该目标图像为第二类型的图像。
上述初始图像和目标图像可以是不同类型的图像。
可选地，上述目标图像的分辨率大于初始图像的分辨率。
上述初始图像可以是分辨率较低的图像，上述目标图像可以是分辨率较高的图像，通过图4所示的方法能够提高初始图像的分辨率，从而得到分辨率更高的目标图像。
可选地，上述目标图像的图像质量高于初始图像的图像质量。
上述初始图像可以是图像质量较低的图像，上述目标图像可以是图像质量较高的图像，通过图4所示的方法能够实现对低质量的初始图像的恢复，从而能够得到图像质量较高的目标图像。
可选地，上述初始图像为SDR图像，上述目标图像为HDR图像。
S2003、呈现目标图像或者对目标图像进行分析处理。
本申请实施例中，根据初始图像的图像特征能够实现对初始图像的处理，从而得到另一种类型的图像。
上述步骤S2002中根据初始图像的图像特征得到目标图像，具体可以是根据初始图像的全局图像特征和初始图像的局部图像特征得到目标图像。
下面结合图5对上述步骤2002中根据初始图像的图像特征得到目标图像的过程进行详细的介绍。
图5是根据初始图像得到目标图像的示意性流程图。图5所示的过程包括步骤S2002a至步骤S2002d，下面对这些步骤进行详细的介绍。
S2002a、获取初始图像的第一特征图。
其中，上述第一特征图是对初始图像进行L次卷积处理之后得到的特征图，该第一特征图的大小为M×N，M和N分别表示第一特征图的高和宽，L、M和N均为正整数。
可选地，在上述步骤S2001a之前，图5所示的过程还包括：
2002e、对初始图像进行L次卷积处理，得到第一特征图。
通过对初始图像进行一次或者多次卷积处理，可以得到初始图像的第一特征图。应理解，该第一特征图既可以是一个特征图，也可以是多个特征图。
具体地，当L为1时，上述第一特征图可以仅包括一个特征图，当L大于1时，上述第一特征图包括多个特征图。
例如，当L＝1时，通过对初始图像进行一次卷积处理得到的一个特征图就是第一特征图。
再如，当L＝3时，通过对初始图像分别进行三次卷积处理，可以得到特征图A，特征图B和特征图C。此时，第一特征图包括特征图A，特征图B和特征图C。
S2002b、根据第一特征图的大小对第一特征图进行自适应池化处理，以得到第二特征图。
其中，上述第二特征图的大小为R×S，R和S分别表示第二特征图的高和宽，R和S为预先设定的固定数值。
在上述步骤S2002b中，对第一特征图进行自适应池化具体可以是对第一特征图进行平均池化或者最大值池化。
其中，在对第一特征图进行平均池化时是将位于滑窗覆盖区域内的像素点的平均值作为池化的结果。而在对第一特征图进行最大值池化时是将位于滑窗覆盖区域内的像素点的最大值作为池化的结果。
可选地，上述步骤S2002b中对第一特征图进行自适应池化处理，包括：
步骤一，确定滑窗的大小；
步骤二，采用上述滑窗对第一特征图进行自适应池化处理，以得到第二特征图。
上述滑窗可以是与第一特征图的大小相匹配的滑窗。
可选地，上述滑窗的步长与第一特征图的大小为正相关关系。
当第一特征图的尺寸越大时，上述滑窗的步长也越大。
可选地，上述滑窗的大小与第一特征图的为正相关关系。
当第一特征图的尺寸越大时，上述滑窗也越大。
具体地，在上述步骤一中，可以根据公式(1)至(4)确定与第一特征图的大小匹配的滑窗。
s_h＝M//R (1)
s_w＝N//S (2)
k_h＝M–(R-1)*s_h (3)
k_w＝N–(S-1)*s_w (4)
在上述公式(1)至(4)中，滑窗的大小为(k_h,k_w)，滑窗滑动时的步长为(s_h,s_w)，其中，k_h和k_w分别表示滑窗的高和宽，s_h和s_w分别表示滑窗在水平方向和竖直方向滑动时的步长值，“//”表示整除。
由上述公式(1)可知，滑窗的竖直方向滑动的步长(s_h)与第一特征图的宽(M)呈正相关关系。
由上述公式(2)可知，滑窗的水平方向滑动的步长(s_w)与第一特征图的高(N)呈正相关关系。
由上述公式(3)可知，滑窗的高(k_h)与第一特征图的宽(M)呈正相关关系。
由上述公式(4)可知，滑窗的宽(k_w)与第二特征图的高(N)呈正相关关系。
在采用滑窗对第一特征图进行自适应池化处理时，可以从左到右，从上到下滑过第一特征图，滑动的步长为(s_h,s_w)，每次滑动取窗口内输入特征图(k_h,k_w)区域的最大值(也可以取平均值)做为结果，这样当滑过整个第一特征图，就会得到期望的大小为(R,S)的输出特征图。
例如，如图6所示，采用滑窗对图6左侧的第一特征图进行池化处理，可以得到图6右侧所示的第二特征图。
再如，上述第一特征图的大小为(11 x 13)，上述第二特征图的大小为(5 x 5)，那么，与第一特征图相匹配的滑窗的大小为(3 x 5)，滑窗的步长为(2 x 2)。采用大小为(3 x5)，滑动步长为(2 x 2)的滑窗对大小(11 x 13)的第一特征图的大小进行处理，就可以得到固定大小的第二特征图。
S2002c、根据第二特征图确定初始图像的全局图像特征。
上述初始图像的全局图像特征可以是指初始图像的整体图像特征，例如，初始图像的光照强度，色调等。
一般来说，图像的全局特征表示的图像的高级信息。例如，图像的全局特征可以包括图像的场景类别、主题类型或整体照明条件，这些信息对于图像的单个像素确定它们的局部调整是有用的。
上述初始图像的全局图像特征可以是大小为(1 x 1)的图像特征。
S2002d、根据初始图像的全局图像特征以及初始图像的局部图像特征，得到目标图像。
其中，上述初始图像的局部图像特征可以是对初始图像进行L次卷积处理得到的。具体地，上述初始图像的局部图像特征可以是初始图像的第一特征图。
上述初始图像的局部图像特征是指初始图像的局部区域的特征。例如，当初始图像中的一个区域包括人，另一个区域包括猫时，那么，初始图像的局部图像特征可以包括初始图像的一个区域中的猫的轮廓特征，以及另一个区域中的人的轮廓特征等。
在上述步骤S2002d中，可以先对初始图像的全局图像特征和初始图像的局部图像特征进行拼接，得到初始图像的最终特征图，然后再对初始图像的最终特征图进行多次上采样处理，以得到目标图像。
例如，初始图像的全局图像特征的大小为(1，1，Z)，初始图像的局部图像特征的大小为(P，Q，Z)，那么，在拼接时，可以先将初始图像的全局图像特征的每个通道复制P×Q份，然后将复制后的全局图像特征与布局图像特征在通道维度上进行连接，得到大小为(P，Q，2Z)的最终特征图。其中，全局图像特征的宽和高均为1，通道数为Z，局部图像特征的宽和高分别为P和Q，通道数为Z，拼接后得到的最终特征图的宽和高分别为P和Q，通道数为2Z。
可选地，上述步骤S2002d中根据初始图像的全局图像特征和初始图像的局部图像特征得到目标图像，包括：
步骤三，将初始图像的全局图像特征和初始图像的局部图像特征进行拼接，得到初始图像的最终特征图；
步骤四，对初始图像的最终特征图进行多次上采样处理，得到目标图像。
在上述步骤四中对最终特征图进行多次上采样可以是指对最终特征图进行X次卷积处理+X次上采样处理，以得到目标图像，其中，X为大于1的整数。也就是说，在得到初始图像的最终特征图之后，可以先对最终特征图进行一次卷积处理和一次上采样处理，然后再进行一次卷积处理和一次上采样处理，直到卷积处理次数和上采样处理次数达到X次。上述X的数值可以根据经验来确定，只要经过X次上采样后，采样得到的图像的尺寸与原图像的尺寸一致即可。
本申请实施例中，通过采用对初始图像的特征图进行自适应池化处理，能够得到固定尺寸大小的特征图，便于后续提取初始图像的全局图像特征，提高了图像处理的灵活性。
具体而言，由于在对图像处理过程中经常需要获取图像的全局图像特征，但是在获取不同大小图像的全局图像特征时往往要采用不同结构的网络或者生成器，因此，在获取图像的全局特征之前，通过先对图像进行处理得到固定大小的特征图，然后再根据该固定大小的特征图来提取图像全局特征，能够极大的提高图像处理过程的灵活性，使得采用同一种结构网络或者图像处理器就能够提取不同大小的图像的全局图像特征，从而实现对不同大小图像的处理。
另外，图5所示的过程也可以应用在神经网络的训练过程中，当采用图5所示的过程对神经网络进行训练时，能够采用多种大小不同的训练图像实现对神经网络的训练，与传统方案相比，能够采用不同大小的图像对神经网络进行训练，可以在一定程度上提高训练效果。
应理解，上述L可以是对初始图像进行卷积处理的全部卷积处理次数，也就是说，在对初始图像进行L次卷积处理之后，就完成了对初始图像的卷积处理了，后续可以不再对初始图像进行卷积处理了，而是对初始图像的最终特征图再进行卷积处理。
或者，上述L也可以是对初始图像进行卷积处理的部分卷积处理次数，在对初始图像进行L次卷积处理之后，可以得到第一特征图，然后根据第一特征图得到固定大小的第二特征图，并根据第二特征图得到初始图像的全局图像特征。接下来，还可以对初始图像再进行卷积处理，以得到初始图像的局部图像特征。
此外，本申请实施例的图像处理方法可以由卷积神经网络来执行。此时，上述自适应操作可以在卷积神经网络输出的倒数第二层来执行。这里的卷积神经网络可以包括深度残差网络(deep residual network,ResNet)，特征金字塔网络(feature pyramidnetworks，FPN)等等。
上述初始图像可以是SDR图像，上述目标图像可以是HDR图像。通过图4所示的方法能够将多种不同尺寸的SDR图像转化为HDR图像，提高了将SDR图像转化为HDR图像时的灵活性。
另外，上述初始图像可以是图像质量较差的图像，目标图像可以是对初始图像进行图像修复后得到的图像质量较好的图像。在这种情况下，通过本申请实施例的图像处理方法，能够采用同样的图像生成器实现对不同大小的图像的处理，并得到质量较好的图像。
上述初始图像也可以是分辨率较低的图像，上述目标图像可以是分辨率较高的图像。在这种情况下，通过本申请实施例的图像处理方法，能够采用同样的图像生成器实现对不同大小的图像的处理，并得到质量较好的图像。
上述图4所示的方法可以由图像处理装置来执行，该图像处理装置可以是基于图2所示的双路循环生成对抗网络实现的装置。
当上述图像处理装置是基于图2所示的双路循环生成对抗网络实现的装置时，生成器和鉴别器对图像的具体处理过程如下：
生成器对图像的具体处理过程包括以下步骤A至步骤J，下面分别对这些步骤进行详细的介绍。
步骤A，输入任意尺寸的初始图像到生成器。
假设上述初始图像为RGB三通道的图像，初始图像的高和宽分别为H和W。
步骤B，使用步长为1的卷积核对初始图像进行卷积处理，生成与初始图像大小相同，通道数为16的特征图A。
步骤C，采用步长为2的卷积操作，以及批归一化，激活函数操作作用于第一特征图，逐层提取初始图像更深层次的特征，并且特征图像的大小依次缩小1/2，图像的通道依次增大为原来的2倍，直到获取到图像大小为(H/16,W/16)的特征图B。
步骤D，根据特征图B的大小对特征图B进行自适应池化处理，得到固定大小(16,16)的征图C。
上述步骤D中对特征图B的处理过程与步骤S2002b中对第一特征图的处理过程相同，具体处理过程可以参见步骤S2002b的相关描述。
步骤E，对特征图C进行一次步长为2的卷积处理，得到大小为(8,8)，通道数为128的特征图D。
步骤F，使用8*8的卷积核对特征图D进行卷积处理，得到大小为(1,1)，通道数为128的初始图像的全局特征图。
步骤H，将全局特征图复制H/16*W/16份，得到大小为(H/16,W/16)的全局特征图，然后与大小为(H/16,W/16)的局部图像特征(该局部图像特征就是步骤C中得到的特征图B)连接，这样就得到了初始图像的最终特征图，该初始图像的最终特征图既包含局部特征又包含全局特征。
步骤I，对最终特征图进行边长为1的卷积处理，以及上采样，批归一化，激活函数操作逐层增大最终特征图的图像大小，并且将每一层得到的图像特征与前面相对应图像大小的层进行连接，最终得到与初始图像大小相同的目标图像。
步骤J，将初始图像与步骤I得到的目标图像逐像素相加，将得到的图像作为生成器的最终输出图像。
鉴别器对图像的处理过程：
鉴别器对图像的具体处理过程包括以下步骤X至步骤W，下面分别对这些步骤进行详细的介绍。
步骤X，将任意尺寸的输入图像输入到鉴别器中进行处理。
假设上述输入图像为RGB三通道的图像，输入图像的高和宽分别为H和W。
步骤Y，采用步长为1的卷积操作，以及批归一化，激活函数操作作用于初始图像，生成与输入图像的图像大小相同，通道数为16的特征图R1。
步骤Z，采用步长为2的卷积操作，以及批归一化，激活函数操作作用于特征图R1，逐层提取图像更深层次的特征，且特征图像的大小依次缩小1/2，图像的通道依次增大为原来的2倍。
步骤W，当特征图的大小缩小到(H/32,W/32)时，再使用一个全连接层作为输出层输出一个值，鉴别器的损失函数将会最大化或最小化这个值。
上文结合附图对本申请实施例的图像处理方法进行了详细介绍，下面结合附图对本申请实施例的图像处理网络的训练方法进行介绍。
图7是本申请实施例的图像处理网络的训练方法的示意性流程图。图7所示的方法可以由包含图像处理网络的装置来执行，经过图7所示的方法训练得到的图像处理网络可以执行图4所示的图像处理方法。图7所示的方法包括步骤S3001和S3002，下面对这两个步骤分别进行详细的介绍。
S3001、获取训练数据，该训练数据包括训练图像和训练图像对应的标准图像。
可选地，上述训练数据中包括的训练图像和训练图像对应的标准图像具体如下：
(1)训练图像是SDR图像，训练图像对应的标准图像是相应的HDR图像；
(2)训练图像是低分辨率的图像，训练图像对应的标准图像是高分辨率图像；
(3)训练图像是低质量图像，训练图像对应的标准图像是高质量图像。
S3002、根据训练数据对图像处理网络进行训练，直到图像处理网络的图像处理性能满足预设要求。
上述图像处理网络可以是能够对图像进行处理的神经网络，例如，卷积神经网络，双路循环生成对抗网络等等。
上述步骤3002中根据训练数据对图像处理网络进行训练具体可以是指利用图像处理网络对训练图像进行处理，得到处理后的图像，接下来，再将处理后的图像与标准图像进行对比，并根据处理后的图像与标准图像之间的差异来更新图像处理网络，直到图像处理网络满足预设要求。
而上述利用图像处理网络对训练图像进行处理的过程可以如图5所示的方法中的步骤S2002a至S2002d，具体可参见上文中对步骤S2002a至S2002d的相关描述。
上文结合附图对本申请实施例的图像处理方法进行了详细的说明，下面结合图8和图9对本申请实施例的图像处理装置进行描述，应理解，图8和图9所示的图像处理装置能够执行本申请实施例的图像处理方法。
图8是本申请实施例的图像处理装置的示意性框图，如图所示，图像处理装置6000包括获取模块6010和处理模块6020，图像处理装置6000可以执行本申请实施例的图像处理方法，具体地，图像处理装置6000可以执行图4所示的方法。
当图像处理装置6000执行图4所示的方法时，获取模块6010可以执行步骤S2001，处理模块6020可以执行步骤S2002和S2003。进一步的，处理模块6020还可以执行图5所示的过程中的步骤2002a至2002d。
应理解，图8所示图像处理装置6000中的获取模块6010和处理器模块6020只是按照逻辑功能划分的模块，事实上，还可以根据图像处理装置6000处理图像时的具体过程，将图像处理装置6000划分成其它的功能模块。例如，当图像处理装置6000对特征图进行池化时，具体可以是图像处理装置6000中的池化模块来执行，当图像处理装置对特征图进行上采样处理时，具体可以是图像处理装置6000中的上采样模块来执行。这里举例说明的池化模块和上采样模块可以是对上述处理模块6020进一步划分得到的模块。
图9是本申请实施例的图像处理装置的示意性框图，如图所示，图像处理装置7000包括处理器7010、存储器7020、通信接口7030、内存7040、总线7050。进一步的，图像处理装置7000中除了包含处理器7010之外，还可以包含处理器7060，本申请中对图像处理装置7000中包含的处理器的个数不限定。下面对各个模块或者单元进行详细的介绍。
处理器7010：可以采用通用的中央处理器(central processing unit，CPU)。例如，如图9所示，处理器7010中包括CPU 0和CPU 1。除了图9所示的情况之外，处理器7010还可以是微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请方法实施例的图像处理方法。处理器7010还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的图像处理方法的各个步骤可以通过处理器7010中的硬件的集成逻辑电路或者软件形式的指令完成。上述处理器7010还可以是通用处理器、数字信号处理器(digital signal processing，DSP)、现成可编程门阵列(fieldprogrammable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器7020，处理器7010读取存储器7020中的信息，结合其硬件完成本神经网络构建装置中包括的单元所需执行的功能，或者执行本申请方法实施例的图像处理方法。另外，上述对处理器7010的解释和限定同样适用于处理器7010。
存储器7020：可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器7020可以存储程序，当存储器7020中存储的程序被处理器7010执行时，处理器7010用于执行本申请实施例的图像处理方法的各个步骤。
通信接口7030：可以使用例如但不限于收发器一类的收发装置，来实现装置7000与其他设备或通信网络之间的通信。例如，可以通过通信接口7003获取待处理的图像。
内存7040：可以包括内核7041和计算机程序7042。内存7040是存储器7020与处理器7010进行沟通的桥梁。上述图像处理装置7000中所有程序的运行都是在内存7040中进行的。内存704可以用于暂时存放处理器7020中的运算数据(例如，对图像进行处理得到的中间数据)，以及与硬盘等外部存储器交换的数据。在图像处理装置7000运行时，处理器7010会把需要运算的数据(例如，待处理的初始图像)调到内存7040中进行运算，当运算完成后处理器再将结果(例如，对初始图像处理得到的目标图像)传送出来。
总线7050：可包括在图像处理装置7000各个部件(例如，处理器7010、存储器7020、通信接口7030)之间传送信息的通路。该总线7050除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线7050。可选地，该总线7050还可以是车载以太或控制器局域网(controller area network,CAN)总线或其他内部总线。
应注意，尽管上述图像处理装置7000仅仅示出了存储器、处理器、通信接口等，但是在具体实现过程中，本领域的技术人员应当理解，图像处理装置7000还可以包括实现正常运行的其他器件。同时，根据具体需要，本领域的技术人员应当理解，图像处理装置7000还可包括实现其他附加功能的硬件器件。
应理解，上述图像处理装置6000中的获取模块6010可以相当于图像处理装置7000中的通信接口7030。上述图像处理装置6000中的处理模块6020可以相当于图像处理装置7000中的处理器7010和/或7060。
本申请还提供一种包含如图9所示的图像处理装置7000的智能汽车，该图像处理装置7000用于实现上述方法中相应执行主体的功能。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘(solid state drive,SSD)。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
获取初始图像，所述初始图像为第一类型的图像；
根据所述初始图像的图像特征得到目标图像，所述目标图像为第二类型的图像；
呈现所述目标图像或者对所述目标图像进行分析处理；
所述根据所述初始图像的图像特征得到目标图像，包括：
根据所述初始图像的全局图像特征和所述初始图像的局部图像特征得到所述目标图像；
所述方法还包括：
获取所述初始图像的全局图像特征，其中，所述初始图像的全局图像特征是根据所述初始图像的第二特征图确定的，所述初始图像的第二特征图是对所述初始图像的第一特征图的进行自适应池化处理得到的，所述初始图像的第一特征图是对所述初始图像进行卷积处理得到的，所述初始图像的第二特征图为固定大小的特征图。
2.如权利要求1所述的图像处理方法，其特征在于，所述初始图像的局部图像特征是对所述初始图像进行卷积处理得到的。
3.如权利要求1或2所述的图像处理方法，其特征在于，所述获取所述初始图像的全局图像特征包括：
获取初始图像的第一特征图，其中，所述第一特征图是对初始图像进行L次卷积处理之后得到的，所述第一特征图的大小为M×N，L、M和N均为正整数；
根据所述第一特征图的大小对所述第一特征图进行自适应池化处理，以得到第二特征图，其中，所述第二特征图的大小为R×S，R和S为预先设定的固定数值，R和S均为正整数；
根据所述第二特征图确定所述初始图像的全局图像特征。
4.根据权利要求1或2所述的图像处理方法，其特征在于，所述根据所述第一特征图的大小对所述第一特征图进行自适应池化处理，以得到第二特征图，包括：
采用滑窗对所述第一特征图进行池化处理，得到所述第二特征图，其中，所述滑窗大小和所述滑窗滑动时的步长是根据所述第一特征图的大小和所述第二特征图的大小确定的。
5.如权利要求4所述的图像处理方法，其特征在于，所述滑窗的大小和所述滑窗滑动时的步长是根据如下公式确定的：
s_h＝M//R；
s_w＝N//S；
k_h＝M–(R-1)*s_h；
k_w＝N–(S-1)*s_w；
其中，所述滑窗的大小为(k_h,k_w)，所述滑窗滑动时的步长为(s_h,s_w)，//表示整除。
6.如权利要求1或2所述的图像处理方法，其特征在于，所述根据所述初始图像的全局图像特征以及所述初始图像的局部图像特征，得到目标图像，包括：
根据所述初始图像的全局图像特征以及所述初始图像的局部图像特征得到所述初始图像的最终特征图；
对所述初始图像的最终特征图进行多次上采样处理，得到目标图像。
7.如权利要求6所述的图像处理方法，其特征在于，所述根据所述初始图像的全局图像特征以及所述初始图像的局部图像特征得到所述初始图像的最终特征图，包括：
将所述初始图像的全局图像特征和所述初始图像的局部图像特征进行拼接，得到所述初始图像的最终特征图。
8.如权利要求1或2所述的图像处理方法，其特征在于，所述初始图像为标准动态范围SDR图像，所述目标图像为高动态范围HDR图像。
9.如权利要求1或2所述的图像处理方法，其特征在于，所述对所述目标图像进行分析处理，包括：
对所述目标图像进行图像分类处理或者图像识别处理，得到所述图像的处理结果。
10.一种图像处理装置，其特征在于，包括：
获取模块，用于获取初始图像，所述初始图像为第一类型的图像；
处理模块，用于根据所述初始图像的图像特征得到目标图像，所述目标图像为第二类型的图像；
所述处理模块还用于控制显示器呈现所述目标图像，或者对所述目标图像进行分析处理；
所述处理模块，用于根据所述初始图像的图像特征得到目标图像，包括：
所述处理模块，用于根据所述初始图像的全局图像特征和所述初始图像的局部图像特征得到所述目标图像；
所述处理模块，用于获取所述初始图像的全局图像特征，其中，所述初始图像的全局图像特征是根据所述初始图像的第二特征图确定的，所述初始图像的第二特征图是对所述初始图像的第一特征图的进行自适应池化处理得到的，所述初始图像的第一特征图是对所述初始图像进行卷积处理得到的，所述初始图像的第二特征图为固定大小的特征图。
11.一种控制器，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如权利要求1-9中任一项所述的图像处理方法。
12.一种图像处理***，其特征在于，所述图像处理***包括至少一个虚拟机，所述至少一个虚拟机用于执行如权利要求1-9中任一项所述的图像处理方法。
CN201911416486.6A 2019-12-31 2019-12-31 图像处理方法、装置和图像处理*** Active CN111145097B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911416486.6A CN111145097B (zh) 2019-12-31 2019-12-31 图像处理方法、装置和图像处理***
EP20909573.6A EP4075374A4 (en) 2019-12-31 2020-11-11 IMAGE PROCESSING METHOD AND APPARATUS, AND IMAGE PROCESSING SYSTEM
PCT/CN2020/127994 WO2021135657A1 (zh) 2019-12-31 2020-11-11 图像处理方法、装置和图像处理***
US17/854,452 US20220335583A1 (en) 2019-12-31 2022-06-30 Image processing method, apparatus, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911416486.6A CN111145097B (zh) 2019-12-31 2019-12-31 图像处理方法、装置和图像处理***

Publications (2)

Publication Number Publication Date
CN111145097A CN111145097A (zh) 2020-05-12
CN111145097B true CN111145097B (zh) 2023-09-01

Family

ID=70522778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911416486.6A Active CN111145097B (zh) 2019-12-31 2019-12-31 图像处理方法、装置和图像处理***

Country Status (4)

Country Link
US (1) US20220335583A1 (zh)
EP (1) EP4075374A4 (zh)
CN (1) CN111145097B (zh)
WO (1) WO2021135657A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145097B (zh) * 2019-12-31 2023-09-01 华为技术有限公司 图像处理方法、装置和图像处理***
CN110992271B (zh) * 2020-03-04 2020-07-07 腾讯科技（深圳）有限公司 图像处理方法、路径规划方法、装置、设备及存储介质
EP4143739A4 (en) * 2020-05-01 2023-09-27 Magic Leap, Inc. IMAGE DESCRIPTOR NETWORK WITH IMPOSED HIERARCHICAL NORMALIZATION
CN111683269B (zh) * 2020-06-12 2021-08-17 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备和存储介质
CN111986106B (zh) * 2020-07-30 2023-10-13 南京大学 一种基于神经网络的高动态图像重建方法
CN112200719B (zh) * 2020-09-27 2023-12-12 咪咕视讯科技有限公司 图像处理方法、电子设备及可读存储介质
WO2022105026A1 (zh) * 2020-11-23 2022-05-27 深圳市大疆创新科技有限公司 视频相似度处理方法、装置、移动终端和存储介质
CN113784175B (zh) * 2021-08-02 2023-02-28 中国科学院深圳先进技术研究院 一种hdr视频转换方法、装置、设备及计算机存储介质
CN115713669B (zh) * 2022-11-04 2023-12-05 北京邮电大学 一种基于类间关系的图像分类方法、装置、存储介质及终端
CN117130511A (zh) * 2023-02-24 2023-11-28 荣耀终端有限公司 亮度控制方法及其相关设备
CN116682070B (zh) * 2023-08-03 2024-05-28 武汉工程大学 复杂场景下危险气体泄漏红外视频检测方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447190A (zh) * 2015-12-18 2016-03-30 小米科技有限责任公司 基于卷积神经网络的图片检索方法、装置和服务器
CN107316066A (zh) * 2017-07-28 2017-11-03 北京工商大学 基于多通路卷积神经网络的图像分类方法及***
CN107529650A (zh) * 2017-08-16 2018-01-02 广州视源电子科技股份有限公司 网络模型的构建和闭环检测方法、相应装置及计算机设备
CN107545263A (zh) * 2017-08-02 2018-01-05 清华大学 一种物体检测方法及装置
CN108334892A (zh) * 2017-12-26 2018-07-27 新智数字科技有限公司 一种基于卷积神经网络的车型识别方法、装置及设备
CN109919869A (zh) * 2019-02-28 2019-06-21 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
CN110222718A (zh) * 2019-05-09 2019-09-10 华为技术有限公司 图像处理的方法及装置
CN110570383A (zh) * 2019-09-25 2019-12-13 北京字节跳动网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503792B2 (en) * 2010-12-17 2013-08-06 Sony Corporation Patch description and modeling for image subscene recognition
ES2530687B1 (es) * 2013-09-04 2016-08-19 Shot & Shop. S.L. Método implementado por ordenador para recuperación de imágenes por contenido y programa de ordenador del mismo
WO2016038647A1 (en) * 2014-09-11 2016-03-17 Nec Corporation Image processing device, image processing method and storage medium storing program thereof
EP3574446A4 (en) * 2017-01-27 2020-09-30 Banuba Limited COMPUTER SYSTEMS SPECIALIZED IN THE PROCESSING OF ELECTRONIC IMAGE DATA AND COMPUTER-IMPLEMENTED METHODS
US20210166360A1 (en) * 2017-12-06 2021-06-03 Korea Advanced Institute Of Science And Technology Method and apparatus for inverse tone mapping
CN108681994B (zh) * 2018-05-11 2023-01-10 京东方科技集团股份有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN110532871B (zh) * 2019-07-24 2022-05-10 华为技术有限公司 图像处理的方法和装置
CN110555446B (zh) * 2019-08-19 2023-06-02 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法
CN111145097B (zh) * 2019-12-31 2023-09-01 华为技术有限公司 图像处理方法、装置和图像处理***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447190A (zh) * 2015-12-18 2016-03-30 小米科技有限责任公司 基于卷积神经网络的图片检索方法、装置和服务器
CN107316066A (zh) * 2017-07-28 2017-11-03 北京工商大学 基于多通路卷积神经网络的图像分类方法及***
CN107545263A (zh) * 2017-08-02 2018-01-05 清华大学 一种物体检测方法及装置
CN107529650A (zh) * 2017-08-16 2018-01-02 广州视源电子科技股份有限公司 网络模型的构建和闭环检测方法、相应装置及计算机设备
CN108334892A (zh) * 2017-12-26 2018-07-27 新智数字科技有限公司 一种基于卷积神经网络的车型识别方法、装置及设备
CN109919869A (zh) * 2019-02-28 2019-06-21 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
CN110222718A (zh) * 2019-05-09 2019-09-10 华为技术有限公司 图像处理的方法及装置
CN110570383A (zh) * 2019-09-25 2019-12-13 北京字节跳动网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的人脸识别算法;李辉;石波;;软件导刊(第03期);第26-29页 *

Also Published As

Publication number Publication date
CN111145097A (zh) 2020-05-12
EP4075374A4 (en) 2023-02-01
WO2021135657A1 (zh) 2021-07-08
EP4075374A1 (en) 2022-10-19
US20220335583A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
CN111145097B (zh) 图像处理方法、装置和图像处理***
CN110188795B (zh) 图像分类方法、数据处理方法和装置
CN113284054B (zh) 图像增强方法以及图像增强装置
WO2021018163A1 (zh) 神经网络的搜索方法及装置
US20230214976A1 (en) Image fusion method and apparatus and training method and apparatus for image fusion model
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
WO2020177607A1 (zh) 图像去噪方法和装置
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
WO2021063341A1 (zh) 图像增强方法以及装置
CN113066017B (zh) 一种图像增强方法、模型训练方法及设备
CN113065645B (zh) 孪生注意力网络、图像处理方法和装置
CN112446835B (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN109977832B (zh) 一种图像处理方法、装置及存储介质
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN111951195A (zh) 图像增强方法及装置
CN116205962B (zh) 基于完整上下文信息的单目深度估计方法及***
CN113284055A (zh) 一种图像处理的方法以及装置
CN116563606A (zh) 一种基于双分支空谱全局特征提取网络的高光谱图像分类方法
CN115131256A (zh) 图像处理模型、图像处理模型的训练方法及装置
WO2021189321A1 (zh) 一种图像处理方法和装置
Shao et al. Pixel-level self-paced adversarial network with multiple attention in single image super-resolution
CN113011562B (zh) 一种模型训练方法及装置
WO2024012227A1 (zh) 应用于电子设备的图像显示方法、编码方法及相关装置
CN117975029A (zh) 图像处理方法、模型训练方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant