CN110827217B - 图像处理方法、电子设备及计算机可读存储介质 - Google Patents
图像处理方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110827217B CN110827217B CN201911048250.1A CN201911048250A CN110827217B CN 110827217 B CN110827217 B CN 110827217B CN 201911048250 A CN201911048250 A CN 201911048250A CN 110827217 B CN110827217 B CN 110827217B
- Authority
- CN
- China
- Prior art keywords
- image
- reflection
- model
- loss value
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims description 71
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 description 63
- 230000008569 process Effects 0.000 description 25
- 238000005259 measurement Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 238000000926 separation method Methods 0.000 description 11
- 239000011521 glass Substances 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000011524 similarity measure Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种图像处理方法、电子设备及计算机可读存储介质，所述方法包括：获取原始图像，若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像。在上述方法中，利用第二反卷积器通过反卷积重建，从融合图像中分离出反光内容，进而得到消除反光内容的目标图像，本方案不需要购置额外的拍摄器材，也不需要用户具备专业的拍摄技巧，且整个图像处理过程由软件自动完成，不需要用户参与，处理效率高，可实现对原始图像的批量处理。
Description
技术领域
本发明涉及图像处理领域，特别是涉及一种图像处理方法、电子设备及计算机可读存储介质。
背景技术
在日常生活中，人们常常需要隔着玻璃拍摄图像，例如在旅途中拍摄车窗外风景，在动物园内隔着玻璃拍摄动物，在博物馆内隔着橱窗拍摄展品等。在这种情况下，玻璃内侧的场景会不同程度地被反射，进而叠加到玻璃外的目标场景上，导致拍摄图像上出现反光虚影，影响了目标场景的清晰度。
消除图像反光虚影，能够有效地提升目标场景的视觉效果，提升用户的拍照体验。目前，在拍摄前期可通过一些摄影技巧减少反光，如使用偏振镜、减少环境光照等，但其实大部分用户并没有专业的拍摄器材，也不具备专业的拍摄技巧；此外，还可以通过图像处理软件人工消除图像反光部分，但需要用户具备一定的图像后期处理知识，并且需要用户逐像素点处理，无法通过软件自动完成，因此不便于进行批量处理。
发明内容
本发明提供一种图像处理方法、电子设备及计算机可读存储介质，旨在解决现有的消除图像反光的方法需要购置专业拍摄器材、不便于批量处理的问题。
第一方面，本发明实施例提供了一种图像处理方法，应用于电子设备，所述方法包括：
获取原始图像；
若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，所述第一模型包括第一卷积器和第一反卷积器；
将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像；所述第二模型包括第二卷积器、第三卷积器和第二反卷积器，所述第二卷积器的输入为所述原始图像，所述第三卷积器的输入为所述目标反光预测图像，所述第二反卷积器的输入为所述第二卷积器和所述第三卷积器的输出的融合图像，所述第二反卷积器的输出为所述目标图像。
可选地，所述将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像，包括：
利用所述第二卷积器对所述原始图像进行特征提取，得到第一特征图，并利用所述第三卷积器对所述目标反光预测图像进行特征提取，得到第二特征图；
将所述第一特征图和所述第二特征图叠加后得到的融合图像输入所述第二反卷积器，得到消除所述反光内容的目标图像。
可选地，所述第二模型通过以下步骤训练得到：
将第一样本图像、所述第一样本图像对应的第一反光样本图像，输入初始化的第二模型，得到无反光预测图像，所述第一样本图像包括无反光样本图像；
根据所述无反光预测图像的内容和所述无反光样本图像的内容确定第一子损失值；
根据所述目标反光预测图像的梯度和所述无反光样本图像的梯度确定第二子损失值；
根据所述第一子损失值和第二子损失值确定第一损失值；
若所述第一损失值大于预设第一损失值阈值，则调整所述第二模型的参数以继续对所述第二模型进行训练；
若所述第一损失值小于或等于预设第一损失值阈值，则结束对所述第二模型的训练。
可选地，所述根据所述无反光预测图像的内容和所述无反光样本图像的内容确定第一子损失值，包括：
分别计算所述无反光预测图像中各像素的亮度的平均值，以及，所述无反光样本图像中各像素的亮度的平均值，得到第一平均亮度和第二平均亮度；
计算所述无反光预测图像和所述无反光样本图像中各像素的亮度的协方差，得到第一协方差；
分别计算所述无反光预测图像中各像素的亮度的标准差，以及，所述无反光样本图像中各像素的亮度的标准差，得到第一标准差和第二标准差；
根据所述第一平均亮度、第二平均亮度、第一协方差、第一标准差、第二标准差确定第一子损失值。
可选地，所述根据所述目标反光预测图像的梯度和所述无反光样本图像的梯度确定第二子损失值，包括：
计算所述目标反光预测图像中各像素的梯度和所述无反光样本图像中各像素的梯度，得到第一梯度和第二梯度；
将所述第一梯度和所述第二梯度进行归一化计算，得到第一归一化梯度和第二归一化梯度；
分别求所述第一归一化梯度和所述第二归一化梯度的双曲正切值，分别得到第一双曲正切值和第二双曲正切值；
分别将同一像素位置的所述第一双曲正切值和第二双曲正切值进行积运算，得到乘积值矩阵；
计算所述乘积值矩阵的F范数，得到第二子损失值。
可选地，所述第一模型通过以下步骤训练得到：
将第二样本图像输入初始化的第一模型，得到反光预测图像，所述第二样本图像对应有第二反光样本图像；
根据所述反光预测图像和所述第二反光样本图像确定第二损失值；
若所述第二损失值大于预设第二损失值阈值，则调整所述第一模型的参数以继续对所述第一模型进行训练；
若所述第二损失值小于或等于预设第二损失值阈值，则结束对所述第一模型的训练。
可选地，在获取原始图像之后，还包括：
将所述原始图像输入第三模型，得到所述原始图像包括反光内容的概率值，所述第三模型通过第三图像样本构成的第三图像样本集训练得到，所述第三图像样本对应有监督训练的标签，所述标签用于表示所述第三图像样本是否包括反光内容；
若所述概率值大于预设第三阈值，则确定所述原始图像包括反光内容。
第二方面，本发明实施例提供一种电子设备，所述电子设备包括：
原始图像获取模块，用于获取原始图像；
反光预测图像获取模块，用于若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，所述第一模型包括第一卷积器和第一反卷积器；
目标图像获取模块，用于将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像；所述第二模型包括第二卷积器、第三卷积器和第二反卷积器，所述第二卷积器的输入为所述原始图像，所述第三卷积器的输入为所述目标反光预测图像，所述第二反卷积器的输入为所述第二卷积器和所述第三卷积器的输出的融合图像，所述第二反卷积器的输出为所述目标图像。
可选地，所述目标图像获取模块，包括：
特征提取子模块，用于利用所述第二卷积器对所述原始图像进行特征提取，得到第一特征图，并利用所述第三卷积器对所述目标反光预测图像进行特征提取，得到第二特征图；
目标图像获取子模块，用于将所述第一特征图和所述第二特征图叠加后得到的融合图像输入所述第二反卷积器，得到消除所述反光内容的目标图像。
可选地，所述第二模型通过以下模块训练得到：
第一输入模块，用于将第一样本图像、所述第一样本图像对应的第一反光样本图像，输入初始化的第二模型，得到无反光预测图像，所述第一样本图像包括无反光样本图像；
第一子损失值确定模块，用于根据所述无反光预测图像的内容和所述无反光样本图像的内容确定第一子损失值；
第二子损失值确定模块，用于根据所述目标反光预测图像的梯度和所述无反光样本图像的梯度确定第二子损失值；
第一损失值确定模块，用于根据所述第一子损失值和第二子损失值确定第一损失值；
第一调整模块，用于若所述第一损失值大于预设第一损失值阈值，则调整所述第二模型的参数以继续对所述第二模型进行训练；
第一结束训练模块，用于若所述第一损失值小于或等于预设第一损失值阈值，则结束对所述第二模型的训练。
可选地，所述第一子损失值确定模块，包括：
平均亮度计算子模块，用于分别计算所述无反光预测图像中各像素的亮度的平均值，以及，所述无反光样本图像中各像素的亮度的平均值，得到第一平均亮度和第二平均亮度；
协方差计算子模块，用于计算所述无反光预测图像和所述无反光样本图像中各像素的亮度的协方差，得到第一协方差；
标准差计算子模块，用于分别计算所述无反光预测图像中各像素的亮度的标准差，以及，所述无反光样本图像中各像素的亮度的标准差，得到第一标准差和第二标准差；
第一子损失值确定子模块，用于根据所述第一平均亮度、第二平均亮度、第一协方差、第一标准差、第二标准差确定第一子损失值。
可选地，所述第二子损失值确定模块，包括：
梯度计算子模块，用于计算所述目标反光预测图像中各像素的梯度和所述无反光样本图像中各像素的梯度，得到第一梯度和第二梯度；
归一化计算子模块，用于将所述第一梯度和所述第二梯度进行归一化计算，得到第一归一化梯度和第二归一化梯度；
双曲正切计算子模块，用于分别求所述第一归一化梯度和所述第二归一化梯度的双曲正切值，分别得到第一双曲正切值和第二双曲正切值；
积运算子模块，用于分别将同一像素位置的所述第一双曲正切值和第二双曲正切值进行积运算，得到乘积值矩阵；
范数计算子模块，用于计算所述乘积值矩阵的F范数，得到第二子损失值。
可选地，所述第一模型通过以下模块训练得到：
第二输入模块，用于将第二样本图像输入初始化的第一模型，得到反光预测图像，所述第二样本图像对应有第二反光样本图像；
第二损失值确定模块，用于根据所述反光预测图像和所述第二反光样本图像确定第二损失值；
第二调整模块，用于若所述第二损失值大于预设第二损失值阈值，则调整所述第一模型的参数以继续对所述第一模型进行训练；
第二结束训练模块，用于若所述第二损失值小于或等于预设第二损失值阈值，则结束对所述第一模型的训练。
可选地，所述电子设备还包括：
反光概率确定模块，用于将所述原始图像输入第三模型，得到所述原始图像包括反光内容的概率值，所述第三模型通过第三图像样本构成的第三图像样本集训练得到，所述第三图像样本对应有监督训练的标签，所述标签用于表示所述第三图像样本是否包括反光内容；
反光内容确定模块，用于若所述概率值大于预设第三阈值，则确定所述原始图像包括反光内容。
第三方面，本发明实施例提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的图像处理方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像处理方法的步骤。
本发明实施例具有以下有益效果：
在本发明实施例中，获取原始图像；若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像。在上述方法中，利用第一模型的第一卷积器和第一反卷积器得到仅包含反光内容的目标反光预测图像，然后利用第二模型的第二卷积器和第三卷积器得到原始图像和目标反光预测图像的融合图像，再利用第二反卷积器通过反卷积重建，从融合图像中分离出反光内容，进而得到消除反光内容的目标图像，本方案不需要购置额外的拍摄器材，也不需要用户具备专业的拍摄技巧，且整个图像处理过程由软件自动完成，不需要用户参与，处理效率高，可实现对原始图像的批量处理。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1表示本发明实施例中提供的图像处理方法的流程图之一；
图2表示本发明实施例中提供的图像处理方法的流程图之二；
图3表示本发明实施例中提供的电子设备的结构框图之一；
图4表示本发明实施例中提供的电子设备的结构框图之二；
图5表示实现本发明各个实施例中的一种终端设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，示出了本发明实施例中提供的临摹引导方法的流程图之一。所述方法应用于电子设备，在本发明实施例中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。
该图像处理方法具体可以包括如下步骤：
步骤101，获取原始图像。
在本发明实施例中，原始图像就是待处理的图像，可以来源于电子设备的相机实时采集的图像，也可以来源于电子设备中存储的图像，此处不做具体限定。
步骤102，若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，所述第一模型包括第一卷积器和第一反卷积器。
在本发明实施例中，因为隔着玻璃拍摄照片，玻璃内侧的场景会不同程度地被反射，进而叠加到玻璃外的目标场景上，会导致拍摄图像上出现反光虚影，为了消除原始图像上出现的反光虚影，特提出本发明实施例的解决方案。
首先，需要确定原始图像上是否包括反光内容。具体地，原始图像可以看作由无反光内容的目标场景图像和只包括反光内容的反光图像加权叠加而成，可由如下公式建模表示：
其中，I表示可能包含反光虚影的原始图像，B表示无反光内容的目标场景图像，R表示只包括反光内容的反光图像。α为加权系数，不同的原始图像包含的反光内容多少不同，则α取值不同。若α取值为0，则表示原始图像I不包括反光内容。K表示高斯模糊核，
表示卷积操作，
代表反光内容由于不在成像平面上导致的散焦效果。
可以将原始图像输入识别模型，该识别模型通过公式1对原始图像进行建模，并通过深度神经网络对原始图像包括反光内容的概率进行判断，输出原始图像包括反光内容的概率值。电子设备可以根据该概率值确定原始图像是否包括反光内容。
若原始图像包括反光内容，可以利用已经预先训练好的第一模型从原始图像中分离出仅包含反光内容的目标反光预测图像。其中，第一模型包括第一卷积器，用于对输入的数据进行编码运算，还包括第一反卷积器，用于对第一卷积器编码完成的数据进行解码运算。因此，第一模型是采用编码-解码结构的深度卷积神经网络，其具体的网络结构此处不做具体限定。
步骤103，将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像；所述第二模型包括第二卷积器、第三卷积器和第二反卷积器，所述第二卷积器的输入为所述原始图像，所述第三卷积器的输入为所述目标反光预测图像，所述第二反卷积器的输入为所述第二卷积器和所述第三卷积器的输出的融合图像，所述第二反卷积器的输出为所述目标图像。
在本发明实施例中，在得到仅包括反光内容的目标反光预测图像之后，将原始图像与目标反光预测图像均输入已经预先训练好的第二模型，可以输出消除反光内容的目标图像。其中，第二模型包括第二卷积器和第三卷积器，分别用于对输入的原始图像和目标反光预测图像进行编码运算，两者进行编码运算分别提取原始图像和目标反光预测图像的特征数据，第二模型将两者的特征数据进行融合，可以得到融合图像，并将该融合图像作为第二反卷积器的输入，利用该第二反卷积器进行反卷积重建，可以输出得到消除反光的目标图像。
这样，通过第一模型和第二模型，就从原始图像中分离出了反光内容，得到消除反光内容的目标图像，整个过程不需要用户人工参与，只需要开发人员在电子设备中提前设定第一模型和第二模型的运行程序即可，计算速度快，处理效率高，可实现对原始图像的批量处理。
综上所述，在本发明实施例中，获取原始图像；若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像。在上述方法中，利用第一模型的第一卷积器和第一反卷积器得到仅包含反光内容的目标反光预测图像，然后利用第二模型的第二卷积器和第三卷积器得到原始图像和目标反光预测图像的融合图像，再利用第二反卷积器通过反卷积重建，从融合图像中分离出反光内容，进而得到消除反光内容的目标图像，本方案不需要购置额外的拍摄器材，也不需要用户具备专业的拍摄技巧，且整个图像处理过程由软件自动完成，不需要用户参与，处理效率高，可实现对原始图像的批量处理。
参照图2，示出了本发明实施例中提供的图像处理方法的流程图之二，所述方法应用于电子设备，具体可以包括如下步骤。
步骤201，将第二样本图像输入初始化的第一模型，得到反光预测图像，所述第二样本图像对应有第二反光样本图像。
在本发明实施例中，需要预先对第一模型进行训练，步骤201-步骤204为第一模型的训练过程。
在对第一模型设置初始参数之后，将包括反光内容的第二样本图像输入第一模型，输出为仅包括反光内容的反光预测图像。设第一模型用H表示，第二样本图像用I表示，输出的反光预测图像用R*表示，则通过第一模型H输出得到R*可由如下公式2表示：
R*＝H(I|ΘH) (公式2)
其中，ΘH表示第一模型H的网络参数，可以通过大量的样本训练得到。具体地，通过步骤210-步骤205的训练过程，初始参数被不断调整完善，最终得到最合理的参数ΘH，则第一模型训练完成。
具体地，开发人员需要准备大量的第二样本图像，及与第二样本图像对应的第二反光样本图像。第二样本图像即公式1中的I，可以为开发人员拍摄采集的包括反光内容的大量原始图像。第二反光样本图像即公式1中的R，是仅包括第二样本图像中对应的反光内容的图像样本。第二反光样本图像的采集方法可以是在第二样本图像的拍摄地对拍摄场景进行人工处理，使得反光部分突出显示而得到。例如，在会产生反光的物体，例如玻璃，后面放一块黑布或者将反光物体后面的场景亮度调高，进而使得反光部分会更明显一些，然后再进行拍摄，即可得到第二样本图像对应的第二反光样本图像。
步骤202，根据所述反光预测图像和所述第二反光样本图像确定第二损失值。
在本发明实施例中，将第一模型输出的反光预测图像与第二反光样本图像之间的差别值确定为第二损失值。具体地，可以利用基于图像相似性度量的损失函数，度量反光预测图像与第二反光样本图像之间差别值。基于图像相似性度量的损失函数由图像的相似性度量函数SSIM(R*,R)和1构成，可以从图像整体的亮度、对比度及纹理结构等方面衡量两幅图像的差别。
其中，图像的相似性度量函数SSIM(R*,R)定义如下：
其中，
和μR分别为R*与R的平均亮度，
为R*与R的的协方差，
和σR分别为R*与R的标准差，C1和C2为常数。SSIM(R*,R)取值在0-1之间，越接近1，说明两幅图像越相似。因此，第一模型H所采用的损失函数LH定义如下：
因此，将反光预测图像和第二反光样本图像的平均亮度、协方差、标准差代入公式4可得第二损失值。
步骤203，若所述第二损失值大于预设第二损失值阈值，则调整所述第一模型的参数以继续对所述第一模型进行训练。
在本发明实施例中，可以预先设定第二损失值阈值，当由步骤202得到的第二损失值大于预设第二损失值阈值时，则说明第一模型的误差过大，需要调整第一模型的参数继续进行训练。
步骤204，若所述第二损失值小于或等于预设第二损失值阈值，则结束对所述第一模型的训练。
在经过多次的训练和调整参数之后，若得到的第二损失值小于或等于预设第二损失值阈值，则说明第一模型已经可以输出比较准确的反光预测图像，此时结束对第一模型的训练。
综上，通过步骤201-步骤204完成第一模型的训练，上述过程中引入相似性度量函数来确定第一模型训练过程中的损失值，相似性度量函数从两个图像的整体的亮度、对比度及纹理结构等方面衡量两幅图像的差别，考虑因素全面、细致，度量效果好，使得第一模型训练速度更快、输出图像更准确。
步骤205，将第一样本图像、所述第一样本图像对应的第一反光样本图像，输入初始化的第二模型，得到无反光预测图像，所述第一样本图像包括无反光样本图像。
在本发明实施例中，需要预先对第二模型进行训练，步骤205-步骤210为第二模型的训练过程。
具体地，与第一模型类似，开发人员需要准备大量的第一样本图像，及与第一样本图像对应的第一反光样本图像。其中，第一样本图像为开发人员拍摄采集的包括反光内容的大量原始图像。第一反光样本图像是仅包括第一样本图像中对应的反光内容的图像样本。
同时，还需要准备第一样本图像对应的无反光样本图像，无反光样本图像即不包括反光内容的样本图像。具体采集方法可以是在第一样本图像的拍摄地，避开会产生反光的物体拍摄的图像。例如，在会产生反光的物体，例如玻璃，后面进行拍摄，则可以得到不包括反光内容的无反光样本图像。
在对第二模型设置初始参数之后，将第一样本图像、第一样本图像对应的第一反光样本图像，输入第二模型，可以得到无反光预测图像，即不包括反光内容的预测图像。
步骤206，根据所述无反光预测图像的内容和所述无反光样本图像的内容确定第一子损失值。
在本发明实施例中，将第二模型输出的无反光预测图像与无反光样本图像之间的差别确定为第一损失值，具体他，第一损失值由第一子损失值和第二子损失值加权构成。
其中，第一子损失值由无反光预测图像的内容和无反光样本图像的内容确定。类似地，可以由步骤202中使用的基于图像相似性度量的损失函数，度量无反光预测图像与无反光样本图像之间的差别值。
在本发明实施例中，类似地，可以设无反光预测图像为B*，无反光样本图像为B，构建无反光预测图像B*和无反光样本图像B之间的相似性度量函数SSIM(B*,B)。
其中，图像的相似性度量函数SSIM(B*,B)定义如下：
其中，
和μB分别为B*与B的平均亮度，
为B*与B的的协方差，
和σB分别为B*与B的标准差，C3和C4为常数。SSIM(B*,B)取值在0-1之间，越接近1，说明两幅图像越相似。
因此，第二模型L所采用的第一子损失函数LG,SSIM定义如下：
因此，将无反光预测图像和无反光样本图像的平均亮度、协方差、标准差代入公式6可得第一子损失值。
可选地，所述根据所述无反光预测图像的内容和所述无反光样本图像的内容确定第一子损失值，包括以下步骤A1-步骤A4：
步骤A1，分别计算所述无反光预测图像中各像素的亮度的平均值，以及，所述无反光样本图像中各像素的亮度的平均值，得到第一平均亮度和第二平均亮度。
在本发明实施例中，要利用公式6计算第一子损失值，首先需要获取无反光预测图像和无反光样本图像的平均亮度、协方差、标准差。
各像素的亮度的平均值的算法可以是：对于图像中位置为(x，y)的每个像素点，计算出该像素点的亮度值Lum(x,y)，然后求出该亮度值的自然对数。接着对所有像素亮度值的对数求平均值，再求平均值的自然指数值，则得到各像素的亮度的平均值。
步骤A2，计算所述无反光预测图像和所述无反光样本图像中各像素的亮度的协方差，得到第一协方差。
在本发明实施例中，根据协方差计算公式：
COV(X,Y)＝E[(X-E[X])(Y-E[Y])](公式7)可计算第一协方差。具体地，根据步骤A1得到图像中位置为(x，y)的像素点的亮度值Lum(x,y)，首先计算无反光预测图像的各个像素点的亮度平均值和无反光样本图像各个像素点的亮度平均值，得到第一平均亮度和第二平均亮度；然后，将无反光预测图像的每个像素点的亮度值减去第一平均亮度，将无反光样本图像的每个像素点的亮度值减去第二平均亮度，得到两张新的图，分别为第一图和第二图；最后，分别计算第一图和第二图的各个像素点的亮度平均值，分别得到第三平均亮度和第四平均亮度，将第三平均亮度和第四平均亮度相乘得到第一协方差。
步骤A3，分别计算所述无反光预测图像中各像素的亮度的标准差，以及，所述无反光样本图像中各像素的亮度的标准差，得到第一标准差和第二标准差。
在本发明实施例中，标准差是方差的算术平方根。根据步骤A1得到的图像中位置为(x，y)的像素点的亮度值Lum(x,y)，可计算无反光预测图像中各像素的亮度的标准差，无反光样本图像中的各像素的亮度的标准差分别得到第一标准差和第二标准差。
步骤A4，根据所述第一平均亮度、第二平均亮度、第一协方差、第一标准差、第二标准差确定第一子损失值。
在本发明实施例中，将上述计算结果代入公式6，可得第一子损失值。
步骤207，根据所述目标反光预测图像的梯度和所述无反光样本图像的梯度确定第二子损失值。
在本发明实施例中，为了更好从第一样本图像中分离目标反光预测图像和无反光样本图像，提出基于梯度信息的分离损失函数LG,separate。
梯度方向是函数f(x,y)变化最快的方向，当图像中存在边缘时，一定有较大的梯度值，相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小，图像处理中把梯度的模简称为梯度。
在图像的建模公式1中，原始图像I可以看成是由只包括反光内容的反光图像R和无反光内容的目标场景图像B叠加而成的，原始图像I中的一条边缘纹理通常来源于反光图像R或目标场景图像B，也就意味着来自R和B的边缘纹理重叠可能性很小。因此，本发明实施例提取目标反光预测图像R*和无反光样本图像B*的梯度信息，通过LG,separate约束来使得目标反光预测图像R*和无反光样本图像B*在梯度空间的相关性最小。
基于梯度信息的分离损失函数LG,separate具体如下：
其中，
和
为归一化系数，
和
分别为目标反光预测图像和无反光样本图像的梯度矩阵，梯度矩阵由像素点的梯度组成，
表示矩阵中的元素积运算，即两个矩阵中对应位置的元素进行乘积运算，tanh为第二模型的激活函数，||||F为取F范数运算。
因为图像R*和B*的亮度差别较大，算出来的
和
的在尺度、数量级上相差较大，因此需要使用归一化系数
和
先将
和
在尺度范围上进行归一化，再做计算。具体地，将
和
代入公式8，可得到第二子损失值。
本发明实施例在目标反光预测图像R*和无反光样本图像B*原图上做梯度采样，根据两幅图像的梯度相关性做损失函数计算第二子损失值，从两幅图像的边缘纹理角度上对模型进行优化，使消除图像反光内容的效果更好，且计算简便，计算速度较快。
可选地，所述根据所述目标反光预测图像的梯度和所述无反光样本图像的梯度确定第二子损失值，包括以下步骤A5-步骤A9：
步骤A5，计算所述目标反光预测图像中各像素的梯度和所述无反光样本图像中各像素的梯度，得到第一梯度和第二梯度。
一般地，可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导，图像梯度的公式为：
G(x，y)＝dx(i，j)+dy(i，j)(公式9)
其中，(i，j)为图像函数I(x，y)中每个像素的坐标，dx(i，j)＝I(i+1，j)-I(i，j)，dy(i，j)＝I(i，j+1)-I(i，j)。
利用公式9计算目标反光预测图像中各像素的梯度和所述无反光样本图像中各像素的梯度，可得到第一梯度
和第二梯度
步骤A6，将所述第一梯度和所述第二梯度进行归一化计算，得到第一归一化梯度和第二归一化梯度。
具体地，对第一梯度
和第二梯度
分别乘以归一化系数
和
可得到第一归一化梯度
和第二归一化梯度
步骤A7，分别求所述第一归一化梯度和所述第二归一化梯度的双曲正切值，分别得到第一双曲正切值和第二双曲正切值。
在本发明实施例中，为了使模型训练的效果更好，引入tanh这个激活函数，即求第一归一化梯度和第二归一化梯度的双曲正切值。激活函数给神经元引入了非线性因素，如果不用激活函数的话，无论神经网络有多少层，输出都是输入的线性组合。
在本发明实施例中，第一双曲正切值为
第二双曲正切值为
步骤A8，分别将同一像素位置的所述第一双曲正切值和第二双曲正切值进行积运算，得到乘积值矩阵。
具体地，第一双曲正切值和第二双曲正切值分别为矩阵，对这两个矩阵中的元素进行积运算，得到乘积值矩阵，即
步骤A9，计算所述乘积值矩阵的F范数，得到第二子损失值。
F范数是把一个矩阵中每个元素的平方求和后开根号，计算所述乘积值矩阵的F范数，得到第二子损失值，即为
步骤208，根据所述第一子损失值和第二子损失值确定第一损失值。
在本发明实施例中，第一损失值可以为第一子损失值和第二子损失值的加权和。第一损失值LG可以表示为：
LG＝LG,SSIM+λLG,seprate (公式10)
其中，λ为加权系数。
步骤209，若所述第一损失值大于预设第一损失值阈值，则调整所述第二模型的参数以继续对所述第二模型进行训练。
在本发明实施例中，可以预先设定第一损失值阈值，当由步骤206得到的第一损失值大于预设第一损失值阈值时，则说明第二模型的误差过大，需要调整第二模型的参数继续进行训练。
步骤210，若所述第一损失值小于或等于预设第一损失值阈值，则结束对所述第二模型的训练。
在经过多次的训练和调整参数之后，若得到的第一损失值小于或等于预设第一损失值阈值，则说明第二模型已经可以输出比较准确的反光预测图像，此时结束对第二模型的训练。
综上，通过步骤205-步骤210完成第二模型的训练，上述过程中引入相似性度量函数SSIM(B*,B)和基于梯度信息的分离损失函数LG,separate，分别用来确定第一子损失值和第二子损失值。相似性度量函数用于度量无反光预测图像和无反光样本图像之间的相似度，相似度越高，则第一子损失值越小，则第二模型的输出的无反光预测图像越接近于无反光样本图像；分离损失函数用于度量目标反光预测图像和无反光样本图像边缘纹理的重叠度，重叠度越小，则第二子损失值越小，说明第二模型输出的目标反光预测图像中包含的反光内容越多，与无反光样本图像差别越大，则输出效果越好。第二模型采用上述相似性度量函数和分离损失函数两个函数建立第二模型的损失函数，可以从不同角度和维度度量第二模型的输出结果，使得第二模型训练得更快，输出效果更好。
需要说明的是，第一模型和第二模型的训练顺序可以调换，即步骤205-步骤210也可以位于步骤201-步骤204的前面，第一模型和第二模型的训练也可以同时进行，只要在对原始图像进行处理之前训练好第一模型和第二模型即可，对于第一模型和第二模型的训练顺序此处不做具体限定。
可选地，第一模型和第二模型也可以通过其他方式训练得到，只要训练得到的第一模型和第二模型能具备本发明实施例中的相应功能即可，本发明实施例对第一模型和第二模型的训练方法不作具体限定。
在对第一模型和第二模型训练完成后，可以直接进入对原始图像的处理流程。并且，在下一次对原始图像进行处理时，可以无须执行步骤201-步骤210，直接进入步骤211对原始图像进行处理即可。
步骤211，获取原始图像。
在本发明实施例中，原始图像就是待处理的图像，可以来源于电子设备的相机实时采集的图像，也可以来源于电子设备中存储的图像，此处不做具体限定。
步骤212，将所述原始图像输入第三模型，得到所述原始图像包括反光内容的概率值，所述第三模型通过第三图像样本构成的第三图像样本集训练得到，所述第三图像样本对应有监督训练的标签，所述标签用于表示所述第三图像样本是否包括反光内容。
在本发明实施例中，对第一模型和第二模型训练完成后，可以开始对原始图像进行消除反光内容的流程。
首先，需要判定原始图像是否包含反光内容，可以利用第三模型进行判定。第三模型也需要进行预先训练。第三模型可以是一种图像二分类器，由常用图像分类卷积网络如VGG、ResNet、DenseNet或者MobileNet等在特定数据集上训练得到。具体的网络结构在此处不作限定。
具体训练时，可以将第三图像样本输出初始化的第三模型，第三模型输出所述第三图像样本包括反光内容的概率，将该概率与监督训练的标签进行比较，判断损失值是否大于预设阈值，若确定所述原始图像包括反光内容，则继续训练，若不包括反光内容，则结束训练，得到训练好的第三模型。
此时，可以将待处理的原始图像输入第三模型，第三模型输出所述原始图像包括反光内容的概率值。
步骤213，若所述概率值大于预设第三阈值，则确定所述原始图像包括反光内容。
将第三模型输出的概率值与预先设定的第三阈值进行比较，例如，可将第三阈值设为0.5，若输出的概率值大于0.5，说明原始图像在大概率上包括反光内容，则确定原始图像包括反光内容。
反之，若小于第三阈值，则确定原始图像不包括反光内容。
步骤214，若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，所述第一模型包括第一卷积器和第一反卷积器。
在本发明实施例中，步骤211可以参照步骤102，此处不再赘述。
步骤215，利用所述第二卷积器对所述原始图像进行特征提取，得到第一特征图，并利用所述第三卷积器对所述目标反光预测图像进行特征提取，得到第二特征图。
在本发明实施例中，可以利用第二模型提取原始图像中的反光内容，得到消除反光内容的目标图像。
具体地，第二模型包括第二卷积器、第三卷积器和第二反卷积器，分别对应编码和解码功能。其中，利用第二卷积器的编码功能对原始图像进行特征提取，得到第一特征图；利用第三卷积器的编码功能对步骤211中得到的目标反光预测图像进行特征提取，得到第二特征图。
步骤216，将所述第一特征图和所述第二特征图叠加后得到的融合图像输入所述第二反卷积器，得到消除所述反光内容的目标图像。
在本发明实施例中，将第一特征图和第二特征图进行叠加得到融合图像，即得到原始图像的反光内容和无反光内容的融合图像，将融合图像输入第二反卷积器进行反卷积重建，对融合图像进行分离，分别得到原始图像的反光内容图像和消除反光内容的目标图像。
这样，就从原始图像中分离出了消除反光内容的目标图像。
综上所述，本发明实施例提供的图像处理方法，除具有图1中提供的图像处理方法的有益效果外，还引入相似性度量函数SSIM(R*,R)来确定第一模型训练过程中的损失值，相似性度量函数从两个图像的整体的亮度、对比度及纹理结构等方面衡量两幅图像的差别，考虑因素全面、细致，度量效果好，使得第一模型训练速度更快、输出图像更准确；并且，还引入相似性度量函数SSIM(B*,B)和基于梯度信息的分离损失函数LG,separate，分别用来确定第一子损失值和第二子损失值。相似性度量函数用于度量无反光预测图像和无反光样本图像之间的相似度，相似度越高，则第一子损失值越小，则第二模型的输出的无反光预测图像越接近于无反光样本图像；分离损失函数用于度量目标反光预测图像和无反光样本图像边缘纹理的重叠度，重叠度越小，则第二子损失值越小，说明第二模型输出的目标反光预测图像中包含的反光内容越多，与无反光样本图像差别越大，则输出效果越好。第二模型采用上述相似性度量函数和分离损失函数两个函数建立第二模型的损失函数，可以从不同角度和维度度量第二模型的输出结果，使得第二模型训练得更快，输出图像更准确。
参照图3，为本发明实施例提供的电子设备的结构框图之一，该电子设备300具体可以包括：
原始图像获取模块301，用于获取原始图像；
反光预测图像获取模块302，用于若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，所述第一模型包括第一卷积器和第一反卷积器；
目标图像获取模块303，用于将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像；所述第二模型包括第二卷积器、第三卷积器和第二反卷积器，所述第二卷积器的输入为所述原始图像，所述第三卷积器的输入为所述目标反光预测图像，所述第二反卷积器的输入为所述第二卷积器和所述第三卷积器的输出的融合图像，所述第二反卷积器的输出为所述目标图像。
本发明实施例提供的电子设备能够实现图1的方法实施例中实现的各个过程，为避免重复，这里不再赘述。
这样，本发明实施例提供的电子设备，获取原始图像；若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像。在上述方法中，利用第一模型的第一卷积器和第一反卷积器得到仅包含反光内容的目标反光预测图像，然后利用第二模型的第二卷积器和第三卷积器得到原始图像和目标反光预测图像的融合图像，再利用第二反卷积器通过反卷积重建，从融合图像中分离出反光内容，进而得到消除反光内容的目标图像，本方案不需要购置额外的拍摄器材，也不需要用户具备专业的拍摄技巧，且整个图像处理过程由软件自动完成，不需要用户参与，处理效率高，可实现对原始图像的批量处理。
参照图4，在图3的基础上，示出了本发明实施例的电子设备的结构框图之二，
其中，可选的，所述目标图像获取模块303，包括：
特征提取子模块3031，用于利用所述第二卷积器对所述原始图像进行特征提取，得到第一特征图，并利用所述第三卷积器对所述目标反光预测图像进行特征提取，得到第二特征图；
目标图像获取子模块3032，用于将所述第一特征图和所述第二特征图叠加后得到的融合图像输入所述第二反卷积器，得到消除所述反光内容的目标图像。
可选的，所述第二模型可以通过以下模块训练得到：
第一输入模块308，用于将第一样本图像、所述第一样本图像对应的第一反光样本图像，输入初始化的第二模型，得到无反光预测图像，所述第一样本图像包括无反光样本图像；
第一子损失值确定模块309，用于根据所述无反光预测图像的内容和所述无反光样本图像的内容确定第一子损失值；
第二子损失值确定模块310，用于根据所述目标反光预测图像的梯度和所述无反光样本图像的梯度确定第二子损失值；
第一损失值确定模块311，用于根据所述第一子损失值和第二子损失值确定第一损失值；
第一调整模块312，用于若所述第一损失值大于预设第一损失值阈值，则调整所述第二模型的参数以继续对所述第二模型进行训练；
第一结束训练模块313，用于若所述第一损失值小于或等于预设第一损失值阈值，则结束对所述第二模型的训练。
可选地，所述第一子损失值确定模块309，包括：
平均亮度计算子模块，用于分别计算所述无反光预测图像中各像素的亮度的平均值，以及，所述无反光样本图像中各像素的亮度的平均值，得到第一平均亮度和第二平均亮度；
协方差计算子模块，用于计算所述无反光预测图像和所述无反光样本图像中各像素的亮度的协方差，得到第一协方差；
标准差计算子模块，用于分别计算所述无反光预测图像中各像素的亮度的标准差，以及，所述无反光样本图像中各像素的亮度的标准差，得到第一标准差和第二标准差；
第一子损失值确定子模块，用于根据所述第一平均亮度、第二平均亮度、第一协方差、第一标准差、第二标准差确定第一子损失值。
可选地，所述第二子损失值确定模块310，包括：
梯度计算子模块，用于计算所述目标反光预测图像中各像素的梯度和所述无反光样本图像中各像素的梯度，得到第一梯度和第二梯度；
归一化计算子模块，用于将所述第一梯度和所述第二梯度进行归一化计算，得到第一归一化梯度和第二归一化梯度；
双曲正切计算子模块，用于分别求所述第一归一化梯度和所述第二归一化梯度的双曲正切值，分别得到第一双曲正切值和第二双曲正切值；
积运算子模块，用于分别将同一像素位置的所述第一双曲正切值和第二双曲正切值进行积运算，得到乘积值矩阵；
范数计算子模块，用于计算所述乘积值矩阵的F范数，得到第二子损失值。
可选地，所述第一模型可以通过以下模块训练得到：
第二输入模块304，用于将第二样本图像输入初始化的第一模型，得到反光预测图像，所述第二样本图像对应有第二反光样本图像；
第二损失值确定模块305，用于根据所述反光预测图像和所述第二反光样本图像确定第二损失值；
第二调整模块306，用于若所述第二损失值大于预设第二损失值阈值，则调整所述第一模型的参数以继续对所述第一模型进行训练；
第二结束训练模块307，用于若所述第二损失值小于或等于预设第二损失值阈值，则结束对所述第一模型的训练。
可选地，所述电子设备300，还包括：
反光概率确定模块314，用于将原始图像输入第三模型，得到所述原始图像包括反光内容的概率值，所述第三模型通过第三图像样本构成的第三图像样本集训练得到，所述第三图像样本对应有监督训练的标签，所述标签用于表示所述第三图像样本是否包括反光内容；
反光内容确定模块315，用于若所述概率值大于预设第三阈值，则确定所述原始图像包括反光内容。
本发明实施例提供的电子设备能够实现图2的方法实施例中实现的各个过程，为避免重复，这里不再赘述。
本发明实施例所述的电子设备，除具有图3中的电子设备的有益效果外，还引入相似性度量函数SSIM(R*,R)来确定第一模型训练过程中的损失值，相似性度量函数从两个图像的整体的亮度、对比度及纹理结构等方面衡量两幅图像的差别，考虑因素全面、细致，度量效果好，使得第一模型训练速度更快、输出图像更准确；并且，还引入相似性度量函数SSIM(B*,B)和基于梯度信息的分离损失函数LG,separate，分别用来确定第一子损失值和第二子损失值。相似性度量函数用于度量无反光预测图像和无反光样本图像之间的相似度，相似度越高，则第一子损失值越小，则第二模型的输出的无反光预测图像越接近于无反光样本图像；分离损失函数用于度量目标反光预测图像和无反光样本图像边缘纹理的重叠度，重叠度越小，则第二子损失值越小，说明第二模型输出的目标反光预测图像中包含的反光内容越多，与无反光样本图像差别越大，则输出效果越好。第二模型采用上述相似性度量函数和分离损失函数两个函数建立第二模型的损失函数，可以从不同角度和维度度量第二模型的输出结果，使得第二模型训练得更快，输出图像更准确。
图5为实现本发明各个实施例中的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于：射频单元501、网络模块502、声音输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解，图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中，处理器510，用于：
获取原始图像；
若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，所述第一模型包括第一卷积器和第一反卷积器；
将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像；所述第二模型包括第二卷积器、第三卷积器和第二反卷积器，所述第二卷积器的输入为所述原始图像，所述第三卷积器的输入为所述目标反光预测图像，所述第二反卷积器的输入为所述第二卷积器和所述第三卷积器的输出的融合图像，所述第二反卷积器的输出为所述目标图像。
在本发明实施例中，获取原始图像；若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像。在上述方法中，利用第一模型的第一卷积器和第一反卷积器得到仅包含反光内容的目标反光预测图像，然后利用第二模型的第二卷积器和第三卷积器得到原始图像和目标反光预测图像的融合图像，再利用第二反卷积器通过反卷积重建，从融合图像中分离出反光内容，进而得到消除反光内容的目标图像，本方案不需要购置额外的拍摄器材，也不需要用户具备专业的拍摄技巧，且整个图像处理过程由软件自动完成，不需要用户参与，处理效率高，可实现对原始图像的批量处理。
应理解的是，本发明实施例中，射频单元501可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器510处理；另外，将上行的数据发送给基站。通常，射频单元501包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元501还可以通过无线通信***与网络和其他设备通信。
电子设备通过网络模块502为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
声音输出单元503可以将射频单元501或网络模块502接收的或者在存储器509中存储的声音数据转换成声音信号并且输出为声音。而且，声音输出单元503还可以提供与电子设备500执行的特定功能相关的声音输出(例如，呼叫信号接收声音、消息接收声音等等)。声音输出单元503包括扬声器、蜂鸣器以及受话器等。
输入单元504用于接收声音或视频信号。输入单元504可以包括图形处理器(Graphics Processing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元506上。经图形处理器5041处理后的图像帧可以存储在存储器509(或其它存储介质)中或者经由射频单元501或网络模块502进行发送。麦克风5042可以接收声音，并且能够将这样的声音处理为声音数据。处理后的声音数据可以在电话通话模式的情况下转换为可经由射频单元501发送到移动通信基站的格式输出。
电子设备500还包括至少一种传感器505，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板5061的亮度，接近传感器可在电子设备500移动到耳边时，关闭显示面板5061或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器505还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元506用于显示由用户输入的信息或提供给用户的信息。显示单元506可包括显示面板5061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板5061。
用户输入单元507可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板5071上或在触控面板5071附近的操作)。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器510，接收处理器510发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5071。除了触控面板5071，用户输入单元507还可以包括其他输入设备5072。具体地，其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板5071可覆盖在显示面板5061上，当触控面板5071检测到在其上或附近的触摸操作后，传送给处理器510以确定触摸事件的类型，随后处理器510根据触摸事件的类型在显示面板5061上提供相应的视觉输出。虽然在图5中，触控面板5071与显示面板5061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板5071与显示面板5061集成而实现电子设备的输入和输出功能，具体此处不做限定。
接口单元508为外部装置与电子设备500连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、声音输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元508可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备500内的一个或多个元件或者可以用于在电子设备500和外部装置之间传输数据。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如声音数据、电话本等)等。此外，存储器509可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器510是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器509内的软件程序或模块，以及调用存储在存储器509内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器510可包括一个或多个处理单元；优选的，处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
电子设备500还可以包括给各个部件供电的电源511(比如电池)，优选的，电源511可以通过电源管理***与处理器510逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
另外，电子设备500包括一些未示出的功能模块，在此不再赘述。
优选的，本发明实施例还提供一种电子设备，包括处理器510，存储器509，存储在存储器509上并可在上述处理器510上运行的计算机程序，该计算机程序被处理器510执行时实现上述显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
基于上述电子设备的硬件结构，以下对本发明各实施例进行详细详述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，上述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：
获取原始图像和原始图像包括反光内容的概率值；
若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，所述第一模型包括第一卷积器和第一反卷积器；
将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像；所述第二模型包括第二卷积器、第三卷积器和第二反卷积器，所述第二卷积器的输入为所述原始图像，所述第三卷积器的输入为所述目标反光预测图像，所述第二反卷积器的输入为所述第二卷积器和所述第三卷积器的输出的融合图像，所述第二反卷积器的输出为所述目标图像；
其中，第二卷积器用于对所述原始图像进行编码运算，第三卷积器用于对所述目标反光预测图像进行编码运算。
2.根据权利要求1所述的方法，其特征在于，所述将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像，包括：
利用所述第二卷积器对所述原始图像进行特征提取，得到第一特征图，并利用所述第三卷积器对所述目标反光预测图像进行特征提取，得到第二特征图；
将所述第一特征图和所述第二特征图叠加后得到的融合图像输入所述第二反卷积器，得到消除所述反光内容的目标图像。
3.根据权利要求1所述的方法，其特征在于，所述第二模型通过以下步骤训练得到：
将第一样本图像、所述第一样本图像对应的第一反光样本图像，输入初始化的第二模型，得到无反光预测图像，所述第一样本图像包括无反光样本图像；
根据所述无反光预测图像的内容和所述无反光样本图像的内容确定第一子损失值；
根据所述目标反光预测图像的梯度和所述无反光样本图像的梯度确定第二子损失值；
根据所述第一子损失值和第二子损失值确定第一损失值；
若所述第一损失值大于预设第一损失值阈值，则调整所述第二模型的参数以继续对所述第二模型进行训练；
若所述第一损失值小于或等于预设第一损失值阈值，则结束对所述第二模型的训练。
4.根据权利要求3所述的方法，其特征在于，所述根据所述无反光预测图像的内容和所述无反光样本图像的内容确定第一子损失值，包括：
分别计算所述无反光预测图像中各像素的亮度的平均值，以及，所述无反光样本图像中各像素的亮度的平均值，得到第一平均亮度和第二平均亮度；
计算所述无反光预测图像和所述无反光样本图像中各像素的亮度的协方差，得到第一协方差；
分别计算所述无反光预测图像中各像素的亮度的标准差，以及，所述无反光样本图像中各像素的亮度的标准差，得到第一标准差和第二标准差；
根据所述第一平均亮度、第二平均亮度、第一协方差、第一标准差、第二标准差确定第一子损失值。
5.根据权利要求3所述的方法，其特征在于，所述根据所述目标反光预测图像的梯度和所述无反光样本图像的梯度确定第二子损失值，包括：
计算所述目标反光预测图像中各像素的梯度和所述无反光样本图像中各像素的梯度，得到第一梯度和第二梯度；
将所述第一梯度和所述第二梯度进行归一化计算，得到第一归一化梯度和第二归一化梯度；
分别求所述第一归一化梯度和所述第二归一化梯度的双曲正切值，分别得到第一双曲正切值和第二双曲正切值；
分别将同一像素位置的所述第一双曲正切值和第二双曲正切值进行积运算，得到乘积值矩阵；
计算所述乘积值矩阵的F范数，得到第二子损失值。
6.根据权利要求1所述的方法，其特征在于，所述第一模型通过以下步骤训练得到：
将第二样本图像输入初始化的第一模型，得到反光预测图像，所述第二样本图像对应有第二反光样本图像；
根据所述反光预测图像和所述第二反光样本图像确定第二损失值；
若所述第二损失值大于预设第二损失值阈值，则调整所述第一模型的参数以继续对所述第一模型进行训练；
若所述第二损失值小于或等于预设第二损失值阈值，则结束对所述第一模型的训练。
7.根据权利要求1所述的方法，其特征在于，在获取原始图像之后，还包括：
将所述原始图像输入第三模型，得到所述原始图像包括反光内容的概率值，所述第三模型通过第三图像样本构成的第三图像样本集训练得到，所述第三图像样本对应有监督训练的标签，所述标签用于表示所述第三图像样本是否包括反光内容；
若所述概率值大于预设第三阈值，则确定所述原始图像包括反光内容。
8.一种电子设备，其特征在于，所述电子设备包括：
原始图像获取模块，用于获取原始图像和原始图像包括反光内容的概率值；
反光预测图像获取模块，用于若确定所述原始图像包括反光内容，则将所述原始图像输入预先训练的第一模型，得到仅包含反光内容的目标反光预测图像，所述第一模型包括第一卷积器和第一反卷积器；
目标图像获取模块，用于将所述原始图像和所述目标反光预测图像输入预先训练的第二模型，得到消除所述反光内容的目标图像；所述第二模型包括第二卷积器、第三卷积器和第二反卷积器，所述第二卷积器的输入为所述原始图像，所述第三卷积器的输入为所述目标反光预测图像，所述第二反卷积器的输入为所述第二卷积器和所述第三卷积器的输出的融合图像，所述第二反卷积器的输出为所述目标图像；
其中，第二卷积器用于对所述原始图像进行编码运算，第三卷积器用于对所述目标反光预测图像进行编码运算。
9.根据权利要求8所述的电子设备，其特征在于，所述目标图像获取模块，包括：
特征提取子模块，用于利用所述第二卷积器对所述原始图像进行特征提取，得到第一特征图，并利用所述第三卷积器对所述目标反光预测图像进行特征提取，得到第二特征图；
目标图像获取子模块，用于将所述第一特征图和所述第二特征图叠加后得到的融合图像输入所述第二反卷积器，得到消除所述反光内容的目标图像。
10.根据权利要求8所述的电子设备，其特征在于，所述第二模型通过以下模块训练得到：
第一输入模块，用于将第一样本图像、所述第一样本图像对应的第一反光样本图像，输入初始化的第二模型，得到无反光预测图像，所述第一样本图像包括无反光样本图像；
第一子损失值确定模块，用于根据所述无反光预测图像的内容和所述无反光样本图像的内容确定第一子损失值；
第二子损失值确定模块，用于根据所述目标反光预测图像的梯度和所述无反光样本图像的梯度确定第二子损失值；
第一损失值确定模块，用于根据所述第一子损失值和第二子损失值确定第一损失值；
第一调整模块，用于若所述第一损失值大于预设第一损失值阈值，则调整所述第二模型的参数以继续对所述第二模型进行训练；
第一结束训练模块，用于若所述第一损失值小于或等于预设第一损失值阈值，则结束对所述第二模型的训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911048250.1A CN110827217B (zh) | 2019-10-30 | 2019-10-30 | 图像处理方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911048250.1A CN110827217B (zh) | 2019-10-30 | 2019-10-30 | 图像处理方法、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110827217A CN110827217A (zh) | 2020-02-21 |
| CN110827217B true CN110827217B (zh) | 2022-07-12 |
Family
ID=69551530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911048250.1A Active CN110827217B (zh) | 2019-10-30 | 2019-10-30 | 图像处理方法、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827217B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369464B (zh) * | 2020-03-04 | 2021-11-09 | 深圳市商汤科技有限公司 | 去除图像中的反光的方法及装置、电子设备和存储介质 |
| CN111507910B (zh) * | 2020-03-18 | 2023-06-06 | 南方电网科学研究院有限责任公司 | 一种单图像去反光的方法、装置及存储介质 |
| WO2021189321A1 (zh) * | 2020-03-25 | 2021-09-30 | 华为技术有限公司 | 一种图像处理方法和装置 |
| CN115514947B (zh) * | 2021-06-07 | 2023-07-21 | 荣耀终端有限公司 | 一种ai自动白平衡的算法和电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651790A (zh) * | 2016-11-22 | 2017-05-10 | 杭州华为数字技术有限公司 | 图像去模糊的方法、装置和设备 |
| CN107818552A (zh) * | 2017-11-17 | 2018-03-20 | 电子科技大学 | 一种双目图像的去反光方法 |
-
2019
- 2019-10-30 CN CN201911048250.1A patent/CN110827217B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651790A (zh) * | 2016-11-22 | 2017-05-10 | 杭州华为数字技术有限公司 | 图像去模糊的方法、装置和设备 |
| CN107818552A (zh) * | 2017-11-17 | 2018-03-20 | 电子科技大学 | 一种双目图像的去反光方法 |
Non-Patent Citations (4)
| Title |
|---|
| A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing;Qingnan Fan等;《2017 IEEE International Conference on Computer Vision》;20171001;第3258~3267页 * |
| CRRN: Multi-Scale Guided Concurrent Reflection Removal Network;Renjie Wan等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20180623;第4777~4786页 * |
| Single Image Reflection Removal Using Convolutional Neural Networks;Yakun Chang等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20190415;第28卷(第4期);第1954~1966页 * |
| Single Image Reflection Separation with Perceptual Losses;Xuaner Zhang等;《CVPR2018》;20180622;第4786~4794页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110827217A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827217B (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| CN110210571B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN111079576B (zh) | 活体检测方法、装置、设备及存储介质 | |
| WO2019105285A1 (zh) | 人脸属性识别方法、电子设备及存储介质 | |
| WO2020224479A1 (zh) | 目标的位置获取方法、装置、计算机设备及存储介质 | |
| CN111325726A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN108989678B (zh) | 一种图像处理方法、移动终端 | |
| CN108288032B (zh) | 动作特征获取方法、装置及存储介质 | |
| CN110930329A (zh) | 星空图像处理方法及装置 | |
| CN111738365B (zh) | 图像分类模型训练方法、装置、计算机设备及存储介质 | |
| CN112115900B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN109246351B (zh) | 一种构图方法及终端设备 | |
| CN111598896B (zh) | 图像检测方法、装置、设备及存储介质 | |
| CN110837858A (zh) | 网络模型训练方法、装置、计算机设备及存储介质 | |
| CN114359225A (zh) | 图像检测方法、装置、计算机设备及存储介质 | |
| CN110807769B (zh) | 图像显示控制方法及装置 | |
| CN111199169A (zh) | 图像处理方法和装置 | |
| CN110555815B (zh) | 一种图像处理方法和电子设备 | |
| CN108647566B (zh) | 一种识别皮肤特征的方法及终端 | |
| CN114399813A (zh) | 人脸遮挡检测方法、模型训练方法、装置及电子设备 | |
| CN110232417B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN114691860A (zh) | 文本分类模型的训练方法、装置、电子设备及存储介质 | |
| CN110197459B (zh) | 图像风格化生成方法、装置及电子设备 | |
| CN111639639A (zh) | 检测文本区域的方法、装置、设备及存储介质 | |
| CN115330610A (zh) | 图像处理方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |