CN115424118B - 一种神经网络训练方法、图像处理方法及装置 - Google Patents

Abstract

本申请实施例提供一种神经网络训练方法、图像处理方法及装置，该神经网络训练方法中，首先确定需要处理的训练图像和处理后的目标图像，然后确定训练图像对应的第一灰度图像，再通过待训练的神经网络对训练图像和第一灰度图像进行处理，确定训练图像对应的预测图像，再通过预测图像和目标图像，确定待训练的神经网络进行图像处理的损失，然后通过损失，调整待训练的神经网络的参数，直至满足预设条件，满足预设条件的神经网络为训练后的神经网络。通过本申请实施例提供的神经网络进行图像处理，能够使处理后的图像更符合审美自然的要求，减少现有的图像处理技术存在的失真的问题，使处理后的图像具有较为自然的显示效果，符合自然美学。

Description

一种神经网络训练方法、图像处理方法及装置

技术领域

本申请涉及图像处理领域，具体涉及一种神经网络训练方法、图像处理方法及装置。

背景技术

随着移动终端（例如智能手机和智能相机）的普及，通过移动终端进行人像拍摄的场景越来越多。另外，在拍摄人像之后，很多用户希望能够对拍摄得到的图像进行处理，以达到美颜的效果。

目前在对图像进行处理时，针对不同的图像，通常采用固定的处理方式。例如，当需要减少图像中人像皮肤的瑕疵时，可对各幅图像均采用整体柔光混合的方式，对图像中包括的人像皮肤进行磨皮处理；另外，当希望美化图像中人物的眼睛时，通常根据用户选择的调整比例，对各幅图像中包括的眼睛进行放大处理。

但是，由于目前通过固定的处理方式对不同图像进行处理，处理后的图像往往显示效果较差，有时存在失真和不自然的问题。

发明内容

为了解决现有技术中处理后图像存在失真和不自然的问题，本申请实施例提供一种神经网络训练方法、图像处理方法及装置。

第一方面，本申请实施例提供一种神经网络训练方法包括：

确定需要处理的训练图像和处理后的目标图像，所述训练图像和所述目标图像中包含同一人像；

确定所述训练图像对应的第一灰度图像，所述第一灰度图像为提取所述训练图像的明亮度分量后的图像；

通过待训练的神经网络对所述训练图像和所述第一灰度图像进行处理，确定所述训练图像对应的预测图像；

通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失；

通过所述损失，调整所述待训练的神经网络的参数，直至满足预设条件，满足所述预设条件的神经网络为训练后的神经网络，所述训练后的神经网络用于进行图像处理。

通过本申请实施例提供的神经网络进行图像处理，利用了端到端的神经网络，从而能够使处理后的图像更符合审美自然的要求，减少现有的图像处理技术存在的失真的问题，使处理后的图像中包括的皮肤均匀有质感且不失纹理细节，具有较为自然的显示效果，符合自然美学。

一种可选的设计中，所述通过待训练的神经网络对所述训练图像和所述第一灰度图像进行处理，确定所述训练图像对应的预测图像，包括：

通过对所述训练图像进行语义分割，获取所述训练图像的第一分割部分和第二分割部分，所述第一分割部分包括所述人像的皮肤部分，所述第二分割部分包括所述人像的任意一个五官部分；

通过对所述第一灰度图像进行语义分割，获取所述第一灰度图像的第三分割部分和第四分割部分，所述第三分割部分包括所述人像的皮肤部分，所述第四分割部分包括所述人像的任意一个五官部分，并且所述第二分割部分和所述第四分割部分包括的五官部分相同；

将所述第一分割部分、第二分割部分、第三分割部分和第四分割部分输入至待训练的神经网络；

确定所述神经网络的输出为所述预测图像。

该方案中，对训练图像和第一灰度图像进行了分割，分割的结果包括人像的皮肤部分和五官部分，有利于在对神经网络的训练过程中，使神经网络更好学习对面部肤质修饰的处理，以便神经网络对图像进行处理时，使处理后的图像中的皮肤具有质感且不失皮肤细节，并且有利于神经网络在对图像进行处理时，增强面部立体感。

一种可选的设计中，所述损失包括中性灰图层损失；

所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

获取所述预测图像对应的第一中性灰图层，以及获取所述目标图像对应的第二中性灰图层；

基于所述第一中性灰图层和所述第二中性灰图层，计算所述中性灰图层损失。

一种可选的设计中，所述损失包括颜色损失；

所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

获取所述预测图像对应的第一颜色图像，以及所述目标图像对应的第二颜色图像，所述第一颜色图像为提取所述预测图像中的明亮度分量后得到的图像，所述第二颜色图像为提取所述目标图像中的明亮度分量后得到的图像；

通过分别对所述第一颜色图像和所述第二颜色图像进行下采样，获取所述第一颜色图像对应的第一下采样图像，以及所述第二颜色图像对应的第二下采样图像；

基于所述第一下采样图像和所述第二下采样图像，计算所述颜色损失。

一种可选的设计中，所述损失包括一致性损失；

所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

通过分别对所述预测图像和所述目标图像进行裁剪，获取所述预测图像的第一区域，以及获取所述目标图像的第二区域，所述第一区域和所述第二区域对应的语义相同；

基于所述第一区域和所述第二区域，计算所述一致性损失。

一种可选的设计中，所述损失包括感知损失；

所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

将所述预测图像和所述目标图像输入至感知损失计算网络；

基于所述感知损失计算网络的输出，确定所述感知损失。

一种可选的设计中，所述损失包括对抗损失；

所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

将所述预测图像和所述目标图像输入至判别器；

基于所述判别器的输出，确定所述对抗损失。

一种可选的设计中，所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

所述待训练的神经网络进行图像处理的损失包括两种以上时，确定各种所述损失分别对应的权重；

对各种所述损失和所述损失分别对应的权重进行加权计算，加权计算的结果为所述待训练的神经网络进行图像处理的损失。

一种可选的设计中，所述预设条件包括：调整所述待训练的神经网络的参数的次数达到第一次数阈值；

或者，所述预设条件包括：所述损失小于第一损失阈值。

本申请第二方面，本申请实施例公开图像处理方法，包括：

获取待处理图像；

利用训练后的神经网络对所述待处理图像进行图像处理，获取处理后的图像，所述神经网络通过本申请第一方面所述的神经网络训练方法进行训练。

本申请第三方面，本申请实施例公开神经网络训练装置，包括：

第一图像确定模块，用于确定需要处理的训练图像和处理后的目标图像，所述训练图像和所述目标图像中包含同一人像；

第二图像确定模块，用于确定所述训练图像对应的第一灰度图像，所述第一灰度图像为提取所述训练图像的明亮度分量后的图像；

图像处理模块，用于通过待训练的神经网络对所述训练图像和所述第一灰度图像进行处理，确定所述训练图像对应的预测图像；

损失确定模块，用于通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失；

参数调整模块，用于通过所述损失，调整所述待训练的神经网络的参数，直至满足预设条件，满足所述预设条件的神经网络为训练后的神经网络，所述训练后的神经网络用于进行图像处理。

本申请第四方面，本申请实施例公开一种图像处理装置，包括：

图像获取模块，用于获取待处理图像；

图像处理模块，用于利用训练后的神经网络对所述待处理图像进行图像处理，获取处理后的图像，所述神经网络通过第一方面所述的神经网络训练方法进行训练。

本申请第五方面，本申请实施例公开一种电子设备，其特征在于，包括：处理器和存储器；所述存储器存储有程序指令，当所述程序指令被所述处理器执行时，使得所述电子设备执行第一方面或第二方面所述的方法。

本申请第六方面，本申请实施例公开一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序或指令，当所述计算机程序或指令被执行时，如第一方面或第二方面所述的方法被执行。

本申请第七方面，本申请实施例公开一种芯片***，其特征在于，所述芯片***包括处理器，所述处理器与存储器耦合，用于执行所述存储器中存储的计算机程序或指令，当所述计算机程序或指令被执行时，如第一方面或第二方面所述的方法被执行。

通过本申请实施例提供的神经网络训练方法、图像处理方法及装置，该神经网络训练方法中，可获取训练图像和目标图像，以及获取训练图像对应的第一灰度图像，并根据所述训练图像、第一灰度图像和目标图像对神经网络进行训练，获取训练后的神经网络。该训练后的神经网络可用于对图像进行处理。

通过本申请实施例提供的神经网络进行图像处理，利用了端到端的神经网络，能够使处理后的图像更符合审美自然的要求，减少现有的图像处理技术存在的失真的问题，使处理后的图像中包括的皮肤均匀有质感且不失纹理细节，具有较为自然的显示效果，符合自然美学，从而解决现有技术存在的图像失真和不自然的问题。

附图说明

图1为本申请实施例的一种电子设备的结构示意图；

图2为本申请实施例的一种电子设备的软件结构框图的示例图；

图3为本申请实施例公开的一种神经网络训练方法的工作流程示意图；

图4为本申请实施例公开的一种神经网络的示意图；

图5为本申请实施例公开的又一种神经网络训练方法的工作流程示意图；

图6为本申请实施例公开的又一种神经网络训练方法的工作流程示意图；

图7为本申请实施例公开的一种神经网络训练方法的示例图；

图8为本申请实施例公开的一种图像处理方法的工作流程示意图；

图9为本申请实施例公开的一种神经网络训练装置的结构示意图；

图10为本申请实施例公开的一种图像处理装置的结构示意图；

图11为本申请实施例公开的又一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

为了下述各实施例的描述清楚简洁，首先给出相关技术的简要介绍：

如今，通过移动终端进行人像拍摄的场景越来越多，通过移动终端的前置摄像头进行自拍，可记录拍摄时的人物状态，为人们留下美好的回忆。

另外，在拍摄图像后，用户往往希望对图像进行处理，以便能够获取美化后的图像。为了满足用户这一需求，目前一些移动终端可支持美颜算法，并在获取拍摄的图像之后，通过美颜算法可对图像进行处理。

但是，目前对不同图像进行处理时，采用的处理方式通常较为固定。例如，如果用户希望减少图像中人像皮肤的瑕疵，则通常对各幅图像的整体采用柔光混合的方式，对图像中包括的人像皮肤进行磨皮处理；另外，如果用户希望美化图像中人物的眼睛时，通常根据用户选择的调整比例，对各幅图像中包括的眼睛进行放大处理。

但是，由于目前通过固定的处理方式对不同图像进行处理，处理后的图像往往显示效果较差，有时存在失真和不自然的问题。

例如，处理效果较自然的图像中，皮肤的肤质为均匀有质感且不失纹理细节的，这样比较符合人类审美标准，但是通过现有技术对图像进行处理时，得到的图像会失去皮肤的纹理细节，失去皮肤细节，造成图像失真，导致处理后的图像不自然。

为了解决现有技术对图像进行处理时，存在的图像失真、不自然的问题，本申请提供一种射频能量收集器和电子设备。

本申请实施例中的电子设备可以称为用户设备（user equipment，UE）、终端（terminal）、终端设备等。例如，电子设备可以为平板电脑（portable android device，PAD）、个人数字处理（personal digital assistant，PDA）、笔记本电脑、具有无线通信功能的手持设备、计算设备、车载设备、可穿戴设备、虚拟现实（virtual reality，VR）终端设备、增强现实（augmented reality，AR）终端设备、工业控制（industrial control）中的无线终端、无人驾驶（self driving）中的无线终端、远程医疗（remote medical）中的无线终端、智能电网（smart grid）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、智慧家庭（smart home）中的移动终端或固定终端。本申请实施例中对电子设备的形态不做具体限定。

在本申请实施例中，电子设备的结构可以如图1所示，其中，图1为应用本申请实施例提供的一种电子设备的结构示意图。

如图1所示，电子设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

进一步的，当所述电子设备具有发射和接收信号的功能（例如电子设备为手机）时，所述电子设备还可以包括：天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及用户标识模块（subscriber identification module，SIM）卡接口195等。

可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。

移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks，WLAN)(例如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。在一些实施例中，电子设备的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备可以通过无线通信技术与网络以及其他设备通信。

电子设备通过图形处理器（graphics processing unit，GPU），显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。电子设备的显示屏194上可以显示一系列图形用户界面（graphical user interface，GUI），这些GUI都是该电子设备的主屏幕。

电子设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备的各种功能应用以及数据处理。

电子设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。耳机接口170D用于连接有线耳机。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。陀螺仪传感器180B可以用于确定电子设备的运动姿态。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。电子设备可以利用磁传感器180D检测翻盖皮套的开合。加速度传感器180E可检测电子设备在各个方向上(一般为三轴)加速度的大小。距离传感器180F，用于测量距离。接近光传感器180G可以包括发光二极管(LED)和光检测器。环境光传感器180L用于感知环境光亮度。指纹传感器180H用于采集指纹。温度传感器180J用于检测温度。触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。骨传导传感器180M可以获取振动信号。按键190包括开机键，音量键等。按键190可以是机械按键，也可以是触摸式按键，或者为虚拟按键。马达191可以产生振动提示。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。

另外，在上述部件之上，运行有操作***。例如苹果公司所开发的iOS操作***，谷歌公司所开发的安卓Android开源操作***，微软公司所开发的Windows操作***等。在该操作***上可以安装运行应用程序。

在本申请中，电子设备可预先获取需要处理的训练图像和处理后的目标图像，然后根据本申请的实施例提供的神经网络训练方法对电子设备包括的神经网络进行训练，获取训练后的神经网络。完成训练后，电子设备可进行拍摄，获取拍摄后的图像，然后通过训练后的神经网络对拍摄后的图像进行处理，得到处理后的图像。

为了明确电子设备在执行本申请公开的方案时，电子设备内的各软件架构所执行的功能操作，本申请实施例还公开了电子设备的软件结构。

电子设备的操作***可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构等。本申请实施例以分层架构的安卓Android***为例，示例性说明电子设备的软件结构。

其中，图2即为本申请实施例的一种电子设备的软件结构框图的示例图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用层、应用框架层、安卓运行时(Android runtime)和***库，以及内核层。

应用层可以包括一系列应用程序包。如图2所示，应用层中可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频和短信息等应用程序的应用程序包。

应用框架层为应用层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用框架层包括一些预先定义的函数。如图2所示，应用框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器和通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏的大小，获取显示界面上各显示区域的参数等。在本申请中，窗口管理器可确定电子设备被触控的区域。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括照相机图标的显示界面。

电话管理器用于提供手机的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知消息，可以用于传达告知类型的消息，在本申请一种可行的设计中，通知管理器也可为通知消息服务模块（note messageservice，NMS），NMS在接收到通知消息之后，可将该通知消息传输至应用层，以便应用层中的各模块之间相互作用，实现本申请实施例提供的消息的通知方法。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。应用层和应用框架层运行在虚拟机中。虚拟机将应用层和应用框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。三维图形处理库用于实现三维图形绘图，图像渲染，合成和图层处理等。2D图形引擎是2D绘图的绘图引擎。

另外，在本申请中，在***库中包括状态监测服务，该状态监测服务可根据内核层的传感器驱动上报的数据，进行状态检测。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

需要说明的是，本申请实施例虽然以Android***为例进行说明，但是其基本原理同样适用于基于iOS或Windows等操作***的电子设备。

为了明确本申请提供的方案，以下结合附图，通过各个实施例，对本申请所提供的方案进行介绍说明。

本申请实施例提供一种神经网络训练方法，参见图3所示的工作流程示意图，该神经网络训练方法包括以下步骤：

步骤S11、确定需要处理的训练图像和处理后的目标图像，所述训练图像和所述目标图像中包含同一人像。

其中，目标图像为预先处理过的图像，并且，该目标图像通常具有均匀有质感，且不失纹理细节的肤质，具有较为自然的显示效果，符合自然美学。在一种可行的设计中，可通过人工修图的方式，获取目标图像。

另外，该训练图像和目标图像中包含同一人像，在一个示例中，该目标图像可为对该训练图像进行人工修图处理后得到的图像。

步骤S12、确定所述训练图像对应的第一灰度图像，所述第一灰度图像为提取所述训练图像的明亮度分量后的图像。

在本申请中，可获取YUV格式的训练图像，其中，Y表示“Y”表示明亮度（即Luminance或Luma），“U”和“V”表示的则是色度（即Chrominance或Chroma）。然后，提取训练图像的明亮度分量（即Y分量），这种情况下，提取Y分量后的图像即为第一灰度图像。

步骤S13、通过待训练的神经网络对所述训练图像和所述第一灰度图像进行处理，确定所述训练图像对应的预测图像。

该步骤中，可将训练图像和第一灰度图像输入至待训练的神经网络，该神经网络的输出即为训练图像对应的预测图像。

在本申请一种可行的设计中，参见图4所示的示例图，该神经网络可包括：相串联的编码块和解码块。其中，编码块与解码块通常均包括多个层级，并且编码块与解码块相对称。在接收到图像后，编码块的各层级用于提取图像的多种特征，并将提取的特征传输至相串联的解码块，由解码块对其进行处理，并输出该图像对应的预测图像。

在一种可行的设计中，该神经网络的网络结构可类似U-net网络，示例性的，神经网络的编码块可由卷积、归一化和激活函数（ReLU）交替组成，相应的，解码块由反卷积、归一化和激活函数（ReLU）交替组成，并且编码块与解码块中相同的层级相串联。

当然，本申请中的神经网络还可为其他形式，本申请对此不作限定。

步骤S14、通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失。

其中，所述待训练的神经网络进行图像处理的损失可反映所述预测图像和所述目标图像之间的接近程度，通常所述待训练的神经网络进行图像处理的损失越小，则表明所述预测图像的显示效果越接近所述目标图像的显示效果，即所述预测图像越自然。

步骤S15、通过所述损失，调整所述待训练的神经网络的参数，直至满足预设条件，满足所述预设条件的神经网络为训练后的神经网络。

在本申请一种可行的设计中，所述预设条件包括：调整所述待训练的神经网络的参数的次数达到第一次数阈值。这种情况下，每次在基于待训练的神经网络进行图像处理的损失，调整待训练的神经网络的参数之后，则记录一次调整次数，并判断记录的调整次数是否达到第一次数阈值。如果记录的调整次数未达到第一次数阈值，则返回执行步骤S13的操作，通过调整参数后的神经网络对训练图像和所述第一灰度图像进行处理，重新确定所述训练图像对应的预测图像，然后通过步骤S14的操作，通过重新确定的预测图像和目标图像，再次确定该调整参数后的神经网络进行图像处理的损失，再通过步骤S15的操作，基于该损失，再次调整神经网络的参数，直至调整神经网络的参数的次数达到第一次数阈值。

另外，在这一设计中，调整参数的次数达到第一次数阈值的神经网络即为训练后的神经网络。

在本申请另一种可行的设计中，所述预设条件包括：所述损失小于第一损失阈值。这种情况下，每次在基于待训练的神经网络进行图像处理的损失，调整待训练的神经网络的参数之后，判断所述损失是否小于第一损失阈值。如果所述损失不小于第一损失阈值，则返回执行步骤S13的操作，通过调整参数后的神经网络对训练图像和所述第一灰度图像进行处理，重新确定所述训练图像对应的预测图像，然后通过步骤S14的操作，通过重新确定的预测图像和目标图像，再次确定该调整参数后的神经网络进行图像处理的损失，再通过步骤S15的操作，基于该损失，再次调整神经网络的参数，直至调整参数后的神经网络进行图像处理的损失小于第一损失阈值。

另外，在这一设计中，损失小于第一损失阈值的神经网络即为训练后的神经网络。

通过本申请实施例提供的神经网络训练方法，可获取训练图像和目标图像，以及获取训练图像对应的第一灰度图像，并根据所述训练图像、第一灰度图像和目标图像对神经网络进行训练，获取训练后的神经网络。该训练后的神经网络可用于对图像进行处理。通过本申请实施例提供的神经网络进行图像处理，利用了端到端的神经网络，从而能够使处理后的图像更符合审美自然的要求，减少现有的图像处理技术存在的失真的问题，使处理后的图像中包括的皮肤均匀有质感且不失纹理细节，具有较为自然的显示效果，符合自然美学。

进一步的，在拍摄的图像中，皮肤的瑕疵反映在像素层面上，实际是由局部明暗不均引起的，因此可将瑕疵分为“亮瑕疵”（即皮肤的瑕疵中较亮的区域）和“暗瑕疵”（即皮肤的瑕疵中较暗的区域）。因此，在本申请中，可结合训练图像和训练图像对应的第一灰度图像确定预测图像。与训练图像相比，第一灰度图像中各个像素点的灰度值经过调整，可压暗其中的亮瑕疵或提亮其中的暗瑕疵，这种情况下，基于训练图像和第一灰度图像相结合得到的预测图像，在保留面部纹理细节的基础上，能够提升皮肤的肤质，并且能够调整面部局部明暗度，从而提升面部的立体感。

在本申请的步骤S13中，提供通过待训练的神经网络对所述训练图像和所述第一灰度图像进行处理，确定所述训练图像对应的预测图像的操作，参见图5所示的示意图，在一种可行的设计中，该操作可通过以下步骤实现：

步骤S131、通过对训练图像进行语义分割，获取训练图像的第一分割部分和第二分割部分，所述第一分割部分包括所述人像的皮肤部分，所述第二分割部分包括所述人像的任意一个五官部分。

在本申请中，所述第一分割部分可包括一个或多个，以及所述第二分割部分可包括一个或多个。其中，五官指的是眉毛、眼睛、鼻子、嘴巴、耳朵，如果第二分割部分包括多个，不同的第二分割部分可包括不同的五官。在一个示例中，所述第二分割部分可包括人像中的鼻子部分。

其中，对训练图像进行语义分割可通过掩膜实现，这种情况下，第一分割部分可对训练图像中皮肤部分以外的区域设置掩膜，第二分割部分可对人像的五官以外的区域设置掩膜。

在本申请中，将训练图像划分为第一分割部分和第二分割部分，其中，第一分割部分包括人像的皮肤部分，从而能够基于注意力机制，使神经网络更好学到面部肤质修饰的过程，有利于神经网络对图像进行处理时，使处理后的图像中的皮肤具有质感且不失皮肤细节。另外，第二分割部分包括人像的五官，从而能够有利于神经网络在对图像进行处理时，增强面部立体感。

步骤S132、通过对第一灰度图像进行语义分割，获取第一灰度图像的第三分割部分和第四分割部分。

其中，所述第三分割部分包括所述人像的皮肤部分，所述第四分割部分包括所述人像的任意一个五官部分，并且所述第二分割部分和所述第四分割部分包括的五官部分相同。

该步骤中，对第一灰度图像进行语义分割也可通过掩膜实现，这种情况下，第三分割部分可对第一灰度图像中皮肤部分以外的区域设置掩膜，第三分割部分可对第一灰度图像的五官以外的区域设置掩膜。

步骤S133、将第一分割部分、第二分割部分、第三分割部分和第四分割部分输入至待训练的神经网络。

步骤S134、确定神经网络的输出为预测图像。

通过这一方案，神经网络能够接收训练图像的语义分割结果（即第一分割部分和第二分割部分）和第一灰度图像的语义分割结果（即第三分割部分和第四分割部分），并据此输出预测图像。

该方案中，对训练图像和第一灰度图像进行了分割，分割的结果包括人像的皮肤部分和五官部分，有利于在对神经网络的训练过程中，使神经网络更好学习对面部肤质修饰的处理，以便神经网络对图像进行处理时，使处理后的图像中的皮肤具有质感且不失皮肤细节，并且有利于神经网络在对图像进行处理时，增强面部立体感。

在本申请的方案中，目标图像中皮肤的肤质通常均匀有质感，且不失纹理细节，符合自然美学。而预测图像可能与目标图像之间存在色调和风格等方面的差异。这种情况下，需要确定待训练的神经网络进行图像处理的损失，以便根据该损失调整神经网络的参数，使神经网络输出的预测图像的显示效果越来越贴近所述目标图像的显示效果。

其中，在本申请实施例提供的方案中，待训练的神经网络进行图像处理的损失可包括多种类型。

在一种可行的设计中，待训练的神经网络进行图像处理的损失可包括中性灰图层损失。这种情况下，通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失的操作，可通过以下步骤实现：

首先，获取预测图像对应的第一中性灰图层，以及获取目标图像对应的第二中性灰图层；

基于所述第一中性灰图层和所述第二中性灰图层，计算所述中性灰图层损失。

在这一操作中，可通过预先设定的损失函数，计算所述第一中性灰图层各通道的分量和所述第二中性灰图层的各通道的分量之间的损失，并将该损失作为中性灰图层损失。

另外，该预先设定的损失函数可包括多种类型，例如，该损失函数可为平均绝对误差（mean abs error，MAE）损失函数，或可为平均平方误差(mean square error，MSE)损失函数。当然，该损失函数还可为其他损失函数，本申请对此不作限定。

通过上述操作，可通过中性灰图层损失调整神经网络的参数，以便训练后的神经网络输出的预测图像的中性灰图层能够接近目标图像的中性灰度图，进一步实现训练后的神经网络输出的预测图像的显示效果接近目标图像的显示效果。而目标图像通常为符合自然美学的图像，其中的皮肤肤质较为自然有质感，因此，通过中性灰图层损失调整神经网络的参数之后，能够是训练后的神经网络输出的预测图像在保留面部纹理细节的同时，提升皮肤的质感，以及进一步提升面部的立体感。

在另一种可行的设计中，待训练的神经网络进行图像处理的损失可包括颜色损失。这种情况下，参见图6所示的示意图，通过所述预测图像和目标图像，确定待训练的神经网络进行图像处理的损失，包括：

步骤S141、获取预测图像对应的第一颜色图像，以及目标图像对应的第二颜色图像，第一颜色图像为提取预测图像中的明亮度分量后得到的图像，第二颜色图像为提取所述目标图像中的明亮度分量后得到的图像。

图像通常可包括Y（明亮度）、U（色度）和V（色度）三个通道的分量。这种情况下，通过提取预测图像中的明亮度分量（即Y分量），即可获取第一颜色图像，并且通过提取目标图像中的明亮度分量（即Y分量），即可获取第二颜色图像。

步骤S142、通过分别对第一颜色图像和第二颜色图像进行下采样，获取第一颜色图像对应的第一下采样图像，以及第二颜色图像对应的第二下采样图像。

步骤S143、基于第一下采样图像和第二下采样图像，计算颜色损失。

图像的下采样又可称为降采样，通过对图像进行下采样，能够获取图像对应的缩略图。这种情况下，第一下采样图像即为所述第一颜色图像对应的缩略图，第二下采样图像即为所述第二颜色图像对应的缩略图。

在计算颜色损失时，可通过预先设定的损失函数，计算所述第一下采样图像和所述第二下采样图像之间两个色度通道（即U通道和V通道）的分量的的损失，并将该损失作为颜色损失。

另外，该预先设定的损失函数可包括多种类型，例如，该损失函数可为平均绝对误差（mean abs error，MAE）损失函数，或可为平均平方误差(mean square error，MSE)损失函数。当然，该损失函数还可为其他损失函数，本申请对此不作限定。

通过上述操作，可通过颜色损失调整神经网络的参数，以便训练后的神经网络输出的预测图像的色调能够接近目标图像的色调，进一步实现训练后的神经网络输出的预测图像的显示效果接近目标图像的显示效果。而目标图像通常为符合自然美学的图像，这种情况下，训练后的神经网络输出的预测图像的色调也较为符合自然美学。

在另一种可行的设计中，待训练的神经网络进行图像处理的损失可包括一致性损失。这种情况下，通过所述预测图像和目标图像，确定待训练的神经网络进行图像处理的损失，包括：

第一步，通过分别对预测图像和目标图像进行裁剪，获取预测图像的第一区域，以及获取目标图像的第二区域，第一区域和第二区域对应的语义相同。

其中，预测图像的第一区域可包括一个或多个，如果所述第一区域包括多个，则在一个示例中，其中一个第一区域可包括预测图像中的皮肤部分，另一个第一区域可包括预测图像中的五官部分等。

由于第一区域和第二区域对应的语义相同，通常情况下，第二区域的数量与第一区域的数量相同。例如，如果所述第一区域包括多个，则在一个示例中，其中一个第一区域可包括预测图像中的皮肤部分，另一个第一区域可包括预测图像中的五官部分，则其中一个第二区域可包括预目标图像中的皮肤部分，另一个第二区域可包括目标图像中的五官部分。

第二步，基于第一区域和第二区域，计算一致性损失。

相应的，在计算一致性损失时，也可通过预先设定的损失函数，计算第一区域和第二区域在明亮度通道（即Y通道）、两个色度通道（即U通道和V通道）三个通道的分量的一致性损失。

该预先设定的损失函数可包括多种类型，例如，该损失函数可为平均绝对误差（mean abs error，MAE）损失函数，或可为平均平方误差(mean square error，MSE)损失函数。当然，该损失函数还可为其他损失函数，本申请对此不作限定。

通过上述操作，可通过一致性损失调整神经网络的参数，以便训练后的神经网络输出的预测图像在内容上与目标图像的内容保持一致，避免预测图像的内容出现较大偏差。

在另一种可行的设计中，待训练的神经网络进行图像处理的损失可包括感知损失。这种情况下，通过所述预测图像和目标图像，确定待训练的神经网络进行图像处理的损失，包括：

第一步，将预测图像和目标图像输入至感知损失计算网络。

在本申请实施例中，感知损失计算网络为可用于计算感知损失的网络。在一个示例中，该感知损失计算网络可为VGG 19网络和VGG 16网络中的任意一种，其中，VGG 19网络和VGG 16网络为牛津大学的视觉几何小组（Visual Geometry Group）提出的神经网络。当然，感知损失计算网络还可为其他具有计算感知损失功能的网络，本申请对此不作限定。

第二步，基于感知损失计算网络的输出，确定感知损失。

在将预测图像和目标图像输入至感知损失计算网络之后，感知损失计算网络输出相应的感知损失，这种情况下，可将感知损失计算网络的输出作为感知损失。

两幅图像之间感知损失可用于表征这两幅图像之间的内容是否偏移，即表征这两幅图像是否针对同一内容。其中，感知损失越大，则这两幅图像之间的内容的偏移越大，即这两幅图像并未针对同一内容的概率越大；感知损失越小，则这两幅图像之间的内容的偏移越小，即这两幅图像并未针对同一内容的概率越小。

通过上述操作，可通过感知损失调整神经网络的参数，以便训练后的神经网络输出的预测图像在内容上与目标图像的内容的偏移较小，避免预测图像的内容出现较大偏差。

在另一种可行的设计中，待训练的神经网络进行图像处理的损失可包括对抗损失。这种情况下，通过所述预测图像和目标图像，确定待训练的神经网络进行图像处理的损失，包括：

第一步，将预测图像和目标图像输入至判别器。

第二步，基于判别器的输出，确定对抗损失。

在本申请实施例中，基于判别器确定预测图像和目标图像之间的对抗损失，其中，判别器可用于确定对抗损失，在将预测图像和目标图像输入至判别器之后，判别器可输出所述预测图像和目标图像之间的对抗损失。这种情况下，基于判别器的输出，即可确定对抗损失。当然，在本申请实施例中，还可通过其他模块确定预测图像和目标图像之间的对抗损失，本申请实施例对此不作限定。

在本申请实施例中，目标图像符合自然美学。其中，在一种可行的设计中，目标图像为通过人工修图的方式获取的图像。这种情况下，预测图像与目标图像之间的对抗损失越小，则预测图像被判定为人工修图的概率越大，该预测图像越自然；预测图像与目标图像之间的对抗损失越大，则预测图像被判定为神经网络修图的概率越大，该预测图像越不自然

通过上述操作，可通过对抗损失调整神经网络的参数，以便训练后的神经网络输出的预测图像较为自然。

在上述各个实施例中，分别提供了不同类型的损失，例如：中性灰图层损失、颜色损失、一致性损失、感知损失和对抗损失。在对神经网络进行训练的过程中，还可任选其中一种损失或多种损失对神经网络进行训练。

在一种可行的设计中，可同时通过中性灰图层损失、颜色损失和一致性损失对神经网络进行训练。参见图7所示的示例图，图像a、图像c、图像d、图像e和图像g具有一定色彩的图像，图7中未标出。

在图7所示的示例中，图像a为训练图像，图像b为训练图像对应的第一灰度图像，通过掩膜，可将训练图像分割为第一分割部分和第二分割部分，并可将第一灰度图像分割为第三分割部分和第四分割部分，第一分割部分、第二分割部分、第三分割部分和第四分割部分输入至神经网络，神经网络可输出预测图像，该预测图像即为图像c。

提取预测图像的明亮度分量，并对其进行下采样后得到的第一下采样图像即为图像g。另外，图像d为目标图像，提取目标图像的明亮度分量，并对其进行下采样后得到的第一下采样图像即为图像e，基于图像g和图像e，可计算颜色损失。

另外，通过对图像c进行裁剪，以及对图像d进行裁剪，分别获取图像c的第一区域，以及获取图像d的第二区域，再基于第一区域和第二区域，可计算一致性损失。

另外，还可确定图像c对应的中性灰图层（即第一中性灰图层），以及图像d对应的中性灰图层（即第二中性灰图层），计算得到中性灰图层损失。

通过图7所示的示例，可确定待训练的神经网络进行图像处理的颜色损失、一致性损失和中性灰图层损失，以便基于这三种损失调整待训练的神经网络的参数。当然，在本申请中，还可基于其他类型的损失调整待训练的神经网络的参数，本申请实施例对此不作限定。

在本申请实施例中，如果待训练的神经网络进行图像处理的损失包括两种以上时，通过预测图像和目标图像，确定待训练的神经网络进行图像处理的损失，包括以下步骤：

第一步，确定各种损失分别对应的权重；

第二步，对各种损失和所述损失分别对应的权重进行加权计算，加权计算的结果为所述待训练的神经网络进行图像处理的损失。

在本申请实施例中，如果待训练的神经网络进行图像处理的损失包括两种以上时，通过对各种损失进行加权计算的方式，确定待训练的神经网络进行图像处理的损失。

其中，通常情况下，用户对某一损失对应的图像显示效果越关注，则该种损失对应的权重越高。例如，如果上述的各种损失包括颜色损失，而用户希望神经网络处理的图像与目标图像之间的色调较接近，则颜色损失对应的权重较高。

在一种可行的设计中，可预先采集多个用户对图片处理的喜好，并据此确定各种损失分别对应的权重。或者，在另一种可行的设计中，可接收用户的调整操作，并根据用户的调整操作，确定各种损失分别对应的权重。

当然，在本申请中，还可通过其他方式确定各种损失的权重，本申请对此不作限定。

通过这一实施例，可在待训练的神经网络进行图像处理的损失包括两种以上时，通过对各种损失进行加权计算的方式确定待训练的神经网络进行图像处理的损失，从而能够在通过训练后的神经网络获取处理后的图像时，得到更加符合用户喜好的图像。

相应的，本申请另一实施例提供一种图像处理方法，参见图8所示的工作流程示意图，该方法包括以下步骤：

步骤S21、获取待处理图像。

其中，待处理图像为需要进行图像处理的图像。在一个示例中，执行本申请实施例的电子设备可支持拍摄功能，这种情况下，可将该电子设备拍摄的图像作为待处理图像。

或者，在另一个示例中，可通过成像装置拍摄图像，并将该图像传输至执行本申请实施例提供的图像处理方法的电子设备，由该电子设备将该图像作为待处理图像。

步骤S22、利用训练后的神经网络对待处理图像进行图像处理，获取处理后的图像。

其中，该神经网络为通过本申请各个实施例提供的神经网络训练方法进行训练。该步骤中，可将待处理图像输入至训练后的神经网络，这种情况下，该神经网络输出的图像即为处理后的图像。

通过本申请实施例提供的图像处理方法，能够使处理后的图像更符合审美自然的要求，减少现有的图像处理技术存在的失真的问题，使处理后的图像中包括的皮肤均匀有质感且不失纹理细节，具有较为自然的显示效果，符合自然美学。

进一步的，在通过步骤S22，获取处理后的图像之后，还可显示该处理后的图像，以供用户查看。或者，还可将处理后的图像存储至电子设备的相册中，以便用户后续通过相册查看处理后的图像。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

本申请实施例公开一种神经网络训练装置。参见图9所示的结构示意图，该神经网络训练装置包括：

第一图像确定模块210，用于确定需要处理的训练图像和处理后的目标图像，所述训练图像和所述目标图像中包含同一人像；

第二图像确定模块220，用于确定所述训练图像对应的第一灰度图像，所述第一灰度图像为提取所述训练图像的明亮度分量后的图像；

图像处理模块230，用于通过待训练的神经网络对所述训练图像和所述第一灰度图像进行处理，确定所述训练图像对应的预测图像；

损失确定模块240，用于通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失；

参数调整模块250，用于通过所述损失，调整所述待训练的神经网络的参数，直至满足预设条件，满足所述预设条件的神经网络为训练后的神经网络，所述训练后的神经网络用于进行图像处理。

在一种可行的设计中，所述预设条件包括：调整所述待训练的神经网络的参数的次数达到第一次数阈值；

或者，所述预设条件包括：所述损失小于第一损失阈值。

其中，所述图像处理模块230可具体用于执行以下操作：

通过对所述训练图像进行语义分割，获取所述训练图像的第一分割部分和第二分割部分，所述第一分割部分包括所述人像的皮肤部分，所述第二分割部分包括所述人像的任意一个五官部分；

通过对所述第一灰度图像进行语义分割，获取所述第一灰度图像的第三分割部分和第四分割部分，所述第三分割部分包括所述人像的皮肤部分，所述第四分割部分包括所述人像的任意一个五官部分，并且所述第二分割部分和所述第四分割部分包括的五官部分相同；

将所述第一分割部分、第二分割部分、第三分割部分和第四分割部分输入至待训练的神经网络；

确定所述神经网络的输出为所述预测图像。

在一种可行的设计中，所述损失可包括中性灰图层损失，这种情况下，所述损失确定模块240可用于执行以下操作：

获取所述预测图像对应的第一中性灰图层，以及获取所述目标图像对应的第二中性灰图层；

基于所述第一中性灰图层和所述第二中性灰图层，计算所述中性灰图层损失。

在一种可行的设计中，所述损失可包括颜色损失，这种情况下，所述损失确定模块240可用于执行以下操作：

获取所述预测图像对应的第一颜色图像，以及所述目标图像对应的第二颜色图像，所述第一颜色图像为提取所述预测图像中的明亮度分量后得到的图像，所述第二颜色图像为提取所述目标图像中的明亮度分量后得到的图像；

通过分别对所述第一颜色图像和所述第二颜色图像进行下采样，获取所述第一颜色图像对应的第一下采样图像，以及所述第二颜色图像对应的第二下采样图像；

基于所述第一下采样图像和所述第二下采样图像，计算所述颜色损失。

在一种可行的设计中，所述损失可包括一致性损失，这种情况下，所述损失确定模块240可用于执行以下操作：

通过分别对所述预测图像和所述目标图像进行裁剪，获取所述预测图像的第一区域，以及获取所述目标图像的第二区域，所述第一区域和所述第二区域对应的语义相同；

基于所述第一区域和所述第二区域，计算所述一致性损失。

在一种可行的设计中，所述损失可包括感知损失，这种情况下，所述损失确定模块240可用于执行以下操作：

将所述预测图像和所述目标图像输入至感知损失计算网络；

基于所述感知损失计算网络的输出，确定所述感知损失。

在一种可行的设计中，所述损失可包括对抗损失，这种情况下，所述损失确定模块240可用于执行以下操作：

将所述预测图像和所述目标图像输入至判别器；

基于所述判别器的输出，确定所述对抗损失。

另外，如果所述待训练的神经网络进行图像处理的损失包括两种以上，所述损失确定模块240可用于执行以下操作：

确定各种所述损失分别对应的权重；

对各种所述损失和所述损失分别对应的权重进行加权计算，加权计算的结果为所述待训练的神经网络进行图像处理的损失。

本申请另一实施例公开一种图像处理装置。参见图10所示的结构示意图，该图像处理装置包括：

图像获取模块310，用于获取待处理图像；

图像处理模块320，用于利用训练后的神经网络对所述待处理图像进行图像处理，获取处理后的图像，所述神经网络通过本申请上述各个实施例提供的神经网络训练方法进行训练。

相应的，本申请实施例公开一种电子设备，参见图11所示的结构示意图，所述电子设备包括：

处理器1101和存储器，

所述存储器，用于存储程序指令；

所述处理器1101，用于调用并执行所述存储器中存储的程序指令，当所述存储器存储的程序指令被所述处理器1101执行时，使得所述电子设备执行图3、图5、图6及图8对应的实施例中的全部或部分步骤。

进一步的，该电子设备还可以包括：收发器1102和总线1103，所述存储器包括随机存取存储器1104和只读存储器1105。

其中，处理器通过总线分别耦接收发器、随机存取存储器以及只读存储器。其中，当需要运行该电子设备时，通过固化在只读存储器中的基本输入输出***或者嵌入式***中的bootloader引导***进行启动，引导该电子设备进入正常运行状态。在该电子设备进入正常运行状态后，在随机存取存储器中运行应用程序和操作***，从而使所述电子设备执行图3、图5、图6及图8对应的实施例中的全部或部分步骤。

本发明实施例的电子设备可对应于上述图3、图5、图6及图8所对应的实施例中的电子设备，并且，该电子设备中的处理器和存储等可以实现图3、图5、图6及图8所对应的实施例中的电子设备所具有的功能和/或所实施的各种步骤和方法，为了简洁，在此不再赘述。

具体实现中，本申请实施例还提供一种计算机存储介质，其中，所述计算机存储介质中存储有计算机程序或指令，当所述计算机程序或指令被执行时，可使计算机实施包括图3、图5、图6及图8对应的实施例中的全部或部分步骤。该计算机可读存储介质设置在任意设备中，所述任意设备可为随机存取存储器（random-access memory，RAM），该存储器也可以包括非易失性存储器（non-volatile memory），例如只读存储器（read-only memory，ROM），快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid-statedrive，SSD）；存储器还可以包括上述种类的存储器的组合等。

本申请实施例还提供了一种芯片***，该芯片***包括处理器，所述处理器与存储器耦合，用于执行所述存储器中存储的计算机程序或指令，当所述计算机程序或指令被执行时，可使芯片***实施包括图3、图5、图6及图8对应的实施例中的全部或部分步骤。该芯片***可以由芯片构成，也可以包含芯片和其他分立器件。

本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器，数字信息处理器，专用集成电路（application specific integrated circuit，ASIC），现场可编程门阵列（field programmable gate array，FPGA）或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信息处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信息处理器核，或任何其它类似的配置来实现。

本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于随机存取存储器（random accessmemory，RAM）、闪存、只读存储器（read-only memory，ROM）、可擦式可编程只读存储器（erasable programmable read-only memory，EPROM）、寄存器、硬盘、可移动磁盘、便携式紧凑盘只读存储器(compact disc read-only memory，CD-ROM)或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端（user equipment，UE）中。可选地，处理器和存储媒介也可以设置于UE中的不同的部件中。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质、或者半导体介质（例如固态硬盘(solid statedisk，SSD)）等。

本说明书的各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于本申请公开的道路约束确定装置的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (14)

1.一种神经网络训练方法，其特征在于，包括：

确定需要处理的训练图像和处理后的目标图像，所述训练图像和所述目标图像中包含同一人像；

确定所述训练图像对应的第一灰度图像，所述第一灰度图像为提取所述训练图像的明亮度分量后的图像；

通过待训练的神经网络对所述训练图像和所述第一灰度图像进行处理，确定所述训练图像对应的预测图像；

通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失；

通过所述损失，调整所述待训练的神经网络的参数，直至满足预设条件，满足所述预设条件的神经网络为训练后的神经网络，所述训练后的神经网络用于进行图像处理；

所述通过待训练的神经网络对所述训练图像和所述第一灰度图像进行处理，确定所述训练图像对应的预测图像，包括：

通过对所述训练图像进行语义分割，获取所述训练图像的第一分割部分和第二分割部分，所述第一分割部分包括所述人像的皮肤部分，所述第二分割部分包括所述人像的任意一个五官部分；

通过对所述第一灰度图像进行语义分割，获取所述第一灰度图像的第三分割部分和第四分割部分，所述第三分割部分包括所述人像的皮肤部分，所述第四分割部分包括所述人像的任意一个五官部分，并且所述第二分割部分和所述第四分割部分包括的五官部分相同；

将所述第一分割部分、第二分割部分、第三分割部分和第四分割部分输入至待训练的神经网络；

确定所述神经网络的输出为所述预测图像。

2.根据权利要求1所述的方法，其特征在于，

所述损失包括中性灰图层损失；

所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

获取所述预测图像对应的第一中性灰图层，以及获取所述目标图像对应的第二中性灰图层；

基于所述第一中性灰图层和所述第二中性灰图层，计算所述中性灰图层损失。

3.根据权利要求1所述的方法，其特征在于，

所述损失包括颜色损失；

所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

获取所述预测图像对应的第一颜色图像，以及所述目标图像对应的第二颜色图像，所述第一颜色图像为提取所述预测图像中的明亮度分量后得到的图像，所述第二颜色图像为提取所述目标图像中的明亮度分量后得到的图像；

通过分别对所述第一颜色图像和所述第二颜色图像进行下采样，获取所述第一颜色图像对应的第一下采样图像，以及所述第二颜色图像对应的第二下采样图像；

基于所述第一下采样图像和所述第二下采样图像，计算所述颜色损失。

4.根据权利要求1所述的方法，其特征在于，

所述损失包括一致性损失；

所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

通过分别对所述预测图像和所述目标图像进行裁剪，获取所述预测图像的第一区域，以及获取所述目标图像的第二区域，所述第一区域和所述第二区域对应的语义相同；

基于所述第一区域和所述第二区域，计算所述一致性损失。

5.根据权利要求1所述的方法，其特征在于，

所述损失包括感知损失；

所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

将所述预测图像和所述目标图像输入至感知损失计算网络；

基于所述感知损失计算网络的输出，确定所述感知损失。

6.根据权利要求1所述的方法，其特征在于，

所述损失包括对抗损失；

所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

将所述预测图像和所述目标图像输入至判别器；

基于所述判别器的输出，确定所述对抗损失。

7.根据权利要求1所述的方法，其特征在于，所述通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失，包括：

所述待训练的神经网络进行图像处理的损失包括两种以上时，确定各种所述损失分别对应的权重；

对各种所述损失和所述损失分别对应的权重进行加权计算，加权计算的结果为所述待训练的神经网络进行图像处理的损失。

8.根据权利要求1所述的方法，其特征在于，

所述预设条件包括：调整所述待训练的神经网络的参数的次数达到第一次数阈值；

或者，所述预设条件包括：所述损失小于第一损失阈值。

9.一种图像处理方法，其特征在于，包括：

获取待处理图像；

利用训练后的神经网络对所述待处理图像进行图像处理，获取处理后的图像，所述神经网络通过权利要求1至8任一项所述的神经网络训练方法进行训练。

10.一种神经网络训练装置，其特征在于，包括：

第一图像确定模块，用于确定需要处理的训练图像和处理后的目标图像，所述训练图像和所述目标图像中包含同一人像；

第二图像确定模块，用于确定所述训练图像对应的第一灰度图像，所述第一灰度图像为提取所述训练图像的明亮度分量后的图像；

图像处理模块，用于通过待训练的神经网络对所述训练图像和所述第一灰度图像进行处理，确定所述训练图像对应的预测图像；

损失确定模块，用于通过所述预测图像和所述目标图像，确定所述待训练的神经网络进行图像处理的损失；

参数调整模块，用于通过所述损失，调整所述待训练的神经网络的参数，直至满足预设条件，满足所述预设条件的神经网络为训练后的神经网络，所述训练后的神经网络用于进行图像处理；

所述图像处理模块具体用于，通过对所述训练图像进行语义分割，获取所述训练图像的第一分割部分和第二分割部分，所述第一分割部分包括所述人像的皮肤部分，所述第二分割部分包括所述人像的任意一个五官部分；

通过对所述第一灰度图像进行语义分割，获取所述第一灰度图像的第三分割部分和第四分割部分，所述第三分割部分包括所述人像的皮肤部分，所述第四分割部分包括所述人像的任意一个五官部分，并且所述第二分割部分和所述第四分割部分包括的五官部分相同；

将所述第一分割部分、第二分割部分、第三分割部分和第四分割部分输入至待训练的神经网络；

确定所述神经网络的输出为所述预测图像。

11.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取待处理图像；

图像处理模块，用于利用训练后的神经网络对所述待处理图像进行图像处理，获取处理后的图像，所述神经网络通过权利要求1至8任一项所述的神经网络训练方法进行训练。

12.一种电子设备，其特征在于，包括：处理器和存储器；所述存储器存储有程序指令，当所述程序指令被所述处理器执行时，使得所述电子设备执行权利要求1-9任一项所述的方法。

13.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序或指令，当所述计算机程序或指令被执行时，如权利要求1-9中任一项所述的方法被执行。

14.一种芯片***，其特征在于，所述芯片***包括处理器，所述处理器与存储器耦合，用于执行所述存储器中存储的计算机程序或指令，当所述计算机程序或指令被执行时，如权利要求1-9中任一项所述的方法被执行。

Images