CN116843583A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供的一种图像处理方法、装置、电子设备及存储介质，所述方法包括：将待处理图像和图像修饰类型输入参数预测模型，所述参数预测模型根据所述待处理图像和所述图像修饰类型进行参数预测，输出与所述待处理图像和所述图像修饰类型对应的图像修饰参数；将所述待处理图像和所述图像修饰参数输入图像处理模型，所述图像处理模型根据所述图像修饰参数对所述待处理图像进行处理，输出处理后图像。本申请提供的图像处理方法无需人工参与，即可实现图像的自动化修饰。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体地涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

在专业摄影领域，图像修饰是一个耗时的过程，通常需要人工进行精细的调整。然而，随着技术的发展，自动化图像修饰逐渐成为一种需求。但是，现有的自动化图像修饰方法基本采用单一模型算法，在处理图像时，往往盲目地进行平滑处理，导致图像的细节纹理和景深效果被破坏。

为了获得更好的图像处理效果，用户可以根据经验对模型中的图像修饰参数，尤其是局部图像修饰参数（例如，前景、背景、主体对应的图像修饰参数）进行调整。但是，由于该图像修饰方法需要用户参与图像修饰参数的调整，导致自动化程度不足，影响用户体验。

需要指出的是，公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成己为本领域技术人员所公知的现有技术。

发明内容

有鉴于此，本申请提供一种图像处理方法、装置、电子设备及存储介质，以利于解决现有技术中需要用户参与图像修饰参数的调整，导致自动化程度不足，影响用户体验的问题。

第一方面，本申请实施例提供了一种图像处理方法，包括：

将待处理图像和图像修饰类型输入参数预测模型，所述参数预测模型根据所述待处理图像和所述图像修饰类型进行参数预测，输出与所述待处理图像和所述图像修饰类型对应的图像修饰参数；

将所述待处理图像和所述图像修饰参数输入图像处理模型，所述图像处理模型根据所述图像修饰参数对所述待处理图像进行处理，输出处理后图像。

在一种可能的实现方式中，所述参数预测模型包括图像识别模型和参数生成模型；

所述将待处理图像和图像修饰类型输入参数预测模型，所述参数预测模型根据所述待处理图像和所述图像修饰类型进行参数预测，输出与所述待处理图像和所述图像修饰类型对应的图像修饰参数，包括：

将待处理图像和图像修饰类型输入图像识别模型，所述图像识别模型根据所述待处理图像和所述图像修饰类型进行图像识别，输出与所述待处理图像和所述图像修饰类型对应的图像描述；

将所述图像描述输入所述参数生成模型，所述参数生成模型根据所述图像描述进行参数生成，输出与所述图像描述对应的图像修饰参数。

在一种可能的实现方式中，所述将所述待处理图像和所述图像修饰参数输入图像处理模型，所述图像处理模型根据所述图像修饰参数对所述待处理图像进行处理，输出处理后图像，包括：

将所述待处理图像和所述图像修饰参数输入与所述图像修饰参数对应的目标图像处理模型，所述目标图像处理模型根据所述图像修饰参数对所述待处理图像进行处理，输出处理后图像。

在一种可能的实现方式中，所述将所述待处理图像和所述图像修饰参数输入与所述图像修饰参数对应的目标图像处理模型，所述目标图像处理模型根据所述图像修饰参数对所述待处理图像进行处理，输出处理后图像，包括：

将n个类型的所述图像修饰参数分别输入n个所述目标图像处理模型，其中，每个所述目标图像处理模型对应一个类型的所述图像修饰参数，n≥2；

n个所述目标图像处理模型依次对所述待处理图像进行处理，输出处理后图像。

在一种可能的实现方式中，所述n个所述目标图像处理模型依次对所述待处理图像进行处理，输出处理后图像，包括：

根据n个类型的所述图像修饰参数，确定图像处理顺序；

n个所述目标图像处理模型根据所述图像处理顺序依次对所述待处理图像进行处理，输出处理后图像。

在一种可能的实现方式中，n个所述目标图像处理模型中第一目标图像处理模型和第二目标图像处理模型对应的图像处理类型相同或不同，其中，所述第一目标图像处理模型和所述第二目标图像处理模型为n个所述目标图像处理模型中任意两个目标图像处理模型。

在一种可能的实现方式中，所述图像处理类型包括：去瑕疵、精修、细节处理、色调调整、亮度调整、对比度调整、饱和度调整和/或色彩平衡调整。

第二方面，本申请实施例提供了一种图像处理装置，包括：

参数预测单元，用于接收待处理图像和图像修饰类型，并根据所述待处理图像和所述图像修饰类型进行参数预测，输出与所述待处理图像和所述图像修饰类型对应的图像修饰参数；

图像处理单元，用于接收所述待处理图像和所述图像修饰参数，并根据所述图像修饰参数对所述待处理图像进行处理，输出处理后图像。

第三方面，本申请实施例提供了一种电子设备，包括：

处理器；

存储器；

所述存储器中存储有计算机程序，当所述计算机程序被执行时，使得所述电子设备执行第一方面任一项所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面任一项所述的方法。

与现有技术相比，本申请实施例通过参数预测模型生成图像修饰参数，再将生成的图像修饰参数传递到图像处理模型中，用以指导图像处理模型进行图像修饰，提升了自动化程度，节省了大量的人工调整的时间和成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种电子设备示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的一种参数预测模型的工作示意图；

图4为本申请实施例提供的一种参数预测模型的训练数据；

图5为本申请实施例提供的另一种参数预测模型的工作示意图；

图6为本申请实施例提供的另一种参数预测模型的训练数据；

图7为本申请实施例提供的一种图像修饰流程生成示意图；

图8为本申请实施例提供的一种D&B精修图像处理模型的训练示意图；

图9为本申请实施例提供的一种图像处理方法的流程结构框图；

图10为本申请实施例提供的一种图像处理装置的结构框图；

图11为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

参见图1，为本申请实施例提供的一种电子设备示意图。图1中示出的终端为手机100，即本申请实施例提供的图像处理方法可应用于手机100。需要指出的是，除了手机100以外，本申请实施例提供的电子设备还可以包括其他终端，例如平板电脑、个人计算机（personal computer，PC）、个人数字助理（personal digital assistant，PDA）、智能手表、上网本、可穿戴电子设备、增强现实技术（augmented reality， AR）设备、虚拟现实（virtual reality，VR）设备、车载终端、智能汽车、机器人、智能眼镜、智能电视等；在一些可能的实现方式中，电子设备还可以是服务器，云端设备等。

在专业摄影领域，图像修饰是一个耗时的过程，通常需要人工进行精细的调整。然而，随着技术的发展，自动化图像修饰逐渐成为一种需求。但是，现有的自动化图像修饰方法基本采用单一模型算法，在处理图像时，往往盲目地进行平滑处理，导致图像的细节纹理和景深效果被破坏。为了获得更好的图像处理效果，用户可以根据经验对模型中的图像修饰参数，尤其是局部图像修饰参数（例如，前景、背景、主体对应的图像修饰参数）进行调整。但是，由于该图像修饰方法需要用户参与图像修饰参数的调整，导致自动化程度不足，影响用户体验。

针对上述问题，本申请实施例提供了一种图像处理方法，该图像处理方法通过参数预测模型生成图像修饰参数，再将生成的图像修饰参数传递到图像处理模型中，用以指导图像处理模型进行图像修饰，提升了自动化程度，节省了大量的人工调整的时间和成本。下面结合具体实现方式进行详细说明。

参见图2，为本申请实施例提供的一种图像处理方法的流程示意图。该方法可应用于图1所示的电子设备，如图2所示，其主要包括以下步骤。

步骤S201：将待处理图像和图像修饰类型输入参数预测模型，所述参数预测模型根据所述待处理图像和所述图像修饰类型进行参数预测，输出与所述待处理图像和所述图像修饰类型对应的图像修饰参数。

本申请实施例中的待处理图像可以为用户拍摄的或从其他设备获取的上传到云端、服务器等电子设备上等待进行图像修饰的原图像，本申请实施例对此不作具体限制。

上传待处理图像后，用户可根据需要输入图像修饰类型，示例性，图像修饰类型可以为徕卡风格、漫画风格、素描风格等，也可以为具体的图像修饰要求，如污点修复、构图调整、颜色调整、精修等。在一种可能的实现方式中，可以让用户直接输入自己需要的图像修饰类型，也可以将图像修饰类型设置为可选择的，用户从下拉列表中，选择自己需要的图像修饰类型。

具体实施中，参数预测模型接收到待处理图像和图像修饰类型后，根据待处理图像和图像修饰类型输出对应的图像修饰参数。参见图3，为本申请实施例提供的一种参数预测模型的工作示意图。如图3所示，将待处理图像和图像修饰类型输入到参数预测模型后，参数预测模型对待处理图像和图像修饰类型进行特征提取，并根据提取到的特征进行图像修饰参数预测，最终输出与待处理图像和图像修饰类型对应的图像修饰参数。可以理解的是，本申请实施例输出图像修饰参数为个性化图像修饰参数，即针对不同的图像，即使图像修饰类型相同，其得到的图像修饰参数也可能不同，因此，本申请的参数预测模型具有强大的适用性。

需要说明的是，本身申请实施例中的对待处理图像和图像修饰类型进行特征提取的方法可以参考现有技术中的相关描述，为表述简洁，本申请不再进行赘述。

在一种可能的实现方式中，参数预测模型可以为MiniGPT-4、BLIP-2等多模态神经网络模型。本申请实施例通过对多模态神经网络模型的训练数据进行调整，并通过调整后的训练数据对多模态神经网络模型进行训练即可获得本申请所需的参数预测模型。具体实施中，可以采用图4所示的图像-文本数据对作为训练数据进行参数预测模型训练。具体的，获取如图4所示的第一训练数据，第一训练数据包括第一待处理图像、第一图像修饰类型、与第一待处理图像和第一图像修饰类型对应的第一图像修饰参数，将第一待处理图像和第一图像修饰类型作为待训练参数预测模型的输入，将第一图像修饰参数作为待训练参数预测模型的输出，对待训练参数预测模型进行训练，获得参数预测模型。

具体实施中，图像修饰参数一般为结构化数据，该结构化图像修饰参数可直接作为图像处理模型的输入。图像处理模型在下文中进行介绍。示例性的，图像修饰参数包括瑕疵、D&B精修(部分亮度矫正精修)、细节、色调、亮度、对比度、饱和度、色彩平衡等。

参见图5，为本申请实施例提供的另一种参数预测模型的工作示意图。在该实施例中，参数预测模型包括图像识别模型和参数生成模型，对应的，图像修饰参数的生成过程包括：将待处理图像和图像修饰类型输入图像识别模型，图像识别模型根据待处理图像和图像修饰类型进行图像内容识别，并输出与待处理图像和图像修饰类型对应的图像描述语句，再将图像描述语句输入参数生成模型，参数生成模型根据图像描述语句生成结构化图像修饰参数。

具体实施中，图像描述语句为对待处理图像的全部内容描述，包括人物、场景、光照、颜色、以及图像修饰参数等等。以图5为例，图像描述语句可以为：图像中的主体为一位穿着白色吊带、黑色长裤的女人，站在山坡上，双手张开，抬头看着日出时的风景；图像中的光源是阳光；背景包括绿草、蓝天、白云、山坡、大树；从图像来看，图像为逆光拍摄，图像中的光比为1:2；图像修饰参数为：光感+50，色调+15，亮度-10，对比度+30，饱和度+50等。当然，根据训练数据的不同，图像识别模型可以给出更为详细的图像描述语句，如人物的表情、图像场景是否真实等，或根据图像的主体、前景、背景区域对图像修饰参数分别进行参数预测等等，用户可根据自己需求进行输出结果调整，本申请对此不做具体要求。

在一种可能的实现方式中，图像识别模型可以为MiniGPT-4、BLIP-2等多模态神经网络模型，参数生成模型可以为生成式预训练Transformer模型（Generative Pre-TrainedTransformer，GPT），或者其他可以对图像描述语句进行关键字提取，生成结构化图像修饰参数的神经网络模型。

可以理解的是，本申请实施例的图像识别模型和参数生成模型也均为已训练好的参数预测模型。具体实施中，可以将图像识别模型和参数生成模型分别进行训练，也可以将图像识别模型和参数生成模型作为一个整体进行训练。当将图像识别模型和参数生成模型作为一个整体进行训练时，可以采用如图6所示的训练数据。具体包括，获取如图6所示的第二训练数据，第二训练数据包括第二待处理图像、第二图像修饰类型、与第二待处理图像和第二图像修饰类型对应的第二图像修饰参数，将第二待处理图像和第二图像修饰类型作为待训练图像识别模型的输入，将第二图像修饰参数作为待训练参数生成模型的输出，对待训练图像识别模型和待训练参数生成模型进行训练，获得图像识别模型和参数生成模型。

与上一种参数预测模型仅包括一种多模态神经网络模型，由多模态神经网络模型直接输出图像修饰结构化数据，专业性更强相比，本申请实施例通过在多模态神经网络模型后设置一个参数生成模型，由参数生成模型对多模态神经网络的输出进行特征提取，生成图像修饰结构化数据，适用性更广，更加容易迁移去实现其他的任务。

具体实施中，为了增强训练效果，使参数预测模型输出的图像修饰参数更加专业，在参数预测模型训练过程中，可以采用专业摄影师指导的图像修饰方案描述作为待训练数据中的图像修饰参数。与现有技术相比，本申请实施例允许摄影师对修饰风格进行定义，同时允许摄影师对图像描述进行调整，并将调整后的图像描述作为图像修饰参数对参数预测模型进行训练，实现交互式图像修饰。

步骤S202：将待处理图像和图像修饰参数输入图像处理模型，图像处理模型根据图像修饰参数对待处理图像进行处理，输出处理后图像。

在本申请实施例中，图像处理模型接收到待处理图像和图像修饰参数后，根据图像修饰参数的具体内容对待处理图像进行图像修饰，并输出完成图像修饰后的图像。

在一种可能的实现方式中，图像处理模型的数量有多个，每个图像处理模型用于完成不同的图像处理任务，因此，每个图像处理模型需要的图像修饰参数不同。具体的，当获得图像修饰参数后，需要将图像修饰参数输入与图像修饰参数对应的目标图像处理模型，由目标图像处理模型根据图像修饰参数对待处理图像进行处理，并输出处理后图像。

在一种可能的实现方式中，图像修饰参数包括n个类型，相应的，目标图像处理模型也包括n个。具体实施中，将n个类型的图像修饰参数分别输入n个目标图像处理模型，其中，每个目标图像处理模型对应一个类型的图像修饰参数，n≥2；n个目标图像处理模型获得对应类型的图像修饰参数后，依次对待处理图像进行处理，输出处理后图像。示例性的，将第k个预处理图像和第k个类型的图像修饰参数输入第k个目标图像处理模型，第k个目标图像处理模型根据第k个类型的图像修饰参数对第k个预处理图像进行处理，输出第k+1个预处理图像；其中，第1个预处理图像为待处理图像，第n+1个预处理图像为处理后图像，1≤k≤n。

在本申请实施例中，由于目标图像处理模型有多个，而各目标图像处理模型需要按顺序进行图像修饰，因此在目标图像处理模型进行图像处理前，需要先确定目标图像处理模型的处理顺序。具体的，根据n个图像修饰参数，确定图像处理顺序；n个目标图像处理模型根据图像处理顺序依次对待处理图像进行处理，输出处理后图像。实际应用中，可以针对图像修饰参数包含的类型不同，预先设置一些图像修饰流程（图像处理顺序），当碰到具有相同类型的图像修饰参数时，直接调用对应的图像修饰流程。可以理解的是，针对不同的待处理图像与图像修饰类型，得到的图像修饰参数不同，因此生成的图像修饰流程不同，即获得的目标图像处理模型的处理顺序不同。

参见图7，为本申请实施例提供的一种图像修饰流程生成示意图。如图7所示，参数预测模型生成图像修饰参数后，根据图像修饰参数生成不同的图像修饰流程，如图像修饰参数包括：去瑕疵、D&B精修、细节、色调，则对应生成的图像修饰流程包括：去瑕疵→ D&B精修→细节处理→调色，相应的，需要的目标图像处理模型包括：去瑕疵图像处理模型、 D&B精修图像处理模型、细节处理图像处理模型和调色图像处理模型；将图像修饰参数输入对应的目标图像处理模型后，目标图像处理模型按照图像修饰流程进行图像处理。示例性的，图像修饰流程还可以包括：去瑕疵→ D&B精修1→ D&B精修2→细节处理→调色；D&B精修→细节处理→调色；去瑕疵→细节处理→调色；细节处理→D&B精修1→ D&B精修2→调色等，根据不同的图像修饰流程，本申请实施例对应调用不同的目标图像处理模型进行图像处理。

在一种可能的实现方式中，n个目标图像处理模型中第一目标图像处理模型和第二目标图像处理模型对应的图像处理类型相同或不同，其中，第一目标图像处理模型和第二目标图像处理模型为n个目标图像处理模型中任意两个目标图像处理模型。具体的，当第一目标图像处理模型和第二目标图像处理模型的图像处理类型相同时，可以通过将对应的目标图像处理模型调用两次来实现，也可以通过调用两个相同的目标图像处理模型来实现。

在一种可能的实现方式中，与图像修饰参数对应，图像处理类型包括：去瑕疵、D&B精修、细节处理、色调调整、亮度调整、对比度调整、饱和度调整和/或色彩平衡调整等，相应的，目标图像处理模型包括：去瑕疵图像处理模型、D&B精修图像处理模型、细节处理图像处理模型、色调调整图像处理模型、亮度调整图像处理模型、对比度调整图像处理模型、饱和度调整图像处理模型和/或色彩平衡调整图像处理模型。

在一种可能的实现方式中，当参数预测模型根据主体、前景、背景分别输出对应的图像修饰参数时，本申请的目标图像处理模型还可以进行主体、前景、背景的分别修饰，此时本申请的目标图像处理模型包括主体图像处理模型、前景图像处理模型和背景图像处理模型。本申请实施例通过设置对应的主体、前景、背景图像处理模型可以自适应地实现主体、前景、背景的分别修饰，避免算法盲目全局处理的问题。

在一种可能的实现方式中，目标图像处理模型可以为深度学习模型，示例性的，可以为深度神经网络(deep neural network，DNN)、卷积神经网络模型（convolutionalneuron network，CNN）或者生成对抗网络模型(Generative adversarial network,GAN)。

可以理解的是，本申请实施例中的目标图像处理模型均为已预先经过训练的图像处理模型。具体实施中，由于各目标处理模型的任务不同，因此需要分别对各目标处理模型进行训练。参见图8，为本申请实施例提供的一种D&B精修图像处理模型的训练示意图。具体的，获取第三训练数据，第三训练数据包括第三待处理图像、第三图像修饰参数和第三输出图像，其中，第三输出图像为根据第三图像修饰参数对第三待处理图像进行处理后获得，将第三待处理图像和第三图像修饰参数作为待训练的D&B精修图像处理模型的输入，具体的，将第三图像修饰参数输入到待训练的D&B精修图像处理模型的精修层和混合模式层，将第三输出图像作为待训练的D&B精修图像处理模型的输出，对待训练的D&B精修图像处理模型进行训练，获得D&B精修图像处理模型。

需要说明的是，在本申请实施例中，训练用的图像修饰参数可以来源于参数预测模型，也可以来源于专业摄影师，本申请对此不做具体要求。

其他目标图像处理模型的训练过程与D&B精修图像处理模型的训练过程类似，具体实施中，参照上述D&B精修图像处理模型的训练过程进行模型训练即可获得其他目标图像处理模型，为表述简洁，本申请在此不再赘述。

为了便于理解，下面结合一种具体的实现方式，对本申请实施例提供的图像处理方法进行详细说明。

参见图9，为本申请实施例提供的一种图像处理方法的流程结构框图。如图9所示，将图像修饰类型与包括人物的原图像输入多模态大模型901进行图像修饰参数预测，多模态大模型901对原图像中人物的年龄、性别、肤色、人物所处的场景、光照等进行识别，并根据图像修饰类型对后续如何进行图像修饰进行图像修饰参数预测，输出结构化图像修饰参数。具体的，图像修饰参数包括去瑕疵处理参数、D&B精修参数、细节处理参数和调色参数，因此对应的图像修饰流程为去瑕疵→ D&B精修→细节处理→调色，相应的，需要的目标图像处理模型包括：去瑕疵图像处理模型902、 D&B精修图像处理模型903、细节处理图像处理模型904和调色图像处理模型905。确定了图像修饰流程和目标图像处理模型后，将图像修饰参数输入对应的目标图像处理模型，如将去瑕疵处理参数输入去瑕疵图像处理模型902，D&B精修参数输入D&B精修图像处理模型903，细节处理参数输入细节处理图像处理模型904，调色参数输入调色图像处理模型905，各目标图像处理模型接收到对应的图像修饰参数后，根据图像修饰流程进行图像处理，即去瑕疵图像处理模型902根据去瑕疵处理参数对原图片进行瑕疵识别与修复，并输出去瑕疵后的图片，D&B精修图像处理模型903根据D&B精修参数通过细节精修和混合模式对去瑕疵后的图片进行皮肤细节光影重塑，并输出精修后的图片，细节处理图像处理模型904根据细节处理参数对精修后的图片进行细节识别与混合模式处理，并输出细节调整后的图片，调色图像处理模型905根据调色参数对细节调整后的图片进行风格识别与曲线、LUT（Look Up Table）调整，然后输出处理后的图像。

本申请实施例通过参数预测模型生成图像个性化修饰参数，再将生成参数传递到图像处理模型中，用以指导图像处理模型进行图像修饰，实现了图像的快速修饰，节省了大量的人工调整的时间和成本。

与上述实施例相对应，本申请还提供了一种图像处理装置。

参见图10，为本申请实施例提供的一种图像处理装置的结构框图。如图10所示，该图像形成装置1000包括：参数预测单元1001，用于接收待处理图像和图像修饰类型，并根据待处理图像和所述图像修饰类型进行参数预测，输出与待处理图像和所述图像修饰类型对应的图像修饰参数；图像处理单元1002，用于接收待处理图像和图像修饰参数，并根据图像修饰参数对待处理图像进行处理，输出处理后图像。

本申请实施例的具体内容可以参见上述方法实施例的描述，为了表述简洁，在此不再赘述。

与上述实施例相对应，本申请还提供了一种电子设备，该电子设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，触发所述电子设备执行上述方法实施例中的部分或全部步骤。

参见图11，为本申请实施例提供的一种电子设备的结构示意图。如图11所示，该电子设备1100可以包括处理器1110，外部存储器接口1120，内部存储器1121，通用串行总线(universal serial bus，USB)接口1130，充电管理模块1140，电源管理模块1141，电池1142，天线1，天线2，移动通信模块1150，无线通信模块1160，音频模块1170，扬声器1170A，受话器1170B，麦克风1170C，耳机接口1170D，传感器模块1180，按键1190，马达1191，指示器1192，摄像头1193，显示屏1194，以及用户标识模块(subscriber identification module，SIM)卡接口1195等。其中传感器模块1180可以包括压力传感器1180A，陀螺仪传感器1180B，气压传感器1180C，磁传感器1180D，加速度传感器1180E，距离传感器1180F，接近光传感器1180G，指纹传感器1180H，温度传感器1180J，触摸传感器1180K，环境光传感器1180L，骨传导传感器1180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备1100的具体限定。在本申请另一些实施例中，电子设备1100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器1110可以包括一个或多个处理单元，例如：处理器1110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器1110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器1110中的存储器为高速缓冲存储器。该存储器可以保存处理器1110刚用过或循环使用的指令或数据。如果处理器1110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器1110的等待时间，因而提高了***的效率。

在一些实施例中，处理器1110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器1110可以包含多组I2C总线。处理器1110可以通过不同的I2C总线接口分别耦合触摸传感器1180K，充电器，闪光灯，摄像头1193等。

I2S接口可以用于音频通信。在一些实施例中，处理器1110可以包含多组I2S总线。处理器1110可以通过I2S总线与音频模块1170耦合，实现处理器1110与音频模块1170之间的通信。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块1170与无线通信模块1160可以通过PCM总线接口耦合。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器1110与无线通信模块1160。

MIPI接口可以被用于连接处理器1110与显示屏1194，摄像头1193等***器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(display serial interface，DSI)等。在一些实施例中，处理器1110和摄像头1193通过CSI接口通信，实现电子设备1100的拍摄功能。处理器1110和显示屏1194通过DSI接口通信，实现电子设备1100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器1110与摄像头1193，显示屏1194，无线通信模块1160，音频模块1170，传感器模块1180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口1130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口1130可以用于连接充电器为电子设备1100充电，也可以用于电子设备1100与***设备之间传输数据。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备1100的结构限定。在本申请另一些实施例中，电子设备1100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块1140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块1140可以通过USB接口1130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块1140可以通过电子设备1100的无线充电线圈接收无线充电输入。充电管理模块1140为电池1142充电的同时，还可以通过电源管理模块1141为终端供电。

电源管理模块1141用于连接电池1142，充电管理模块1140与处理器1110。电源管理模块1141接收电池1142和/或充电管理模块1140的输入，为处理器1110，内部存储器1121，显示屏1194，摄像头1193，和无线通信模块1160等供电。电源管理模块1141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。

电子设备1100的无线通信功能可以通过天线1，天线2，移动通信模块1150，无线通信模块1160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备1100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块1150可以提供应用在电子设备1100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块1150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块1150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块1150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块1150的至少部分功能模块可以被设置于处理器1110中。在一些实施例中，移动通信模块1150的至少部分功能模块可以与处理器1110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器1170A，受话器1170B等)输出声音信号，或通过显示屏1194显示图像或视频。

无线通信模块1160可以提供应用在电子设备1100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块1160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块1160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器1110。无线通信模块1160还可以从处理器1110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备1100的天线1和移动通信模块1150耦合，天线2和无线通信模块1160耦合，使得电子设备1100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobilecommunications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband codedivision multiple access，WCDMA)，时分码分多址(time-division code divisionmultiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system，GPS)，全球导航卫星***(global navigation satellite system，GLONASS)，北斗卫星导航***(beidou navigation satellite system，BDS)，准天顶卫星***(quasi-zenithsatellite system，QZSS)和/或星基增强***(satellite based augmentation systems，SBAS)。

电子设备1100通过GPU，显示屏1194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏1194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器1110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏1194用于显示图像，视频等。显示屏1194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备1100可以包括1个或N个显示屏1194，N为大于1的正整数。

电子设备1100可以通过ISP，摄像头1193，视频编解码器，GPU，显示屏1194以及应用处理器等实现拍摄功能。

ISP 用于处理摄像头1193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。

摄像头1193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。在一些实施例中，电子设备1100可以包括1个或N个摄像头1193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备1100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备1100可以支持一种或多种视频编解码器。这样，电子设备1100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network ，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备1100的智能认知等应用，

外部存储器接口1120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备1100的存储能力。外部存储卡通过外部存储器接口1120与处理器1110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器1121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器1121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备1100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器1121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器1110通过运行存储在内部存储器1121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备1100的各种功能应用以及数据处理。

电子设备1100可以通过音频模块1170，扬声器1170A，受话器1170B，麦克风1170C，耳机接口1170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块1170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块1170还可以用于对音频信号编码和解码。

扬声器1170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备1100可以通过扬声器1170A收听音乐，或收听免提通话。

受话器1170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备1100接听电话或语音信息时，可以通过将受话器1170B靠近人耳接听语音。

麦克风1170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风1170C发声，将声音信号输入到麦克风1170C。电子设备1100可以设置至少一个麦克风1170C。

耳机接口1170D用于连接有线耳机。耳机接口1170D可以是USB接口1130，也可以是3.5mm的开放移动终端平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器1180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器1180A可以设置于显示屏1194。压力传感器1180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器1180A，电极之间的电容改变。电子设备1100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏1194，电子设备1100根据压力传感器1180A检测所述触摸操作强度。电子设备1100也可以根据压力传感器1180A的检测信号计算触摸的位置。

陀螺仪传感器1180B可以用于确定电子设备1100的运动姿态。在一些实施例中，可以通过陀螺仪传感器1180B确定电子设备1100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器1180B可以用于拍摄防抖。

气压传感器1180C用于测量气压。在一些实施例中，电子设备1100通过气压传感器1180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器1180D包括霍尔传感器。电子设备1100可以利用磁传感器1180D检测翻盖皮套的开合。

加速度传感器1180E可检测电子设备1100在各个方向上(一般为三轴)加速度的大小。当电子设备1100静止时可检测出重力的大小及方向。还可以用于识别终端姿态，应用于横竖屏切换，计步器等应用。

距离传感器1180F，用于测量距离。电子设备1100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备1100可以利用距离传感器1180F测距以实现快速对焦。

接近光传感器1180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备1100通过发光二极管向外发射红外光。电子设备1100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备1100附近有物体。

环境光传感器1180L用于感知环境光亮度。电子设备1100可以根据感知的环境光亮度自适应调节显示屏1194亮度。

指纹传感器1180H用于采集指纹。电子设备1100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器1180J用于检测温度。在一些实施例中，电子设备1100利用温度传感器1180J检测的温度，执行温度处理策略。

触摸传感器1180K，也称“触控器件”。触摸传感器1180K可以设置于显示屏1194，由触摸传感器1180K与显示屏1194组成触摸屏，也称“触控屏”。触摸传感器1180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏1194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器1180K也可以设置于电子设备1100的表面，与显示屏1194所处的位置不同。

骨传导传感器1180M可以获取振动信号。在一些实施例中，骨传导传感器1180M可以获取人体声部振动骨块的振动信号。骨传导传感器1180M也可以接触人体脉搏，接收血压跳动信号。

按键1190包括开机键，音量键等。按键1190可以是机械按键。也可以是触摸式按键。电子设备1100可以接收按键输入，产生与电子设备1100的用户设置以及功能控制有关的键信号输入。

马达1191可以产生振动提示。马达1191可以用于来电振动提示，也可以用于触摸振动反馈。

指示器1192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口1195用于连接SIM卡。SIM卡可以通过***SIM卡接口1195，或从SIM卡接口1195拔出，实现和电子设备1100的接触和分离。电子设备1100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口1195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口1195可以同时***多张卡。所述多张卡的类型可以相同，也可以不同。电子设备1100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备1100采用eSIM，即：嵌入式SIM卡。

具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-onlymemory，简称：ROM）或随机存储记忆体（英文：random access memory，简称：RAM）等。

具体实现中，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行上述方法实施例中的部分或全部步骤。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a, b, c, a-b,a-c, b-c,或a-b-c，其中a, b, c可以是单个，也可以是多个。

本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，简称ROM）、随机存取存储器（random access memory，简称RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

将待处理图像和图像修饰类型输入参数预测模型，所述参数预测模型根据所述待处理图像和所述图像修饰类型进行参数预测，输出与所述待处理图像和所述图像修饰类型对应的图像修饰参数；

将所述待处理图像和所述图像修饰参数输入图像处理模型，所述图像处理模型根据所述图像修饰参数对所述待处理图像进行处理，输出处理后图像。

2.根据权利要求1所述的方法，其特征在于，所述参数预测模型包括图像识别模型和参数生成模型；

所述将待处理图像和图像修饰类型输入参数预测模型，所述参数预测模型根据所述待处理图像和所述图像修饰类型进行参数预测，输出与所述待处理图像和所述图像修饰类型对应的图像修饰参数，包括：

将待处理图像和图像修饰类型输入图像识别模型，所述图像识别模型根据所述待处理图像和所述图像修饰类型进行图像识别，输出与所述待处理图像和所述图像修饰类型对应的图像描述；

将所述图像描述输入所述参数生成模型，所述参数生成模型根据所述图像描述进行参数生成，输出与所述图像描述对应的图像修饰参数。

3.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像和所述图像修饰参数输入图像处理模型，所述图像处理模型根据所述图像修饰参数对所述待处理图像进行处理，输出处理后图像，包括：

将所述待处理图像和所述图像修饰参数输入与所述图像修饰参数对应的目标图像处理模型，所述目标图像处理模型根据所述图像修饰参数对所述待处理图像进行处理，输出处理后图像。

4.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像和所述图像修饰参数输入与所述图像修饰参数对应的目标图像处理模型，所述目标图像处理模型根据所述图像修饰参数对所述待处理图像进行处理，输出处理后图像，包括：

将n个类型的所述图像修饰参数分别输入n个所述目标图像处理模型，其中，每个所述目标图像处理模型对应一个类型的所述图像修饰参数，n≥2；

n个所述目标图像处理模型依次对所述待处理图像进行处理，输出处理后图像。

5.根据权利要求4所述的方法，其特征在于，所述n个所述目标图像处理模型依次对所述待处理图像进行处理，输出处理后图像，包括：

根据n个类型的所述图像修饰参数，确定图像处理顺序；

n个所述目标图像处理模型根据所述图像处理顺序依次对所述待处理图像进行处理，输出处理后图像。

6.根据权利要求4或5所述的方法，其特征在于，n个所述目标图像处理模型中第一目标图像处理模型和第二目标图像处理模型对应的图像处理类型相同或不同，其中，所述第一目标图像处理模型和所述第二目标图像处理模型为n个所述目标图像处理模型中任意两个目标图像处理模型。

7.根据权利要求6所述的方法，其特征在于，所述图像处理类型包括：去瑕疵、精修、细节处理、色调调整、亮度调整、对比度调整、饱和度调整和/或色彩平衡调整。

8.一种图像处理装置，其特征在于，包括：

参数预测单元，用于接收待处理图像和图像修饰类型，并根据所述待处理图像和所述图像修饰类型进行参数预测，输出与所述待处理图像和所述图像修饰类型对应的图像修饰参数；

图像处理单元，用于接收所述待处理图像和所述图像修饰参数，并根据所述图像修饰参数对所述待处理图像进行处理，输出处理后图像。

9.一种电子设备，其特征在于，包括：

处理器；

存储器；

所述存储器中存储有计算机程序，当所述计算机程序被执行时，使得所述电子设备执行权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1-7任一项所述的方法。