CN115131453B - 颜色填充模型训练、颜色填充方法及装置、电子设备 - Google Patents

Abstract

本公开提供了颜色填充模型训练、颜色填充方法及装置、电子设备，涉及计算机技术领域，尤其涉及云计算领域。训练方法为：确定颜色填充模型对应的训练样本；构建颜色填充模型对应的生成器和鉴别器；确定鉴别器当前鉴别参数对应的目标鉴别器；基于目标鉴别器，以生成器对灰度图像进行颜色填充获得的填充图像与彩色图像，通过目标鉴别器的鉴别结果相同为训练目标，训练获得目标生成参数对应的目标生成器；基于目标生成器，以鉴别器对目标生成器生成的填充图像的鉴别结果满足鉴别条件为训练目标，训练获得目标鉴别参数对应的目标鉴别器；若目标生成器和目标鉴别器满足颜色填充模型的收敛条件，则确定目标生成器和目标鉴别器为颜色填充模型的训练结果。

Description

颜色填充模型训练、颜色填充方法及装置、电子设备

技术领域

本公开涉及计算机技术领域，特别是云计算领域，尤其涉及一种颜色填充模型训练、颜色填充方法及装置、电子设备。

背景技术

近年来，由于图像着色、图像修复等需求的增加，对图像进行颜色填充是目前较为常见的一种计算机图像处理应用领域。为了对图像进行准确填充，相关技术中通常可以采用神经网络模型进行图像的填充，但是，目前的神经网络模型对图像的颜色填充效果不佳，填充准确度并不高。

发明内容

本公开提供了一种用于实现灰度图像的高准确度颜色填充的颜色填充模型训练、颜色填充方法及装置、电子设备。

根据本公开的第一方面，提供了一种颜色填充模型训练方法，包括：

确定颜色填充模型对应的训练样本；训练样本包括：彩色图像和彩色图像对应的真值标签、灰度图像和灰度图像对应的假值标签；灰度图像通过彩色图像转换获得；

构建颜色填充模型对应的生成器和鉴别器；

确定鉴别器当前鉴别参数对应的目标鉴别器；

基于目标鉴别器，以生成器对灰度图像进行颜色填充获得的填充图像与彩色图像，通过目标鉴别器的鉴别结果相同为训练目标，训练获得目标生成参数对应的目标生成器；

基于目标生成器，以鉴别器对目标生成器生成的填充图像的鉴别结果满足鉴别条件为训练目标，训练获得目标鉴别参数对应的目标鉴别器；

若目标生成器和目标鉴别器满足颜色填充模型的收敛条件，则确定目标生成器和目标鉴别器为颜色填充模型的训练结果。

根据本公开的第二方面，提供了一种颜色填充方法，包括：

响应于针对待填充图像发起的图像填充请求，获取目标生成器和目标鉴别器对应的颜色填充模型；其中颜色填充模型基于第一方面的颜色填充模型训练方法训练获得；

将待填充图像输入颜色填充模型的目标生成器，获得目标生成器对待填充图像进行颜色填充获得的目标填充图像；

将目标填充图像输入颜色填充模型的目标鉴别器，获得目标鉴别器对目标填充图像的鉴别结果。

根据本公开的第三方面，提供了一种颜色填充模型训练装置，包括：

样本确定单元，用于确定颜色填充模型对应的训练样本；训练样本包括：彩色图像和彩色图像对应的真值标签、灰度图像和灰度图像对应的假值标签；灰度图像通过彩色图像转换获得；

模型构建单元，用于构建颜色填充模型对应的生成器和鉴别器；

鉴别确定单元，用于确定鉴别器当前鉴别参数对应的目标鉴别器；

第一训练单元，用于基于目标鉴别器，以生成器对灰度图像进行颜色填充获得的填充图像与彩色图像，通过目标鉴别器的鉴别结果相同为训练目标，训练获得目标生成参数对应的目标生成器；

第二训练单元，用于基于目标生成器，以鉴别器对目标生成器生成的填充图像的鉴别结果满足鉴别条件为训练目标，训练获得目标鉴别参数对应的目标鉴别器；

结果确定单元，用于若目标生成器和目标鉴别器满足颜色填充模型的收敛条件，则确定目标生成器和目标鉴别器为颜色填充模型的训练结果。

根据本公开的第四方面，提供了一种颜色填充装置，包括：

请求响应单元，用于响应于针对待填充图像发起的图像填充请求，获取目标生成器和目标鉴别器对应的颜色填充模型；其中颜色填充模型基于第一方面的颜色填充模型训练方法训练获得；

目标生成单元，用于将待填充图像输入颜色填充模型的目标生成器，获得目标生成器对待填充图像进行颜色填充获得的目标填充图像；

目标鉴别单元，用于将目标填充图像输入颜色填充模型的目标鉴别器，获得目标鉴别器对目标填充图像的鉴别结果。

根据本公开的第五方面，提供了一种至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面或者第二方面以及各个方面各种可能的方法。

根据本公开的技术解决了颜色填充准确度不高的问题，确定颜色填充模型的训练样本。训练样本可以包括彩色图像和彩色图像对应的真值标签，灰度图像和灰度图像对应的假值标签。灰度图像可以通过彩色图像进行灰度转换获得。之后，通过构建颜色填充模型对应的生成器和鉴别器，以确定鉴别器当前鉴别参数对应的目标鉴别器。通过目标鉴别器，可以对生成器进行训练，获得目标生成参数对应的目标生成器，训练过程中以生成器对灰度图像进行颜色填充获得填充图像和彩色图像，实现对生成器的准确训练。之后，通过训练获得的目标生成器，对鉴别器进行训练，获得目标鉴别参数对应的目标检测器，训练获得中以鉴别器对填充图像的鉴别结果满足鉴别条件为训练目标，可以实现对鉴别器的准确训练。通过生成器和鉴别器的训练可以获得准确的颜色填充模型，以利用更准确的颜色填充模型对待填充图像进行精准的颜色填充，提高颜色填充效率和准确度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例提供的颜色填充***的一个***架构图；

图2是根据本公开实施例提供的一种颜色填充模型训练方法的一个实施例的流程图；

图3是根据本公开实施例提供的一种颜色填充模型训练方法的又一个实施例的流程图；

图4是根据本公开实施例提供的一种颜色填充模型训练方法的又一个实施例的流程图；

图5是根据本公开实施例提供的一种颜色填充模型训练方法的又一个实施例的流程图；

图6是根据本公开实施例提供的一种颜色填充方法的一个实施例的流程图；

图7是根据本公开实施例提供的一种颜色填充模型训练装置的一个实施例的结构示意图；

图8是根据本公开实施例提供的一种颜色填充方法的一个实施例的结构示意图；

图9是用来实现本公开实施例的颜色填充模型训练方法或者颜色填充方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开的技术方案可以应用于图像的颜色填充，通过构建生成器和鉴别器，以利用生成器和鉴别器对颜色填充模型进行对抗训练，获得准确的目标生成器和目标鉴别器，以利用目标生成器对想进行准确训练，提高对图像的颜色填充准确度，提高颜色填充效率和精度。

现有技术中，一般是采用神经网络模型对灰度图像进行颜色填充，例如基于卷积训练模型从灰度图像输入映射特征到神经网络模型，获得颜色填充结束的图像。但是现有的图像着色方案容易出现颜色较淡，着色效果并不好的问题。

为了解决上述技术问题，本公开提供一种颜色填充模型训练、颜色填充方法、装置和电子设备，应用于计算机技术领域中的云计算领域，以达到提高颜色填充准确度，获得填充效果更好的填充图像的目的。

本公开实施例中，考虑使用生成器和鉴别器构成的颜色填充模型。通过对生成器和鉴别器进行对抗训练，以使得生成器生成颜色图像，而鉴别器对生成器生成的颜色图像和原始彩色图像的鉴别结果相同，促使生成器对图像填充的准确度，提高生成器的作色精度和有效性。

本公开实施例中，确定颜色填充模型的训练样本。训练样本可以包括彩色图像和彩色图像对应的真值标签，灰度图像和灰度图像对应的假值标签。灰度图像可以通过彩色图像进行灰度转换获得。之后，通过构建颜色填充模型对应的生成器和鉴别器，以确定鉴别器当前鉴别参数对应的目标鉴别器。通过目标鉴别器，可以对生成器进行训练，获得目标生成参数对应的目标生成器，训练过程中以生成器对灰度图像进行颜色填充获得填充图像和彩色图像，实现对生成器的准确训练。之后，通过训练获得的目标生成器，对鉴别器进行训练，获得目标鉴别参数对应的目标检测器，训练获得中以鉴别器对填充图像的鉴别结果满足鉴别条件为训练目标，可以实现对鉴别器的准确训练。通过生成器和鉴别器的训练可以获得准确的颜色填充模型，以利用更准确的颜色填充模型对待填充图像进行精准的颜色填充，提高颜色填充效率和准确度。

下面将结合附图对本公开的技术方案进行详细介绍。

如图1所示，为本公开实施例提供的颜色填充***的一个***架构图。该软件***可以包括：配置有本公开的颜色填充方法的电子设备1，和配置有本公开提供的颜色填充模型训练方法的云服务器2，电子设备1和云服务器2之间可以建立有线或无线的通信连接。

云服务器2可以基于本公开的颜色填充模型训练方法对颜色填充模型中的生成器和鉴别器进行训练，获得准确的颜色填充模型。电子设备1可以检测用户发起的待填充图像的图像填充请求，以响应于图像填充请求，获取目标生成器和目标鉴别器对应的颜色填充模型，通过颜色填充模型可以对待填充图像进行颜色填充以及鉴别，获得目标填充图像和鉴别结果。在某些实施例中，电子设备1可以将目标填充图像和/或鉴别结果为用户输出。通过训练的颜色填充模型可以对待填充图像进行快速而准确的填充。

如图2所示，为本公开实施例提供的一种颜色填充模型训练方法的一个实施例的流程图，该方法可配置为一颜色填充模型训练装置，颜色填充模型训练装置可以位于电子设备中，该颜色填充模型训练方法可以包括：

201：确定颜色填充模型对应的训练样本；训练样本包括：彩色图像和彩色图像对应的真值标签、灰度图像和灰度图像对应的假值标签；灰度图像通过彩色图像转换获得。

训练样本可以包括彩色图像和灰度图像，彩色图像可以作为真值标签，灰度图像可以对应假值标签。训练样本可以包括多个，每个训练样本对应的灰度图像均可以通过彩色图像灰度转换获得。在实际训练过程中，训练样本的彩色图像作为原始图像可以直接进行鉴别器的鉴别。灰度图像进行彩色图像的填充获得填充图像之后，再进行鉴别器的鉴别。

202：构建颜色填充模型对应的生成器和鉴别器。

生成器和鉴别器对应的颜色填充模型可以基于条件生成对抗网络(GAN，Generative Adversarial Network)算法获得。生成器可以用于对灰度图像进行颜色填充。鉴别器可以对灰度器的填充图像进行着色判断，获得准确的判断结果。

203：确定鉴别器当前鉴别参数对应的目标鉴别器。

在第一次训练时，可以对构建颜色填充模型对应的鉴别器进行参数初始化获得目标鉴别器。

在除第一次训练之外，可以获取前一次训练结束后获得的目标鉴别参数对应的目标鉴别器。

204：基于目标鉴别器，以生成器对灰度图像进行颜色填充获得的填充图像与彩色图像，通过目标鉴别器的鉴别结果相同为训练目标，训练获得目标生成参数对应的目标生成器。

在训练生成器过程中，鉴别器可以不发生变化。生成器可以对灰度图像进行图像颜色填充，获得填充图像。

205：基于目标生成器，以鉴别器对目标生成器生成的填充图像的鉴别结果满足鉴别条件为训练目标，训练获得目标鉴别参数对应的目标鉴别器。

在鉴别器训练过程中，生成器可以不发生变化。鉴别器可以填充图像进行颜色填充效果进行鉴别，例如可以生成鉴别的信息熵概率。

206：若目标生成器和目标鉴别器满足颜色填充模型的收敛条件，则确定目标生成器和目标鉴别器为颜色填充模型的训练结果。

在某些实施例中，若目标生成器和目标鉴别器满足颜色填充模型的收敛条件，可以包括：将目标生成器的损失值和目标鉴别器的损失值相加，获得总损失值。在总损失值满足鉴别条件时，确定颜色填充模型满足收敛条件。总损失值满足鉴别条件，例如可以包括，总损失值小于预设的损失阈值，或者大于预设的损失阈值。总损失值小于预设的损失阈值时，颜色填充模型的模型精度与总损失阈值成反比，总损失阈值大于预设的损失阈值时，颜色填充模型的模型精度与总损失阈值成正比。目标生成器的损失值可以包括最后一次迭代获得的生成损失值。目标鉴别器的损失值可以包括最后一次迭代获得的鉴别损失值。

可选地，获得目标生成器和目标鉴别器之后，可以利用目标生成器对待填充图像进行颜色填充，获得填充图像。填充图像可以通过目标鉴别器进行鉴别，获得鉴别结果。

本公开实施例中，确定颜色填充模型的训练样本。训练样本可以包括彩色图像和彩色图像对应的真值标签，灰度图像和灰度图像对应的假值标签。灰度图像可以通过彩色图像进行灰度转换获得。之后，通过构建颜色填充模型对应的生成器和鉴别器，以确定鉴别器当前鉴别参数对应的目标鉴别器。通过目标鉴别器，可以对生成器进行训练，获得目标生成参数对应的目标生成器，训练过程中以生成器对灰度图像进行颜色填充获得填充图像和彩色图像，实现对生成器的准确训练。之后，通过训练获得的目标生成器，对鉴别器进行训练，获得目标鉴别参数对应的目标检测器，训练获得中以鉴别器对填充图像的鉴别结果满足鉴别条件为训练目标，可以实现对鉴别器的准确训练。通过生成器和鉴别器的训练可以获得准确的颜色填充模型，以利用更准确的颜色填充模型对待填充图像进行精准的颜色填充，提高颜色填充效率和准确度。

如图3所示，为本公开实施例提供的一种软件运行方法的一个实施例的流程图，该方法可以应用于融合引擎中，融合引擎可以分别与软件***的工程端以及策略端存在通信连接，该方法可以包括：

301：确定颜色填充模型对应的训练样本；训练样本包括：彩色图像和彩色图像对应的真值标签、灰度图像和灰度图像对应的假值标签；灰度图像通过彩色图像转换获得。

本实施例中部分步骤与图2所示的部分步骤相同，关于各个步骤的具体内容可以参考前述实施例的描述，在此不再赘述。

302：构建颜色填充模型对应的生成器和鉴别器。

303：确定鉴别器当前鉴别参数对应的目标鉴别器。

304：基于目标鉴别器，以生成器对灰度图像进行颜色填充获得的填充图像与彩色图像，通过目标鉴别器的鉴别结果相同为训练目标，训练获得目标生成参数对应的目标生成器。

305：基于目标生成器，以鉴别器对目标生成器生成的填充图像的鉴别结果满足鉴别条件为训练目标，训练获得目标鉴别参数对应的目标鉴别器。

306：判断目标生成器和目标鉴别器是否满足颜色填充模型的收敛条件，若是，则执行步骤307；若否则执行步骤308。

判断目标生成器和目标鉴别器是否满足颜色填充模型的收敛条件，可以包括：计算目标生成器的损失值和目标判别器的损失值相加求和，获得总损失值。若确定总损失值满足损失条件，则确定颜色填充模型满足收敛条件，否则确定颜色填充模型不满足收敛条件。

307：确定目标生成器和目标鉴别器为颜色填充模型的训练结果。

308：确定训练获得目标鉴别参数为鉴别器对应的当前鉴别参数，返回至步骤303继续执行。

本公开实施例中，可以通过目标生成器和目标鉴别器是否满足颜色填充模型的收敛条件进行判断，可以通过对颜色填充模型的迭代训练，实现颜色填充模型的准确训练，获得准确的颜色填充模型。

如图4所示，与图2或图3所示的实施例的不同之处在于，基于目标鉴别器，以生成器对灰度图像进行颜色填充获得的填充图像与彩色图像，通过目标鉴别器的鉴别结果相同为训练目标，训练获得目标生成参数对应的目标生成器，可以包括：

401：将训练样本的彩色图像输入目标鉴别器，通过目标鉴别器对彩色图像进行图像色彩鉴别，获得第一鉴别结果；第一鉴别结果包括真或者假。

402：将灰度图像输入候选生成参数对应的生成器，获得填充图像。

403：将填充图像输入目标鉴别器，通过目标鉴别器对填充图像进行图像色彩鉴别，获得第二鉴别结果；第二鉴别结果包括真或假；填充图像对应的标签为灰度图像对应的假值标签。

404：基于第一鉴别结果和第二鉴别结果，计算生成损失值。

其中，基于第一鉴别结果和第二鉴别结果，计算生成损失值可以包括：计算第一鉴别结果和第二鉴别结果之差，获得生成损失值。填充图像与彩色图像相似度越高，说明填充效果越好，若两个图像的鉴别结果差距较少，说明填充图像和彩色图像的差异较小，生成器可以在此约束条件下，获得准确的损失值。

第一鉴别结果和第二鉴别结果可以指通过鉴别器的鉴别，获得的概率值。

405：若确定生成损失值满足生成终止条件，则确定候选生成参数为目标生成参数，以获得目标生成参数对应的目标生成器。

本公开实施例中，训练生成器时，可以首先确定目标鉴别器，并保持目标鉴别器的稳定性。训练过程中，首先可以利用目标鉴别器对彩色图像进行鉴别，获得第一鉴别结果。通过为生成器确定候选生成参数，使得生成器能够正常使用，对灰度图像进行颜色填充，获得填充图像，通过将填充图像输入到目标鉴别器，可以通过目标鉴别器对填充图像进行图像颜色鉴别，获得第二鉴别结果。从而基于第一鉴别结果和第二鉴别结果进行损失计算，利用损失计算获得的生成损失值进行生成器终止条件的判断，提高生成器的训练效率和训练精度。

在一种可能的设计中，基于第一损失值和第二损失值，计算生成损失值之后，还包括：

若确定生成损失值不满足生成终止条件，则基于生成损失值，更新生成器的候选生成参数，返回至将灰度图像输入候选生成参数对应的生成器，获得填充图像的步骤继续执行。

可选地，可以采用梯度下降算法，利用生成损失值，更新生成器的候选生成参数。

本公开实施例中，在生成损失值不满足生成条件时，可以基于生成损失值，更新生成器的候选生成参数，返回至将灰度图像输入候选生成参数对应的生成器，获得填充图像的步骤继续执行。通过生成条件的检测，可以实现对生成器的迭代训练，完成生成器的准确训练。

如图5所示，与图2或图3所示的实施例的不同之处在于，基于目标生成器，以鉴别器对目标生成器生成的填充图像的鉴别结果满足鉴别条件为训练目标，训练获得目标鉴别参数对应的目标鉴别器，可以包括以下几个步骤：

501：确定第二鉴别结果为真的填充图像对应的目标灰度图像。

502：将目标灰度图像输入目标生成器，获得目标生成器对目标灰度图像进行颜色填充获得的目标填充图像。

503：将目标填充图像输入候选鉴别参数对应的鉴别器，获得目标填充图像对应的第三鉴别结果；所以第三鉴别结果包括真或假。

鉴别结果的计算方式相同，已在前述实施例进行描述，在此不再赘述。

504：基于目标灰度图像对应的第三鉴别结果和第二鉴别结果，计算目标灰度图像对应的鉴别误差值。

505：若确定鉴别误差值满足鉴别收敛条件，则确定候选鉴别参数为目标鉴别参数对应的目标鉴别器。

本公开实施例中，在对鉴别器进行训练时，可以确定第二鉴别结果为真的填充图像对应的目标灰度图像，获得鉴别器鉴别的较为填充效果较好的目标灰度图像，获得针对鉴别器的灰度图像。通过将目标灰度图像输入目标生成器，获得目标生成器对目标灰度图像进行颜色填充获得的目标填充图像，获得目标生成器的颜色填充结果。对鉴别器进行训练时，首先可以确定鉴别器的候选鉴别参数，以将目标填充图像和目标对象图像对应的彩色图像输入到候选鉴别参数的鉴别器，利用鉴别器进行图像鉴别，获得第三鉴别结果和第二鉴别结果。而目标灰度图像对应的第二鉴别结果为真，通过第三鉴别结果和第二鉴别结果进行鉴别误差计算，通过鉴别误差值可以对鉴别收敛条件进行判断，以确定候选鉴别参数为目标鉴别参数对应的目标鉴别器，实现对鉴别器的鉴别参数的确定，获得准确的目标鉴别器。

在某些实施例中，基于目标灰度图像对应的第三鉴别结果和第二鉴别结果，计算目标灰度图像对应的鉴别误差值之后，还包括：

若确定鉴别误差结果不满足鉴别收敛条件，则基于鉴别误差更新候选鉴别参数，返回至将目标填充图像输入候选鉴别参数对应的鉴别器，获得目标填充图像对应的第三鉴别结果的步骤继续执行。

可以采用梯度下降算法，利用鉴别误差更新候选鉴别参数。

本公开实施例中，在鉴别误差结果不满足鉴别收敛条件时，可以基于鉴别误差更新候选鉴别参数，实现对鉴别器的参数的迭代更新，不断对鉴别器进行训练，获得准确的目标鉴别器。

在某些实施例中，基于目标灰度图像对应的第三鉴别结果和第二鉴别结果，计算目标灰度图像对应的鉴别误差值，包括：

获取目标灰度图像对应的目标彩色图像；

基于目标灰度图像对应的目标填充图像和目标彩色图像，计算图像损失值；

基于第三鉴别结果和第二鉴别结果，计算鉴别结果损失值；

将图像损失值和鉴别结果损失值进行加权求和，获得目标灰度图像对应的鉴别误差值。

目标彩色图像可以为目标灰度图像所在训练样本中的彩色图像。

可选地图像损失值可以为目标填充图像和目标彩色图像之间的图像距离。图像距离即可以指两个图像之间的特征距离，具体可以通过对目标填充图像和目标彩色图像进行特征提取，获得目标填充特征和目标彩色特征，计算目标填充特征和目标彩色特征之间特征距离计算获得。目标填充特征和目标彩色特征之间的特征距离理可以通过距离计算公式计算获得，距离计算公式例如可以包括欧式距离、汉明距离、曼哈顿距离等，本公开中对距离计算公式并不作出过多限定。

本公开实施例中，对目标灰度图像的鉴别误差值进行计算时，可以首先获取目标灰度图像对应的目标彩色图像，计算图像损失值，还通过第三鉴别结果和第二鉴别结果计算鉴别结果损失值，将第二鉴别结果作为鉴别标签，可以对鉴别结果的损失值进行准确计算。通过图形损失值和鉴别结果损失值进行加权求和，可以获得目标灰度图像对应的鉴别误差值，实现鉴别误差值的准确计算，提高鉴别误差计算的精度。

作为又一个实施例，基于第一鉴别结果和第二鉴别结果，计算生成损失值，包括：

计算第一鉴别结果对应第一损失值；

计算第二鉴别结果对应第二损失值；

基于第一损失值和第二损失值，计算生成损失值。

第一鉴别结果和第二鉴别结果均为概率值，可以通过后向二值交叉熵函数，分别计算第一鉴别结果对应第一损失值，和第二鉴别结果对应的第二损失值。基于第一损失值和第二损失值，计算生成损失值具体可以包括将第一损失值和第二损失值加权，获得生成损失值。第一损失值和第二损失值用于加权的权重系数的取值可以相同也可以相反，具体可以根据实际的损失定义确定。

本公开实施例中，计算生成损失值时，可以通过第一鉴别结果对应的第一损失值和第二鉴别结果对应的第二损失值，可以计算生成损失值，使得生成损失值包括生成器对应的生成损失和鉴别器对应的鉴别损失，可以使得生成损失值对生成器进行准确训练，提高生成器的训练精度。

作为又一个实施例，构建颜色填充模型对应的生成器和鉴别器，可以包括：

基于条件生成对抗网络算法，构建颜色填充模型对应的生成器和鉴别器。

本公开实施例中，基于条件生成对抗算法，可以构建颜色填充模型对应的生成器和鉴别器，实现颜色填充模型的准确定义，提高颜色填充模型的模型准确度。

如图6所示，为本公开实施例提供的一种颜色填充方法的一个实施例的流程图，该颜色填充方法可以配置为一颜色填充装置，该颜色填充装置可以位于电子设备中，方法可以包括以下几个步骤：

601：响应于针对待填充图像发起的图像填充请求，获取目标生成器和目标鉴别器对应的颜色填充模型；其中颜色填充模型基于上述任一实施例的颜色填充模型训练方法训练获得。

602：将待填充图像输入颜色填充模型的目标生成器，获得目标生成器对待填充图像进行颜色填充获得的目标填充图像。

603：将目标填充图像输入颜色填充模型的目标鉴别器，获得目标鉴别器对目标填充图像的鉴别结果。

可以将颜色填充模型提供给电子设备。需要说明的是，本公开的第一、第二等词语仅仅是为了区分不同电子设备，并不应构成对本公开技术方案的具体线段，不具备顺序和优先级的具体顺序含义等。

在实际应用中，还包括为用户输出目标填充图像和/或目标填充图像的鉴别结果。

本公开实施例中，融合引擎可以分别与软件***的工程端以及策略端存在通信连接。融合引擎可以基于工程端发送的引擎启动请求，启动融合引擎对应的引擎进程。采样引擎进程可以执行下列操作：获取策略端在融合引擎注册的至少一个服务函数，基于至少一个服务函数，生成时空服务接口，基于时空服务接口进行工程端与策略端之间对应于至少一个服务函数中目标服务函数对应服务的交互，因此，工程端与策略端可以在引擎进程中完成服务交互，避免对工程端进程以及策略端进程的反复切换调用，提高数据传输效率，进而提高工程端与策略端的应用。

如图7所示，为本公开实施例提供的一种颜色填充模型训练装置的一个实施例的结构示意图，该装置可以位于电子设备中。该颜色填充模型训练装置700可以包括以下几个单元：

样本确定单元701：用于确定颜色填充模型对应的训练样本；训练样本包括：彩色图像和彩色图像对应的真值标签、灰度图像和灰度图像对应的假值标签；灰度图像通过彩色图像转换获得。

模型构建单元702：用于构建颜色填充模型对应的生成器和鉴别器。

鉴别确定单元703：用于确定鉴别器当前鉴别参数对应的目标鉴别器。

第一训练单元704：用于基于目标鉴别器，以生成器对灰度图像进行颜色填充获得的填充图像与彩色图像，通过目标鉴别器的鉴别结果相同为训练目标，训练获得目标生成参数对应的目标生成器。

第二训练单元705：用于基于目标生成器，以鉴别器对目标生成器生成的填充图像的鉴别结果满足鉴别条件为训练目标，训练获得目标鉴别参数对应的目标鉴别器；

结果确定单元706：用于若目标生成器和目标鉴别器满足颜色填充模型的收敛条件，则确定目标生成器和目标鉴别器为颜色填充模型的训练结果。

作为一个实施例，该装置还可以包括：

参数更新单元，用于若目标生成器和目标鉴别器不满足颜色填充模型的收敛条件，则确定训练获得目标鉴别参数为鉴别器对应的当前鉴别参数，返回至确定鉴别器当前鉴别参数对应的目标鉴别器继续执行，直至颜色填充模型满足收敛条件。

在某些实施例中，第一训练单元704，可以包括：

第一鉴别模块，用于将训练样本的彩色图像输入目标鉴别器，通过目标鉴别器对彩色图像进行图像色彩鉴别，获得第一鉴别结果；第一鉴别结果包括真或者假。

图像填充模块，用于将灰度图像输入候选生成参数对应的生成器，获得填充图像。

第二鉴别模块，用于将填充图像输入目标鉴别器，通过目标鉴别器对填充图像进行图像色彩鉴别，获得第二鉴别结果；第二鉴别结果包括真或假；填充图像对应的标签为灰度图像对应的假值标签；

第一损失模块，用于基于第一鉴别结果和第二鉴别结果，计算生成损失值；

第一确定模块，用于若确定生成损失值满足生成终止条件，则确定候选生成参数为目标生成参数，以获得目标生成参数对应的目标生成器。

在某些实施例中，该装置还可以包括：

第二确定模块，用于若确定生成损失值不满足生成终止条件，则基于生成损失值，更新生成器的候选生成参数，返回至将灰度图像输入候选生成参数对应的生成器，获得填充图像的步骤继续执行。

作为一个实施例，第二训练单元705，可以包括：

灰度确定模块，用于确定第二鉴别结果为真的填充图像对应的目标灰度图像；

第一生成模块，用于将目标灰度图像输入目标生成器，获得目标生成器对目标灰度图像进行颜色填充获得的目标填充图像；

填充鉴别模块，用于将目标填充图像输入候选鉴别参数对应的鉴别器，获得目标填充图像对应的第三鉴别结果；所以第三鉴别结果包括真或假；

第二损失模块，用于基于目标灰度图像对应的第三鉴别结果和第二鉴别结果，计算目标灰度图像对应的鉴别误差值；

第三确定模块，用于若确定鉴别误差值满足鉴别收敛条件，则确定候选鉴别参数为目标鉴别参数对应的目标鉴别器。

在某些实施例中，该装置还可以包括：

第四确定模块，用于若确定鉴别误差结果不满足鉴别收敛条件，则基于鉴别误差更新候选鉴别参数，返回至将目标填充图像输入候选鉴别参数对应的鉴别器，获得目标填充图像对应的第三鉴别结果的步骤继续执行。

在某些实施例中，第二损失模块，可以包括：

图形获取子模块，用于获取目标灰度图像对应的目标彩色图像；

第一计算子模块，用于基于目标灰度图像对应的目标填充图像和目标彩色图像，计算图像损失值；

第二计算子模块，用于基于第三鉴别结果和第二鉴别结果，计算鉴别结果损失值；

鉴别损失子模块，用于将图像损失值和鉴别结果损失值进行加权求和，获得目标灰度图像对应的鉴别误差值。

在某些实施例中，第一损失模块，可以包括：

第三计算子模块，用于计算第一鉴别结果对应第一损失值；

第四计算子模块，用于计算第二鉴别结果对应第二损失值；

生成损失子模块，用于基于第一损失值和第二损失值，计算生成损失值。

在某些实施例中，模型构建单元702，可以包括：

算法构建子模块，用于基于条件生成对抗网络算法，构建颜色填充模型对应的生成器和鉴别器。

如图8所示，为本公开实施例提供的一种颜色填充装置的一个实施例的结构示意图，装置电子设备中，可以配置有本公开提供的颜色填充方法，颜色填充装置800可以包括：

请求响应单元801：用于响应于针对待填充图像发起的图像填充请求，获取目标生成器和目标鉴别器对应的颜色填充模型；其中颜色填充模型基于上述任一实施例的颜色填充模型训练方法训练获得。

目标生成单元802：将待填充图像输入颜色填充模型的目标生成器，获得目标生成器对待填充图像进行颜色填充获得的目标填充图像；

目标鉴别单元803，用于将目标填充图像输入颜色填充模型的目标鉴别器，获得目标鉴别器对目标填充图像的鉴别结果。

需要说明的是，本实施例中的图像填充模型并不是针对某一特定用户的颜色填充模型，并不能反映出某一特定用户的个人信息。需要说明的是，本实施例中的彩色图像来自于公开数据集。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如颜色填充模型训练或者颜色填充方法。例如，在一些实施例中，颜色填充模型训练或者颜色填充方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的颜色填充模型训练或者颜色填充方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行颜色填充模型训练或者颜色填充方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (11)

1.一种颜色填充模型训练方法，其特征在于，包括：

确定颜色填充模型对应的训练样本；所述训练样本包括：彩色图像和所述彩色图像对应的真值标签、灰度图像和所述灰度图像对应的假值标签；所述灰度图像通过所述彩色图像转换获得；

构建所述颜色填充模型对应的生成器和鉴别器；

确定所述鉴别器当前鉴别参数对应的目标鉴别器；

基于所述目标鉴别器，以所述生成器对所述灰度图像进行颜色填充获得的填充图像与所述彩色图像，通过所述目标鉴别器的鉴别结果相同为训练目标，训练获得目标生成参数对应的目标生成器；

基于所述目标生成器，以所述鉴别器对所述目标生成器生成的填充图像的鉴别结果满足鉴别条件为训练目标，训练获得目标鉴别参数对应的目标鉴别器；

若所述目标生成器和所述目标鉴别器满足所述颜色填充模型的收敛条件，则确定所述目标生成器和所述目标鉴别器为所述颜色填充模型的训练结果；

其中，所述基于所述目标生成器，以所述鉴别器对所述目标生成器生成的填充图像的鉴别结果满足鉴别条件为训练目标，训练获得目标鉴别参数对应的目标鉴别器，包括：

将所述填充图像输入所述目标鉴别器，通过所述目标鉴别器对所述填充图像进行图像色彩鉴别，获得第二鉴别结果；所述第二鉴别结果包括真或假；所述填充图像对应的标签为所述灰度图像对应的假值标签；

确定所述第二鉴别结果为真的填充图像对应的目标灰度图像；

将所述目标灰度图像输入所述目标生成器，获得所述目标生成器对所述目标灰度图像进行颜色填充获得的目标填充图像；

将所述目标填充图像输入候选鉴别参数对应的鉴别器，获得所述目标填充图像对应的第三鉴别结果；所以第三鉴别结果包括真或假；

基于所述目标灰度图像对应的第三鉴别结果和第二鉴别结果，计算所述目标灰度图像对应的鉴别误差值；

若确定所述鉴别误差值满足鉴别收敛条件，则确定所述候选鉴别参数为所述目标鉴别参数对应的所述目标鉴别器；

其中，所述基于所述目标灰度图像对应的所述第三鉴别结果和所述第二鉴别结果，计算所述目标灰度图像对应的鉴别误差值，包括：

获取所述目标灰度图像对应的目标彩色图像；

基于所述目标灰度图像对应的目标填充图像和所述目标彩色图像，计算图像损失值；

基于所述第三鉴别结果和所述第二鉴别结果，计算鉴别结果损失值；

将所述图像损失值和所述鉴别结果损失值进行加权求和，获得所述目标灰度图像对应的鉴别误差值。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述目标生成器和所述目标鉴别器不满足所述颜色填充模型的收敛条件，则确定所述训练获得目标鉴别参数为所述鉴别器对应的当前鉴别参数，返回至确定所述鉴别器当前鉴别参数对应的目标鉴别器继续执行，直至所述颜色填充模型满足收敛条件。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述目标鉴别器，以所述生成器对所述灰度图像进行颜色填充获得的填充图像与所述彩色图像，通过所述目标鉴别器的鉴别结果相同为训练目标，训练获得目标生成参数对应的目标生成器，包括：

将所述训练样本的彩色图像输入所述目标鉴别器，通过所述目标鉴别器对所述彩色图像进行图像色彩鉴别，获得第一鉴别结果；第一鉴别结果包括真或者假；

将所述灰度图像输入候选生成参数对应的所述生成器，获得填充图像；

基于所述第一鉴别结果和所述第二鉴别结果，计算生成损失值；

若确定所述生成损失值满足生成终止条件，则确定所述候选生成参数为所述目标生成参数，以获得所述目标生成参数对应的目标生成器。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一鉴别结果和所述第二鉴别结果，计算生成损失值，包括：

计算所述第一鉴别结果对应第一损失值；

计算所述第二鉴别结果对应第二损失值；

基于所述第一损失值和所述第二损失值，计算所述生成损失值。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一损失值和所述第二损失值，计算生成损失值之后，还包括：

若确定所述生成损失值不满足生成终止条件，则基于生成损失值，更新所述生成器的候选生成参数，返回至将所述灰度图像输入候选生成参数对应的所述生成器，获得填充图像的步骤继续执行。

6.根据权利要求5所述的方法，其特征在于，所述基于所述目标灰度图像对应的第三鉴别结果和第二鉴别结果，计算所述目标灰度图像对应的鉴别误差值之后，还包括：

若确定所述鉴别误差值不满足鉴别收敛条件，则基于所述鉴别误差更新所述候选鉴别参数，返回至将所述目标填充图像输入候选鉴别参数对应的鉴别器，获得所述目标填充图像对应的第三鉴别结果的步骤继续执行。

7.根据权利要求1所述的方法，其特征在于，所述构建所述颜色填充模型对应的生成器和鉴别器，包括：

基于条件生成对抗网络算法，构建所述颜色填充模型对应的所述生成器和所述鉴别器。

8.一种颜色填充方法，其特征在于，包括：

响应于针对待填充图像发起的图像填充请求，获取目标生成器和目标鉴别器对应的颜色填充模型；其中所述颜色填充模型基于权利要求1－7任一项所述的颜色填充模型训练方法训练获得；

将所述待填充图像输入所述颜色填充模型的目标生成器，获得所述目标生成器对所述待填充图像进行颜色填充获得的目标填充图像；

将所述目标填充图像输入所述颜色填充模型的目标鉴别器，获得所述目标鉴别器对所述目标填充图像的鉴别结果。

9.一种颜色填充模型训练装置，其特征在于，包括：

样本确定单元，用于确定颜色填充模型对应的训练样本；所述训练样本包括：彩色图像和所述彩色图像对应的真值标签、灰度图像和所述灰度图像对应的假值标签；所述灰度图像通过所述彩色图像转换获得；

模型构建单元，用于构建所述颜色填充模型对应的生成器和鉴别器；

鉴别确定单元，用于确定所述鉴别器当前鉴别参数对应的目标鉴别器；

第一训练单元，用于基于所述目标鉴别器，以所述生成器对所述灰度图像进行颜色填充获得的填充图像与所述彩色图像，通过所述目标鉴别器的鉴别结果相同为训练目标，训练获得目标生成参数对应的目标生成器；

第二训练单元，用于基于所述目标生成器，以所述鉴别器对所述目标生成器生成的填充图像的鉴别结果满足鉴别条件为训练目标，训练获得目标鉴别参数对应的目标鉴别器；

结果确定单元，用于若所述目标生成器和所述目标鉴别器满足所述颜色填充模型的收敛条件，则确定所述目标生成器和所述目标鉴别器为所述颜色填充模型的训练结果；

其中，所述第一训练单元，包括：

第二鉴别模块，用于将所述填充图像输入所述目标鉴别器，通过所述目标鉴别器对所述填充图像进行图像色彩鉴别，获得第二鉴别结果；所述第二鉴别结果包括真或假；所述填充图像对应的标签为所述灰度图像对应的假值标签；

其中，所述第二训练单元，包括：

灰度确定模块，用于确定所述第二鉴别结果为真的填充图像对应的目标灰度图像；

第一生成模块，用于将所述目标灰度图像输入所述目标生成器，获得所述目标生成器对所述目标灰度图像进行颜色填充获得的目标填充图像；

填充鉴别模块，用于将所述目标填充图像输入候选鉴别参数对应的鉴别器，获得所述目标填充图像对应的第三鉴别结果；所以第三鉴别结果包括真或假；

第二损失模块，用于基于所述目标灰度图像对应的第三鉴别结果和第二鉴别结果，计算所述目标灰度图像对应的鉴别误差值；

第三确定模块，用于若确定所述鉴别误差值满足鉴别收敛条件，则确定所述候选鉴别参数为所述目标鉴别参数对应的所述目标鉴别器；

其中，所述第二损失模块，包括：

图形获取子模块，用于获取所述目标灰度图像对应的目标彩色图像；

第一计算子模块，用于基于所述目标灰度图像对应的目标填充图像和所述目标彩色图像，计算图像损失值；

第二计算子模块，用于基于所述第三鉴别结果和第二鉴别结果，计算鉴别结果损失值；

鉴别损失子模块，用于将所述图像损失值和所述鉴别结果损失值进行加权求和，获得所述目标灰度图像对应的鉴别误差值。

10.一种颜色填充装置，其特征在于，包括：

请求响应单元，用于响应于针对待填充图像发起的图像填充请求，获取目标生成器和目标鉴别器对应的颜色填充模型；其中所述颜色填充模型基于权利要求1－7任一项所述的颜色填充模型训练方法训练获得；

目标生成单元，用于将所述待填充图像输入所述颜色填充模型的目标生成器，获得所述目标生成器对所述待填充图像进行颜色填充获得的目标填充图像；

目标鉴别单元，用于将所述目标填充图像输入所述颜色填充模型的目标鉴别器，获得所述目标鉴别器对所述目标填充图像的鉴别结果。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－7中任一项所述的方法或者权利要求8所述的方法。