CN108257100A - 一种图像修复方法及服务器 - Google Patents
一种图像修复方法及服务器 Download PDFInfo
- Publication number
- CN108257100A CN108257100A CN201810030729.1A CN201810030729A CN108257100A CN 108257100 A CN108257100 A CN 108257100A CN 201810030729 A CN201810030729 A CN 201810030729A CN 108257100 A CN108257100 A CN 108257100A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional layer
- multilayer
- image
- kernel function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008439 repair process Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000006870 function Effects 0.000 claims description 121
- 230000017105 transposition Effects 0.000 claims description 84
- 238000003860 storage Methods 0.000 claims description 9
- 230000001052 transient effect Effects 0.000 claims description 7
- 238000003475 lamination Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 24
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000007477 logistic regression Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种图像修复方法及服务器，所述方法包括：获取待修复图像；根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像。所述服务器执行上述方法。本发明实施例提供的图像修复方法及服务器，通过预设模型中的生成子模型生成修复后的图像，能够提高图像修复的清晰度。
Description
技术领域
本发明实施例涉及图像处理技术领域，具体涉及一种图像修复方法及服务器。
背景技术
数字图像修复作为数字图像处理的一个重要组成部分，在很多领域有着非常广泛的应用，如可用于恢复残缺照片，制作影视特技，实现文物图像复原，去除图像中的障碍物或遮挡物等。图像在生成、传输与存储过程中可能会受到噪音干扰、人为涂画、格式转变等的影响，造成图像局部信息的缺失，为了保证图像信息的完整性，需要对这些受损图像进行填充恢复。数字图像修复的主要目的就是利用图像的现有信息来重构这些丢失的信息，即根据图像内容重构缺失区域的像素值。
在基于深度神经网络的图像修复方法中，现有技术通过使用自编码器(及其相似结构)修复图像，基于自编码器(及其相似结构)的图像修复方法流程为：(1)处理训练数据；(2)使用处理后的训练数据训练模型；(3)将训练后的模型应用于图像修复任务。但修复的清晰度有待进一步提高。
因此，如何避免上述缺陷，提高图像修复的清晰度，成为亟须解决的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种图像修复方法及服务器。
第一方面，本发明实施例提供一种图像修复方法，所述方法包括：
获取待修复图像；
根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。
第二方面，本发明实施例提供一种图像修复服务器，所述服务器包括：
获取模块，用于获取待修复图像；
生成模块，用于根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。
第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：
获取待修复图像；
根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：
获取待修复图像；
根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。
本发明实施例提供的图像修复方法及服务器，通过预设模型中的生成子模型生成修复后的图像，能够提高图像修复的清晰度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例图像修复方法流程示意图；
图2为本发明实施例生成子模型的结构图；
图3为本发明实施例判断子模型的结构图；
图4为本发明实施例GAN模型的训练流程图；
图5为本发明实施例的人脸图像修复效果图；
图6为本发明实施例图像修复服务器结构示意图；
图7为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例图像修复方法流程示意图，如图1所示，本发明实施例提供的一种图像修复方法，包括以下步骤：
S1：获取待修复图像。
具体的，服务器获取待修复图像。可以基于生成式对抗网络(GenerativeAdversarial Networks，简称“GAN”)对待修复图像进行修复，GAN可以部署在服务器中。
S2：根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。
具体的，服务器根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。图2为本发明实施例生成子模型的结构图，如图2所示，图2中的破损图像对应于待修复图像，前六层是多层卷积层、后六层是多层转置卷积层，相应的参数如表1所示：
表1
可以根据预设的图像修复清晰度确定多层卷积层的层数为六层、多层转置卷积层的层数为六层，每个卷积层对应的每个核函数，以及每个多层转置卷积层对应的每个核函数可参照上述表1，以第一层卷积层为例，核函数的核大小为4×4、核数目为64、其他各卷积层和转置卷积层可参照表1，不再赘述。
该预设模型还可以包括判断子模型；相应的，所述方法还包括：
获取完整图像。根据所述完整图像、所述修复后的图像和所述判断子模型，确定所述完整图像是否是经过修复过的图像，并根据确定结果对所述待修复图像作相应的修复；其中，所述判断子模型包括n层卷积层和一层逻辑回归层，所述判断子模型的模型参数为所述n层卷积层的每一层对应的每个核函数和所述一层逻辑回归层对应的核函数。根据确定结果对所述待修复图像作相应的修复，可以是：如果确定结果是经过修复过的图像，可以采用经过修复过的图像对待修复图像进行重复修复；如果确定结果是没有经过修复过的图像，可以采用没有经过修复过的图像对待修复图像进行重复修复。
图3为本发明实施例判断子模型的结构图，如图3所示，图3中的未破损原始图像对应于完整图像，前六层是多层卷积层(n＝6)(第六层卷积层图3未示出)、后一层是逻辑回归层(图3未示出)，相应的参数如表2所示：
表2
以第一层卷积层为例，核函数的核大小是4×4、核函数的核数目为64；一层逻辑回归层对应的的核函数的权重为1，六层卷积层中的其他卷积层可参照表2，不再赘述。
可以采用如下步骤对待修复图像进行修复：(1)处理训练数据；(2)使用处理后的训练数据训练GAN模型(对应于预设模型)；(3)将训练后的模型(采用GAN模型的生成子模型)应用于图像修复任务。GAN模型可以包括生成子模型和判断子模型，训练数据包括多种类别的图像，如人脸图像、风景图像、文字数字图像等。使用相同类别的图像训练模型，多个类别的图像训练多个模型。训练数据是完整无破损的数字图像。训练数据的处理过程可以包括以下步骤：
(1)首先对训练数据中图像的尺寸进行筛选，保留图像尺寸符合阈值要求的图像；
(2)其次对训练数据中图像的清晰度进行筛选，保留图像清晰度符合阈值要求的图像；
(3)再次调整保留图像的尺寸，使其符合统一标准(即保持相同尺寸)；
(4)最后对标准尺寸的图像进行操作，生成破损图像(用于对待修复图像进行修复参考)。
对于待修复图像IM，其图像清晰度的计算公式为：
其中，θ(IM)表示图像清晰度、IMgrey表示图像的灰度图，L表示拉普拉斯算子，表示卷积操作，var()表示方差值，即将图像的灰度图IMgrey与拉普拉斯算子L进行卷积操作，得到的矩阵中元素的方差值即为该图像的清晰度。
裁剪操作模拟破损图像的生成过程，对完整图像的随机位置或者固定位置进行遮盖，遮盖部分用黑色像素([0，0，0])填充，获得破损图像，从而得到完整图像以及与其对应的破损图像。
图4为本发明实施例GAN模型的训练流程图，如图4所示，简要说明如下：
GAN模型包括生成子模型(对应于图4的生成模型)和判断子模型(对应于图4的判别模型)，生成子模型用于实现图像修复任务，即将破损图像修复为完整图像；判断子模型用于判断输入的完整图像是否是经过修复过的图像。GAN模型可以采用对抗式的训练方法，生成子模型和判断子模型交替更新参数(模型中的未知变量值)，促使生成子模型的修复能力与判断子模型的判别能力不断提高，最终达到生成子模型能够将破损图像修复为真实自然的图像的状态。
GAN模型的训练数据包括数据处理中使用的标准尺寸的完整图像以及将其裁剪后获得的破损图像。为了解决GAN模型训练不稳定的问题，可以使用先预训练生成模型、再调整生成子模型和判断子模型的训练方式，模型的具体训练步骤如下：
(1)初始化生成子模型与判断子模型的参数。
(2)生成子模型预训练：将破损图像输入生成子模型，输出修复后的图像，根据目标函数①迭代更新生成子模型的参数直至①收敛；其中，目标函数①可以是|IM-G(IMpart)|，其中，IM表示完整图像，IMpart表示IM经过剪裁后得到的破损图像，G()表示经过生成子模型得到的修复后图像，计算两幅图像(完整图像与修复后图像)像素点之间的欧式距离。
(3)将破损图像输入生成子模型得到修复后的图像，将修复后的图像与完整图像输入判断子模型，根据目标函数②更新判断子模型参数；其中，目标函数②可以是：
C＝0.999*|IM-G(IMpart)|+0.001E[log(D(IM))+log(1-D(G(IMpart))]
其中，目标函数②由两部分组成，一部分为目标函数①，该部分衡量修复后图像与目标图像的相似性；另一部分为对抗损失函数，这部分衡量修复图像的真实性，对抗损失函数为判断子模型逻辑回归分类的交叉熵期望值。目标函数②为这两部分的加权平均值，通常对抗损失函数的权重取值比较低(0.001)。
IMpart表示IM经过剪裁后得到的破损图像，G()表示经过生成子模型得到的修复后图像，D()表示判断子模型返回的概率，E[]表示数学期望值，公式第一项计算像素点之间的欧式距离，第二项为对抗损失函数。
(4)将破损图像输入生成模型得到修复后的图像，将修复后的图像与完整图像输入判断子模型，根据目标函数②更新生成子模型参数。
(5)重复执行步骤(3)～(4)直至目标函数②收敛。
图像修复的过程简要说明如下：
图像修复过程使用GAN模型训练得到的生成子模型进行图像修复，处理流程为：
(1)根据待修复图像的类型以及破损类型选择修复类型；
(2)将待修复图像的破损区域的像素值置为黑色；
(3)将待修复图像的尺寸调整为标准尺寸；
(4)将待修复图像输入生成子模型，得到修复后图像。
上述流程中，步骤(1)、(2)需要人工通过***界面参与，步骤(3)、(4)由服务器自动完成。
图5为本发明实施例的人脸图像修复效果图，如图5所示，第一个为完整图像，第二个为破损图像(眼部被完全遮挡)，第三个为修复后的图像，可以看出修复后的图像能够较清晰的还原出原完整图像。
本发明实施例提供的图像修复方法，通过预设模型中的生成子模型生成修复后的图像，能够提高图像修复的清晰度。
在上述实施例的基础上，所述多层卷积层是依次相连的六层卷积层、所述多层转置卷积层是依次相连的六层转置卷积层；其中，所述多层卷积层的第六层卷积层与所述多层转置卷积层的第一层转置卷积层相连。
具体的，服务器中的所述多层卷积层是依次相连的六层卷积层、所述多层转置卷积层是依次相连的六层转置卷积层；其中，所述多层卷积层的第六层卷积层与所述多层转置卷积层的第一层转置卷积层相连。可参照上述实施例，不再赘述。
本发明实施例提供的图像修复方法，通过设定生成子模型中的多层卷积层和多层转置卷积层的层数和连接关系，进一步能够提高图像修复的清晰度。
在上述实施例的基础上，所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512和4000；所述六层转置卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为512、256、128、64和64，3。
具体的服务器中的所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512和4000；所述六层转置卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为512、256、128、64和64，3。可参照上述实施例，不再赘述。
本发明实施例提供的图像修复方法，通过设定生成子模型中的相关参数，进一步能够提高图像修复的清晰度。
在上述实施例的基础上，所述预设模型还包括判断子模型；相应的，所述方法还包括：
获取完整图像。
具体的，服务器获取完整图像。可参照上述实施例，不再赘述。
根据所述完整图像、所述修复后的图像和所述判断子模型，确定所述完整图像是否是经过修复过的图像；其中，所述判断子模型包括n层卷积层和一层逻辑回归层，所述判断子模型的模型参数为所述n层卷积层的每一层对应的每个核函数和所述一层逻辑回归层对应的核函数。
具体的，服务器根据所述完整图像、所述修复后的图像和所述判断子模型，确定所述完整图像是否是经过修复过的图像；其中，所述判断子模型包括n层卷积层和一层逻辑回归层，所述判断子模型的模型参数为所述n层卷积层的每一层对应的每个核函数和所述一层逻辑回归层对应的核函数。可参照上述实施例，不再赘述。
本发明实施例提供的图像修复方法，通过预设模型中的判断子模型能够准确判断出完整图像是否是经过修复的图像。
在上述实施例的基础上，所述n层卷积层是依次相连的六层卷积层，所述n层卷积层的第六层卷积层与所述一层逻辑回归层相连。
具体的，服务器中的所述n层卷积层是依次相连的六层卷积层，所述n层卷积层的第六层卷积层与所述一层逻辑回归层相连。可参照上述实施例，不再赘述。
本发明实施例提供的图像修复方法，通过设定判断子模型中的多层卷积层和一层逻辑回归层的层数和连接关系，进一步能够提高判断完整图像是否是经过修复的图像的准确性。
在上述实施例的基础上，所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512，1；所述一层逻辑回归层对应的核函数的权重为1，
具体的，服务器中的所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512，1；所述一层逻辑回归层对应的核函数的权重为1。可参照上述实施例，不再赘述。
本发明实施例提供的图像修复方法，通过设定判断子模型中的相关参数，进一步能够提高判断完整图像是否是经过修复的图像的准确性。
图6为本发明实施例图像修复服务器结构示意图，如图6所示，本发明实施例提供了一种图像修复服务器，包括获取模块1和生成模块2，其中：
获取模块1用于获取待修复图像；生成模块2用于根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。
具体的，获取模块1用于获取待修复图像；生成模块2用于根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。可参照上述实施例，不再赘述。
本发明实施例提供的图像修复服务器，通过预设模型中的生成子模型生成修复后的图像，能够提高图像修复的清晰度。
在上述实施例的基础上，所述多层卷积层是依次相连的六层卷积层、所述多层转置卷积层是依次相连的六层转置卷积层；其中，所述多层卷积层的第六层卷积层与所述多层转置卷积层的第一层转置卷积层相连。
具体的，服务器中的所述多层卷积层是依次相连的六层卷积层、所述多层转置卷积层是依次相连的六层转置卷积层；其中，所述多层卷积层的第六层卷积层与所述多层转置卷积层的第一层转置卷积层相连。可参照上述实施例，不再赘述。
本发明实施例提供的图像修复服务器，通过设定生成子模型中的多层卷积层和多层转置卷积层的层数和连接关系，进一步能够提高图像修复的清晰度。
在上述实施例的基础上，所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512和4000；所述六层转置卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为512、256、128、64和64，3。
具体的，服务器中的所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512和4000；所述六层转置卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为512、256、128、64和64，3。可参照上述实施例，不再赘述。
本发明实施例提供的图像修复服务器，通过设定生成子模型中的相关参数，进一步能够提高图像修复的清晰度。
在上述实施例的基础上，所述预设模型还包括判断子模型；相应的，所述服务器还具体用于：
获取完整图像；根据所述完整图像、所述修复后的图像和所述判断子模型，确定所述完整图像是否是经过修复过的图像，并根据确定结果对所述待修复图像作相应的修复；其中，所述判断子模型包括n层卷积层和一层逻辑回归层，所述判断子模型的模型参数为所述n层卷积层的每一层对应的每个核函数和所述一层逻辑回归层对应的核函数。
具体的，服务器还具体用于：
获取完整图像；根据所述完整图像、所述修复后的图像和所述判断子模型，确定所述完整图像是否是经过修复过的图像，并根据确定结果对所述待修复图像作相应的修复；其中，所述判断子模型包括n层卷积层和一层逻辑回归层，所述判断子模型的模型参数为所述n层卷积层的每一层对应的每个核函数和所述一层逻辑回归层的核函数和所述一层逻辑回归层对应的核函数。可参照上述实施例，不再赘述。
本发明实施例提供的图像修复服务器，通过预设模型中的判断子模型能够准确判断出完整图像是否是经过修复的图像。
在上述实施例的基础上，所述n层卷积层是依次相连的六层卷积层，所述n层卷积层的第六层卷积层与所述一层逻辑回归层相连。
具体的，服务器中的所述n层卷积层是依次相连的六层卷积层，所述n层卷积层的第六层卷积层与所述一层逻辑回归层相连。可参照上述实施例，不再赘述。
本发明实施例提供的图像修复服务器，通过设定判断子模型中的多层卷积层和一层逻辑回归层的层数和连接关系，进一步能够提高判断完整图像是否是经过修复的图像的准确性。
在上述实施例的基础上，所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512，1；所述一层逻辑回归层对应的核函数的权重为1。
具体的，服务器中的所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512，1；所述一层逻辑回归层对应的核函数的权重为1。可参照上述实施例，不再赘述。
本发明实施例提供的图像修复服务器，通过设定判断子模型中的相关参数，进一步能够提高判断完整图像是否是经过修复的图像的准确性。
本发明实施例提供的图像修复服务器具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图7为本发明实施例提供的电子设备实体结构示意图，如图7所示，所述电子设备包括：处理器(processor)701、存储器(memory)702和总线703；
其中，所述处理器701、存储器702通过总线703完成相互间的通信；
所述处理器701用于调用所述存储器702中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取待修复图像；根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取待修复图像；根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取待修复图像；根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。
Claims (14)
1.一种图像修复方法，其特征在于，包括：
获取待修复图像；
根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。
2.根据权利要求1所述的方法，其特征在于，所述多层卷积层是依次相连的六层卷积层、所述多层转置卷积层是依次相连的六层转置卷积层；其中，所述多层卷积层的第六层卷积层与所述多层转置卷积层的第一层转置卷积层相连。
3.根据权利要求2所述的方法，其特征在于，所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512和4000；
所述六层转置卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为512、256、128、64和64，3。
4.根据权利要求1至3任一所述的方法，其特征在于，所述预设模型还包括判断子模型；相应的，所述方法还包括：
获取完整图像；
根据所述完整图像、所述修复后的图像和所述判断子模型，确定所述完整图像是否是经过修复过的图像，并根据确定结果对所述待修复图像作相应的修复；其中，所述判断子模型包括n层卷积层和一层逻辑回归层，所述判断子模型的模型参数为所述n层卷积层的每一层对应的每个核函数和所述一层逻辑回归层对应的核函数。
5.根据权利要求4所述的方法，其特征在于，所述n层卷积层是依次相连的六层卷积层，所述n层卷积层的第六层卷积层与所述一层逻辑回归层相连。
6.根据权利要求5所述的方法，其特征在于，所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512，1；
所述一层逻辑回归层对应的核函数的权重为1。
7.一种图像修复服务器，其特征在于，包括：
获取模块，用于获取待修复图像；
生成模块，用于根据所述待修复图像和预设模型中的生成子模型的模型参数，生成修复后的图像；其中，所述生成子模型包括多层卷积层和多层转置卷积层，所述生成子模型的模型参数为所述多层卷积层的每一层对应的每个核函数和所述多层转置卷积层的每一层对应的每个核函数，所述多层卷积层的层数和所述多层卷积层的每一层对应的每个核函数，以及所述多层转置卷积层的层数和所述多层转置卷积层的每一层对应的每个核函数是根据预设的图像修复清晰度确定的。
8.根据权利要求7所述的服务器，其特征在于，所述多层卷积层是依次相连的六层卷积层、所述多层转置卷积层是依次相连的六层转置卷积层；其中，所述多层卷积层的第六层卷积层与所述多层转置卷积层的第一层转置卷积层相连。
9.根据权利要求8所述的服务器，其特征在于，所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512和4000；
所述六层转置卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为512、256、128、64和64，3。
10.根据权利要求7至9任一所述的服务器，其特征在于，所述预设模型还包括判断子模型；相应的，所述服务器还具体用于：
获取完整图像；
根据所述完整图像、所述修复后的图像和所述判断子模型，确定所述完整图像是否是经过修复过的图像，并根据确定结果对所述待修复图像作相应的修复；其中，所述判断子模型包括n层卷积层和一层逻辑回归层，所述判断子模型的模型参数为所述n层卷积层的每一层对应的每个核函数和所述一层逻辑回归层对应的核函数。
11.根据权利要求10所述的服务器，其特征在于，所述n层卷积层是依次相连的六层卷积层，所述n层卷积层的第六层卷积层与所述一层逻辑回归层相连。
12.根据权利要求11所述的服务器，其特征在于，所述六层卷积层的核函数的核大小都是4×4、所述核函数的核数目依次为64、64、128、256、512，1；
所述一层逻辑回归层对应的核函数的权重为1。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
14.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810030729.1A CN108257100A (zh) | 2018-01-12 | 2018-01-12 | 一种图像修复方法及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810030729.1A CN108257100A (zh) | 2018-01-12 | 2018-01-12 | 一种图像修复方法及服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108257100A true CN108257100A (zh) | 2018-07-06 |
Family
ID=62727227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810030729.1A Pending CN108257100A (zh) | 2018-01-12 | 2018-01-12 | 一种图像修复方法及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108257100A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和*** |
| CN109255768A (zh) * | 2018-09-21 | 2019-01-22 | 深圳市中科明望通信软件有限公司 | 图像补全方法、装置、终端及计算机可读存储介质 |
| CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
| CN109712098A (zh) * | 2019-01-08 | 2019-05-03 | 重庆邮电大学 | 一种基于统计推理的图像修复方法 |
| CN109978805A (zh) * | 2019-03-18 | 2019-07-05 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN110503007A (zh) * | 2019-07-31 | 2019-11-26 | 成都甄识科技有限公司 | 一种基于热成像仪的活体动物监测方法、设备及*** |
| CN110569864A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像生成方法和装置 |
| CN111105368A (zh) * | 2019-12-09 | 2020-05-05 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
| CN113723437A (zh) * | 2021-04-02 | 2021-11-30 | 荣耀终端有限公司 | 一种ai模型的自动化训练方法及ai模型训练*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016156864A1 (en) * | 2015-03-31 | 2016-10-06 | Magic Pony Technology Limited | Training end-to-end video processes |
| CN107220599A (zh) * | 2017-05-16 | 2017-09-29 | 北京信息科技大学 | 基于eeg信号的图像质量评价方法 |
| CN107563493A (zh) * | 2017-07-17 | 2018-01-09 | 华南理工大学 | 一种多生成器卷积合成图像的对抗网络算法 |
| CN107563510A (zh) * | 2017-08-14 | 2018-01-09 | 华南理工大学 | 一种基于深度卷积神经网络的wgan模型方法 |
-
2018
- 2018-01-12 CN CN201810030729.1A patent/CN108257100A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016156864A1 (en) * | 2015-03-31 | 2016-10-06 | Magic Pony Technology Limited | Training end-to-end video processes |
| CN107220599A (zh) * | 2017-05-16 | 2017-09-29 | 北京信息科技大学 | 基于eeg信号的图像质量评价方法 |
| CN107563493A (zh) * | 2017-07-17 | 2018-01-09 | 华南理工大学 | 一种多生成器卷积合成图像的对抗网络算法 |
| CN107563510A (zh) * | 2017-08-14 | 2018-01-09 | 华南理工大学 | 一种基于深度卷积神经网络的wgan模型方法 |
Non-Patent Citations (5)
| Title |
|---|
| CHING-WEI TSENG等: "General Deep Image Completion with Lightweight Conditional Generative Adversarial Networks", 《BMVC 2017》 * |
| OLAF RONNEB ERGER等: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《ARXIV》 * |
| PAULINE LUC等: "Semantic Segmentation using Adversarial Networks", 《ARXIV》 * |
| PHILLIP ISOLA等: "Image-to-Image Translation with Conditional Adversarial Networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| UĞUR DEMIR等: "Deep Stacked Networks with Residual Polishing for Image Inpainting", 《ARXIV》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和*** |
| CN109191402B (zh) * | 2018-09-03 | 2020-11-03 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和*** |
| CN110569864A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像生成方法和装置 |
| CN109255768A (zh) * | 2018-09-21 | 2019-01-22 | 深圳市中科明望通信软件有限公司 | 图像补全方法、装置、终端及计算机可读存储介质 |
| CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
| CN109712098A (zh) * | 2019-01-08 | 2019-05-03 | 重庆邮电大学 | 一种基于统计推理的图像修复方法 |
| CN109978805A (zh) * | 2019-03-18 | 2019-07-05 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN110503007A (zh) * | 2019-07-31 | 2019-11-26 | 成都甄识科技有限公司 | 一种基于热成像仪的活体动物监测方法、设备及*** |
| CN110503007B (zh) * | 2019-07-31 | 2023-04-07 | 成都甄识科技有限公司 | 一种基于热成像仪的活体动物监测方法、设备及*** |
| CN111105368A (zh) * | 2019-12-09 | 2020-05-05 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
| CN111105368B (zh) * | 2019-12-09 | 2023-08-11 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
| CN113723437A (zh) * | 2021-04-02 | 2021-11-30 | 荣耀终端有限公司 | 一种ai模型的自动化训练方法及ai模型训练*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108257100A (zh) | 一种图像修复方法及服务器 | |
| CN107330956B (zh) | 一种漫画手绘图无监督上色方法及装置 | |
| US20210350504A1 (en) | Aesthetics-guided image enhancement | |
| Chen et al. | Median filtering forensics based on convolutional neural networks | |
| CN108345890A (zh) | 图像处理方法、装置和相关设备 | |
| CN113240580A (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN110766038B (zh) | 无监督式的地貌分类模型训练和地貌图构建方法 | |
| CN110163813A (zh) | 一种图像去雨方法、装置、可读存储介质及终端设备 | |
| CN108898177A (zh) | 一种输电线路走廊地表分类方法、***、介质及设备 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN111353956B (zh) | 图像修复方法、装置、计算机设备及存储介质 | |
| CN110853110A (zh) | 一种基于生成对抗网络的图片自动调色方法 | |
| CN112529165B (zh) | 深度神经网络剪枝方法、装置、终端及存储介质 | |
| CN109409504A (zh) | 一种数据处理方法、装置、计算机及存储介质 | |
| CN110084293A (zh) | 一种全明格局房屋的确定方法和装置 | |
| CN112242002B (zh) | 基于深度学习的物体识别和全景漫游方法 | |
| CN109492610A (zh) | 一种行人重识别方法、装置及可读存储介质 | |
| Shariff et al. | Artificial (or) fake human face generator using generative adversarial network (GAN) machine learning model | |
| CN117765480A (zh) | 一种道路沿线野生动物迁徙预警方法及*** | |
| CN116579409A (zh) | 基于重参数化的智能相机模型剪枝加速方法及加速*** | |
| CN110889316B (zh) | 一种目标对象识别方法、装置及存储介质 | |
| CN111353577B (zh) | 基于多任务的级联组合模型的优化方法、装置及终端设备 | |
| CN116977661A (zh) | 一种数据处理方法、装置、设备、存储介质及程序产品 | |
| CN116106909A (zh) | 一种雷达回波外推方法、***及存储介质 | |
| CN110175968A (zh) | 生成在神经网络中使用的人工图像 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180706 |
|
| RJ01 | Rejection of invention patent application after publication |