CN115829865A - 基于模型先验的图像补全方法、***、设备及存储介质 - Google Patents
基于模型先验的图像补全方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN115829865A CN115829865A CN202211438318.9A CN202211438318A CN115829865A CN 115829865 A CN115829865 A CN 115829865A CN 202211438318 A CN202211438318 A CN 202211438318A CN 115829865 A CN115829865 A CN 115829865A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- training
- completion
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 255
- 230000006870 function Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 34
- 238000012216 screening Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例公开了一种基于模型先验的图像补全方法、***、设备及存储介质。本申请实施例提供的技术方案，通过获取缺失图像以及缺失图像的指定补全区域信息；进而将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像。其中，该图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛。该预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本。采用上述技术手段，可以提供更真实且多样的图像补全结果，提升图像补全模型补全图像的多样性。
Description
技术领域
本申请实施例涉及计算机视觉技术领域，尤其涉及一种基于模型先验的图像补全方法、***、设备及存储介质。
背景技术
目前，图像补全技术广泛应用于短视频、直播等各种场景中。图像补全技术(imageinpainting)是计算机视觉领域的一个重要的技术方向，其用于将图像不可见或者缺失部分补全，同时让整个图像合理，没有违和感，使补全后的图像尽量真实。现有的图像补全技术主要基于图像补全模型实现，图像补全模型基于生成对抗网络构建。通过训练基于生成对抗网络的图像补全模型，训练时随机遮罩一些区域用于补全，从而实现图像补全。
但是，现有简单通过遮罩图像部分区域进行模型训练得到的图像补全模型，其补全图像相对较为单一，缺乏多样性。以此得到的补全图像，其补全效果相对较差，容易导致补全图像存在违和感。
发明内容
本申请实施例提供一种基于模型先验的图像补全方法、***、设备及存储介质，能够提升补全图像的多样性，提升图像补全效果，解决现有图像补全模型补全图像效果单一、违和的技术问题。
在第一方面，本申请实施例提供了一种基于模型先验的图像补全方法，包括：
获取缺失图像以及缺失图像的指定补全区域信息；
将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像，图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛；
预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本，先验样本包括加噪图像和对应加噪图像进行图像补全得到的多个去噪图像。
在第二方面，本申请实施例提供了一种基于模型先验的图像补全***，包括：
获取模块，配置为获取缺失图像以及缺失图像的指定补全区域信息；
补全模块，配置为将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像，图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛；预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本，先验样本包括加噪图像和对应加噪图像进行图像补全得到的多个去噪图像。
在第三方面，本申请实施例提供了一种基于模型先验的图像补全设备，包括：
存储器以及一个或多个处理器；
所述存储器，配置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于模型先验的图像补全方法。
在第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时配置为执行如第一方面所述的基于模型先验的图像补全方法。
在第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中包含有指令，当指令在计算机或处理器上运行时，使得计算机或处理器执行如第一方面所述的基于模型先验的图像补全方法。
本申请实施例通过获取缺失图像以及缺失图像的指定补全区域信息；进而将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像。其中，该图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛。该预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本。此处，先验样本包括加噪图像和对应加噪图像进行图像补全得到的多个去噪图像。采用上述技术手段，通过预训练模型提供的模型参数、训练样本和先验样本进行图像补全模型训练，以此得到的图像补全模型可以提供更真实且多样的图像补全结果。在预训练模型的基础上进行优化训练，进一步提升图像补全模型补全图像的多样性，减少图像补全瑕疵和违和感，使补全图像更加真实和稳定。
附图说明
图1是本申请实施例提供的一种基于模型先验的图像补全方法的流程图；
图2是本申请实施例预训练模型的训练流程图；
图3是本申请实施例图像加噪和去噪处理示意图；
图4是本申请实施例图像补全模型的训练流程图；
图5是本申请实施例提供的一种基于模型先验的图像补全***的结构示意图；
图6是本申请实施例提供的一种基于模型先验的图像补全设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的一种基于模型先验的图像补全方法，旨在通过预训练模型提供的模型参数、训练样本和先验样本进行图像补全模型训练，以在预训练模型的基础上，提升补全图像的多样性，使图像补全模型生成的补全图像更为真实、稳定。对于传统的图像补全方案，其在进行图像补全时，一种是采用插值的方式，将补全信息从缺失位置的外部一步步向缺失区域填充，这种方式可以比较好地补全小区域，但是对于大的区域补全效果不佳。另一种则是采用基于生成对抗网络的图像补全方法，通过训练生成对抗模型，在训练时随机遮挡一些区域用于图像补全，从而实现图像补全。这种方式虽然可以补全大区域，但其补全图像相对单一，多样性不足。基于此，提供本申请实施例的一种基于模型先验的图像补全方法，以解决现有图像补全模型补全图像效果单一、违和的技术问题。
实施例：
图1给出了本申请实施例提供的一种基于模型先验的图像补全方法的流程图，本实施例中提供的基于模型先验的图像补全方法可以由基于模型先验的图像补全设备执行，该基于模型先验的图像补全设备可以通过软件和/或硬件的方式实现，该基于模型先验的图像补全设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于模型先验的图像补全设备可以是电脑，图像处理服务器、手机，平板等处理设备。
下述以该基于模型先验的图像补全设备为执行基于模型先验的图像补全方法的主体为例，进行描述。参照图1，该基于模型先验的图像补全方法具体包括：
S110、获取缺失图像以及缺失图像的指定补全区域信息；
S120、将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像，图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛；预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本，先验样本包括加噪图像和对应加噪图像进行图像补全得到的多个去噪图像。
本申请实施例提供的一种基于模型先验的图像补全方法，在进行图像补全时，通过预先训练的图像补全模型对待补全的图像进行图像补全处理，以实现图像缺失部分得到补全。定义待补全图像为缺失图像，图像补全处理后的图像为补全图像，通过将缺失图像输入该图像补全模型，通过图像补全模型预测缺失图像缺失的部分区域，进而输出相应的补全图像。
并且，为了使图像补全模型输出的补全图像更多样、真实，本申请预训练模型的先验信息进行图像补全模型的训练，使得图像补全模型即具备预训练模型基本的图像补全能力，又兼具生成多样补全图像的能力。
在此之前，首先训练一个预训练模型，该预训练模型为diffusion模型(扩散模型)。然后利用预训练模型生成多种多样的先验样本。先验样本包括加噪图像和对应加噪图像进行图像补全得到的多个去噪图像，每一个加噪图像和其对应图像补全处理得到的去噪图像组成数据对，以用于后续图像补全模型训练。通过使用预训练模型的模型参数作为图像补全模型的初始模型参数，以预训练模型的训练样本和其生成的先验样本输入图像补全模型，训练图像补全模型，直至模型收敛。由于先验样本中一个加噪图像包括多种去噪图像，以此可以体现图像补全处理结果的多样性。后续在训练样本的基础上加入了可以体现图像补全处理结果多样性的先验样本，使得训练得到的图像补全模型的多样性更强，图像补全效果更好。并且，图像补全模型基于预训练模型训练收敛后的模型参数作为初始模型参数进一步进行图像补全优化训练，以此可以使得模型的图像补全结果瑕疵更少，图像补全更加真实，模型处理速度更快。
具体地，参照图2，预训练模型的训练流程包括：
S101、基于预训练模型对训练样本进行加噪处理得到加噪样本；
S102、基于预训练模型对加噪样本进行图像补全得到去噪样本，并根据去噪样本计算第一模型损失函数，基于第一模型损失函数迭代调整预训练模型的模型参数，直至预训练模型收敛。
预训练模型的训练过程包括训练样本的加噪和去噪过程。如图3所示，加噪过程为前向过程，用于在训练样本的样本图像中加入图像噪声，使得样本图像上形成一个缺失区域，以用于后续图像补全训练，对缺失区域进行预测补全。去噪过程则为加噪过程的逆过程，通过对加噪图像进行去噪预测，不断推理得到原始的样本图像。参照图3，x0到xT表示时间0到T样本图像的处理过程，即加噪过程，该过程中不断地向真实样本图像中加入噪声。xT到x0表示时间T到0样本图像的处理过程，即去噪过程，该过程中不断地进行去噪推理，进而预测得到初始的样本图像，即时间点0处的样本图像x0。
其中，基于预训练模型对训练样本进行加噪处理得到加噪样本，包括：
在设定时段内的每一个指定时刻，基于预训练模型对训练样本的训练图像加入高斯分布噪声，得到各个训练图像的高斯噪声分布概率，以各个训练图像的高斯噪声分布概率作为加噪样本；
基于预训练模型对加噪样本进行图像补全得到去噪样本，包括：
基于各个训练图像的高斯噪声分布概率以及设定估计参数依次预测设定时段内各个指定时刻的实时噪声分布概率，并以设定时段内的第一个指定时刻的预测结果作为去噪样本。
以如图3所示的一张训练图像为例，在设定时段内的指定时刻进行加噪或者去噪处理，以此可以得到任一指定时刻t的实时噪声分布概率：
以及指定时刻0到T总的高斯噪声分布概率，即训练图像的高斯噪声分布概率：
其中，β表示超参数，其为预先设定好的高斯分布的方差，β可以取1e-4到1e-2的线性插值，t表示指定时刻，其时间步长固定，N表示高斯分布，T表示设定时段总时长，xt表示t时刻加噪处理后图像。
通过给定一个样本图像x0，基于上述加噪处理流程，每一指定时刻加入高斯分布噪声，得到x1，x2…xT，随着时间步长不断地增加，最终得到包含样本图像高斯噪声分布信息的图像xT。
其中，对于给定的x0，则t时刻有：
此处，αs和αt表示步长超参数，I表示正态高斯分布，
αt＝1-βt。
进一步地，由于加噪过程是对根据设定时段的指定时刻不断地加入高斯分布噪声，因此在去噪过程不会直接理论推断实时噪声分布概率q(xt-1|xt)。本申请实施例通过一个设定的估计参数θ，基于加噪处理后的加噪原本，预测其中各个加噪图像在设定时段内各个指定时刻的实时噪声分布概率，即任一指定时刻t预测得到的实时噪声分布概率：
pθ(xt-1|xt):＝N(xt-1；μθ(xt,t),∑θ(xt,t)) (1)
则指定时刻0到T总的预测高斯噪声分布概率表示为：
则在给定样本图像x0的条件下，可通过贝叶斯公式得到：
并可以得到：
其中，μ表示预测的概率均值，ε表示预测的噪声分布。
在进行去噪过程中，每一步的高斯噪声可以通过xt和t预测εθ(xt,t)，再根据上述公式(4)可以得到概率均值μ(xt,t)，结合公式(1)、(2)和(3)，可以得到预测实时噪声分布概率q(xt-1|xt)，从而预测得到图像xt-1。
基于此原理对预训练模型进行加噪和去噪训练，训练时，选定步长T为1000，β从0.0004到0.002线性增加，学习率初始设置为0.00001，后续根据训练次数衰减。训练时随机对样本图像进行遮挡做加噪处理，并基于上述训练流程进行图像补全训练，对训练过程中预测得到的去噪样本进行损失函数计算。定义其损失函数为第一模型损失函数，基于第一模型损失函数迭代调整预训练模型的模型参数，直至预训练模型收敛。其中，第一模型损失函数采用L1损失函数，第一模型损失函数表示为：
Loss＝abs(M(x)–N(u,σ))
其中，M(x)表示图像真实的概率分布，N表示表示高斯分布，u表示噪声的均值，σ表示噪声的方差。
进一步地，基于已训练好的预训练模型，使用该预训练模型生成各种各样的数据对，即先验样本，其中，基于预训练模型生成先验样本，包括：
将加噪图像输入预训练模型，基于预训练模型进行加噪图像设定次数的图像补全，得到对应数量的去噪图像，以设定数量的加噪图像和对应的去噪图像作为先验样本。
其中，该加噪图像可以是训练样本的样本图像通过预训练模型加噪处理得当的加噪图像，也可以是将已进行遮挡处理后的图像作为加噪图像输入预训练模型。对于同一张加噪图像，也需要生成各种各样合理的补全效果，以此得到多张不同的去噪图像，构建结果不唯一的多个数据对，以此来增加数据的多样性。可以理解的是，对于模型图像补全处理而言，只需要图像补全合理即可，类似答案不是唯一的，这样的数据集更加符合实际推理特性。另外，补全的位置，补全的大小，图案形状都需要随机，以此生成类似的补全数据越多，数据的多样性越高。
进一步地，由于模型随机补全的图像质量相对比较难保证，会存在一些效果较差的去噪图像。为了提升图像补全模型的训练效果，使其补全图像更加真实、稳定，需要对先验赝本进行清洗。可选地，本申请实施例基于预训练模型生成的先验样本，基于加噪图像和对应的去噪图像计算各个去噪图像的补全处理分数，基于补全处理分数对先验样本进行数据筛选。
其中，通过训练一个随机生成图的生成对抗模型，以训练判别器对生成图的去噪效果的评价能力。将训练好的生成对抗模型的判别器用于先验样本的数据筛选。通过将去噪图像输入该判别器，判别器根据去噪质量输出相应的补全处理分数，进而根据补全处理分数筛选其中补全处理分数相对较高的部分数据进行图像补全模型训练。
可选地，基于各个去噪图像的补全处理分数，对生成的补全处理分数进行排序，绘制补全处理分数分布曲线。进而根据分布曲线选择一个阈值，将高于阈值的去噪图像保存下来，构建成最终的先验样本，以用于图像补全模型训练。实际应用中，也可以训练一个二分类模型用于先验样本的数据筛选。本申请实施例对具体的数据筛选方式不做固定限制，在此不多赘述。
进一步地，基于筛选后的先验样本，结合预训练模型的训练样本以及模型收敛时的模型参数即可进行图像补全模型训练。参照图4，图像补全模型的训练流程包括：
S103、以预训练模型收敛时的模型参数作为初始模型参数，将训练样本和先验样本输入图像补全模型；
S104、基于图像补全模型使用训练样本和先验样本进行图像补全训练，基于训练结果计算第二模型损失函数，基于第二模型损失函数迭代调整初始模型参数，直至图像补全模型收敛。
其中，使用预训练模型收敛时的模型参数作为初始模型参数，可以使得图像补全模型收敛更快，提升模型训练效率。并且，由于预训练模型具备一定的图像补全能力，在此基础上进一步训练模型，可以使图像补全模型继承原有模型的优势，优化模型图像补全效果，使得生成的补全图像更真实稳定。同时通过先验样本训练模型，可以使得模型具备生成多样补全图像的能力，提升补全图像的多样性。另外，通过多样的样本训练，使得图像补全模型可以适应不同缺失图像的图像补全，相较预训练模型可以更高效进行图像补全，其模型耗时在毫秒级别。
基于上述预训练模型提供的先验信息进行模型训练，训练过程中，根据图像补全模型生成的补全图像计算损失函数。定义其损失函数为第二模型损失函数，第二模型损失函数包括感知损失函数和L1损失函数。感知损失函数表示为：
Perceptual loss＝E((VGG(x)-VGG(M(x)))2)
L1损失函数表示为：
L1_loss＝E(x–M(x))
其中，X表示真实图像，M(x)表示预测图像。
训练时采用Adam优化器，学习率设置为0.0001，通过图像补全模型的训练结果计算第二损失函数，根据第二损失函数取值不断的迭代调整初始模型参数，直至图像补全模型收敛，完成模型训练。
进而基于完成训练的图像补全模型，通过获取待补全的缺失图像以及缺失图像的指定补全区域信息，将缺失图像和指定补全区域信息输入预构建的图像补全模型，基于图像补全模型进行图像补全处理，预测指定补全区域处的图像信息，将预测的补全区域融合回该缺失图像，即可得到最终的补全图像。
示例性地，实际应用中，用户通过输入一张待补全的图，并指定需要补全的区域，通过图像补全模型进行图像补全处理，即可输出补全后的图像。通过输入一段视频，并指定视频中需要补全的区域，通过图像补全模型逐帧图像进行补全区域图像信息预测，即可逐帧还原图像，输出补全后的视频。
上述，通过获取缺失图像以及缺失图像的指定补全区域信息；进而将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像。其中，该图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛。该预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本。此处，先验样本包括加噪图像和对应加噪图像进行图像补全得到的多个去噪图像。采用上述技术手段，通过预训练模型提供的模型参数、训练样本和先验样本进行图像补全模型训练，以此得到的图像补全模型可以提供更真实且多样的图像补全结果。在预训练模型的基础上进行优化训练，进一步提升图像补全模型补全图像的多样性，减少图像补全瑕疵和违和感，使补全图像更加真实和稳定。
在上述实施例的基础上，图5为本申请提供的一种基于模型先验的图像补全***的结构示意图。参考图5，本实施例提供的基于模型先验的图像补全***具体包括：获取模块21和补全模块22。
其中，获取模块21配置为获取缺失图像以及缺失图像的指定补全区域信息；
补全模块22配置为将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像，图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛；预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本，先验样本包括加噪图像和对应加噪图像进行图像补全得到的多个去噪图像。
具体地，预训练模型的训练流程包括：
基于预训练模型对训练样本进行加噪处理得到加噪样本；
基于预训练模型对加噪样本进行图像补全得到去噪样本，并根据去噪样本计算第一模型损失函数，基于第一模型损失函数迭代调整预训练模型的模型参数，直至预训练模型收敛。
其中，基于预训练模型对训练样本进行加噪处理得到加噪样本，包括：
在设定时段内的每一个指定时刻，基于预训练模型对训练样本的训练图像加入高斯分布噪声，得到各个训练图像的高斯噪声分布概率，以各个训练图像的高斯噪声分布概率作为加噪样本；
基于预训练模型对加噪样本进行图像补全得到去噪样本，包括：
基于各个训练图像的高斯噪声分布概率以及设定估计参数依次预测设定时段内各个指定时刻的实时噪声分布概率，并以设定时段内的第一个指定时刻的预测结果作为去噪样本。
基于预训练模型生成先验样本，包括：
将加噪图像输入预训练模型，基于预训练模型进行加噪图像设定次数的图像补全，得到对应数量的去噪图像，以设定数量的加噪图像和对应的去噪图像作为先验样本。
基于加噪图像和对应的去噪图像计算各个去噪图像的补全处理分数，基于补全处理分数对先验样本进行数据筛选。
具体地，图像补全模型的训练流程包括：
以预训练模型收敛时的模型参数作为初始模型参数，将训练样本和先验样本输入图像补全模型；
基于图像补全模型使用训练样本和先验样本进行图像补全训练，基于训练结果计算第二模型损失函数，基于第二模型损失函数迭代调整初始模型参数，直至图像补全模型收敛。
其中，第二模型损失函数包括感知损失函数和L1损失函数。
上述，通过获取缺失图像以及缺失图像的指定补全区域信息；进而将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像。其中，该图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛。该预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本。此处，先验样本包括加噪图像和对应加噪图像进行图像补全得到的多个去噪图像。采用上述技术手段，通过预训练模型提供的模型参数、训练样本和先验样本进行图像补全模型训练，以此得到的图像补全模型可以提供更真实且多样的图像补全结果。在预训练模型的基础上进行优化训练，进一步提升图像补全模型补全图像的多样性，减少图像补全瑕疵和违和感，使补全图像更加真实和稳定。
本申请实施例提供的基于模型先验的图像补全***可以配置为执行上述实施例提供的基于模型先验的图像补全方法，具备相应的功能和有益效果。
在上述实际上例的基础上，本申请实施例还提供了一种基于模型先验的图像补全设备，参照图6，该基于模型先验的图像补全设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。存储器32作为一种计算机可读存储介质，可配置为存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于模型先验的图像补全方法对应的程序指令/模块(例如，基于模型先验的图像补全***中的获取模块和补全模块)。通信模块33配置为进行数据传输。处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于模型先验的图像补全方法。输入装置34可配置为接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。上述提供的基于模型先验的图像补全设备可配置为执行上述实施例提供的基于模型先验的图像补全方法，具备相应的功能和有益效果。
在上述实施例的基础上，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时配置为执行一种基于模型先验的图像补全方法，存储介质可以是任何的各种类型的存储器设备或存储设备。当然，本申请实施例所提供的一种计算机可读存储介质，其计算机可执行指令不限于如上所述的基于模型先验的图像补全方法，还可以执行本申请任意实施例所提供的基于模型先验的图像补全方法中的相关操作。
在上述实施例的基础上，本申请实施例还提供一种计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备、移动终端或其中的处理器执行本申请各个实施例所述基于模型先验的图像补全方法的全部或部分步骤。
Claims (10)
1.一种基于模型先验的图像补全方法，其特征在于，包括：
获取缺失图像以及所述缺失图像的指定补全区域信息；
将所述缺失图像和所述指定补全区域信息输入预构建的图像补全模型，输出所述缺失图像的补全图像，所述图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于所述预训练模型的训练样本以及所述预训练模型生成的先验样本进行图像补全训练，直至所述图像补全模型收敛；
所述预训练模型预先基于所述训练样本进行图像补全训练，在所述预训练模型收敛后，基于所述预训练模型生成所述先验样本，所述先验样本包括加噪图像和对应所述加噪图像进行图像补全得到的多个去噪图像。
2.根据权利要求1所述的基于模型先验的图像补全方法，其特征在于，所述预训练模型的训练流程包括：
基于所述预训练模型对所述训练样本进行加噪处理得到加噪样本；
基于所述预训练模型对所述加噪样本进行图像补全得到去噪样本，并根据所述去噪样本计算第一模型损失函数，基于所述第一模型损失函数迭代调整所述预训练模型的模型参数，直至所述预训练模型收敛。
3.根据权利要求2所述的基于模型先验的图像补全方法，其特征在于，所述基于所述预训练模型对所述训练样本进行加噪处理得到加噪样本，包括：
在设定时段内的每一个指定时刻，基于所述预训练模型对所述训练样本的训练图像加入高斯分布噪声，得到各个训练图像的高斯噪声分布概率，以各个训练图像的高斯噪声分布概率作为所述加噪样本；
所述基于所述预训练模型对所述加噪样本进行图像补全得到去噪样本，包括：
基于各个训练图像的高斯噪声分布概率以及设定估计参数依次预测所述设定时段内各个指定时刻的实时噪声分布概率，并以所述设定时段内的第一个指定时刻的预测结果作为所述去噪样本。
4.根据权利要求1所述的基于模型先验的图像补全方法，其特征在于，所述基于所述预训练模型生成所述先验样本，包括：
将所述加噪图像输入所述预训练模型，基于所述预训练模型进行所述加噪图像设定次数的图像补全，得到对应数量的所述去噪图像，以设定数量的所述加噪图像和对应的所述去噪图像作为所述先验样本。
5.根据权利要求4所述的基于模型先验的图像补全方法，其特征在于，在基于所述预训练模型生成所述先验样本之后，还包括：
基于所述加噪图像和对应的所述去噪图像计算各个所述去噪图像的补全处理分数，基于所述补全处理分数对所述先验样本进行数据筛选。
6.根据权利要求1所述的基于模型先验的图像补全方法，其特征在于，所述图像补全模型的训练流程包括：
以所述预训练模型收敛时的模型参数作为初始模型参数，将所述训练样本和所述先验样本输入所述图像补全模型；
基于所述图像补全模型使用所述训练样本和所述先验样本进行图像补全训练，基于训练结果计算第二模型损失函数，基于所述第二模型损失函数迭代调整所述初始模型参数，直至所述图像补全模型收敛。
7.一种基于模型先验的图像补全***，其特征在于，包括：
获取模块，配置为获取缺失图像以及所述缺失图像的指定补全区域信息；
补全模块，配置为将所述缺失图像和所述指定补全区域信息输入预构建的图像补全模型，输出所述缺失图像的补全图像，所述图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于所述预训练模型的训练样本以及所述预训练模型生成的先验样本进行图像补全训练，直至所述图像补全模型收敛；所述预训练模型预先基于所述训练样本进行图像补全训练，在所述预训练模型收敛后，基于所述预训练模型生成所述先验样本，所述先验样本包括加噪图像和对应所述加噪图像进行图像补全得到的多个去噪图像。
8.一种基于模型先验的图像补全设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，配置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一所述的基于模型先验的图像补全方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时配置为执行如权利要求1-6任一所述的基于模型先验的图像补全方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品中包含有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1-6任一所述的基于模型先验的图像补全方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211438318.9A CN115829865A (zh) | 2022-11-16 | 2022-11-16 | 基于模型先验的图像补全方法、***、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211438318.9A CN115829865A (zh) | 2022-11-16 | 2022-11-16 | 基于模型先验的图像补全方法、***、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115829865A true CN115829865A (zh) | 2023-03-21 |
Family
ID=85528657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211438318.9A Pending CN115829865A (zh) | 2022-11-16 | 2022-11-16 | 基于模型先验的图像补全方法、***、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115829865A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116228605A (zh) * | 2023-05-09 | 2023-06-06 | 深圳大学 | 图像补全方法、装置、计算机设备和存储介质 |
-
2022
- 2022-11-16 CN CN202211438318.9A patent/CN115829865A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116228605A (zh) * | 2023-05-09 | 2023-06-06 | 深圳大学 | 图像补全方法、装置、计算机设备和存储介质 |
| CN116228605B (zh) * | 2023-05-09 | 2023-09-08 | 深圳大学 | 图像补全方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859147B (zh) | 一种基于生成对抗网络噪声建模的真实图像去噪方法 | |
| CN109658344B (zh) | 基于深度学习的图像去噪方法、装置、设备和存储介质 | |
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| Dorta et al. | Structured uncertainty prediction networks | |
| CN109035189B (zh) | 基于柯西模糊函数的红外与弱可见光图像融合方法 | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| CN113238189B (zh) | 基于阵列测量和稀疏先验信息的声源辨识方法、*** | |
| CN114341979A (zh) | 用于基于卷积神经网络的语音源分离的方法和装置 | |
| Ng et al. | Wavelet restoration of medical pulse-echo ultrasound images in an EM framework | |
| CN110728636A (zh) | 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置 | |
| US20240062343A1 (en) | Image Restoration Method and Apparatus, Image Restoration Device and Storage Medium | |
| CN112912758A (zh) | 用于对超声信号进行自适应波束形成的方法和*** | |
| Liu et al. | Learning hadamard-product-propagation for image dehazing and beyond | |
| CN113610989B (zh) | 风格迁移模型训练方法和装置、风格迁移方法和装置 | |
| CN115829865A (zh) | 基于模型先验的图像补全方法、***、设备及存储介质 | |
| CN111724370A (zh) | 一种基于不确定性和概率的多任务无参考图像质量评估方法及*** | |
| CN113256508A (zh) | 一种改进的小波变换与卷积神经网络图像去噪声的方法 | |
| CN111968047A (zh) | 一种基于生成式对抗网络的自适应光学图像盲复原方法 | |
| CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN110570375B (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
| Wang et al. | A stacked convolutional sparse denoising autoencoder model for underwater heterogeneous information data | |
| CN115082336A (zh) | 一种基于机器学习的sar图像相干斑抑制方法 | |
| Park et al. | Flexible style image super-resolution using conditional objective | |
| CN113763268B (zh) | 人脸图像盲修复方法及*** | |
| Jeong et al. | Fast stereo matching using constraints in discrete space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |