CN116957985A - 图像修复方法、装置、电子设备和存储介质 - Google Patents
图像修复方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116957985A CN116957985A CN202311011024.2A CN202311011024A CN116957985A CN 116957985 A CN116957985 A CN 116957985A CN 202311011024 A CN202311011024 A CN 202311011024A CN 116957985 A CN116957985 A CN 116957985A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel value
- pixel
- parameter
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000008439 repair process Effects 0.000 claims abstract description 77
- 238000012549 training Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请公开了图像修复方法、装置、电子设备和存储介质,涉及图像处理技术领域,尤其涉及算机视觉、深度学习等人工智能领域。方案为:获取待修复的第一图像;对第一图像进行下采样,以获取第二图像;对第二图像进行修复,以获取第三图像;根据第二图像与第三图像,生成第四图像,其中,第四图像中包括第二图像的待修复区域;根据第一图像和第四图像,生成已修复的目标图像。由此,通过对待修复的原图像进行下采样,得到待修复的低分辨率图像,对低分辨率图像进行修复,可以减少计算量,加速修复过程,节省计算资源,并且利用第四图像对第一图像进行修复,得到第一图像的修复图像,在对原图像完成修复的同时,可以进一步减少计算量,加速修复过程。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及计算机视觉、深度学习等人工智能领域,具体涉及图像修复方法、装置、电子设备和存储介质。
背景技术
随着数字摄影技术的发展和智能设备的普及,高分辨率图像的生成、传输等变得更加普遍。相关技术中,高分辨率图像修复方法通常需要耗费大量的计算资源和时间,限制了其在实际应用中的效率和实时性。
发明内容
本申请提供了一种图像修复方法、装置、电子设备和存储介质。具体方案如下:
根据本申请的一方面,提供了一种图像修复方法,包括:
获取待修复的第一图像;
对第一图像进行下采样,以获取第二图像;
对第二图像进行修复,以获取第三图像;
根据第二图像与第三图像,生成第四图像,其中,第四图像中包括第二图像的待修复区域;
根据第一图像和第四图像,生成已修复的目标图像。
根据本申请的另一方面,提供了一种图像修复装置,包括:
第一获取模块,用于获取待修复的第一图像;
第二获取模块,用于对第一图像进行下采样,以获取第二图像;
第一修复模块,用于对第二图像进行修复,以获取第三图像;
第一生成模块,用于根据第二图像与第三图像,生成第四图像,其中,第四图像中包括第二图像的待修复区域;
第二生成模块,用于根据第一图像和第四图像,生成已修复的目标图像。
根据本申请的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述实施例所述的方法。
根据本申请的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述实施例所述的方法。
根据本申请的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现上述实施例所述方法的步骤。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请一实施例提供的图像修复方法的流程示意图;
图2为本申请另一实施例提供的图像修复方法的流程示意图;
图3为本申请另一实施例提供的图像修复方法的流程示意图;
图4为本申请另一实施例提供的图像修复方法的流程示意图;
图5为本申请实施例提供的一种修复模型的训练过程示意图;
图6为本申请实施例提供的一种图像修复过程示意图;
图7为本申请提供的一种去除抬头纹的过程示意图;
图8为本申请一实施例提供的图像修复装置的结构示意图;
图9是用来实现本申请实施例的图像修复方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的图像修复方法、装置、电子设备和存储介质。
图1为本申请一实施例提供的图像修复方法的流程示意图。
本申请实施例的图像修复方法,可以由本申请实施例的图像修复装置执行,该装置可以配置于电子设备中,通过对待修复的原图像进行下采样,得到待修复的低分辨率图像,对低分辨率图像进行修复,从而可以减少计算量,加速修复过程,节省计算资源,并且根据第一图像和第二图像可以生成包含第二图像中待修复区域的第四图像,根据第四图像对第一图像进行修复,得到第一图像的修复图像,从而在对原图像完成修复的同时,可以进一步减少计算量,加速修复过程。
其中,电子设备可以为任一具有计算能力的设备,例如可以为个人电脑、移动终端、服务器等,移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作***、触摸屏和/或显示屏的硬件设备。
如图1所示,该图像修复方法包括:
步骤101,获取待修复的第一图像。
本申请中,第一图像可以是单独采集的一张图像,也可以是视频中的图像,或者是其他方式获取的图像,对此不作限定。
步骤102,对第一图像进行下采样,以获取第二图像。
其中,第二图像的分辨率小于第一图像的分辨率。
本申请中,可以对第一图像进行插值,得到第二图像,或者采用其他方式对第一图像进行下采样,从而可以得到低分辨率图像。
步骤103,对第二图像进行修复,以获取第三图像。
本申请中,可以利用预先训练得到的修复模型对第二图像进行修复,得到第三图像。或者,用户对第二图像中待修复区域进行标注,根据用户标注确定第二图像中的待修复区域,利用第二图像中待修复区域外的图像对待修复区域进行填充,得到第三图像。或者,也可以采用其他修复方式对第二图像进行修复,本申请对此不作限定。
本申请中,先对第一图像进行下采样,得到低分辨率的第二图像,再对第二图像进行修复,从而可以减少计算量,加速修复过程,节省计算资源。
步骤104,根据第二图像与第三图像,生成第四图像。
其中,第四图像中包括第二图像的待修复区域和非修复区域。
本申请中,可以利用生成算法,根据第二图像中每个像素点的像素值和第三图像中每个像素点的像素值,生成第四图像。由此,可以识别出第二图像中的待修复区域。
步骤105,根据第一图像和第四图像,生成已修复的目标图像。
由于第四图像中包括第二图像的待修复区域,而第二图像是对第一图像进行下采样得到的,那么可以根据第四图像中的待修复区域对第一图像进行修复,得到已修复的目标图像。其中,目标图像为第一图像修复后的图像,也即第一图像的修复图像。
本申请实施例中,通过对待修复的原图像进行下采样,得到待修复的低分辨率图像,对低分辨率图像进行修复,从而可以减少计算量,加速修复过程,节省计算资源,并且根据第一图像和第二图像可以生成包含第二图像中待修复区域的第四图像,根据第四图像对第一图像进行修复,得到第一图像的修复图像,从而在对原图像完成修复的同时,可以进一步减少计算量,加速修复过程。
图2为本申请另一实施例提供的图像修复方法的流程示意图。
如图2所示,该图像修复方法包括:
步骤201,获取待修复的第一图像。
步骤202,对第一图像进行下采样,以获取第二图像。
步骤203,对第二图像进行修复,以获取第三图像。
本申请中,步骤201-步骤203可以参见本申请的各实施例中任一实现方式,故在此不再赘述。
步骤204,根据第二图像中每个像素点的像素值及像素值的平方、第三图像中每个像素点的像素值,生成第四图像。
作为一种可能的实现方式,可以计算第二图像中每个像素点的像素值的平方与第三图像中相同位置的像素点的像素值的差值、及第二图像中每个像素点的像素值的平方与像素值之间的差值,并根据相同位置的像素点的两个差值的比值,生成第四图像。由此,可以根据修复前的图像中每个像素点的像素值和修复后的图像中相同位置的像素点的像素值,生成包含待修复区域的图像。
比如,第四图像的生成公式可以如下公式(1)所示:
其中,F(X1,Y1)表示第四图像,X1表示第二图像,Y1表示第三图像。
作为另一种可能的实现方式,可以获取第一参数,并根据第一参数与第二图像中每个像素点的像素值的平方与像素值之间的差值的乘积、第二图像中每个像素点的像素值的平方与第三图像中相同位置的像素点的像素值的差值,生成第四图像。
其中,第一参数可以用于表征对第一图像的修复强度。其中,第一参数越大,修复力度越强,待修复区域越大,可能会修复无需修复的区域,如果第一参数越小,修复力度越弱,影响修复效果。比如,修复任务为去除抬头纹,如果第一参数过小,可能会使抬头纹去除不干净。
比如,第四图像的生成公式可以如下公式(2)所示:
其中,F(X1,Y1)表示第四图像,X1表示第二图像,Y1表示第三图像,scale表示第一参数。
需要说明的是,本申请中,第一参数可以根据实际需要设置,本申请对此不作限定。
由此,通过引入第一参数,根据第一参数、第二图像中每个像素点的像素值及像素值的平方、第三图像中每个像素点的像素值,生成第四图像,从而提高了修复效果。
作为另一种可能的实现方式,可以获取第一参数、第二参数及第三参数,并计算第二图像中每个像素点的像素值的平方与第二参数的乘积,及计算第二图像中每个像素点的像素值与第三参数之间的乘积,并根据相同位置的像素点对应的两个乘积、第一参数及第三图像中每个像素点的像素值,生成第四图像。
其中,第一参数可以用于表征对第一图像的修复强度,第二参数和第三参数为可学习参数。比如,第二参数和第三参数可以是修复模型的可学习参数,修复模型可以用于对第二图像进行修复,得到第三图像。
比如,第四图像的生成公式可以如下公式(3)所示:
其中,F(X1,Y1)表示第四图像,X1表示第二图像,Y1表示第三图像,scale表示第一参数,α表示第二参数,β表示第三参数。
由此,在引入第一参数的基础上,引入两个可学***方及对第二图像中每个像素点的像素值两部分的权重继续调整,进一步提高了修复效果。
步骤205,根据第一图像和第四图像,生成已修复的目标图像。
本申请中,步骤205可以参见本申请的各实施例中任一实现方式,故在此不再赘述。
本申请实施例中,可以对待修复的原图像进行下采样,得到待修复的低分辨率图像,对低分辨率图像进行修复,可以减少计算量,加速修复过程,并且根据第二图像中每个像素点的像素值及像素值的平方、第三图像中每个像素点的像素值,生成第四图像,可以识别出第二图像中的待修复区域,进而可以根据第四图像对第一图像进行修复,在完成对原图像的修复的同时,进一步减少了计算量,加速度了修复过程。
图3为本申请另一实施例提供的图像修复方法的流程示意图。
如图3所示,该图像修复方法包括:
步骤301,获取待修复的第一图像。
步骤302,对第一图像进行下采样,以获取第二图像。
步骤303,对第二图像进行修复,以获取第三图像。
步骤304,根据第二图像与第三图像,生成第四图像。
本申请中,步骤301-步骤304可以参见本申请的各实施例中任一实现方式,故在此不再赘述。
步骤305,对第四图像进行上采样,以获取第五图像。
其中,第五图像的分辨率与第一图像的分辨率相同。
本申请中,可以对第一图像进行插值,得到第五图像。或者,也采用其他上采样方式,对第四图像进行上采样,得到第五图像,本申请对此不作限定。
由于第四图像中包含第二图像的待修复区域,第五图像与第二图像的分辨率相同,那么第五图像中包含第一图像的待修复区域。
步骤306,根据第一图像和第五图像,生成目标图像。
本申请中,可以根据第一图像中每个像素点的像素值及像素值的平方、第五图像中每个像素点的像素值,生成目标图像,从而可以根据第一图像中每个像素点的像素值及第五图像中每个像素点的像素值,完成对第一图像的修复,得到修复图像。
作为一种可能的实现方式,可以根据第五图像中每个像素点的像素值,确定第一图像中每个像素点的像素值的平方的第一权重,及第一图像中每个像素点的像素值的第二权重,并根据第一权重和第二权重,对第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成目标图像。
作为一个示例,可以将预设值与第五图像中每个像素点的像素值的差值,作为第一图像中相同位置的像素点的像素值的平方的第一权重,将第五图像中每个像素点的像素值,作为第一图像中相同位置的像素点的像素值的第二权重。
比如,目标图像的生成公式可以如下公式(4)所示:
其中,Y0表示目标图像,X0表示第一图像,F0表示第五图像,F0是对第四图像F(X1,Y1)上采样得到的。
本申请中,通过根据对第四图像上采样得到的第五图像中每个像素点的像素值,确定第一权重和第二权重,基于第一权重和第二权重,对第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,得到目标图像。由此,通过利用第五图像对第一图像进行修复,可以避免丢失细节,提高修复效果。
作为另一种可能的实现方式,可以获取第一参数,并根据第一参数及第五图像中每个像素点的像素值,确定第一图像中每个像素点的像素值的平方的第三权重,及第一图像中每个像素点的像素值的第四权重,再根据第三权重和第四权重,对第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成目标图像。
其中,第一参数用于表征对第一图像的修复强度,对第一参数的详细解释可以参见上述实施例,故在此不再赘述。
作为一个示例,可以将预设值与第一参数与第五图像中每个像素点的像素值的乘积的差值,作为第一图像中每个像素点的像素值的平方的第三权重,将第一参数与第五图像中每个像素点的像素值的乘积,作为第一图像中每个像素点的像素值的第四权重。
比如,目标图像的生成公式可以如下公式(5)所示:
其中,Y0表示目标图像,X0表示第一图像,F0表示第五图像,F0是对第四图像F(X1,Y1)上采样得到的,scale表示第一参数。
由此,通过引入第一参数,对第一图像中每个像素点的像素值的平方及对第一图像中每个像素点的像素值两部分的权重进行调整,进一步提高了修复效果。
作为另一种可能的实现方式,可以获取第一参数、第二参数及第三参数,并根据第一参数、第二参数及第五图像中每个像素点的像素值,确定第一图像中每个像素点的像素值的平方的第五权重,根据第一参数、第三参数及第五图像中每个像素点的像素值,确定第一图像中每个像素点的像素值的第六权重,再根据第五权重和第六权重,对第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成目标图像。
其中,第一参数可以用于表征对第一图像的修复强度,第二参数和第三参数为可学***滑度,第二参数越大,修复的边缘越柔和;第三参数会影响修复力度,第三参数越大,修复力度越强。
比如,目标图像的生成公式可以如下公式(6)所示:
其中,Y0表示目标图像,X0表示第一图像,F0表示第五图像,F0是对第四图像F(X1,Y1)上采样得到的,scale表示第一参数。
由此,可以在引入第一参数的基础上,引入两个可学***方及对第一图像中每个像素点的像素值两部分的权重继续调整,进一步提高了修复效果。
本申请实施例中,通过对待修复的原图像进行下采样,得到待修复的低分辨率图像,对低分辨率图像进行修复,从而可以减少计算量,加速修复过程,节省计算资源,并且通过对第四图像上采样,得到与第一图像分辨率相同的第五图像,利用第五图像中的待修复区域对第一图像进行修复,可以避免丢失细节,提高修复效果。
图4为本申请另一实施例提供的图像修复方法的流程示意图。
如图4所示,该图像修复方法包括:
步骤401,获取待修复的第一图像。
步骤402,对第一图像进行下采样,以获取第二图像。
本申请中,步骤401-步骤402可以参见本申请的各实施例中任一实现方式,故在此不再赘述。
步骤403,利用修复模型对第二图像进行修复,以获取第三图像。
本申请中,可以利用预先训练得到的修复模型对第二图像进行修复,以得到修复后的第三图像。
其中,修复模型是通过以下步骤训练得到的:
获取待修复的第一样本图像,对第一样本图像进行下采样,以获取第二样本图像,并利用初始修复模型对第二样本图像进行修复,得到第三样本图像,根据第二样本图像与第三样本图像,生成第四样本图像,其中,第四样本图像中包括第二样本图像的待修复区域,并根据第一样本图像和第四样本图像,生成第五样本图像,再根据第二样本图像、第三样本图像、第五样本图像及第一样本图像及对应的标注图像,对初始修复模型进行训练。由此,通过根据待修复的低分辨率样本图像及对应的修复图像,以及生成的待修复的原样本图像的修复图像与标注图像,进行模型训练,可以提高模型的修复效果。
其中,标注图像可以是指第一样本图像的标准修复图像。
本申请中,可以对第四样本图像进行上采样,以获取第六样本图像,其中,第六样本图像的分辨率与第一样本图像的分辨率相同,并根据第一图像与第六样本图像,生成第五样本图像。由此,通过对第四样本图像上采样,得到与第一样本图像分辨率相同的第六样本图像,利用第六样本图像中的待修复区域对第一样本图像进行修复,可以避免丢失细节,提高修复效果。
本申请中,可以根据第三样本图像与第二样本图像之间的差异,确定第一子损失,根据第五样本图像与标注图像之间的差异,确定第二子损失,并将第一子损失和第二子损失之和,作为模型损失,根据模型损失对初始修复模型的参数进行调整,并继续对参数调整后的初始修复模型的参数进行调整,直至满足训练结束条件。由此,通过根据待修复的低分辨率样本图像及对应的修复图像之间的损失,以及生成的待修复的原样本图像的修复图像与标注图像之间的损失,进行模型训练,可以提高模型的修复效果。
本申请中,可以根据第三样本图像中每个像素点的像素值与第二样本图像中相同位置的像素点的像素点之间差值的平方,确定第一子损失,并根据第五样本图像中每个像素点的像素值与标注图像中相同位置的像素点之间差值的平方,确定第二子损失。
本申请中,训练结束条件,可以是模型损失小于预设阈值,也可以是达到预设的训练次数,也可以是其他条件,可以根据实际需要确定,本申请对此不作限定。
比如,第一子损失的计算方法可以参见下述公式(7):
其中,L表示损失权重,可以默认为1;MSE表示第三样本图像与第二样本图像之间像素点的像素值之间差值的平方的平均值,其中,m表示第三样本图像的高度,n表示第三样本图像的宽度,c表示图像的通道数,P(i,j,k)表示第三样本图像在位置(i,j,k)的像素值,T(i,j,k)表示第二样本图像在位置(i,j,k)的像素值;ε是一个很小的常数,可以用于防止ln函数的输入为0,这里ε=1e-8;/>是一个缩放因子,用于将自然对数转换为以10为底的对数。
需要说明的是,第二子损失的计算公式与上述公式(7)类似,故在此步骤赘述。
为了便于理解,下面结合图5进行说明,图5为本申请实施例提供的一种修复模型的训练过程示意图。
如图5所示,对第一样本图像进行下采样,得到第二样本图像,利用修复模型,对第二样本图像进行修复,得到第三样本图像,并根据第二样本图像和第三样本图像,生成第四样本图像,对第四样本图进行上采样,得到第一样本图像分辨率相同的第六样本图像,根据第六样本图像和第一样本图像,生成第五样本图像,并根据第三样本图像与第二样本图像,计算低分辨率图像的修复损失loss1,根据第五样本图像与标注图像,计算高分辨率图像的修复损失loss2,并计算模型损失loss=loss1+loss2,根据模型损失loss训练得到修复模型。
本申请中,修复模型可以包含上述第二参数和第三参数,由此可以通过对修复模型进行训练得到两个可学习参数,从而利用两个可学习参数生成第四图像和目标图像。
步骤404,根据第二图像与第三图像,生成第四图像。
步骤405,根据第一图像和第四图像,生成已修复的目标图像。
本申请中,步骤404-步骤405可以参见本申请的各实施例中任一实现方式,故在此不再赘述。
本申请实施例中,可以利用修复模型对第二图像进行修复,得到第三图像,从而可以提高对第二图像的修复效果,根据第二图像和第三图像生成第四图像,可以提高第四图像中待修复区域的准确性,那么利用第四图像对第一图像进行修复,进而可以提高对第一图像的修复效果。
为了便于理解本申请的图像修复方法,下面结合图6和图7进行说明,图6为本申请实施例提供的一种图像修复过程示意图,图7为本申请提供的一种去除抬头纹的过程示意图。
如图6所示,对待修复的原图进行插值,得到低分辨率原图,利用修复模型对低分辨率原图进行修复,得到低分辨率修复图,并根据低分辨率原图和低分辨率修复图,生成低分辨率柔光图,并对低分辨率柔光图进行插值,得到与原图分辨率相同的高分辨率柔光图,根据高分辨率柔光图对原图进行修复,生成高分辨率修复图。
如图7所示,对包含人像的原图进行下采样,得到相应的低分辨率原图,利用修复模型对低分辨率原图进行修复,得到低分辨率修复图,并根据低分辨率原图和低分辨率修复图,计算柔光图,生成相应的低分辨率柔光图,其中低分辨率柔光图中示出了待去除的抬头纹,并对低分辨率柔光图进行上采样,得到与原图分辨率相同的高分辨率柔光图,高分辨率柔光图中也包含待去除的抬头纹,之后进行柔光图合成高分辨率修复图的过程,生成高分辨率修复图。
为了实现上述实施例,本申请实施例还提出一种图像修复装置。图8为本申请一实施例提供的图像修复装置的结构示意图。
如图8所示,该图像修复装置800包括:
第一获取模块810,用于获取待修复的第一图像;
第二获取模块820,用于对第一图像进行下采样,以获取第二图像;
第一修复模块830,用于对第二图像进行修复,以获取第三图像;
第一生成模块840,用于根据第二图像与第三图像,生成第四图像,其中,第四图像中包括第二图像的待修复区域;
第一生成模块850,用于根据第一图像和第四图像,生成已修复的目标图像。
在本申请实施例一种可能的实现方式中,第一生成模块840,用于:
根据第二图像中每个像素点的像素值及像素值的平方、第三图像中每个像素点的像素值,生成第四图像。
在本申请实施例一种可能的实现方式中,第一生成模块840,用于:
根据第二图像中每个像素点的像素值的平方与第三图像中相同位置的像素点的像素值的差值、第二图像中每个像素点的像素值的平方与像素值之间的差值,生成第四图像。
在本申请实施例一种可能的实现方式中,第一生成模块840,用于:
获取第一参数,其中,第一参数用于表征对第一图像的修复强度;
根据第一参数与第二图像中每个像素点的像素值的平方与像素值之间的差值的乘积、第二图像中每个像素点的像素值的平方与第三图像中相同位置的像素点的像素值的差值,生成第四图像。
在本申请实施例一种可能的实现方式中,第一生成模块840,用于:
获取第一参数、第二参数及第三参数,其中,第一参数用于表征对第一图像的修复强度,第二参数和第三参数为可学习参数;
根据所述第一参数、所述第二图像中每个像素点的像素值的平方与第二参数的乘积、所述第二图像中每个像素点的像素值与所述第三参数之间的乘积及所述第三图像中每个像素点的像素值,生成所述第四图像。
在本申请实施例一种可能的实现方式中,第二生成模块850,用于:
对第四图像进行上采样,以获取第五图像,其中,第五图像的分辨率与第一图像的分辨率相同;
根据第一图像和第五图像,生成目标图像。
在本申请实施例一种可能的实现方式中,第二生成模块850,用于:
根据第一图像中每个像素点的像素值及像素值的平方、第五图像中每个像素点的像素值,生成目标图像。
在本申请实施例一种可能的实现方式中,第二生成模块850,用于:
根据第五图像中每个像素点的像素值,确定第一图像中每个像素点的像素值的平方的第一权重,及第一图像中每个像素点的像素值的第二权重;
根据第一权重和第二权重,对第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成目标图像。
在本申请实施例一种可能的实现方式中,第二生成模块850,用于:
获取第一参数,其中,第一参数用于表征对第一图像的修复强度;
根据第一参数及第五图像中每个像素点的像素值,确定第一图像中每个像素点的像素值的平方的第三权重,及第一图像中每个像素点的像素值的第四权重;
根据第三权重和第四权重,对第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成目标图像。
在本申请实施例一种可能的实现方式中,第二生成模块850,用于:
获取第一参数、第二参数及第三参数,其中,第一参数用于表征对第一图像的修复强度,第二参数和第三参数为可学习参数;
根据第一参数、第二参数及第五图像中每个像素点的像素值,确定第一图像中每个像素点的像素值的平方的第五权重;
根据第一参数、第三参数及第五图像中每个像素点的像素值,确定第一图像中每个像素点的像素值的第六权重;
根据第五权重和第六权重,对第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成目标图像。
在本申请实施例一种可能的实现方式中,第一修复模块830,用于:
利用修复模型对第二图像进行修复,以获取第三图像。
在本申请实施例一种可能的实现方式中,该装置还可以包括:
第三获取模块,用于获取待修复的第一样本图像;
第四获取模块,用于对第一样本图像进行下采样,以获取第二样本图像;
第二修复模块,用于利用初始修复模型对第二样本图像进行修复,得到第三样本图像;
第三生成模块,用于根据第二样本图像与第三样本图像,生成第四样本图像,其中,第四样本图像中包括第二样本图像的待修复区域;
第四生成模块,用于根据第一样本图像和第四样本图像,生成第五样本图像;
训练模块,用于根据第二样本图像、第三样本图像、第五样本图像及第一样本图像及对应的标注图像,对初始修复模型进行训练。
在本申请实施例一种可能的实现方式中,第四生成模块,用于:
对第四样本图像进行上采样,以获取第六样本图像,其中,第六样本图像的分辨率与第一样本图像的分辨率相同;
根据第一图像与第六样本图像,生成第五样本图像。
在本申请实施例一种可能的实现方式中,训练模块,用于:
根据第三样本图像与第二样本图像之间的差异,确定第一子损失;
根据第五样本图像与标注图像之间的差异,确定第二子损失;
根据第一子损失与第二子损失之和,确定模型损失;
根据模型损失,对初始修复模型进行训练。
需要说明的是,前述图像修复方法实施例的解释说明,也适用于该实施例的图像修复装置,故在此不再赘述。
本申请实施例中,通过对待修复的原图像进行下采样,得到待修复的低分辨率图像,对低分辨率图像进行修复,从而可以减少计算量,加速修复过程,节省计算资源,并且根据第一图像和第二图像可以生成包含第二图像中待修复区域的第四图像,根据第四图像对第一图像进行修复,得到第一图像的修复图像,从而在对原图像完成修复的同时,可以进一步减少计算量,加速修复过程。
根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本申请的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在ROM(Read-OnlyMemory,只读存储器)902中的计算机程序或者从存储单元908加载到RAM(Random AccessMemory,随机访问/存取存储器)903中的计算机程序,来执行各种适当的动作和处理。在RAM903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。I/O(Input/Output,输入/输出)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于CPU(Central Processing Unit,中央处理单元)、GPU(Graphic Processing Units,图形处理单元)、各种专用的AI(Artificial Intelligence,人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor,数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如图像修复方法。例如,在一些实施例中,图像修复方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 703并由计算单元901执行时,可以执行上文描述的图像修复方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行图像修复方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、FPGA(Field Programmable Gate Array,现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit,专用集成电路)、ASSP(Application Specific StandardProduct,专用标准产品)、SOC(System On Chip,芯片上***的***)、CPLD(ComplexProgrammable Logic Device,复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory,可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory,便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(Cathode-Ray Tube,阴极射线管)或者LCD(Liquid Crystal Display,液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:LAN(LocalArea Network,局域网)、WAN(Wide Area Network,广域网)、互联网和区块链网络。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务(VirtualPrivate Server,虚拟专用服务器)中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式***的服务器,或者是结合了区块链的服务器。
根据本申请的实施例,本申请还提供了一种计算机程序产品,当计算机程序产品中的指令处理器执行时,执行本申请上述实施例提出的图像修复方法。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (31)
1.一种图像修复方法,包括:
获取待修复的第一图像;
对所述第一图像进行下采样,以获取第二图像;
对所述第二图像进行修复,以获取第三图像;
根据所述第二图像与所述第三图像,生成第四图像,其中,所述第四图像中包括所述第二图像的待修复区域;
根据所述第一图像和所述第四图像,生成已修复的目标图像。
2.如权利要求1所述的方法,其中,所述根据所述第二图像与所述第三图像,生成第四图像,包括:
根据所述第二图像中每个像素点的像素值及像素值的平方、所述第三图像中每个像素点的像素值,生成所述第四图像。
3.如权利要求2所述的方法,其中,所述根据所述第二图像中每个像素点的像素值及像素值的平方、所述第三图像中每个像素点的像素值,生成所述第四图像,包括:
根据所述第二图像中每个像素点的像素值的平方与所述第三图像中相同位置的像素点的像素值的差值、所述第二图像中每个像素点的像素值的平方与像素值之间的差值,生成所述第四图像。
4.如权利要求2所述的方法,其中,所述根据所述第二图像中每个像素点的像素值及像素值的平方、所述第三图像中每个像素点的像素值,生成所述第四图像,包括:
获取第一参数,其中,所述第一参数用于表征对所述第一图像的修复强度;
根据所述第一参数与所述第二图像中每个像素点的像素值的平方与像素值之间的差值的乘积、所述第二图像中每个像素点的像素值的平方与所述第三图像中相同位置的像素点的像素值的差值,生成所述第四图像。
5.如权利要求2所述的方法,其中,所述根据所述第二图像中每个像素点的像素值及像素值的平方、所述第三图像中每个像素点的像素值,生成所述第四图像,包括:
获取第一参数、第二参数及第三参数,其中,所述第一参数用于表征对所述第一图像的修复强度,所述第二参数和所述第三参数为可学习参数;
根据所述第一参数、所述第二图像中每个像素点的像素值的平方与第二参数的乘积、所述第二图像中每个像素点的像素值与所述第三参数之间的乘积及所述第三图像中每个像素点的像素值,生成所述第四图像。
6.如权利要求1所述的方法,其中,所述根据所述第一图像和所述第四图像,生成已修复的目标图像,包括:
对所述第四图像进行上采样,以获取第五图像,其中,所述第五图像的分辨率与所述第一图像的分辨率相同;
根据所述第一图像和所述第五图像,生成所述目标图像。
7.如权利要求6所述的方法,其中,所述根据所述第一图像和所述第五图像,生成所述目标图像,包括:
根据所述第一图像中每个像素点的像素值及像素值的平方、所述第五图像中每个像素点的像素值,生成所述目标图像。
8.如权利要求7所述的方法,其中,所述根据所述第一图像中每个像素点的像素值及像素值的平方、所述第五图像中每个像素点的像素值,生成所述目标图像,包括:
根据所述第五图像中每个像素点的像素值,确定所述第一图像中每个像素点的像素值的平方的第一权重,及所述第一图像中每个像素点的像素值的第二权重;
根据所述第一权重和所述第二权重,对所述第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成所述目标图像。
9.如权利要求7所述的方法,其中,所述根据所述第一图像中每个像素点的像素值及像素值的平方、所述第五图像中每个像素点的像素值,生成所述目标图像,包括:
获取第一参数,其中,所述第一参数用于表征对所述第一图像的修复强度;
根据所述第一参数及所述第五图像中每个像素点的像素值,确定所述第一图像中每个像素点的像素值的平方的第三权重,及所述第一图像中每个像素点的像素值的第四权重;
根据所述第三权重和所述第四权重,对所述第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成所述目标图像。
10.如权利要求7所述的方法,其中,所述根据所述第一图像中每个像素点的像素值及像素值的平方、所述第五图像中每个像素点的像素值,生成所述目标图像,包括:
获取第一参数、第二参数及第三参数,其中,所述第一参数用于表征对所述第一图像的修复强度,所述第二参数和所述第三参数为可学习参数;
根据所述第一参数、所述第二参数及所述第五图像中每个像素点的像素值,确定所述第一图像中每个像素点的像素值的平方的第五权重;
根据所述第一参数、所述第三参数及所述第五图像中每个像素点的像素值,确定所述第一图像中每个像素点的像素值的第六权重;
根据所述第五权重和所述第六权重,对所述第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成所述目标图像。
11.如权利要求1-10中任一项所述的方法,其中,所述对所述第二图像进行修复,以获取第三图像,包括:
利用所述修复模型对所述第二图像进行修复,以获取所述第三图像。
12.如权利要求11所述的方法,其中,所述修复模型是通过以下步骤训练得到的:
获取待修复的第一样本图像;
对所述第一样本图像进行下采样,以获取第二样本图像;
利用初始修复模型对所述第二样本图像进行修复,得到第三样本图像;
根据所述第二样本图像与所述第三样本图像,生成第四样本图像,其中,所述第四样本图像中包括所述第二样本图像的待修复区域;
根据所述第一样本图像和所述第四样本图像,生成第五样本图像;
根据所述第二样本图像、所述第三样本图像、所述第五样本图像及所述第一样本图像及对应的标注图像,对所述初始修复模型进行训练。
13.如权利要求12所述的方法,其中,所述根据所述第一样本图像和所述第四样本图像,生成第五样本图像,包括:
对所述第四样本图像进行上采样,以获取第六样本图像,其中,所述第六样本图像的分辨率与所述第一样本图像的分辨率相同;
根据所述第一图像与所述第六样本图像,生成所述第五样本图像。
14.如权利要求12所述的方法,其中,所述根据所述第二样本图像、所述第三样本图像、所述第五样本图像及所述第一样本图像及对应的标注图像,对所述初始修复模型进行训练,包括:
根据所述第三样本图像与所述第二样本图像之间的差异,确定第一子损失;
根据所述第五样本图像与所述标注图像之间的差异,确定第二子损失;
根据所述第一子损失与所述第二子损失之和,确定模型损失;
根据所述模型损失,对所述初始修复模型进行训练。
15.一种图像修复装置,包括:
第一获取模块,用于获取待修复的第一图像;
第二获取模块,用于对所述第一图像进行下采样,以获取第二图像;
第一修复模块,用于对所述第二图像进行修复,以获取第三图像;
第一生成模块,用于根据所述第二图像与所述第三图像,生成第四图像,其中,所述第四图像中包括所述第二图像的待修复区域;
第二生成模块,用于根据所述第一图像和所述第四图像,生成已修复的目标图像。
16.如权利要求15所述的装置,其中,所述第一生成模块,用于:
根据所述第二图像中每个像素点的像素值及像素值的平方、所述第三图像中每个像素点的像素值,生成所述第四图像。
17.如权利要求16所述的装置,其中,所述第一生成模块,用于:
根据所述第二图像中每个像素点的像素值的平方与所述第三图像中相同位置的像素点的像素值的差值、所述第二图像中每个像素点的像素值的平方与像素值之间的差值,生成所述第四图像。
18.如权利要求16所述的装置,其中,所述第一生成模块,用于:
获取第一参数,其中,所述第一参数用于表征对所述第一图像的修复强度;
根据所述第一参数与所述第二图像中每个像素点的像素值的平方与像素值之间的差值的乘积、所述第二图像中每个像素点的像素值的平方与所述第三图像中相同位置的像素点的像素值的差值,生成所述第四图像。
19.如权利要求16所述的装置,其中,所述第一生成模块,用于:
获取第一参数、第二参数及第三参数,其中,所述第一参数用于表征对所述第一图像的修复强度,所述第二参数和所述第三参数为可学习参数;
根据所述第一参数、所述第二图像中每个像素点的像素值的平方与第二参数的乘积、所述第二图像中每个像素点的像素值与所述第三参数之间的乘积及所述第三图像中每个像素点的像素值,生成所述第四图像。
20.如权利要求15所述的装置,其中,所述第二生成模块,用于:
对所述第四图像进行上采样,以获取第五图像,其中,所述第五图像的分辨率与所述第一图像的分辨率相同;
根据所述第一图像和所述第五图像,生成所述目标图像。
21.如权利要求20所述的装置,其中,所述第二生成模块,用于:
根据所述第一图像中每个像素点的像素值及像素值的平方、所述第五图像中每个像素点的像素值,生成所述目标图像。
22.如权利要求21所述的装置,其中,所述第二生成模块,用于:
根据所述第五图像中每个像素点的像素值,确定所述第一图像中每个像素点的像素值的平方的第一权重,及所述第一图像中每个像素点的像素值的第二权重;
根据所述第一权重和所述第二权重,对所述第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成所述目标图像。
23.如权利要求21所述的装置,其中,所述第二生成模块,用于:
获取第一参数,其中,所述第一参数用于表征对所述第一图像的修复强度;
根据所述第一参数及所述第五图像中每个像素点的像素值,确定所述第一图像中每个像素点的像素值的平方的第三权重,及所述第一图像中每个像素点的像素值的第四权重;
根据所述第三权重和所述第四权重,对所述第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成所述目标图像。
24.如权利要求21所述的装置,其中,所述第二生成模块,用于:
获取第一参数、第二参数及第三参数,其中,所述第一参数用于表征对所述第一图像的修复强度,所述第二参数和所述第三参数为可学习参数;
根据所述第一参数、所述第二参数及所述第五图像中每个像素点的像素值,确定所述第一图像中每个像素点的像素值的平方的第五权重;
根据所述第一参数、所述第三参数及所述第五图像中每个像素点的像素值,确定所述第一图像中每个像素点的像素值的第六权重;
根据所述第五权重和所述第六权重,对所述第一图像中每个像素点的像素值的平方及每个像素点的像素值进行加权,生成所述目标图像。
25.如权利要求15-24中任一项所述的装置,其中,所述第一修复模块,用于:
利用所述修复模型对所述第二图像进行修复,以获取所述第三图像。
26.如权利要求25所述的装置,还包括:
第三获取模块,用于获取待修复的第一样本图像;
第四获取模块,用于对所述第一样本图像进行下采样,以获取第二样本图像;
第二修复模块,用于利用初始修复模型对所述第二样本图像进行修复,得到第三样本图像;
第三生成模块,用于根据所述第二样本图像与所述第三样本图像,生成第四样本图像,其中,所述第四样本图像中包括所述第二样本图像的待修复区域;
第四生成模块,用于根据所述第一样本图像和所述第四样本图像,生成第五样本图像;
训练模块,用于根据所述第二样本图像、所述第三样本图像、所述第五样本图像及所述第一样本图像及对应的标注图像,对所述初始修复模型进行训练。
27.如权利要求26所述的装置,其中,所述第四生成模块,用于:
对所述第四样本图像进行上采样,以获取第六样本图像,其中,所述第六样本图像的分辨率与所述第一样本图像的分辨率相同;
根据所述第一图像与所述第六样本图像,生成所述第五样本图像。
28.如权利要求26所述的装置,其中,所述训练模块,用于:
根据所述第三样本图像与所述第二样本图像之间的差异,确定第一子损失;
根据所述第五样本图像与所述标注图像之间的差异,确定第二子损失;
根据所述第一子损失与所述第二子损失之和,确定模型损失;
根据所述模型损失,对所述初始修复模型进行训练。
29.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-14中任一项所述的方法。
30.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-14中任一项所述的方法。
31.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1-14中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311011024.2A CN116957985A (zh) | 2023-08-10 | 2023-08-10 | 图像修复方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311011024.2A CN116957985A (zh) | 2023-08-10 | 2023-08-10 | 图像修复方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116957985A true CN116957985A (zh) | 2023-10-27 |
Family
ID=88451223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311011024.2A Pending CN116957985A (zh) | 2023-08-10 | 2023-08-10 | 图像修复方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116957985A (zh) |
-
2023
- 2023-08-10 CN CN202311011024.2A patent/CN116957985A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113436100B (zh) | 用于修复视频的方法、装置、设备、介质和产品 | |
CN112785493B (zh) | 模型的训练方法、风格迁移方法、装置、设备及存储介质 | |
CN113033346B (zh) | 文本检测方法、装置和电子设备 | |
CN115880435B (zh) | 图像重建方法、模型训练方法、装置、电子设备和介质 | |
CN112802037A (zh) | 人像提取方法、装置、电子设备及存储介质 | |
CN114792355A (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN113657396B (zh) | 训练方法、译文展示方法、装置、电子设备以及存储介质 | |
CN114202648B (zh) | 文本图像矫正方法、训练方法、装置、电子设备以及介质 | |
CN115170815A (zh) | 视觉任务处理及模型训练的方法、装置、介质 | |
CN114445682A (zh) | 训练模型的方法、装置、电子设备、存储介质及产品 | |
CN113766117B (zh) | 一种视频去抖动方法和装置 | |
CN117746125A (zh) | 图像处理模型的训练方法、装置及电子设备 | |
CN114998897B (zh) | 生成样本图像的方法以及文字识别模型的训练方法 | |
CN113240780B (zh) | 生成动画的方法和装置 | |
CN116957985A (zh) | 图像修复方法、装置、电子设备和存储介质 | |
CN113947146A (zh) | 样本数据生成方法、模型训练方法、图像检测方法及装置 | |
CN114022357A (zh) | 图像重建方法、图像重建模型的训练方法、装置和设备 | |
CN114549303A (zh) | 图像显示、处理方法、装置、设备和存储介质 | |
CN113361719A (zh) | 基于图像处理模型的增量学习方法和图像处理方法 | |
CN114037630A (zh) | 一种模型训练及图像去雾方法、装置、设备及存储介质 | |
CN113657482A (zh) | 模型训练方法、目标检测方法、装置、设备以及存储介质 | |
CN112785674B (zh) | 纹理贴图的生成方法、渲染方法、装置、设备及存储介质 | |
CN113658277B (zh) | 立体匹配方法、模型训练方法、相关装置及电子设备 | |
CN116168442B (zh) | 样本图像生成方法、模型的训练方法、目标检测方法 | |
CN112561843B (zh) | 用于处理图像的方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |