CN111242874A - 图像修复的方法、装置、电子设备和存储介质 - Google Patents

图像修复的方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111242874A
CN111242874A CN202010087216.1A CN202010087216A CN111242874A CN 111242874 A CN111242874 A CN 111242874A CN 202010087216 A CN202010087216 A CN 202010087216A CN 111242874 A CN111242874 A CN 111242874A
Authority
CN
China
Prior art keywords
image
layer
decoder
restoration
repaired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010087216.1A
Other languages
English (en)
Other versions
CN111242874B (zh
Inventor
朱曼瑜
刘霄
文石磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010087216.1A priority Critical patent/CN111242874B/zh
Publication of CN111242874A publication Critical patent/CN111242874A/zh
Application granted granted Critical
Publication of CN111242874B publication Critical patent/CN111242874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种图像修复的方法、装置、电子设备和存储介质，该方法包括：接收待修复图像和待修复图像的信息，待修复的图像的信息指示待修复图像的待修复区域；将待修复图像和待修复图像的信息输入图像修复模型，得到对待修复图像修复后的修复图像，图像修复模型包括编码器、修复解码器和细化解码器，编码器用于对待修复图像进行编码处理，得到待修复图像的特征图，修复解码器用于根据特征图和待修复图像的信息对待修复图像进行修复处理，得到初始修复图像，细化解码器用于对初始修复图像进行细化修复处理，得到修复图像，且输出修复图像。本申请的图像修复方法中的图像修复模型从多个阶段对图像进行修复，提高了图像修复的准确度。

Description

图像修复的方法、装置、电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像修复的方法、装置、电子设备和存储介质。
背景技术
为了减少带宽资源，在传输图像的过程中，往往会对图像进行压缩、降低分辨率等处理，且图像在传输的过程中也可能受到非人为的扰动噪声，而上述对图像的处理和噪声扰动均会造成图像损坏。为了使得用户能够获取清晰、高质量的图像，对上述损坏的图像或低质量的图像进行图像修复是很有必要的。
现有技术中，通常基于深度学习卷积神经网络对图像进行修复，具体是从大规模的图像数据中去学习图像的语义信息，使用具有相近语义的像素块填充缺损部分。然而，现有技术中的卷积神经网络的深度学习的阶段少，导致图像的修复精度低。
发明内容
本申请提供一种图像修复的方法、装置、电子设备和存储介质，可以从多个阶段对图像进行修复，提高了图像修复的准确度。
本申请第一方面提供一种图像修复的方法，包括：
接收待修复图像和所述待修复图像的信息，所述待修复的图像的信息指示所述待修复图像的待修复区域；将所述待修复图像和所述待修复图像的信息输入图像修复模型，得到对所述待修复图像修复后的修复图像，所述图像修复模型包括编码器、修复解码器和细化解码器，所述编码器用于对所述待修复图像进行编码处理，得到所述待修复图像的特征图，所述修复解码器用于根据所述特征图和所述待修复图像的信息对所述待修复图像进行修复处理，得到初始修复图像，所述细化解码器用于对所述初始修复图像进行细化修复处理，得到所述修复图像；输出所述修复图像。
本实施例中的图像修复模型包括多个修复解码器，可以从多个阶段对图像进行修复处理，以提高图像的修复精度。
在一种可能的设计中，所述编码器、所述修复解码器的网络深度均为多层，且所述编码器和所述修复解码器的网络深度的层数相等；所述编码器的每层用于对所述待修复图像进行编码处理，得到所述编码器的每层对应的特征图，且将所述每层对应的特征图输出至所述修复解码器的对应层，所述待修复图像的特征图包括所述编码器的每层对应的特征图。
所述修复解码器的每层用于根据所述编码器的对应层的特征图和所述待修复图像的信息对所述待修复图像进行修复处理，得到所述修复解码器的每层对应的初始修复图像，且将所述每层对应的初始修复图像输出至所述细化解码器的对应层，所述初始修复图像包括所述修复解码器的每层对应的初始修复图像。
在一种可能的设计中，所述细化解码器的网络深度均为多层，且所述细化解码器和所述修复解码器的网络深度的层数相等；所述细化解码器的每层用于对所述修复解码器的对应层的初始修复图像进行细化修复处理，得到所述细化解码器的每层对应的修复图像，以得到所述修复图像，所述修复图像包括所述细化解码器的每层对应的修复图像。
在该设计中，每个细化解码器的网络深度为多层，且每个细化解码器和修复解码器的网络深度的层数相等。也就是说，本实施例中可以对初始修复图像进行多次细化修复处理，以提高图像修复的准确度。
在一种可能的设计中，所述细化解码器为多个，每个所述细化解码器的网络深度为多层，且每个所述细化解码器和所述修复解码器的网络深度的层数相等。
a、第k个细化解码器的每层用于对所述修复解码器的对应层的初始修复图像进行细化修复处理，得到所述第k个细化解码器的每层对应的修复图像，且将所述第k个细化解码器的每层对应的修复图像输出至第k+1个细化解码器的对应层，k为大于或者等于1的整数；
b、将k加1，执行步骤a，直至所述k为第一预设值，得到所述修复图像，所述修复图像包括每个所述细化解码器的每层的修复图像，所述第一预设值与所述细化解码器的个数相等。
在该设计中，可以设置多个细化修复模型，可以实现对修复图像的进一步细化修复，能够进一步提高图像修复的准确度。
在一种可能的设计中，所述编码器的每层用于对所述待修复图像进行编码处理，得到所述编码器的每层对应的特征图，且将所述每层对应的特征图输出至所述修复解码器的对应层，包括：
A、在所述编码器的第i层，对所述编码器的第i-1层的特征图进行编码处理，得到所述第i层的特征图，且将所述第i层的特征图输出至所述编码器的第i+1层以及所述修复解码器的第i+1层，所述第i层的特征图的尺寸是所述第i-1层的特征图的尺寸的a倍，所述i为大于或等于2，且小于第二预设值的整数，所述a大于0且小于1，所述第二预设值与所述修复解码器的网络深度的层数相等；
B、将i加1，执行步骤A，直至i加1等于所述第二预设值，执行步骤C；
C、对所述编码器的第i层的特征图进行编码处理，得到第i+1层的特征图，且将第i+1层的特征图输出至所述修复解码器的第i+1层。
在一种可能的设计中，所述修复解码器的每层用于根据所述编码器的对应层的特征图和所述待修复图像的信息对所述待修复图像进行修复处理，得到所述修复解码器的每层对应的初始修复图像，且将所述每层对应的初始修复图像输出至所述细化解码器的对应层，包括：
A'、在所述修复解码器的第i层，根据所述编码器的第i-1层的特征图、所述修复解码器的第i+1层的第一初始修复图像，以及所述待修复图像的信息，对所述待修复图像进行第一修复处理，得到所述编码器的第i层的第一初始修复图像，所述i为大于或等于1，且小于所述第二预设值的整数；
B'、将所述第i层的第一初始修复图像的特征图和所述编码器的第i-1层的特征图进行拼接，得到所述修复解码器的第i层的第二初始修复图像，所述第i层的第一初始修复图像的特征图的尺寸是第i-1层的第一初始修复图像的尺寸的1/a倍；
C'、对所述修复解码器的第i层的第二初始修复图像进行第二修复处理，得到所述修复解码器的第i层的初始修复图像，且将所述第i层的初始修复图像输出至所述修复解码器的第i-1层以及所述细化解码器的第i+1层；
D'、将i减1，执行上述步骤A'-C'，直至所述i为1。
在一种可能的设计中，所述细化解码器的每层用于对所述修复解码器的对应层的初始修复图像进行细化修复处理，得到所述细化解码器的每层对应的修复图像，以得到所述修复图像，包括：
A”、在所述细化解码器的第i层，对所述修复解码器的第i-1层的初始修复图像以及所述细化解码器的第i+1层的修复图像进行细化修复处理，得到所述细化解码器的第i层的修复图像，且将所述第i层的修复图像输出至所述细化解码器的第i-1层，所述i为大于等于2，且小于所述第二预设值的整数；
B”、将i减1，执行上述步骤A”，直至所述i为1。
在一种可能的设计中，所述编码处理包括部分卷积处理、批量归一化层处理和校对处理，所述第一修复处理包括转置卷积处理、所述批量归一化处理和所述校对处理，所述第二修复处理包括所述部分卷积处理和所述校对处理，所述细化修复处理包括卷积处理。
在一种可能的设计中，所述待修复图像的信息为所述待修复图像的掩膜。
本申请的第二方面提供一种图像修复的装置，包括：
收发模块，用于接收待修复图像和所述待修复图像的信息，所述待修复的图像的信息指示所述待修复图像的待修复区域。
处理模块，用于将所述待修复图像和所述待修复图像的信息输入图像修复模型，得到对所述待修复图像修复后的修复图像，且输出所述修复图像，所述图像修复模型包括编码器、修复解码器和细化解码器，所述编码器用于对所述待修复图像进行编码处理，得到所述待修复图像的特征图，所述修复解码器用于根据所述特征图和所述待修复图像的信息对所述待修复图像进行修复处理，得到初始修复图像，所述细化解码器用于对所述初始修复图像进行细化修复处理，得到所述修复图像。
可选的，所述编码器、所述修复解码器的网络深度均为多层，且所述编码器和所述修复解码器的网络深度的层数相等。
所述编码器的每层用于对所述待修复图像进行编码处理，得到所述编码器的每层对应的特征图，且将所述每层对应的特征图输出至所述修复解码器的对应层，所述待修复图像的特征图包括所述编码器的每层对应的特征图。
所述修复解码器的每层用于根据所述编码器的对应层的特征图和所述待修复图像的信息对所述待修复图像进行修复处理，得到所述修复解码器的每层对应的初始修复图像，且将所述每层对应的初始修复图像输出至所述细化解码器的对应层，所述初始修复图像包括所述修复解码器的每层对应的初始修复图像。
可选的，所述细化解码器的网络深度均为多层，且所述细化解码器和所述修复解码器的网络深度的层数相等。
所述细化解码器的每层用于对所述修复解码器的对应层的初始修复图像进行细化修复处理，得到所述细化解码器的每层对应的修复图像，以得到所述修复图像，所述修复图像包括所述细化解码器的每层对应的修复图像。
可选的，所述细化解码器为多个，每个所述细化解码器的网络深度为多层，且每个所述细化解码器和所述修复解码器的网络深度的层数相等。
a、第k个细化解码器的每层用于对所述修复解码器的对应层的初始修复图像进行细化修复处理，得到所述第k个细化解码器的每层对应的修复图像，且将所述第k个细化解码器的每层对应的修复图像输出至第k+1个细化解码器的对应层，k为大于或者等于1的整数；
b、将k加1，执行步骤a，直至所述k为第一预设值，得到所述修复图像，所述修复图像包括每个所述细化解码器的每层的修复图像，所述第一预设值与所述细化解码器的个数相等。
可选的，编码器的编码处理方式包括：
A、在所述编码器的第i层，对所述编码器的第i-1层的特征图进行编码处理，得到所述第i层的特征图，且将所述第i层的特征图输出至所述编码器的第i+1层以及所述修复解码器的第i+1层，所述第i层的特征图的尺寸是所述第i-1层的特征图的尺寸的a倍，所述i为大于或等于2，且小于第二预设值的整数，所述a大于0且小于1，所述第二预设值与所述修复解码器的网络深度的层数相等；
B、将i加1，执行步骤A，直至i加1等于所述第二预设值，执行步骤C；
C、对所述编码器的第i层的特征图进行编码处理，得到第i+1层的特征图，且将第i+1层的特征图输出至所述修复解码器的第i+1层。
可选的，修复解码器的修复处理方式包括：
A'、在所述修复解码器的第i层，根据所述编码器的第i-1层的特征图、所述修复解码器的第i+1层的第一初始修复图像，以及所述待修复图像的信息，对所述待修复图像进行第一修复处理，得到所述编码器的第i层的第一初始修复图像，所述i为大于或等于1，且小于所述第二预设值的整数；
B'、将所述第i层的第一初始修复图像的特征图和所述编码器的第i-1层的特征图进行拼接，得到所述修复解码器的第i层的第二初始修复图像，所述第i层的第一初始修复图像的特征图的尺寸是第i-1层的第一初始修复图像的尺寸的1/a倍；
C'、对所述修复解码器的第i层的第二初始修复图像进行第二修复处理，得到所述修复解码器的第i层的初始修复图像，且将所述第i层的初始修复图像输出至所述修复解码器的第i-1层以及所述细化解码器的第i+1层；
D'、将i减1，执行上述步骤A'-C'，直至所述i为1。
可选的，细化解码器的细化修复处理方式包括：
A”、在所述细化解码器的第i层，对所述修复解码器的第i-1层的初始修复图像以及所述细化解码器的第i+1层的修复图像进行细化修复处理，得到所述细化解码器的第i层的修复图像，且将所述第i层的修复图像输出至所述细化解码器的第i-1层，所述i为大于等于2，且小于所述第二预设值的整数；
B”、将i减1，执行上述步骤A”，直至所述i为1。
可选的，所述编码处理包括部分卷积处理、批量归一化层处理和校对处理，所述第一修复处理包括转置卷积处理、所述批量归一化处理和所述校对处理，所述第二修复处理包括所述部分卷积处理和所述校对处理，所述细化修复处理包括卷积处理。
可选的，所述待修复图像的信息为所述待修复图像的掩膜。
上述第二方面以及各可能的设计提供的图像修复的装置，其有益效果可以参见上述第一方面以及各可能的设计所带来的有益效果，在此不加赘述。
本申请的第三方面提供一种电子设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行上述第一方面的图像修复的方法。
本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现上述第一方面的图像修复的方法。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请提供的图像修复的方法的实施例的流程示意图；
图2为本申请提供的图像修复的方法适用的场景示意图；
图3为本申请提供的图像修复模型的结构示意图一；
图4为本申请提供的编码器的第i层的编码处理示意图；
图5为本申请提供的修复解码器的第i层的修复处理示意图；
图6为本申请提供的细化解码器的第i层的细化修复处理示意图；
图7为本申请提供的图像修复模型的结构示意图二；
图8为本申请提供的图像修复的装置的结构示意图；
图9为本申请提供的电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了便于对本申请提供的图像修复的方法进行说明，首先对现有技术中的图像修复的方法进行介绍。
现有技术中可以基于低维度特征的像素块的图像修复方法对图像进行修复，具体是在图像的低维度的特征空间中，寻找特征相似度最高的像素块填补图像中的缺损部分。但该种方法的缺点是无法学习图像中的语义信息，对于结构化较强的图片，例如人脸、场景、物体的修复效果较差。
为了解决上述技术问题，现有技术中还提供了一种基于深度学习卷积网络的图像修复方法，该方法虽然可以在高纬度的特征空间中对图像进行修复，但现有技术中的基于深度学习卷积网络的深度学习的阶段少，导致图像的修复精度低。
为了解决现有技术中的问题，本申请提供了一种图像修复的方法，在传统的基于深度学习卷积网络的架构上，采用多阶段的方式对图像进行修复，以提高图像的修复精度。
应理解，本申请中执行图像修复的方法的执行主体为图像修复的装置，该图像修复的装置可以为服务器、终端等具有处理能力的电子设备，该电子设备可由任意的软件和/或硬件实现。可选的，终端可以包括但不限于为移动终端或固定终端。移动终端设备包括但不限于手机、个人数字助理(Personal Digital Assistant，简称：PDA)、平板电脑、便携设备(例如，便携式计算机、袖珍式计算机或手持式计算机)等。固定终端包括但不限于台式计算机等。
下述结合具体的实施例对本申请提供的图像修复的方法进行说明。图1为本申请提供的图像修复的方法的实施例的流程示意图。如图1所示，本实施例提供的图像修复的方法可以包括：
S101，接收待修复图像和待修复图像的信息，待修复的图像的信息指示待修复图像的待修复区域。
本实施例中，用户可以将待修复图像和待修复图像的信息输入至图像修复的装置，以使图像修复的装置可以根据待修复图像的信息，对待修复图像进行修复。其中，待修复的图像的信息指示待修复图像的待修复区域。可选的，待修复图像的信息为待修复图像的掩膜(mask，mask标记了待修复图像中缺损的像素块，0表示缺损，1表示没有缺损)。
可选的，用户可以通过终端设备向图像修复的装置输入待修复图像和待修复图像的信息。对应的，图像修复的装置来自终端设备的接收待修复图像和待修复图像的信息。应理解，该终端设备具体可以参考上述的终端设备的相关描述。应理解，在该种场景下，图2为本申请提供的图像修复的方法适用的场景示意图。如图2所示，该场景中包括该终端设备和图像修复的装置。图2中以图像修复的装置为服务器为例进行示例说明。
S102，将待修复图像和待修复图像的信息输入图像修复模型，得到对待修复图像修复后的修复图像，图像修复模型包括编码器、修复解码器和细化解码器，编码器用于对待修复图像进行编码处理，得到待修复图像的特征图，修复解码器用于根据特征图和待修复图像的信息对待修复图像进行修复处理，得到初始修复图像，细化解码器用于对初始修复图像进行细化修复处理，得到修复图像。
本实施例中，图像修复的装置中存储有图像修复模型。其中，可以将待修复图像和待修复图像的信息输入图像修复模型，得到对待修复图像修复后的修复图像。应注意，本实施例中的图像修复模型中采用多个解码器，以从多个阶段对图像进行修复，以提高图像修复的精度。
其中，本实施例中的图像修复模型包括编码器(Encoder)、修复解码器(RecoveryDecoder)和细化解码器(Refinement Decoder)。具体的，编码器用于对待修复图像进行编码处理，得到待修复图像的特征图。编码器也可以理解为将待修复图像编码成一个抽象的表示，如将图像转化为向量，以提取向量的特征向量来表示待修复图像，也即本实施例中的特征图。
修复解码器用于根据特征图和待修复图像的信息对待修复图像进行修复处理，得到初始修复图像。应理解，本实施例中的修复解码器的目的是修复该待修复图像，其中的具体修复方式可以与现有技术中解码器的修复方式相同。与现有技术不同的是，本实施例中采用多阶段对图像进行修复，除了上述修复解码器外，本实施例中的图像修复模型还包括细化解码器，该细化解码器用于对初始修复图像进行细化修复处理，得到修复图像。应理解，上述细化修复处理可以为对初始修复图像进行卷积处理，以实现对初始修复图像的细化修复，进而得到修复图像。
S103，输出修复图像。
本实施例中，图像修复模型可以输出修复图像，进而图像修复的装置可以输出修复图像。可选的，图像修复的装置输出修复图像可以为显示修复图像或者将显示修复图像发送给终端设备，以使终端设备显示修复图像。
本实施例提供的图像修复的方法中，可以将待修复图像和待修复图像的信息输入至图像修复模型，与现有技术中的图像修复模型不同的是，本实施例中的图像修复模型包括多个修复解码器，可以从多个阶段对图像进行修复处理，以提高图像的修复精度。
在上述实施例的基础上，为了进一步提高图像修复的准确度，本实施例中编码器、修复解码器和细化解码器的网络深度均设置为多层，且编码器、修复解码器和细化解码器的网络深度的层数相等。下面结合图3对本申请中的采用的图像修复模型的结构，以及编码器、修复解码器和细化解码器进行说明。其中，图3为本申请提供的图像修复模型的结构示意图一。
如图3所示，编码器的每层用于对待修复图像进行编码处理，得到编码器的每层对应的特征图。应理解，编码器的第1层可以对待修复图像进行编码处理，以获取第1层的特征图；编码器的第2层可以对第1层的特征图进行编码处理，以获取第2层的特征图……以此类推，可以获取编码器的每层对应的特征图。应理解，本实施例中的待修复图像的特征图包括编码器的每层对应的特征图。可选的，本实施例中的编码器的上一层的特征图可以输入至下一层，以使得编码器的下一层对编码器的上一层的特征图进行编码处理，以得到编码器的下一层的特征图。
本实施例中编码器可以将每层对应的特征图输出至修复解码器的对应层。可选的，编码器的第1层对应的修复解码器的对应层可以为修复解码器的第1层或其他层。
在一种可能的实现方式中，本实施例中的编码器的第i层对应修复解码器的第i+1层。在该种场景下，编码器的每层的处理方式如下所示：
A、在编码器的第i层，对编码器的第i-1层的特征图进行编码处理，得到第i层的特征图，且将第i层的特征图输出至编码器的第i+1层以及修复解码器的第i+1层，第i层的特征图的尺寸是第i-1层的特征图的尺寸的a倍，i为大于或等于2，且小于预设值的整数，a大于0且小于1。
其中，在步骤A中，在编码器的第2层，可以对编码器的第1层的特征图进行编码处理，得到第2层的特征图，且可以将编码器的第2层的特征图输出至编码器的第3层，使得编码器的第3层执行A中的步骤，以获取编码器的第3层的特征图。本实施例中还可以将第2层的特征图输出至修复解码器的第3层，关于修复解码器如何根据该第2层的特征图进行处理具体见下述对修复解码器的相关描述。
在本实施例的步骤A-C中，i为大于或等于2，且小于第二预设值的整数。其中，第二预设值与修复解码器的网络深度的层数相等。若第二预设值为7，则编码器的网络深度的层数为7层，则在i为2-6时，均可以按照上述步骤A中的方式执行。例外的，当i为1时，本实施例中在编码器的第1层，可以对待修复图像进行编码处理，得到第1层的特征图，且可以将第1层的特征图输出至编码器的第2层以及修复解码器的第2层。
应理解，本实施例中的第i层的特征图的尺寸是第i-1层的特征图的尺寸的a倍，且a大于0且小于1。示例性的，如a为1/2，则编码器的第3层的特征图的尺寸是编码器的第2层的特征图的尺寸的1/2。
可选的，本实施例中的编码处理可以为依次进行部分卷积处理(Partialconvolution，PConv)、批量归一化层处理(Batch Normalization，BN)和校对层处理(Relu)。
B、将i加1，执行步骤A，直至i加1等于第二预设值，执行步骤C。
上述步骤A中的i为大于或等于1，且小于第二预设值的整数的情况，在该种情况下，如i为6，i加1为7，即第二预设值时，可以执行下述步骤C。
C、对编码器的第i层的特征图进行编码处理，得到第i+1层的特征图，且将第+1i层的特征图输出至修复解码器的第i+1层。
其中，该步骤C中，当i为6时，i加1为7，即第二预设值。可以对该编码器的第6层的特征图进行编码处理，得到第7层的特征图。鉴于第7层为编码器的最后一层，因此可以将该第7层的特征图输出至修复解码器的第7层。应理解，本实施例中的编码器的第7层的特征图即为上述实施例的待修复图像的特征图。
图4为本申请提供的编码器的第i层的编码处理示意图。如图4所示，对编码器的第i-1层的特征图依次经PConv、BN和Relu后，得到编码器的第i层的特征图(me l)输出至编码器的第i+1层以及修复解码器的第i+1层。
与上述编码器相对应的，本实施例中的修复解码器的每层用于根据编码器的对应层的特征图和待修复图像的信息对待修复图像进行修复处理，得到修复解码器的每层对应的初始修复图像。示例性的，如与修复解码器的第2层对应的编码器的对应层为编码器的第1层，则修复解码器的第2层可以根据编码器的第1层输出的特征图和待修复图像的信息，对待修复图像进行修复处理，具体是对修复解码器的第3层的待修复图像进行修复处理，以得到修复解码器的第2层对应的初始修复图像。应理解，上述实施例中的初始修复图像包括修复解码器的每层对应的初始修复图像。
进一步的，修复解码器可以将每层对应的初始修复图像输出至细化解码器的对应层，初始修复图像包括修复解码器的每层对应的初始修复图像。可选的，修复解码器的第1层对应的细化解码器的对应层可以为细化解码器的第1层或其他层。可选的，本实施例中的修复解码器的上一层的修复图像可以输入至下一层，以使得修复解码器的下一层对编码器的对应层的特征图和修复解码器的上一层的初始修复图像进行修复处理，以得到修复解码器的下一层的初始修复图像。
在一种可能的实现方式中，本实施例中的修复解码器的第i层对应细化解码器的第i+1层。在该种场景下，修复解码器的每层的处理方式如下所示：
A'、在修复解码器的第i层，根据编码器的第i-1层的特征图、修复解码器的第i+1层的第一初始修复图像，以及待修复图像的信息，对待修复图像进行第一修复处理，得到编码器的第i层的第一初始修复图像，i为大于或等于1，且小于第二预设值的整数。
如图3所示，本实施例中的编码器的第6层的特征图和第7层的特征图均输入至修复解码器的第7层，修复解码器按照第7层-第1层的顺序依次进行修复处理。
其中，在本实施例的步骤A'-D'中，i为大于或等于1，且小于第二预设值的整数。其中，该第二预设值与上述编码器中的i的第二预设值相等，如与修复解码器的网络深度的层数相等，均为7。示例性的，i为6时，可以根据编码器的第5层输出的特征图、修复解码器的第7层的第一初始修复图像，以及待修复图像的信息，对待修复图像进行第一修复处理，得到修复解码器的第6层的第一初始修复图像。可选的，本实施例中的第一修复处理为依次进行转置卷积处理(transpose convolution，DConv)、批量归一化处理和校对处理。应理解，当i为1时，编码器的第0层输出的特征图可以为待修复图像。
其中，当i为7时，鉴于修复解码器的第7层输入了来自编码器的第6层和第7层的特征图，因此在修复解码器的第7层，可以根据编码器的第6层输出的特征图、编码器的第7层输出的特征图，以及待修复图像的信息进行第一修复处理，得到修复解码器的第7层的第一初始修复图像。
B'、将第i层的第一初始修复图像的特征图和编码器的第i-1层的特征图进行拼接，得到修复解码器的第i层的第二初始修复图像，第i层的第一初始修复图像的特征图的尺寸是第i-1层的第一初始修复图像的尺寸的1/a倍。
本实施例中的修复解码器的第i层的第一初始修复图像的特征图的尺寸是第i-1层的第一初始修复图像的尺寸的1/a倍。示例性的，修复解码器的第6层的第一初始修复图像的特征图的尺寸是第7层的第一初始修复图像的尺寸的2倍。其中，本实施例中的修复解码器的第i层的第一初始修复图像的特征图的尺寸与编码器的第i-1层的特征图的尺寸相同，因此，本实施例中可以将修复解码器的第i层的第一初始修复图像的特征图和编码器的第i-1层的特征图进行拼接，得到修复解码器的第i层的第二初始修复图像。
示例性的，本实施例中的修复解码器的第6层的第一初始修复图像的特征图的尺寸与编码器的第5层的特征图的尺寸相同，因此，本实施例中可以将修复解码器的第6层的第一初始修复图像的特征图和编码器的第5层的特征图进行拼接，得到修复解码器的第6层的第二初始修复图像。
C'、对修复解码器的第i层的第二初始修复图像进行第二修复处理，得到修复解码器的第i层的初始修复图像，且将第i层的初始修复图像输出至修复解码器的第i-1层以及细化解码器的第i+1层。
可选的，本实施例中的第二修复处理可以为依次进行部分卷积处理和校对处理。本实施例中可以对修复解码器的第i层的第二初始修复图像进行第二修复处理，得到修复解码器的第i层的初始修复图像。应理解，本实施例中可以对修复解码器的每层的第二初始修复图像进行第二修复处理，得到修复解码器的每层的初始修复图像。
进一步的，本实施例中可以将第i层的初始修复图像输出至修复解码器的第i-1层以及细化解码器的第i+1层。鉴于本实施例中的i为大于或等于1，且小于第二预设值的整数，因此，修复编码器的第7层的初始修复图像可以输出至修复解码器的第6层，以及细化解码器的第7层。
D'、将i减1，执行上述步骤A'-C'，直至i为1。
应理解，根据上述的相关解释，修复解码器按照第7层-第1层的顺序依次进行修复处理。因此，本实施例中，按照上述的描述，可以在得到修复解码器的第7层的初始修复图像后，依次执行上述步骤A'-C'，得到第6层的初始修复图像、第5层的初始修复图像……，以及第1层的初始修复图像。应理解，本实施例中的修复解码器的第1层的初始修复图像即为，即上述实施例的待修复图像的初始修复图像。
图5为本申请提供的修复解码器的第i层的修复处理示意图。如图5所示，对修复解码器的第i层的初始修复图像(rl)依次经DConv、BN和Relu后，得到修复解码器的第i层的第一初始修复图像(mr l)，该第一初始修复图像的特征与编码器的第i-1层的特征图融合后，可以获取修复解码器的第i层的第二初始修复图像(mr l-1)，进而该第二初始修复图像(mr l-1)经过PConv、Relu后，可以得到修复解码器的第i-1层的初始修复图像(rl-1)。
与上述的编码器和修复解码相对应的，本实施例中的细化解码器的每层用于对修复解码器的对应层的初始修复图像进行细化修复处理，得到细化解码器的每层对应的修复图像，以得到修复图像。其中，修复图像包括细化解码器的每层对应的修复图像。可选的，本实施例中的细化解码器的上一层的修复图像可以输入至下一层，以使得细化解码器的下一层对修复解码器的对应层的初始修复图像和细化解码器的上一层的修复图像进行细化修复处理，以得到细化解码器的下一层的修复图像。
在一种可能的实现方式中，本实施例中的修复解码器的第i层对应细化解码器的第i+1层。在该种场景下，细化解码器的每层的处理方式如下所示：
A”、在细化解码器的第i层，对修复解码器的第i-1层的初始修复图像以及细化解码器的第i+1层的修复图像进行细化修复处理，得到细化解码器的第i层的修复图像，且将第i层的修复图像输出至细化解码器的第i-1层，i为大于等于2，且小于第二预设值的整数。
如图3所示，本实施例中的修复解码器的第6层的特征图和第7层的初始修复图像均输入至细化解码器的第7层，细化解码器按照第7层-第1层的顺序依次进行修复处理。
其中，在本实施例的步骤A”-B”中，i为大于等于2，且小于第二预设值的整数。该第二预设值与上述编码器中的i的第二预设值相等，如与细化解码器的网络深度的层数相等，均为7。示例性的，i为6时，可以对修复解码器的第5层输出的初始修复图像进行细化修复处理，以得到细化解码器的第6层的修复图像。应理解，当i为7时，可以对修复解码器的第6层输出的初始修复图像以及修复解码器的第7层输出的初始修复图像进行细化修复处理，以得到细化解码器的第7层的修复图像。
其中，当i为1时，本实施例中可以对细化解码器的第2层输出的修复图像进行细化修复处理，以得到细化解码器的第1层的修复图像，该细化解码器的第1层的修复图像即为，即上述实施例的待修复图像的修复图像，即为图像修复模型输出的修复图像。
可选的，本实施例中的细化修复处理为卷积处理(convolution，Conv)。
B”、将i减1，执行上述步骤A”，直至i为1。
应理解，根据上述的相关解释，修复解码器按照第7层-第1层的顺序依次进行修复处理。因此，本实施例中，按照上述的描述，可以在得到细化解码器的第7层的修复图像后，依次执行上述步骤A'-C'，得到第6层的修复图像、第5层的修复图像……以及第1层的修复图像。
本实施例中，图像修复模型的每个阶段，如编码器、修复解码器和细化解码器的神经网络均为多层，使得本实施例中的图像修复模型可以在多尺度上对图像进行修复，进一步提高了图像修复的准确度。
图6为本申请提供的细化解码器的第i层的细化修复处理示意图。如图6所示，对细化解码器的第i层的修复图像(fl)经Conv后，得到细化解码器的第i-1层的修复图像(fl-1)。
在上述实施例的基础上，为了进一步提高图像修复的准确度，本实施例中可以设置多个细化解码器。其中，每个细化解码器的网络深度为多层，且每个细化解码器和修复解码器的网络深度的层数相等。也就是说，本实施例中可以对初始修复图像进行多次细化修复处理，以提高图像修复的准确度。
图7为本申请提供的图像修复模型的结构示意图二。本实施例中在细化解码器为多个时，修复解码器将每层对应的初始修复图像输出至第1个细化解码器的对应层。其中，修复解码器将每层对应的初始修复图像输出至第1个细化解码器的对应层的具体方式可以参照上述修复解码器将每层对应的初始修复图像输出至细化解码器的对应层的相关描述。
其中，每个细化解码器的每层的处理方式具体如下所示：
a、第k个细化解码器的每层用于对修复解码器的对应层的初始修复图像进行细化修复处理，得到第k个细化解码器的每层对应的修复图像，且将第k个细化解码器的每层对应的修复图像输出至第k+1个细化解码器的对应层，k为大于或者等于1的整数。
在步骤a中，示例性的，如k为1时，第1个细化解码器的每层对初始修复图像的处理方式与上述细化解码器的每层对初始修复图像的处理方式相同，具体可以参照上述A”-B”的相关描述。与上述中不同的是，本实施例中可以将第k个细化解码器的每层对应的修复图像输出至第k+1个细化解码器的对应层。
应理解，第k个细化解码器的第i层与第k+1个细化解码器的对应层为第k+1个细化解码器的第i+1层。示例性的，如本实施例中可以将第k个细化解码器的第1层对应的修复图像输出至第k+1个细化解码器的第2层。其中，第k+1个细化解码器的每层对初始修复图像的处理方式可以为：
第k+1个细化解码器的第7层对第k个细化解码器的第6层和第7层输出的修复图像进行细化修复处理，得到第k+1个细化解码器的第7层的修复图像，且将该第7层的修复图像输出至第k+1个细化解码器的第6层。第6层对第k个细化解码器的第5层和第k+1个细化解码器的第7层输出的修复图像进行细化修复处理，得到第k+1个细化解码器的第5层的修复图像……，依次类推，得到第k+1个细化解码器的第2层的修复图像。值得注意的是，第k+1个细化解码器的第1层对第k个细化解码器的第0层和第k+1个细化解码器的第2层输出的修复图像进行细化修复处理，得到第k+1个细化解码器的第1层的修复图像，其中第k个细化解码器的第0层的修复图像即为第k个细化解码器的修复图像。
b、将k加1，执行步骤a，直至k为第一预设值，得到修复图像，修复图像包括每个细化解码器的每层的修复图像。
本实施例中，k的第一预设值可以与上述的i的第二预设值不同。如图7中以k为2，即细化解码器为两个为例进行示例说明。应理解，本实施例中当k为第一预设值时，该第k个细化解码器的第1层输出的修复图像即为图像修复模型输出的修复图像。
本实施例中，可以设置多个细化修复模型，可以实现对修复图像的进一步细化修复，能够进一步提高图像修复的准确度。
图8为本申请提供的图像修复的装置的结构示意图。如图8所示，该图像修复的装置800包括：收发模块801和处理模块802。
收发模块801，用于接收待修复图像和待修复图像的信息，待修复的图像的信息指示待修复图像的待修复区域。
处理模块802，用于将待修复图像和待修复图像的信息输入图像修复模型，得到对待修复图像修复后的修复图像，且输出修复图像，图像修复模型包括编码器、修复解码器和细化解码器，编码器用于对待修复图像进行编码处理，得到待修复图像的特征图，修复解码器用于根据特征图和待修复图像的信息对待修复图像进行修复处理，得到初始修复图像，细化解码器用于对初始修复图像进行细化修复处理，得到修复图像。
可选的，编码器、修复解码器的网络深度均为多层，且编码器和修复解码器的网络深度的层数相等。
编码器的每层用于对待修复图像进行编码处理，得到编码器的每层对应的特征图，且将每层对应的特征图输出至修复解码器的对应层，待修复图像的特征图包括编码器的每层对应的特征图；
修复解码器的每层用于根据编码器的对应层的特征图和待修复图像的信息对待修复图像进行修复处理，得到修复解码器的每层对应的初始修复图像，且将每层对应的初始修复图像输出至细化解码器的对应层，初始修复图像包括修复解码器的每层对应的初始修复图像。
可选的，细化解码器的网络深度均为多层，且细化解码器和修复解码器的网络深度的层数相等。
细化解码器的每层用于对修复解码器的对应层的初始修复图像进行细化修复处理，得到细化解码器的每层对应的修复图像，以得到修复图像，修复图像包括细化解码器的每层对应的修复图像。
可选的，细化解码器为多个，每个细化解码器的网络深度为多层，且每个细化解码器和修复解码器的网络深度的层数相等。
a、第k个细化解码器的每层用于对修复解码器的对应层的初始修复图像进行细化修复处理，得到第k个细化解码器的每层对应的修复图像，且将第k个细化解码器的每层对应的修复图像输出至第k+1个细化解码器的对应层，k为大于或者等于1的整数；
b、将k加1，执行步骤a，直至k为第一预设值，得到修复图像，修复图像包括每个细化解码器的每层的修复图像，第一预设值与细化解码器的个数相等。
可选的，编码器的编码处理方式包括：
A、在编码器的第i层，对编码器的第i-1层的特征图进行编码处理，得到第i层的特征图，且将第i层的特征图输出至编码器的第i+1层以及修复解码器的第i+1层，第i层的特征图的尺寸是第i-1层的特征图的尺寸的a倍，i为大于或等于2，且小于第二预设值的整数，a大于0且小于1，第二预设值与修复解码器的网络深度的层数相等；
B、将i加1，执行步骤A，直至i加1等于第二预设值，执行步骤C；
C、对编码器的第i层的特征图进行编码处理，得到第i+1层的特征图，且将第i+1层的特征图输出至修复解码器的第i+1层。
可选的，修复解码器的修复处理方式包括：
A'、在修复解码器的第i层，根据编码器的第i-1层的特征图、修复解码器的第i+1层的第一初始修复图像，以及待修复图像的信息，对待修复图像进行第一修复处理，得到编码器的第i层的第一初始修复图像，i为大于或等于1，且小于第二预设值的整数；
B'、将第i层的第一初始修复图像的特征图和编码器的第i-1层的特征图进行拼接，得到修复解码器的第i层的第二初始修复图像，第i层的第一初始修复图像的特征图的尺寸是第i-1层的第一初始修复图像的尺寸的1/a倍；
C'、对修复解码器的第i层的第二初始修复图像进行第二修复处理，得到修复解码器的第i层的初始修复图像，且将第i层的初始修复图像输出至修复解码器的第i-1层以及细化解码器的第i+1层；
D'、将i减1，执行上述步骤A'-C'，直至i为1。
可选的，细化解码器的细化修复处理方式包括：
A”、在细化解码器的第i层，对修复解码器的第i-1层的初始修复图像以及细化解码器的第i+1层的修复图像进行细化修复处理，得到细化解码器的第i层的修复图像，且将第i层的修复图像输出至细化解码器的第i-1层，i为大于等于2，且小于第二预设值的整数；
B”、将i减1，执行上述步骤A”，直至i为1。
可选的，编码处理包括部分卷积处理、批量归一化层处理和校对处理，第一修复处理包括转置卷积处理、批量归一化处理和校对处理，第二修复处理包括部分卷积处理和校对处理，细化修复处理包括卷积处理。
可选的，待修复图像的信息为待修复图像的掩膜。
本实施例提供的图像修复的装置与上述图像修复的方法实现的原理和技术效果类似，在此不作赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
图9为本申请提供的电子设备的结构示意图，如图9所示，是根据本申请实施例的图像修复的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像修复的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像修复的方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像修复的方法对应的程序指令/模块。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及样本处理，即实现上述方法实施例中的图像修复的方法。
存储器902可以包括存储程序区和存储样本区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储样本区可存储根据用于执行图像修复的方法的电子设备的使用所创建的样本等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至用于执行图像修复的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像修复的方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与用于执行图像修复的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收样本和指令，并且将样本和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或样本提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或样本提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为样本服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字样本通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种图像修复的方法，其特征在于，包括：
接收待修复图像和所述待修复图像的信息，所述待修复的图像的信息指示所述待修复图像的待修复区域；
将所述待修复图像和所述待修复图像的信息输入图像修复模型，得到对所述待修复图像修复后的修复图像，所述图像修复模型包括编码器、修复解码器和细化解码器，所述编码器用于对所述待修复图像进行编码处理，得到所述待修复图像的特征图，所述修复解码器用于根据所述特征图和所述待修复图像的信息对所述待修复图像进行修复处理，得到初始修复图像，所述细化解码器用于对所述初始修复图像进行细化修复处理，得到所述修复图像；
输出所述修复图像。
2.根据权利要求1所述的方法，其特征在于，所述编码器、所述修复解码器的网络深度均为多层，且所述编码器和所述修复解码器的网络深度的层数相等；
所述编码器的每层用于对所述待修复图像进行编码处理，得到所述编码器的每层对应的特征图，且将所述每层对应的特征图输出至所述修复解码器的对应层，所述待修复图像的特征图包括所述编码器的每层对应的特征图；
所述修复解码器的每层用于根据所述编码器的对应层的特征图和所述待修复图像的信息对所述待修复图像进行修复处理，得到所述修复解码器的每层对应的初始修复图像，且将所述每层对应的初始修复图像输出至所述细化解码器的对应层，所述初始修复图像包括所述修复解码器的每层对应的初始修复图像。
3.根据权利要求2所述的方法，其特征在于，所述细化解码器的网络深度为多层，且所述细化解码器和所述修复解码器的网络深度的层数相等；
所述细化解码器的每层用于对所述修复解码器的对应层的初始修复图像进行细化修复处理，得到所述细化解码器的每层对应的修复图像，以得到所述修复图像，所述修复图像包括所述细化解码器的每层对应的修复图像。
4.根据权利要求2所述的方法，其特征在于，所述细化解码器为多个，每个所述细化解码器的网络深度为多层，且每个所述细化解码器和所述修复解码器的网络深度的层数相等；
a、第k个细化解码器的每层用于对所述修复解码器的对应层的初始修复图像进行细化修复处理，得到所述第k个细化解码器的每层对应的修复图像，且将所述第k个细化解码器的每层对应的修复图像输出至第k+1个细化解码器的对应层，k为大于或者等于1的整数；
b、将k加1，执行步骤a，直至所述k为第一预设值，得到所述修复图像，所述修复图像包括每个所述细化解码器的每层的修复图像，所述第一预设值与所述细化解码器的个数相等。
5.根据权利要求3或4所述的方法，其特征在于，所述编码器的每层用于对所述待修复图像进行编码处理，得到所述编码器的每层对应的特征图，且将所述每层对应的特征图输出至所述修复解码器的对应层，包括：
A、在所述编码器的第i层，对所述编码器的第i-1层的特征图进行编码处理，得到所述第i层的特征图，且将所述第i层的特征图输出至所述编码器的第i+1层以及所述修复解码器的第i+1层，所述第i层的特征图的尺寸是所述第i-1层的特征图的尺寸的a倍，所述i为大于或等于2，且小于第二预设值的整数，所述a大于0且小于1，所述第二预设值与所述修复解码器的网络深度的层数相等；
B、将i加1，执行步骤A，直至i加1等于所述第二预设值，执行步骤C；
C、对所述编码器的第i层的特征图进行编码处理，得到第i+1层的特征图，且将第i+1层的特征图输出至所述修复解码器的第i+1层。
6.根据权利要求5所述的方法，其特征在于，所述修复解码器的每层用于根据所述编码器的对应层的特征图和所述待修复图像的信息对所述待修复图像进行修复处理，得到所述修复解码器的每层对应的初始修复图像，且将所述每层对应的初始修复图像输出至所述细化解码器的对应层，包括：
A'、在所述修复解码器的第i层，根据所述编码器的第i-1层的特征图、所述修复解码器的第i+1层的第一初始修复图像，以及所述待修复图像的信息，对所述待修复图像进行第一修复处理，得到所述编码器的第i层的第一初始修复图像，所述i为大于或等于1，且小于所述第二预设值的整数；
B'、将所述第i层的第一初始修复图像的特征图和所述编码器的第i-1层的特征图进行拼接，得到所述修复解码器的第i层的第二初始修复图像，所述第i层的第一初始修复图像的特征图的尺寸是第i-1层的第一初始修复图像的尺寸的1/a倍；
C'、对所述修复解码器的第i层的第二初始修复图像进行第二修复处理，得到所述修复解码器的第i层的初始修复图像，且将所述第i层的初始修复图像输出至所述修复解码器的第i-1层以及所述细化解码器的第i+1层；
D'、将i减1，执行上述步骤A'-C'，直至所述i为1。
7.根据权利要求6所述的方法，其特征在于，所述细化解码器的每层用于对所述修复解码器的对应层的初始修复图像进行细化修复处理，得到所述细化解码器的每层对应的修复图像，以得到所述修复图像，包括：
A”、在所述细化解码器的第i层，对所述修复解码器的第i-1层的初始修复图像以及所述细化解码器的第i+1层的修复图像进行细化修复处理，得到所述细化解码器的第i层的修复图像，且将所述第i层的修复图像输出至所述细化解码器的第i-1层，所述i为大于等于2，且小于所述第二预设值的整数；
B”、将i减1，执行上述步骤A”，直至所述i为1。
8.根据权利要求6所述的方法，其特征在于，所述编码处理包括部分卷积处理、批量归一化层处理和校对处理，所述第一修复处理包括转置卷积处理、所述批量归一化处理和所述校对处理，所述第二修复处理包括所述部分卷积处理和所述校对处理，所述细化修复处理包括卷积处理。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述待修复图像的信息为所述待修复图像的掩膜。
10.一种图像修复的装置，其特征在于，包括：
收发模块，用于接收待修复图像和所述待修复图像的信息，所述待修复的图像的信息指示所述待修复图像的待修复区域；
处理模块，用于将所述待修复图像和所述待修复图像的信息输入图像修复模型，得到对所述待修复图像修复后的修复图像，且输出所述修复图像，所述图像修复模型包括编码器、修复解码器和细化解码器，所述编码器用于对所述待修复图像进行编码处理，得到所述待修复图像的特征图，所述修复解码器用于根据所述特征图和所述待修复图像的信息对所述待修复图像进行修复处理，得到初始修复图像，所述细化解码器用于对所述初始修复图像进行细化修复处理，得到所述修复图像。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
CN202010087216.1A 2020-02-11 2020-02-11 图像修复的方法、装置、电子设备和存储介质 Active CN111242874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010087216.1A CN111242874B (zh) 2020-02-11 2020-02-11 图像修复的方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010087216.1A CN111242874B (zh) 2020-02-11 2020-02-11 图像修复的方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111242874A true CN111242874A (zh) 2020-06-05
CN111242874B CN111242874B (zh) 2023-08-29

Family

ID=70879805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010087216.1A Active CN111242874B (zh) 2020-02-11 2020-02-11 图像修复的方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111242874B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116535A (zh) * 2020-08-11 2020-12-22 西安交通大学 一种基于并行自编码器的图像补全方法
CN113096037A (zh) * 2021-03-31 2021-07-09 北京交通大学 一种基于深度学习的轮对光条图像的修复方法
CN113298734A (zh) * 2021-06-22 2021-08-24 云南大学 一种基于混合空洞卷积的图像修复方法及***
CN113538273A (zh) * 2021-07-13 2021-10-22 荣耀终端有限公司 图像处理方法及图像处理装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI233751B (en) * 2000-12-20 2005-06-01 Pts Corp Method of filling exposed areas in digital images
CN107918791A (zh) * 2017-11-15 2018-04-17 深圳大学 二维码复制过程中的二维码生成、解码方法及装置
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN108171663A (zh) * 2017-12-22 2018-06-15 哈尔滨工业大学 基于特征图最近邻替换的卷积神经网络的图像填充***
CN108460746A (zh) * 2018-04-10 2018-08-28 武汉大学 一种基于结构和纹理分层预测的图像修复方法
CN108537753A (zh) * 2018-04-10 2018-09-14 武汉大学 一种基于上下文特征空间约束的图像修复方法
CN109215123A (zh) * 2018-09-20 2019-01-15 电子科技大学 基于cGAN的无限地形生成方法、***、存储介质和终端
CN109584252A (zh) * 2017-11-03 2019-04-05 杭州依图医疗技术有限公司 基于深度学习的ct影像的肺叶段分割方法、装置
CN109584178A (zh) * 2018-11-29 2019-04-05 腾讯科技（深圳）有限公司 图像修复方法、装置和存储介质
CN109816615A (zh) * 2019-03-06 2019-05-28 腾讯科技（深圳）有限公司 图像处理方法、装置、设备以及存储介质
CN110648294A (zh) * 2019-09-19 2020-01-03 北京百度网讯科技有限公司 图像修复方法、装置及电子设备
CN110689499A (zh) * 2019-09-27 2020-01-14 北京工业大学 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法
CN110728639A (zh) * 2019-09-29 2020-01-24 三星电子（中国）研发中心 图片修复方法及***
CN110766623A (zh) * 2019-10-12 2020-02-07 北京工业大学 一种基于深度学习的立体图像修复方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI233751B (en) * 2000-12-20 2005-06-01 Pts Corp Method of filling exposed areas in digital images
CN109584252A (zh) * 2017-11-03 2019-04-05 杭州依图医疗技术有限公司 基于深度学习的ct影像的肺叶段分割方法、装置
CN107918791A (zh) * 2017-11-15 2018-04-17 深圳大学 二维码复制过程中的二维码生成、解码方法及装置
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN108171663A (zh) * 2017-12-22 2018-06-15 哈尔滨工业大学 基于特征图最近邻替换的卷积神经网络的图像填充***
CN108460746A (zh) * 2018-04-10 2018-08-28 武汉大学 一种基于结构和纹理分层预测的图像修复方法
CN108537753A (zh) * 2018-04-10 2018-09-14 武汉大学 一种基于上下文特征空间约束的图像修复方法
CN109215123A (zh) * 2018-09-20 2019-01-15 电子科技大学 基于cGAN的无限地形生成方法、***、存储介质和终端
CN109584178A (zh) * 2018-11-29 2019-04-05 腾讯科技（深圳）有限公司 图像修复方法、装置和存储介质
CN109816615A (zh) * 2019-03-06 2019-05-28 腾讯科技（深圳）有限公司 图像处理方法、装置、设备以及存储介质
CN110648294A (zh) * 2019-09-19 2020-01-03 北京百度网讯科技有限公司 图像修复方法、装置及电子设备
CN110689499A (zh) * 2019-09-27 2020-01-14 北京工业大学 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法
CN110728639A (zh) * 2019-09-29 2020-01-24 三星电子（中国）研发中心 图片修复方法及***
CN110766623A (zh) * 2019-10-12 2020-02-07 北京工业大学 一种基于深度学习的立体图像修复方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGYU LIU， BIN JIANG， YI XIAO，CHAO YANG: "Coherent Semantic Attention for Image Inpainting" *
王殿伟，陈鹏，李大湘，刘颖，许志杰: "融合纹理信息的深度图像修复" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116535A (zh) * 2020-08-11 2020-12-22 西安交通大学 一种基于并行自编码器的图像补全方法
CN112116535B (zh) * 2020-08-11 2022-08-16 西安交通大学 一种基于并行自编码器的图像补全方法
CN113096037A (zh) * 2021-03-31 2021-07-09 北京交通大学 一种基于深度学习的轮对光条图像的修复方法
CN113096037B (zh) * 2021-03-31 2023-08-22 北京交通大学 一种基于深度学习的轮对光条图像的修复方法
CN113298734A (zh) * 2021-06-22 2021-08-24 云南大学 一种基于混合空洞卷积的图像修复方法及***
CN113298734B (zh) * 2021-06-22 2022-05-06 云南大学 一种基于混合空洞卷积的图像修复方法及***
CN113538273A (zh) * 2021-07-13 2021-10-22 荣耀终端有限公司 图像处理方法及图像处理装置
CN113538273B (zh) * 2021-07-13 2023-09-19 荣耀终端有限公司 图像处理方法及图像处理装置

Also Published As

Publication number Publication date
CN111242874B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN111242874B (zh) 图像修复的方法、装置、电子设备和存储介质
CN110648294B (zh) 图像修复方法、装置及电子设备
CN111182254B (zh) 一种视频处理方法、装置、设备及存储介质
JP7395686B2 (ja) 画像処理方法、画像処理モデルのトレーニング方法、装置及び記憶媒体
US11748895B2 (en) Method and apparatus for processing video frame
CN113590858B (zh) 目标对象的生成方法、装置、电子设备以及存储介质
CN110797005B (zh) 韵律预测方法、装置、设备和介质
CN112365880A (zh) 语音合成方法、装置、电子设备及存储介质
US20210216805A1 (en) Image recognizing method, apparatus, electronic device and storage medium
CN110648293B (zh) 图像修复方法、装置及电子设备
CN114549935A (zh) 信息生成方法和装置
JP7124153B2 (ja) テキストコンテンツの認識方法、装置、電子機器及びコンピュータプログラム製品
US11983849B2 (en) Image filling method and apparatus, device, and storage medium
CN110767212B (zh) 一种语音处理方法、装置和电子设备
CN115376211B (zh) 唇形驱动方法、唇形驱动模型的训练方法、装置及设备
CN111767833A (zh) 模型生成方法、装置、电子设备及存储介质
CN113901909A (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
KR102463854B1 (ko) 이미지 처리 방법, 장치, 기기 및 저장매체
CN112508964B (zh) 图像分割方法、装置、电子设备和存储介质
CN112232089B (zh) 语义表示模型的预训练方法、设备和存储介质
KR20210136140A (ko) 얼굴 인식 모델의 훈련 방법, 장치, 전자설비 및 저장 매체
CN113553857B (zh) 文本处理方法和文本处理装置
CN113177483A (zh) 视频目标分割方法、装置、设备以及存储介质
CN111680598B (zh) 人脸识别模型处理方法、装置、设备和存储介质
CN111930356B (zh) 用于确定图片格式的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant