CN115965523A - 图像补全方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像补全方法、装置、电子设备及计算机可读存储介质，方法包括：基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像；根据缩放后图像对待补全区域进行图像填充处理，得到填充后图像；对填充后图像进行图像补全处理，得到补全后图像。由于本发明实施例中将待补全图像进行缩放后，对待补全区域进行填充，相当于对图像补全过程中需要参考的信息进行了扩充，在对填充后图像进行图像补全时，可以获得更多的图像信息，增强补全得到的图像的自然程度，提升图像补全效率。

Description

图像补全方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及图像补全方法、装置、电子设备及计算机可读存储介质。

背景技术

图像补全技术，即根据图像自身或者图像库信息，对图像中缺失的区域进行恢复补全，使得补全后的图片看起来非常自然。

但是当前的图像补全方法，都是针对图像中的小区域进行恢复。当需要补全的区域相对于整张图像的范围比较大时，图像补全技术恢复的难度比较大，因为在恢复缺失区域时可参考的其他纹理和颜色信息较少，图像补全时可参考的信息就会少很多。这会使得在缺失区域恢复出来的信息非常不自然，恢复后的图像效果很差。

发明内容

本发明实施例提供图像补全方法、装置、电子设备及计算机可读存储介质，可以对图像补全过程中需要参考的信息进行扩充，增强补全得到的图像的自然程度，提升图像补全效率。

本发明实施例提供一种图像补全方法，包括：

基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像；

根据缩放后图像对待补全区域进行图像填充处理，得到填充后图像；

对填充后图像进行图像补全处理，得到补全后图像

相应的，本发明实施例还提供一种图像补全装置，包括：

缩放单元，用于基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像；

填充单元，用于根据缩放后图像对待补全区域进行图像填充处理，得到填充后图像；

补全单元，对填充后图像进行图像补全处理，得到补全后图像。

相应的，本发明实施例还提供一种电子设备，电子设备包括存储器、处理器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序以实现本发明实施例所提供的任一种图像补全方法中的步骤。

此外，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行以实现本发明实施例所提供的任一种图像补全方法中的步骤。

采用本发明实施例的方案，可以基于待补全图像中的待补全区域进行图像缩放处理后，再根据缩放后的图像进行图像填充，在填充后图像的基础上进行图像补全，得到补全后图像。由于本发明实施例中将待补全图像进行缩放后，对待补全区域进行填充，相当于对图像补全过程中需要参考的信息进行了扩充，因此，在对填充后图像进行图像补全时，可以获得更多的图像信息，增强补全得到的图像的自然程度，提升图像补全效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像补全方法的场景示意图；

图2是本发明实施例提供的图像补全方法的流程图；

图3是本发明实施例提供的图像补全过程中的图像变化示意图；

图4是本发明实施例提供的图像补全方法的流程示意图；

图5是本发明实施例提供的图像补全装置的结构示意图；

图6是本发明实施例提供的图像补全装置的另一结构示意图；

图7是本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种图像补全方法、装置、电子设备及计算机可读存储介质。具体地，本发明实施例提供适用于图像补全装置的图像补全方法，该图像补全装置可以集成在电子设备中。

该电子设备可以为终端等设备，包括但不限于移动终端和固定终端，例如移动终端包括但不限于智能手机、智能手表、平板电脑、笔记本电脑、智能车载等，其中，固定终端包括但不限于台式电脑、智能电视等。

该电子设备还可以为服务器等设备，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。

本发明实施例的图像补全方法，可以由终端或服务器实现，也可以由终端和服务器共同实现。

下面以终端和服务器共同实现该图像补全方法为例，对该方法进行说明。

如图1所示，本发明实施例提供的图像补全***包括终端10和服务器20等；终端10与服务器20之间通过网络连接，比如，通过有线或无线网络连接等，其中，终端10可以作为用户向服务器20发送需要进行图像补全的待补全图像的终端存在。

其中，终端10可以为用户上传需要进行图像补全的图像的终端，用于向服务器20发送待补全图像。

服务器20，可以用于获取待补全图像，基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像，根据缩放后图像对待补全区域进行图像填充处理，得到填充后图像，对填充后图像进行图像补全处理，得到补全后图像。

服务器20可以将补全后图像发送给终端10，以使得终端10做进一步处理。

以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本发明实施例将从图像补全装置的角度进行描述，该图像补全装置具体可以集成在服务器或终端中。

如图2所示，本实施例的图像补全方法的具体流程可以如下：

201、基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像。

其中，待补全图像是需要进行图像补全处理的图像，例如某些存在区域缺失的图像、不清晰的图像等等。

可以理解的是，待补全区域为待补全图像中需要具体进行补全的图像区域，例如在存在区域缺失的图像中，待补全区域可以是缺失的区域；在不清晰的图像中，待补全区域可以是由图像中模糊的像素点组成的区域，等等。

在计算机图像处理和计算机图形学中，图像缩放(image scaling)处理是指对数字图像的大小进行调整的过程。图像缩放是一种非平凡的过程，需要在处理效率以及结果的平滑度(smoothness)和清晰度(sharpness)上做一个权衡。

在实际应用过程中，可以根据待补全区域的属性参数判断是否需要对待补全图像进行图像缩放处理。待补全区域的属性参数可以包括但不限于待补全区域的区域长度、区域宽度和/或区域面积等等。

例如，如果待补全区域的区域面积大于预先设定的面积阈值，执行对待补全图像进行图像缩放处理，得到缩放后图像的步骤；如果待补全区域的区域面积不大于预先设定的面积阈值，可以直接对待补全图像进行图像补全，将补全后的图像作为目标补全图像，等等。

在实际应用过程中，如果待补全区域的形状规则，在区域数据满足条件时，可以不具体计算区域面积，只根据区域数据进行判断。例如，待补全区域为矩形区域，此时，步骤“基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像”之前，本发明实施例提供的图像补全方法还可以包括：

获取待补全区域的目标长度和目标宽度；

若目标长度与待补全图像的长度的比值大于第一预设阈值，且目标宽度与待补全图像的宽度的比值大于第二预设阈值，则触发基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像的操作。

其中，待补全区域的目标长度和目标宽度属于待补全区域的区域数据。第一预设阈值和第二预设阈值可以是具体的长度或者宽度的数值，也可以是百分比等比例数值。

例如，第一预设阈值可以是待补全图像的长度的50％或者1/2，第二预设阈值可以是待补全图像的长度的50％或者1/2；或者，待补全图像的长度为2000像素，宽度为1500像素，第一预设阈值设置为1000像素，第二预设阈值为500像素，等等。

在另一些实施例中，若区域长度不大于待补全图像对应的长度阈值或者区域宽度不大于待补全图像对应的宽度阈值，或者，待补全区域形状不规则时，比如，待补全区域为非矩形区域时，可以根据待补全区域的区域面积确定是否需要对待补全图像进行图像缩放处理。

也就是说，步骤“基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像”之前，本发明实施例提供的图像补全方法还可以包括：

分别获得待补全图像的第一面积和待补全区域的第二面积；

若第二面积与第一面积的比值大于第三预设阈值，则触发基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像的操作。

具体的，待补全区域的第二面积可以通过对待补全区域进行面积计算得到。例如，如果待补全区域为形状规则的区域，可以获取计算所需的区域数据进行面积计算。比如，待补全区域为矩形区域，但待补全区域的目标长度不大于待补全图像对应的第一预设阈值和/或目标宽度不大于待补全图像对应的第二预设阈值，可以获取该区域的长和宽以计算区域面积，待补全区域为圆形区域，可以获取该区域的半径以计算面积区域，等等。如果待补全区域为形状不规则的区域，可以对待补全区域进行割补得到规则形状的区域进行计算，或者使用定积分进行计算，等等。

本发明实施例对具体的面积计算方式不做限定，技术人员可以根据实际使用情况自行设定待补全区域面积的计算方式。

再例如，若待补全区域为圆形区域，可以获取待补全区域的半径长度，如果半径长度大于长度阈值，则触发基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像的操作，等等。

其中，待补全图像对应的第三预设阈值可以是具体的面积数值，也可以是百分比等比例数值。

例如，第三预设阈值可以是待补全图像面积的50％或者1/2；或者，待补全图像的面积为20平方厘米，第三预设阈值设置为10平方厘米，等等。

在一些可选的示例中，步骤“对待补全图像进行图像缩放处理，得到缩放后图像”，可以包括：

基于待补全区域，对待补全图像中的非补全区域进行区域切割，得到非补全区域对应的至少两个非补全子区域；

对待补全图像中各非补全子区域分别进行图像缩放处理，得到缩放后子区域；

基于各缩放后子区域，得到缩放后图像。

其中，区域切割的具体方式可以由技术人员根据实际应用情况自行设定，切割得到的非补全子区域的数量不限。

其中，非补全区域可以为待补全区域中除了待补全区域之外的区域。

例如，如图3中的301所示，可以将把非补全区域分成四个非补全子区域。然后把待补全图像缩放到和待补全区域块相同的大小和形状，即缩放后的待补全图像高和宽分别与待补全区域的高和宽相同，用以替换待补全图像中待补全区域。

对应的，步骤“基于各缩放后子区域，得到缩放后图像”，可以包括：

基于缩放后图像中的各缩放后子区域，对待补全图像的待补全区域进行图像填充，得到填充后图像。

例如，填充后图像可以如图3中的303所示。

具体的，图像缩放处理可以是对待补全图像进行图像缩小处理，也就是说，步骤201可以包括：基于待补全图像中的待补全区域的区域尺寸，对待补全图像进行图像缩小处理，得到缩小后图像。

其中，缩小后图像的图像尺寸可以是与待补全区域的区域尺寸相同。可以理解的是，为了保证缩小后图像的信息量，可以在对待补全图像进行图像缩小处理时，同时对需要进行缩小的待补全图像的分辨率进行调整，例如调高图像的分辨率以使得图像信息不丢失，或者，保持图像的分辨率不变以使得填充后图像中各区域的分辨率相同，等等。

在对待补全图像进行图像缩小处理的情况下，对应的，步骤“根据缩放后图像对待补全区域进行图像填充处理，得到填充后图像”，可以包括：

将缩小后图像填充到待补全图像中的待补全区域中，得到填充后图像。

在另一些可选的实施例中，图像缩放处理可以是对待补全图像进行图像放大处理，也就是说，步骤201可以包括基于待补全图像中的待补全区域的区域尺寸，对待补全图像进行图像放大处理，得到放大后图像。

其中，放大后图像的待填充区域的尺寸可以是与待补全图像的尺寸相同。可以理解的是，为了保证放大后图像的信息量，可以在对待补全图像进行图像放大处理时，同时对需要进行放大的待补全图像的分辨率进行调整，例如调低图像的分辨率以避免在图像中添加无关信息，或者，保持图像的分辨率不变以使得填充后图像中各区域的分辨率相同，等等。

在对待补全图像进行图像放大处理的情况下，对应的，步骤“根据缩放后图像对待补全区域进行图像填充处理，得到填充后图像”，可以包括：

将待补全图像填充到放大后图像中的待补全区域中，得到填充后图像。

202、根据缩放后图像对待补全区域进行图像填充处理，得到填充后图像。

其中，在进行图像填充的过程中，可以设定缩放后图像与待补全区域的形状和面积均相同。此时，步骤“根据缩放后图像对待补全区域进行图像填充处理，得到填充后图像”，可以包括：

将缩放后图像，填充入待补全图像的待补全区域，得到填充后图像。

在另一些可选的实施例中，缩放后图像与待补全区域的形状和面积可以不同，此时可以对缩放后图像进行拼接等处理操作后，再对待补全区域进行填充，等等。

203、对填充后图像进行图像补全处理，得到补全后图像。

在一些可选的示例中，可以通过经典的纹理合成方法，从图像的未受损区域采样相似像素块，对填充后图像中的待补全区域进行图像补全。

在另一可选的示例中，可以基于神经网络的生成模型对填充后图像中的待补全区域进行图像补全。

也就是说，步骤203具体可以包括：

将填充后图像输入已训练的图像补全模型进行处理，输出初始补全图像；

对初始补全图像中与待补全区域对应的图像进行图像缩放恢复处理，得到补全后图像。

例如，可以通过图像补全模型的图像特征提取参数，对填充后图像中的非补全区域进行图像特征提取，得到填充后图像对应的图像特征信息；

通过图像补全模型的补全参数和图像特征信息，对填充后图像中的待补全区域进行图像补全，得到初始补全图像。

其中，图像特征提取可以是对填充后图像的非补全区域，通过卷积层对该非补全区域进行卷积处理，并经由池化层对卷积处理结果进行最大池化处理后，依次采用不同的密集块对该最大池化结果进行处理，得到图像特征信息，等等。

在构建图像补全模型的过程中，应用了机器学习技术。机器学习(MachineLearning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

可以理解的是，为了保证图像补全模型的图像补全效果，可以在正式使用图像补全模型之前，对图像补全模型进行训练。即，步骤“基于待补全图像中的待补全区域，对所述待补全图像进行图像缩放处理，得到缩放后图像”之前，本发明实施例提供的图像补全方法还可以包括：

获取待训练的图像补全模型、参考图像以及参考图像对应的待补全样本图像；

通过待训练的图像补全模型，对待补全样本图像进行图像补全，得到补全后样本图像；

基于补全后样本图像和参考图像，计算待训练的图像补全模型对应的训练损失；

根据训练损失，对待训练的图像补全模型的模型参数进行调整，得到已训练的图像补全模型。

在一些实施例中，模型参数可以包括待训练的图像特征提取参数和待训练的补全参数，模型参数还可以包括一些由技术人员自行设定的超参数等等。

在实际训练过程中，为了使得模型在训练的过程，针对不同的缺失块的大小学习得更好，可以针对训练数据进行不同大小的待补全区域的数据扩充。

也就是说，参考图像对应的待补全样本图像包括第一待补全样本图像和第二待补全样本图像，第一待补全样本图像的待补全区域面积不小于参考图像对应的面积阈值，第二待补全样本图像的待补全区域面积小于参考图像对应的面积阈值。

此时，步骤“基于补全后样本图像和参考图像，计算待训练的图像补全模型对应的训练损失”，可以包括：

基于第一待补全样本图像对应的第一补全后样本图像、第二待补全样本图像对应的第二补全后样本图像以及参考图像，计算待训练的图像补全模型对应的训练损失。

之所以用不同的黑白块大小进行数据扩充，是因为图像补全模型的训练过程中，待恢复的缺失的区域会越来越小，训练数据中扩充这样的数据，使得模型学习收敛更快，泛化能力越强。

例如，第一待补全样本图像可以是基于参考图像的宽和高的1/2大小扣取的缺失区域得到，第二待补全样本图像可以是基于参考图像的宽和高的1/4大小扣取的缺失区域得到，待补全样本图像还可以包括第三待补全样本图像，基于参考图像的宽和高的1/5大小扣取的缺失区域得到，等等。

其中，补全后图像即为图像补全过程最后得到的结果图像。如图4所示，补全后图像可以是对图像进行缩放恢复处理得到。

具体的，步骤“对初始补全图像中与待补全区域对应的图像进行图像缩放恢复处理，得到补全后图像”，包括：

基于待补全区域在待补全图像中的位置，确定待补全区域在补全后图像中对应的填充区域；

获取填充区域对应的图像作为待恢复图像；

根据补全后图像的图像属性信息，对待恢复图像进行图像缩放处理，得到补全后图像。

其中，补全后图像的图像属性信息，具体可以包括但不限于填充区域的尺寸信息、补全后图像的尺寸信息等等。

例如，如图3中303至304的过程所示，可以直接对图3中303的填充区域中的图像进行图像放大处理，最终得到的补全后图像可以如图3中的304所示。

可以理解的是，若待补全图像的待补全区域面积不大于待补全图像对应的第三预设阈值，可以将图像补全模型输出的图像直接作为最终恢复的补全后图像。

由上可知，本发明实施例可以基于待补全图像中的待补全区域进行图像缩放处理后，再根据缩放后的图像进行图像填充，在填充后图像的基础上进行图像补全，得到补全后图像；由于本发明实施例中将待补全图像进行缩放后，对待补全区域进行填充，相当于对图像补全过程中需要参考的信息进行了扩充，在对填充后图像进行图像补全时，可以获得更多的图像信息，增强补全得到的图像的自然程度，提升图像补全效率。

为了更好地实施以上方法，相应的，本发明实施例还提供一种图像补全装置。

参考图5，该装置包括：

缩放单元501，用于基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像；

填充单元502，用于根据缩放后图像对待补全区域进行图像填充处理，得到填充后图像；

补全单元503，对填充后图像进行图像补全处理，得到补全后图像。

在一些可选的示例中，在对填充后图像进行图像补全处理，得到补全后图像方面，补全单元503具体可以用于：

将填充后图像输入已训练的图像补全模型进行处理，输出初始补全图像；

对初始补全图像中与待补全区域对应的图像进行图像缩放恢复处理，得到补全后图像。

在一些可选的示例中，待补全区域为矩形区域，如图6所示，本发明实施例提供的图像补全装置还可以包括第一判断单元504，用于获取待补全区域的目标长度和目标宽度；

若目标长度与待补全图像的长度的比值大于第一预设阈值，且目标宽度与待补全图像的宽度的比值大于第二预设阈值，则触发基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像的操作。

在另一些可选的示例中，待补全区域为非矩形区域，本发明实施例提供的图像补全装置还可以包括第二判断单元505，用于分别获得待补全图像的第一面积和待补全区域的第二面积；

若第二面积与第一面积的比值大于第三预设阈值，则触发基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像的操作。

在一些可选的示例中，本发明实施例提供的图像补全装置还可以包括模型训练单元506，可以获取待训练的图像补全模型、参考图像以及参考图像对应的待补全样本图像；

通过待训练的图像补全模型，对待补全样本图像进行图像补全，得到补全后样本图像；

基于补全后样本图像和参考图像，计算待训练的图像补全模型对应的训练损失；

根据训练损失，对待训练的图像补全模型的模型参数进行调整，得到已训练的图像补全模型。

在一些可选的示例中，参考图像对应的待补全样本图像可以包括第一待补全样本图像和第二待补全样本图像，第一待补全样本图像的待补全区域面积不小于参考图像对应的面积阈值，第二待补全样本图像的待补全区域面积小于参考图像对应的面积阈值；

模型训练单元506，可以用于基于第一待补全样本图像对应的第一补全后样本图像、第二待补全样本图像对应的第二补全后样本图像以及参考图像，计算待训练的图像补全模型对应的训练损失。

由上可知，通过图像补全装置，可以基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像，根据缩放后图像对待补全区域进行图像填充处理，得到填充后图像，对填充后图像进行图像补全处理，得到补全后图像；由于本发明实施例中将待补全图像进行缩放后，对待补全区域进行填充，相当于对图像补全过程中需要参考的信息进行了扩充，在对填充后图像进行图像补全时，可以获得更多的图像信息，增强补全得到的图像的自然程度，提升图像补全效率。

此外，本发明实施例还提供一种电子设备，该电子设备可以为终端或者服务器等等，如图7所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括射频(RF，Radio Frequency)电路701、包括有一个或一个以上计算机可读存储介质的存储器702、输入单元703、显示单元704、传感器705、音频电路706、无线保真(WiFi，Wireless Fidelity)模块707、包括有一个或者一个以上处理核心的处理器708、以及电源709等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

RF电路701可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器708处理；另外，将涉及上行的数据发送给基站。通常，RF电路701包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路701还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。

存储器702可用于存储软件程序以及模块，处理器708通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器708和输入单元703对存储器702的访问。

输入单元703可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元703可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器708，并能接收处理器708发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元703还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元704可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元704可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器708以确定触摸事件的类型，随后处理器708根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图7中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

电子设备还可包括至少一种传感器705，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在电子设备移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路706、扬声器，传声器可提供用户与电子设备之间的音频接口。音频电路706可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路706接收后转换为音频数据，再将音频数据输出处理器708处理后，经RF电路701以发送给比如另一电子设备，或者将音频数据输出至存储器702以便进一步处理。音频电路706还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。

WiFi属于短距离无线传输技术，电子设备通过WiFi模块707可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块707，但是可以理解的是，其并不属于电子设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器708是电子设备的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行电子设备的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器708可包括一个或多个处理核心；优选的，处理器708可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器708中。

电子设备还包括给各个部件供电的电源709(比如电池)，优选的，电源可以通过电源管理***与处理器708逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源709还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器708会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器708来运行存储在存储器702中的应用程序，从而实现各种功能，如下：

基于待补全图像中的待补全区域，对待补全图像进行图像缩放处理，得到缩放后图像；

基于缩放后图像，对待补全图像的待补全区域进行图像填充，得到填充后图像；

对填充后图像进行图像补全，得到补全后图像；

基于待补全区域以及补全后图像进行图像恢复处理，得到目标补全图像。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行以实现本发明实施例所提供的任一种图像补全方法中的步骤。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的计算机程序，可以执行本发明实施例所提供的任一种图像补全方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像补全方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述实施例中的各种可选实现方式中提供的方法。

以上对本发明实施例所提供的一种图像补全方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像补全方法，其特征在于，包括：

基于待补全图像中的待补全区域，对所述待补全图像进行图像缩放处理，得到缩放后图像；

根据所述缩放后图像对所述待补全区域进行图像填充处理，得到填充后图像；

对所述填充后图像进行图像补全处理，得到补全后图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述填充后图像进行图像补全处理，得到补全后图像，包括：

将所述填充后图像输入已训练的图像补全模型进行处理，输出初始补全图像；

对所述初始补全图像中与所述待补全区域对应的图像进行图像缩放恢复处理，得到补全后图像。

3.根据权利要求1所述的方法，其特征在于，所述待补全区域为矩形区域；

所述基于待补全图像中的待补全区域，对所述待补全图像进行图像缩放处理，得到缩放后图像之前，所述方法还包括：

获取所述待补全区域的目标长度和目标宽度；

若所述目标长度与所述待补全图像的长度的比值大于第一预设阈值，且所述目标宽度与所述待补全图像的宽度的比值大于第二预设阈值，则触发所述基于待补全图像中的待补全区域，对所述待补全图像进行图像缩放处理，得到缩放后图像的操作。

4.根据权利要求1所述的方法，其特征在于，所述待补全区域为非矩形区域；

所述基于待补全图像中的待补全区域，对所述待补全图像进行图像缩放处理，得到缩放后图像之前，所述方法还包括：

分别获得所述待补全图像的第一面积和所述待补全区域的第二面积；

若所述第二面积与所述第一面积的比值大于第三预设阈值，则触发所述基于待补全图像中的待补全区域，对所述待补全图像进行图像缩放处理，得到缩放后图像的操作。

5.根据权利要求2所述的方法，其特征在于，所述基于待补全图像中的待补全区域，对所述待补全图像进行图像缩放处理，得到缩放后图像之前，所述方法还包括：

获取待训练的图像补全模型、参考图像以及所述参考图像对应的待补全样本图像；

通过所述待训练的图像补全模型，对所述待补全样本图像进行图像补全，得到补全后样本图像；

基于所述补全后样本图像和所述参考图像，计算所述待训练的图像补全模型对应的训练损失；

根据所述训练损失，对所述待训练的图像补全模型的模型参数进行调整，得到所述已训练的图像补全模型。

6.根据权利要求5所述的方法，其特征在于，所述参考图像对应的待补全样本图像包括第一待补全样本图像和第二待补全样本图像，所述第一待补全样本图像的待补全区域面积不小于所述参考图像对应的面积阈值，所述第二待补全样本图像的待补全区域面积小于所述参考图像对应的面积阈值；

所述基于所述补全后样本图像和所述参考图像，计算所述待训练的图像补全模型对应的训练损失，包括：

基于所述第一待补全样本图像对应的第一补全后样本图像、所述第二待补全样本图像对应的第二补全后样本图像以及所述参考图像，计算所述待训练的图像补全模型对应的训练损失。

7.一种图像补全装置，其特征在于，包括：

缩放单元，用于基于待补全图像中的待补全区域，对所述待补全图像进行图像缩放处理，得到缩放后图像；

填充单元，用于根据所述缩放后图像对所述待补全区域进行图像填充处理，得到填充后图像；

补全单元，对所述填充后图像进行图像补全处理，得到补全后图像。

8.根据权利要求7所述的装置，其特征在于，在对所述填充后图像进行图像补全处理，得到补全后图像方面，所述补全单元具体用于：

将所述填充后图像输入已训练的图像补全模型进行处理，输出初始补全图像；

对所述初始补全图像中与所述待补全区域对应的图像进行图像缩放恢复处理，得到补全后图像。

9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至6任一项所述的图像补全方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至6任一项所述的图像补全方法中的步骤。

Images