CN112991210A - 图像处理方法及装置、计算机可读存储介质和电子设备 - Google Patents

Abstract

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，涉及图像处理技术领域。该图像处理方法包括：确定待处理图像中目标对象区域以及目标对象区域的深度信息；利用目标对象区域以及目标对象区域的深度信息，从待处理图像中确定出待修复区域；结合待处理图像和待修复区域，生成与待处理图像对应的修复后的图像。本公开可以提升图像修复效果。

Description

图像处理方法及装置、计算机可读存储介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。

背景技术

在图像处理技术领域，由于场景或拍摄装置等原因，可能导致获取到的图像出现不清楚、失真等问题。在这种情况下，可以对图像进行修复，以提高图像质量。

目前，可以通过膨胀算法或深度学习算法来修复图像，然而，这些算法仍可能出现图像修复效果差的问题。

发明内容

本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服图像修复效果差的问题。

根据本公开的第一方面，提供了一种图像处理方法，包括：确定待处理图像中目标对象区域以及目标对象区域的深度信息；利用目标对象区域以及目标对象区域的深度信息，从待处理图像中确定出待修复区域；结合待处理图像和待修复区域，生成与待处理图像对应的修复后的图像。

根据本公开的第二方面，提供了一种图像处理装置，包括：信息确定模块，用于确定待处理图像中目标对象区域以及目标对象区域的深度信息；待修复区域确定模块，用于利用目标对象区域以及目标对象区域的深度信息，从待处理图像中确定出待修复区域；图像修复模块，用于结合待处理图像和待修复区域，生成与待处理图像对应的修复后的图像。

根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法。

根据本公开的第四方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的图像处理方法。

在本公开的一些实施例所提供的技术方案中，利用待处理图像中目标对象区域以及目标对象区域的深度信息从待处理图像中确定出待修复区域，再结合待处理图像和待修复区域生成与待处理图像对应的修复后的图像。本公开方案结合了深度信息，可以准确地确定出与目标对象对应的修复区域，再利用待处理图像自身的图像信息进行修复，可以提高图像修复的准确率，有助于提升图像质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了应用本公开实施例的图像处理方案的示例性***架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的结构示意图；

图3示意性示出了根据本公开示例性实施方式的图像处理方法的流程图；

图4示出了根据本公开一些实施例的图像处理过程的示意图；

图5示出了根据本公开另一些实施例的图像处理过程的示意图；

图6示出了根据本公开实施例的对待处理图像中线段进行处理的示意图；

图7示出了本公开实施例的对象掩膜的示意图；

图8示出了利用图7的对象掩膜生成样本图像的示意图；

图9示出了对图7的对象掩膜进行腐蚀的前后对比图；

图10示出了利用腐蚀后的对象掩膜生成中间图像的示意图；

图11示出了利用中间图像和样本图像得到样本图像的待修复区域的示意图；

图12示例性示出了上述图像处理方法应用于3D视频生成的示意图；

图13示意性示出了根据本公开示例性实施方式的图像处理装置的方框图；

图14示意性示出了根据本公开另一示例性实施方式的图像处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了本公开实施例的图像处理方案的示例性***架构的示意图。

如图1所示，***架构可以包括终端设备1001和服务器1002。终端设备1001与服务器1002可以通过网络连接，网络的连接类型可以例如包括有线、无线通信链路或者光纤电缆等。

应当理解，终端设备1001和服务器1002的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备和服务器。比如服务器1002可以是多个服务器组成的服务器集群等。服务器1002还可以被称为云端或云端服务器。

终端设备1001可以通过网络与服务器1002交互，以接收或发送消息等。虽然图1中以智能手机为例示出，然而，终端设备1001还包括平板电脑、智能可穿戴设备、个人计算机等具有拍摄功能的设备。其中，终端设备1001还可以被称为终端、移动终端、移动端、智能终端等。

在由终端设备1001执行本公开示例性实施方式的图像处理过程的情况下，首先，终端设备1001可以确定待处理图像中目标对象区域以及目标对象区域的深度信息。其中，待处理图像可以是终端设备1001的相机拍摄出的图像。相应的，深度信息可以由终端设备1001配备的深度传感器采集得到，或者通过图像分析的手段，从终端设备1001的相机拍摄出的图像中估计出深度信息。

接下来，终端设备1001可以利用目标对象区域以及目标对象区域的深度信息，从待处理图像中确定出待修复区域。

随后，终端设备1001可以结合待处理图像和待修复区域，生成与待处理图像对应的修复后的图像。具体的，可以利用机器学习模型生成修复后的图像。

另外，结合待处理图像和待修复区域生成修复后的图像的过程还可以包括：利用待处理图像、待处理图像中包含的线段信息以及待修复区域，生成修复后的图像。

在生成修复后的图像后，终端设备1001可以将修复后的图像发送给服务器1002进行保存。

在由服务器1002执行本公开示例性实施方式的图像处理过程的情况下，首先，服务器1002可以从终端设备1001获取待处理图像，确定待处理图像中目标对象区域以及目标对象区域的深度信息。此外，待处理图像还可以是服务器1002从其他服务器或设备获取到的图像，本公开对此不做限制。

接下来，服务器1002可以利用目标对象区域以及目标对象区域的深度信息，从待处理图像中确定出待修复区域，并结合待处理图像和待修复区域，生成与待处理图像对应的修复后的图像。具体的，可以利用机器学习模型生成修复后的图像。

另外，服务器1002结合待处理图像和待修复区域生成修复后的图像的过程还可以包括：利用待处理图像、待处理图像中包含的线段信息以及待修复区域，生成修复后的图像。

在生成修复后的图像后，服务器1002可以将修复后的图像发送给终端设备1001进行展示和/或保存。

应当注意的是，方案中对图像进行处理的任意步骤均可以由终端设备1001或服务器1002执行，本公开对此不做限制。

图2示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开示例性实施方式的终端设备可以被配置为如图2的形式。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的图像处理方法。

具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。

可以理解的是，本公开实施例示意的结构并不构成对电子设备200的具体限定。在本公开另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。

电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头。

本公开方案中提及的待处理图像可以由摄像模组291拍摄得到，

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。

另外，需要说明的是，本公开图像处理方案可以应用于3D人像拍照的图像修复过程，以提高3D人像拍照的精度与成功率。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

下面将以终端设备执行本公开图像处理的过程为例对本公开的图像处理方法进行说明。在这种情况下，下述图像处理装置可以配置在终端设备中。

图3示意性示出了本公开的示例性实施方式的图像处理方法的流程图。参考图3，图像处理方法可以包括以下步骤：

S32.确定待处理图像中目标对象区域以及目标对象区域的深度信息。

在本公开的示例性实施方式中，待处理图像可以是终端设备相机拍摄出的图像，也可以是从服务器或其他设备获取到的图像，本公开对待处理图像的来源、尺寸等均不做限制。

目标对象可以是人像，也可以是人脸、动物等任意预先指定的对象，本公开对目标对象的类型不做限制。

在获取到待处理图像后，终端设备可以对待处理图像进行图像分割，以从待处理图像中确定出目标对象区域。应当注意的是，确定出的目标对象的数量可以是一个或多个，下面的处理过程以一个目标对象为例进行说明，然而，针对每一个目标对象，在确定出目标对象区域后，均可以执行本公开实施例的处理过程。

另外，终端设备可以通过例如TOF(Time Of Fight，飞行时间)、结构光等深度感测装置来获取与待处理图像对应的深度图像，在进行对齐后，可以得到目标对象区域的深度信息。或者，终端设备还可以采用深度估计的方式基于待处理图像估计出目标对象区域的深度信息。

本公开所说的深度均是相对于终端设备(也就是相机或深度感测装置)的深度。另外，可以将目标对象区域中心点的深度值作为目标对象区域的深度信息，也可以将目标对象区域的平均深度值作为目标对象区域的深度信息。

S34.利用目标对象区域以及目标对象区域的深度信息，从待处理图像中确定出待修复区域。

在确定出待处理图像中目标对象区域以及目标对象区域的深度信息之后，终端设备可以将目标对象区域的轮廓确定为待修复区域。

具体的，在步骤S32进行图像分割后，可以得到目标对象区域像素点的坐标信息，进而可以根据目标对象区域像素点的坐标信息，确定出目标对象区域的轮廓，并将目标对象区域的轮廓作为待修复区域。

另外，还可以采用独立于步骤S32中图像分割算法的边缘检测算法，来确定出目标对象区域的轮廓，本公开对此不做限制。

目标对象区域的轮廓的轮廓线宽度可以基于目标对象区域的深度信息而确定出。具体的，轮廓线宽度与深度信息呈负相关关系，也就是说，深度越深，轮廓线宽度越小。需要说明的是，这种负相关关系可以是线性关系，也可以是非线性关系。

另外，本公开的另一些实施例中，还可以对深度进行划分，例如，按由近到远的顺序划分成第一深度范围、第二深度范围、第三深度范围等。在确定轮廓线宽度时，可以判断目标对象区域的深度处于哪个深度范围，再根据所处的深度范围确定轮廓线宽度。

例如，在目标对象区域的深度处于第一深度范围时，将轮廓线宽度确定为第一宽度；在目标对象区域的深度处于第二深度范围时，将轮廓线宽度确定为第二宽度；在目标对象区域的深度处于第三深度范围时，将轮廓线宽度确定为第三宽度。其中，第一宽度大于第二宽度，第二宽度大于第三宽度。

另外，可以将待修复区域理解为待修复的位置信息。如果将图像划分为待修复区域与不修复区域，在将不修复区域看作黑色(灰度值为0)的情况下，那么待修复区域可以看作白色(灰度值为255)。或者，将不修复区域看作白色(灰度值为255)，将待修复区域可以看作黑色(灰度值为0)。

S36.结合待处理图像和待修复区域，生成与待处理图像对应的修复后的图像。

根据本公开的一些实施例，可以利用机器学习模型来对待处理图像和待修复区域进行处理，以生成与待处理图像对应的修复后的图像。在这种情况下，可以将待处理图像和待修复区域作为该机器学习模型的输入，也就是说，该机器学习模型的输入为4个通道的输入，其中，待处理图像的RGB信息占3个通道，待修复区域占1个通道。本公开对机器学习模型的类别不做限制，例如，可以采用卷积神经网络来实现，更具体的，可以采用生成对抗网络来构建该机器学习模型。

参考图4对这些实施例进行示意性说明。在终端设备获取到待处理图像41后，首先，基于上述步骤S32和步骤S34，可以确定出待修复区域42。接下来，将待处理图像41和待修复区域42输入修复网络43，即可得到修复结果44，即与待处理图像41对应的修复后的图像。

根据本公开的另一些实施例，还可以确定出待处理图像的线段信息，并利用待处理图像、待处理图像的线段信息以及待修复区域，生成与待处理图像对应的修复后的图像。

参考图5，在终端设备获取到待处理图像51后，一方面，可以基于上述步骤S32和步骤S34，可以确定出待修复区域52；另一方面，可以确定出待处理图像51的线段信息53。接下来，将待处理图像51、待修复区域52和线段信息53输入修复网络54，即可得到修复结果55，即与待处理图像51对应的修复后的图像。

类似地，如果将图像划分为线段区域和非线段区域，则在将非线段区域看作黑色(灰度值为0)的情况下，那么线段区域可以看作白色(灰度值为255)。或者，将非线段区域看作白色(灰度值为255)，将线段区域可以看作黑色(灰度值为0)。

也就是说，此时，输入修复网络54的是5个通道的数据，其中，待处理图像51的RGB信息占3个通道，待修复区域52和线段信息53各占1个通道。

下面对确定待处理图像的线段信息的过程进行示例性说明。

首先，终端设备可以对待处理图像进行线段检测，确定待处理图像包含的线段集合。其中，可以采用例如霍夫变换的直线检测算法来确定出待处理图像所包含的每一条线段，这些线段构成线段集合。另外，如果未检测出线段，则线段集合为空。此时，图5所示的线段信息53例如是纯黑的一维通道数据(在线段为白色的情况下)，或者是纯白的一维通道数据(在线段为黑色的情况下)。

接下来，判断线段集合中是否包括共线的多条线段。具体的，可以确定线段集合中每个线段的端点信息，利用每个线段的端点信息，确定线段集合中是否包括共线的多条线段。

例如，线段之间两两进行分析，判断4个端点是否共线，以确定两条线段是否共线。即，如果两条线段的4个端点共线，则可以确定这两条线段共线。也就是说，如果待处理图像检测出10条线段，则针对一条线段，可以分别与其余9条线段均进行端点是否共线的判断，以确定线段集合中是否包括共线的多条线段。

如果线段集合中包括共线的多条线段，则可以将此共线的多条线段补全为一条线段。如图6中线段61和线段62所示，可以将线段61和线段62补全为一条线段。

随后，可以用补全的线段替换线段集合中的这些线段，以更新线段集合。

在经过线段补全后，可以结合线段集合中每个线段的线段信息，确定待处理图像的线段信息。

在一些实施例中，可以直接将上述线段补全后的线段信息，作为待处理图像的线段信息。

在另一些实施例中，针对线段集合中一目标线段，该目标线段为线段集合中的任意一条线段，如果与目标对象区域相交，则可以沿目标线段与目标对象区域相交的一侧，对目标线段进行延伸。参考图6中的线段63，与目标对象区域60相交，则可以沿相交的一侧，对线段63进行延伸，且延伸的部分可以与线段63本身的色彩信息一致。

需要注意的是，延伸的程度与目标对象的深度信息相关，具体的，延伸的程度与目标对象的深度信息呈负相关关系，也就是说，深度越深，延伸的程度越小。需要说明的是，这种负相关关系可以是线性关系，也可以是非线性关系。

另外，类似地，还可以对深度进行划分，在确定延伸的程度时，可以判断目标对象区域的深度处于哪个深度范围，再根据所处的深度范围确定延伸的程度，对此不再赘述。

接下来，可以用延伸后的线段替换目标线段，以更新线段集合。再将更新后的线段集合中每个线段的线段信息，确定为待处理图像的线段信息。

应当理解的是，在本公开一个实施例中，可以仅考虑线段与目标对象区域相交的情况，来确定是否延伸线段，而不考虑线段是否共线的问题。在本公开另一个实施例中，可以仅考虑线段是否共线的问题，而不考虑线段与目标对象区域相交的情况。在本公开又一个实施例中，如上所述，既考虑线段是否共线的问题，又考虑线段与目标对象区域相交的情况。

在确定出待处理图像的线段信息后，可以将待处理图像、待处理图像的线段信息以及待修复区域输入一训练后的机器学习模型，以生成与待处理图像对应的修复后的图像。

针对图5中的修复网络54，即该训练后的机器学习模型，可以采用卷积神经网络来实现，更具体的，可以采用生成对抗网络来构建出。

应当说明的是，该机器学习模型的训练过程可以在终端设备上实现，也可以由服务器或其他设备训练完成后，由终端设备获取训练后的机器学习模型。

可以利用多组训练样本对机器学习模型进行训练，以得到训练后的机器学习模型。其中，多组训练样本中每一个训练样本包括样本图像、样本图像的修复区域以及样本图像的线段信息。

下面对该机器学习模型的训练样本获取过程进行说明。

首先，可以从对象数据集中确定出对象掩膜(mask，或称为掩码)。其中，对象数据集可以由包含对象的一个或多个图像组成，可以对象数据集进行图像分割处理，以得到对象掩膜。参考图7，以人像为例，确定出了人像掩膜71。其中，人像区域为白色(灰度值为255)，其余区域为黑色(灰度值为0)。

接下来，可以将对象掩膜与一原始图像进行融合，以生成样本图像。其中，原始图像可以任意选取的图像，用于为模型训练提供素材，本公开对原始图像的获取方式、类型、内容等均不做限制。

对象掩膜与原始图像进行融合的操作可以是对象掩膜与原始图像进行像素级别上的与操作，以生成样本图像。如图8所示，人像掩膜71在与原始图像进行融合后，可以生成样本图像81。

而针对样本图像的待修复区域的确定过程。首先，可以对该对象掩膜进行腐蚀处理，得到腐蚀后的掩膜。本领域技术人员容易理解的是，腐蚀后的掩膜相比于对象掩膜，在视觉上内嵌一圈，相当于缩小了一圈。具体的，可以获取对象掩膜中任一像素点周围其他各像素点的灰度值，再选取所述周围其他各像素点中最小的一个作为腐蚀后该像素点的灰度值，以实现腐蚀过程。或者，可以采用本领域其他腐蚀算法实现腐蚀效果，本公开对此不做限制。

参考图9，人像掩膜71经过腐蚀后，可以得到腐蚀后的掩膜91。从图9中也可以看出，腐蚀后的掩膜91相比于人像掩膜71，视觉上缩小了一圈。

接下来，可以将腐蚀后的掩膜与原始图像进行融合，以生成中间图像。其中，此处所说的原始图像与上文所说的原始图像为同一图像。另外，将腐蚀后的掩膜与原始图像的融合操作可以是腐蚀后的掩膜与原始图像进行像素级别上的与操作，以生成中间图像。如图10所示，腐蚀后的掩膜91在与原始图像进行融合后，可以生成中间图像101。

随后，将确定出的样本图像与中间图像进行对比，确定中间图像与样本图像之间存在区别的区域，并将该区域确定为样本图像的待修复区域。如图11所示，根据样本图像81和中间图像101，可以得到样本图像81的待修复区域111。应当理解的是，待修复区域111示例性地对应于图像中的白色区域。

可以理解的是，中间图像中存在区别的区域的像素值可以作为训练标签，也就是说，可以将原始图像中对应待修复区域位置的真实像素值作为训练标签。

另外，可以基于上述确定待处理图像的线段信息的过程，类似地，确定出样本图像的线段信息。

得到样本图像、样本图像的修复区域以及样本图像的线段信息为一组训练样本，再基于上述过程得到多组训练样本的情况下，可以利用这些训练样本对机器学习模型(图5中的修复网络54)进行训练，以得到训练后的机器学习模型。

另外，针对图4中的修复网络43，可以基于上述生成样本图像和样本图像的待修复区域的过程，得到多组训练样本，再利用这些训练样本对修复网络43进行训练，再此不再赘述。

图12示例性示出了上述图像处理方法应用于3D视频生成的示意图。参考图12，图像121为本公开中的待处理图像，图像122为3D视频中某一帧修复后的图像。

如果基于图像121生成一个人物从左到右的3D视频，则人物向右移动时，可能出现区域1220没有任何信息的情况，且区域1220会随着向右移动距离的增大而增大。

利用本公开上述图像处理方法的方案，可以将区域1220一次性填充，进而可以使3D视频的每一帧更加完整和真实。

应当理解的是，本公开的图像处理方案可以应用于3D拍照领域，能够对人像照片进行修复处理并动态显示，使照片具有立体感和真实感，增加拍摄的趣味性。

综上所述，基于上述图像处理过程，一方面，可以有效提升图像的修复能力，改善图像质量；另一方面，在图像处理过程应用在3D人像拍照的场景时，可以有效提升3D人像拍照的精度与成功率，减少了直线缺失、色彩失调等问题，有助于3D人像拍照效果的实现；再一方面，针对模型训练集的构建，采用了对象掩膜的方式，修复针对性强，满足用户实际拍摄的需求。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种图像处理装置。

图13示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图13，根据本公开的示例性实施方式的图像处理装置13可以包括信息确定模块131、待修复区域确定模块133和图像修复模块135。

具体的，信息确定模块131可以用于确定待处理图像中目标对象区域以及目标对象区域的深度信息；待修复区域确定模块133可以用于利用目标对象区域以及目标对象区域的深度信息，从待处理图像中确定出待修复区域；图像修复模块135可以用于结合待处理图像和待修复区域，生成与待处理图像对应的修复后的图像。

根据本公开的示例性实施例，待修复区域确定模块133可以被配置为执行：将目标对象区域的轮廓确定为待修复区域；其中，轮廓的轮廓线宽度基于目标对象区域的深度信息而确定出。

根据本公开的示例性实施例，图像修复模块135可以被配置为执行：利用待处理图像、待处理图像的线段信息以及待修复区域，生成与待处理图像对应的修复后的图像。

根据本公开的示例性实施例，图像修复模块135还可以被配置为执行：对待处理图像进行线段检测，确定待处理图像包含的线段集合；如果线段集合中包括共线的多条线段，则将多条线段补全为一条线段，并用补全的线段替换多条线段，以更新线段集合；结合线段集合中每个线段的线段信息，确定待处理图像的线段信息。

根据本公开的示例性实施例，图像修复模块135还可以被配置为执行：确定线段集合中每个线段的端点信息；利用每个线段的端点信息，确定线段集合中是否包含共线的多条线段。

根据本公开的示例性实施例，图像修复模块135还可以被配置为执行：在线段集合中一目标线段与目标对象区域相交时，沿目标线段与目标对象区域相交的一侧，对目标线段进行延伸，并用延伸后的线段替换目标线段，以更新线段集合；将更新后的线段集合中每个线段的线段信息，确定为待处理图像的线段信息。

根据本公开的示例性实施例，图像修复模块135还可以被配置为执行：将待处理图像、待处理图像的线段信息以及待修复区域输入至一训练后的机器学习模型，以生成与待处理图像对应的修复后的图像。

根据本公开的示例性实施例，参考图14，相比于图像处理装置13，图像处理装置14还可以包括模型训练模块141。

具体的，模型训练模块141可以被配置为执行：利用多组训练样本对机器学习模型进行训练，以得到训练后的机器学习模型；其中，多组训练样本中每一个训练样本包括样本图像、样本图像的待修复区域以及样本图像的线段信息。

根据本公开的示例性实施例，模型训练模块141还可以被配置为执行：从对象数据集中确定出对象掩膜；将对象掩膜与一原始图像进行融合，以生成样本图像。

根据本公开的示例性实施例，模型训练模块141还可以被配置为执行：对对象掩膜进行腐蚀处理，得到腐蚀后的掩膜；将腐蚀后的掩膜与原始图像进行融合，以生成中间图像；将中间图像与样本图像之间存在区别的区域，确定为样本图像的待修复区域；其中，将中间图像中存在区别的区域的像素值作为训练标签。

由于本公开实施方式的图像处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

确定待处理图像中目标对象区域以及所述目标对象区域的深度信息；

利用所述目标对象区域以及所述目标对象区域的深度信息，从所述待处理图像中确定出待修复区域；

结合所述待处理图像和所述待修复区域，生成与所述待处理图像对应的修复后的图像。

2.根据权利要求1所述的图像处理方法，其特征在于，利用所述目标对象区域以及所述目标对象区域的深度信息，从所述待处理图像中确定出待修复区域，包括：

将所述目标对象区域的轮廓确定为所述待修复区域；

其中，所述轮廓的轮廓线宽度基于所述目标对象区域的深度信息而确定出。

3.根据权利要求1或2所述的图像处理方法，其特征在于，结合所述待处理图像和所述待修复区域，生成与所述待处理图像对应的修复后的图像，包括：

利用所述待处理图像、所述待处理图像的线段信息以及所述待修复区域，生成与所述待处理图像对应的修复后的图像。

4.根据权利要求3所述的图像处理方法，其特征在于，所述图像处理方法还包括：

对所述待处理图像进行线段检测，确定所述待处理图像包含的线段集合；

如果所述线段集合中包括共线的多条线段，则将所述多条线段补全为一条线段，并用补全的线段替换所述多条线段，以更新所述线段集合；

结合所述线段集合中每个线段的线段信息，确定所述待处理图像的线段信息。

5.根据权利要求4所述的图像处理方法，其特征在于，所述图像处理方法还包括：

确定所述线段集合中每个线段的端点信息；

利用所述每个线段的端点信息，确定所述线段集合中是否包括共线的多条线段。

6.根据权利要求4所述的图像处理方法，其特征在于，结合所述线段集合中每个线段的线段信息，确定所述待处理图像的线段信息，包括：

在所述线段集合中的目标线段与所述目标对象区域相交时，沿所述目标线段与所述目标对象区域相交的一侧，对所述目标线段进行延伸，并用延伸后的线段替换所述目标线段，以更新所述线段集合；

将更新后的所述线段集合中每个线段的线段信息，确定为所述待处理图像的线段信息。

7.根据权利要求3所述的图像处理方法，其特征在于，利用所述待处理图像、所述待处理图像的线段信息以及所述待修复区域，生成与所述待处理图像对应的修复后的图像，包括：

将所述待处理图像、所述待处理图像的线段信息以及所述待修复区域输入至一训练后的机器学习模型，以生成与所述待处理图像对应的修复后的图像。

8.根据权利要求7所述的图像处理方法，其特征在于，所述图像处理方法还包括：

利用多组训练样本对所述机器学习模型进行训练，以得到所述训练后的机器学习模型；

其中，所述多组训练样本中每一个训练样本包括样本图像、所述样本图像的待修复区域以及所述样本图像的线段信息。

9.根据权利要求8所述的图像处理方法，其特征在于，所述图像处理方法还包括：

从对象数据集中确定出对象掩膜；

将所述对象掩膜与一原始图像进行融合，以生成所述样本图像。

10.根据权利要求9所述的图像处理方法，其特征在于，所述图像处理方法还包括：

对所述对象掩膜进行腐蚀处理，得到腐蚀后的掩膜；

将所述腐蚀后的掩膜与所述原始图像进行融合，以生成中间图像；

将所述中间图像与所述样本图像之间存在区别的区域，确定为所述样本图像的待修复区域；

其中，将所述中间图像中所述存在区别的区域的像素值作为训练标签。

11.一种图像处理装置，其特征在于，包括：

信息确定模块，用于确定待处理图像中目标对象区域以及所述目标对象区域的深度信息；

待修复区域确定模块，用于利用所述目标对象区域以及所述目标对象区域的深度信息，从所述待处理图像中确定出待修复区域；

图像修复模块，用于结合所述待处理图像和所述待修复区域，生成与所述待处理图像对应的修复后的图像。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至10中任一项所述的图像处理方法。

13.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至10中任一项所述的图像处理方法。

Images