CN111260757A

CN111260757A - 一种图像处理方法、装置及终端设备

Info

Publication number: CN111260757A
Application number: CN201811465054.XA
Authority: CN
Inventors: 李威
Original assignee: Mashang Consumer Finance Co Ltd
Current assignee: Mashang Consumer Finance Co Ltd
Priority date: 2018-12-03
Filing date: 2018-12-03
Publication date: 2020-06-09

Abstract

本发明提供一种图像处理方法、装置及终端设备，其中，所述图像处理方法包括：获取待处理图像；对所述待处理图像中的待消除标志进行检测，得到所述待消除标志所在区域的位置信息；根据所述待消除标志所在区域的位置信息，从所述待处理图像中截取包含所述待消除标志的第一区域图像；将所述第一区域图像输入到预先训练的标志消除模型中，对所述第一区域图像中的待消除标志进行消除处理，得到已消除待消除标志的第二区域图像；利用所述第二区域图像替换所述待处理图像中的第一区域图像，得到目标图像。本发明的实施例，可以简单方便实现对图像中不同特定标志的消除，简化操作。

Description

一种图像处理方法、装置及终端设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及终端设备。

背景技术

随着科技的不断发展，图像的应用已经成为了人们日常生活中必不可少的一部分。从日常生活点点滴滴的记录、用于新闻报道的内容编辑，甚至到人们的互联网信用审核，图像已经成为了一个密切的参与者。然而，在上述的一些情况中，在某些特定的场景下，并不是图像中所有的内容都是必不可少的，有时人们仅想保留感兴趣的或者无干扰的图像内容。因此，图像编辑等应用或工具应运而生，以对图像进行编辑，去除一些不感兴趣的内容，比如水印的消除、特定符号或元素的消除等。

具体的，当前常用的图像标志消除方法为：通过将待消除目标或区域从图像主题中分离，并利用适当的图像内容进行填充，达到消除特定标志的目的。但是此图像标志消除方法，针对不同的待消除标志，往往需要不同的方案进行处理，操作繁琐。

发明内容

本发明实施例提供一种图像处理方法、装置及终端设备，以解决现有的图像标志消除方法造成的操作繁琐的问题。

第一方面，本发明实施例提供了一种图像处理方法，包括：

获取待处理图像；

对所述待处理图像中的待消除标志进行检测，得到所述待消除标志所在区域的位置信息；

根据所述待消除标志所在区域的位置信息，从所述待处理图像中截取包含所述待消除标志的第一区域图像；

将所述第一区域图像输入到预先训练的标志消除模型中，对所述第一区域图像中的待消除标志进行消除处理，得到已消除待消除标志的第二区域图像；

利用所述第二区域图像替换所述待处理图像中的第一区域图像，得到目标图像。

第二方面，本发明实施例还提供了一种图像处理装置，包括：

第一获取模块，用于获取待处理图像；

检测模块，用于对所述待处理图像中的待消除标志进行检测，得到所述待消除标志所在区域的位置信息；

截取模块，用于根据所述待消除标志所在区域的位置信息，从所述待处理图像中截取包含所述待消除标志的第一区域图像；

第一处理模块，用于将所述第一区域图像输入到预先训练的标志消除模型中，对所述第一区域图像中的待消除标志进行消除处理，得到已消除待消除标志的第二区域图像；

替换模块，用于利用所述第二区域图像替换所述待处理图像中的第一区域图像，得到目标图像。

第三方面，本发明实施例还提供了一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时可实现上述图像处理方法的步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时可实现上述图像处理方法的步骤。

本发明实施例的图像处理方法，通过将包含待消除标志的截取图像即第一区域图像输入到预先训练的标志消除模型中，对第一区域图像中的待消除标志进行消除处理，得到已消除待消除标志的第二区域图像，并利用第二区域图像替换待处理图像中的第一区域图像，得到目标图像，可以简单方便地实现对待处理图像中不同特定标志的消除，简化操作，且从可视效果上，更加贴合原始图像自然分布。

此外，由于基于截取图像而非整个图像，对待消除标志进行消除，因此可以大大降低相应标志消除模型的计算复杂度，一定程度上降低模型的精度，提高数据处理效率。

进一步的，本发明实施例中的待消除标志可包括多个目标标志，这样可从待处理图像中截取至少一个第一区域图像，每个第一区域图像中包含至少一个目标标志，从而实现对一幅图像中的多个特定标志进行一并消除，简化图像处理操作，提高图像处理效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的图像处理方法的流程图；

图2为本发明实施例中的模型训练过程的流程示意图；

图3为本发明实施例的图像处理装置的结构示意图；

图4为本发明实施例的终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，本发明实施例提供了一种图像处理方法，所述方法包括如下步骤：

步骤101：获取待处理图像。

其中，上述待处理图像可选为目前常用的图像，比如照片、绘图等。

步骤102：对待处理图像中的待消除标志进行检测，得到待消除标志所在区域的位置信息。

其中，上述待消除标志可选为水印、名称标志和/或某特定符号标志等，本发明实施例不对此进行限制。

进一步的，上述待消除标志可包括至少一个目标标志，该目标标志表示待消除的特定标志。具体实现时，上述待消除标志可为多个相同或者不相同的目标标志的组合。

步骤103：根据待消除标志所在区域的位置信息，从待处理图像中截取包含待消除标志的第一区域图像。

可以理解的，在执行步骤103时，可以采用现有的图像截取方式，从待处理图像中截取包含待消除标志的第一区域图像。

由于待消除标志可包括至少一个目标标志，因此，上述包含待消除标志的第一区域图像可以理解为包含待消除标志的至少一个第一区域图像，而每一个第一区域图像中可以包含至少一个目标标志。这样，可以实现对一幅图像中的多个标志进行一并消除，简化图像处理操作，提高图像处理效率。

步骤104：将第一区域图像输入到预先训练的标志消除模型中，对第一区域图像中的待消除标志进行消除处理，得到已消除待消除标志的第二区域图像。

本发明实施例中，上述标志消除模型可选为基于对抗神经网络预先训练。而为了保证标志消除模型的消除处理效果，在将第一区域图像输入到预先训练的标志消除模型之前，可首先对第一区域图像进行预处理。

具体的，步骤103之后且步骤104之前，所述方法还可包括：

对第一区域图像进行预处理，得到满足所述标志消除模型的输入要求的预处理图像。

对应的步骤104包括：将所述预处理图像输入到预先训练的标志消除模型中，对所述预处理图像中的待消除标志进行消除处理，得到已消除待消除标志的第三区域图像；对所述第三区域图像进行处理，得到所述第二区域图像。

比如，若预先训练的标志消除模型的输入要求包括输入图像的分辨率大于或等于X，而截取的第一区域图像的分辨率小于X，则在输入到标志消除模型之前，需对截取的第一区域图像进行缩放处理(比如缩小处理)，以满足标志消除模型的输入分辨率的要求，并在利用标志消除模型对缩小处理后的图像进行消除处理后，为了替换得到贴合原始图像的目标图像，需将标志消除模型的输出图像进行相应的放大处理。其中X可基于实际情况预设。

步骤105：利用第二区域图像替换待处理图像中的第一区域图像，得到目标图像。

本发明实施例中，可选的，步骤102中可利用预先训练的标志检测模型对待处理图像中的待消除标志进行检测。步骤102可包括：

将待处理图像输入到预先训练的标志检测模型中，对待处理图像中的待消除标志进行检测，得到待消除标志所在区域的位置信息。

这样，利用预先训练的标志检测模型进行检测，可以在保证检测精度的前提下，简化检测过程，提高效果。

进一步的，步骤102之前，所述方法还可包括：

获取标志检测训练集；其中，该标志检测训练集中的图像样本包含待消除标志，而该标志检测训练集中除包括图像样本外，还可包括待消除标志对应的位置信息以及类别标签信息等；

基于卷积神经网络和标志检测训练集，训练得到标志检测模型。

其中，上述卷积神经网络可选为残差卷积神经网络，以优化模型性能。而对应的损失函数可选为focal损失函数，比如FL(p_t)＝-α_t(1-p_t)^γlog(p_t)，其中p_t为训练过程中得到的类别概率，其他参数为模型参数。当检测到训练的标志检测模型达到饱和，即相应损失函数(损失值)小于预设阈值时，可确定训练结束。这样，由于卷积神经网络的拟合能力强，因此利用卷积神经网络进行标志检测模型的训练，可以提高后续检测的精度。

下面，结合图2对本发明具体实例中的标志检测模型的训练过程进行说明。

本发明具体实例中，卷积神经网络以残差卷积神经网络为例，损失函数为focal损失函数FL(p_t)＝-α_t(1-p_t)^γlog(p_t)，对应的训练过程可如下所述：

S1：随机从标志检测训练集中抽取N张图像样本，输入到残差卷积神经网络模块(即标志检测模型)，获得图像样本的特征，并将获得的图像样本的特征输入至FPN(FeaturePyramid Networks，特征金字塔网络)模块，形成多尺度特征并进行强化利用，以得到表达力更强、包含多尺度目标区域信息的特征图集合；该FPN模块用于生成多尺度特征；

S2：基于S1前向传播，对FPN模块输出的特征图集合分别进行类别及位置信息回归，得到网络预测的标志类别概率及位置信息，即得到预测的待消除标志的候选框位置信息及待消除标志的类别概率；

S3：基于S2前向传播，利用focal损失函数，计算训练图像样本对应的位置信息与相应网络在本次迭代的预测结果(即S2中的得到的位置信息)之间的损失值；

S4：判断S3中计算的损失值是否小于预设阈值(比如0.01)，即判断残差卷积神经网络模块是否饱和；若计算的损失值大于或等于预设阈值(未饱和)，则基于S4反向传播执行S1，继续随机抽取训练数据进行训练；而若计算的损失值小于预设阈值(饱和)，则训练结束，保存训练好的标志检测模型。

本发明实施例中，可选的，步骤102之前，所述方法还可包括：

获取标志消除训练集；其中，所述标志消除训练集中包括成对出现的包含待消除标志的第一图像样本集和不包含待消除标志的第二图像样本集；

基于所述第一图像样本集和所述第二图像样本集，对预设对抗神经网络模型中的生成器网络和判别器网络进行迭代训练，直至所述生成器网络和判别器网络的损失函数小于预设阈值，得到标志消除模型。

这样，基于成对出现的图像样本进行训练，可使得训练的标志消除模型学习图像特征分布，从而使得利用训练的标志消除模型得到的已消除待消除标志的图像，在可视效果上，更加贴合原始图像自然分布。

可以理解的，此损失函数可基于实际情况选择，但至少需满足以下几个条件：1)判别器必须允许所有相应类别的原始图像，即对应输出置1；2)判别器必须拒绝所有想要愚弄过关的生成图像，即对应输出置0；3)生成器必须使判别器允许通过所有的生成图像，来实现愚弄操作；4)生成器所生成的图像必须保留有原始图像的特性；比如若使用生成器A2B生成一张假图像，则要能够使用另一个生成器B2A来恢复出原始图像，此过程需满足循环一致性。

例如，上述损失函数可选为：

其中，G表示生成器，D_Y表示判别器，X表示模型输入，Y表示模型输出的标志信息，

表示判别器网络的损失值，

表示生成器网络的损失值。

下面，结合图2对本发明具体实例中的标志消除模型的训练过程进行说明。

本发明具体实例中，真实A表示包含待消除标志的图像样本，真实B表示不包含待消除标志的图像样本，对应的训练过程可如下所述：

S1：随机从标志消除训练集中抽取真实A与真实B的数据集，并分别进行各自前向传播，即对预设对抗神经网络模型中的生成器网络和判别器网络进行训练；

S2：真实A的前向传播过程为：真实A经生成器A2B得到生成_B，生成_B经生成器B2A得到Cycle_A，即真实A->生成器A2B->生成_B->生成器B2A->Cycle_A；

同时，真实B的前向传播过程为：真实B经生成器B2A得到生成_A，生成_A经生成器A2B得到Cycle_B，即真实B->生成器B2A->生成_A->生成器A2B->Cycle_B；

S3：判别器A对真实A与生成_A进行判别，输出[0，1]区间的值；同时，判别器B对真实B与生成B进行判别，输出[0，1]区间的值；其中输出的值越趋近于1说明该输入为真实数据，反之为假数据；

S4：持续迭代直至生成器网络和判别器网络的损失函数小于预设阈值(比如0.01)，得到训练饱和的标志消除模型，并保存训练好的标志消除模型。

上述实施例对本发明的图像处理方法进行了说明，下面将结合实施例和附图对本发明的图像处理装置进行说明。

参见图3所示，本发明实施例还提供了一种图像处理装置，包括：

第一获取模块31，用于获取待处理图像；

检测模块32，用于对所述待处理图像中的待消除标志进行检测，得到所述待消除标志所在区域的位置信息；

截取模块33，用于根据所述待消除标志所在区域的位置信息，从所述待处理图像中截取包含所述待消除标志的第一区域图像；

第一处理模块34，用于将所述第一区域图像输入到预先训练的标志消除模型中，对所述第一区域图像中的待消除标志进行消除处理，得到已消除待消除标志的第二区域图像；

替换模块35，用于利用所述第二区域图像替换所述待处理图像中的第一区域图像，得到目标图像。

本发明实施例的图像处理装置，通过将包含待消除标志的截取图像即第一区域图像输入到预先训练的标志消除模型中，对第一区域图像中的待消除标志进行消除处理，得到已消除待消除标志的第二区域图像，并利用第二区域图像替换待处理图像中的第一区域图像，得到目标图像，可以简单方便地实现对待处理图像中不同特定标志的消除，简化操作，且从可视效果上，更加贴合原始图像自然分布。

本发明实施例中，可选的，所述待消除标志包括至少一个目标标志。

可选的，所述检测模块32具体用于：

将所述待处理图像输入到预先训练的标志检测模型中，对所述待处理图像中的待消除标志进行检测，得到所述待消除标志所在区域的位置信息。

可选的，所述装置还包括：

第二获取模块，用于获取标志消除训练集；其中，所述标志消除训练集中包括成对出现的包含所述待消除标志的第一图像样本集和不包含所述待消除标志的第二图像样本集；

第一训练模块，用于基于所述第一图像样本集和所述第二图像样本集，对预设对抗神经网络模型中的生成器网络和判别器网络进行迭代训练，直至所述生成器网络和判别器网络的损失函数小于预设阈值，得到所述标志消除模型。

可选的，所述装置还包括：

第三获取模块，用于获取标志检测训练集；其中，所述标志检测训练集中的图像样本包含所述待消除标志；

第二训练模块，用于基于卷积神经网络和所述标志检测训练集，训练得到所述标志检测模型。

可选的，所述装置还包括：

第二处理模块，用于对所述第一区域图像进行预处理，得到满足所述标志消除模型的输入要求的预处理图像；

所述第一处理模块34具体用于：将所述预处理图像输入到预先训练的标志消除模型中，对所述预处理图像中的待消除标志进行消除处理，得到已消除待消除标志的第三区域图像；对所述第三区域图像进行处理，得到所述第二区域图像。

此外，本发明实施例还提供了一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时可实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

具体的，参见图4所示，本发明实施例还提供了一种终端设备，包括总线41、收发机42、天线43、总线接口44、处理器45和存储器46。

在本发明实施例中，所述终端设备还包括：存储在存储器46上并可在处理器45上运行的计算机程序。其中，所述计算机程序被处理器45执行时可实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

在图4中，总线架构(用总线41来代表)，总线41可以包括任意数量的互联的总线和桥，总线41将包括由处理器45代表的一个或多个处理器和存储器46代表的存储器的各种电路链接在一起。总线41还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口44在总线41和收发机42之间提供接口。收发机42可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器45处理的数据通过天线43在无线介质上进行传输，进一步，天线43还接收数据并将数据传送给处理器45。

处理器45负责管理总线41和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器46可以被用于存储处理器45在执行操作时所使用的数据。

可选的，处理器45可以是CPU、ASIC、FPGA或CPLD。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种图像处理方法，其特征在于，包括：

获取待处理图像；

2.根据权利要求1所述的方法，其特征在于，所述待消除标志包括至少一个目标标志。

3.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像中的待消除标志进行检测，得到所述待消除标志所在区域的位置信息，包括：

4.根据权利要求3所述的方法，其特征在于，所述获取待处理图像之前，所述方法还包括：

获取标志检测训练集；其中，所述标志检测训练集中的图像样本包含所述待消除标志；

基于卷积神经网络和所述标志检测训练集，训练得到所述标志检测模型。

5.根据权利要求1所述的方法，其特征在于，所述获取待处理图像之前，所述方法还包括：

获取标志消除训练集；其中，所述标志消除训练集中包括成对出现的包含所述待消除标志的第一图像样本集和不包含所述待消除标志的第二图像样本集；

基于所述第一图像样本集和所述第二图像样本集，对预设对抗神经网络模型中的生成器网络和判别器网络进行迭代训练，直至所述生成器网络和判别器网络的损失函数小于预设阈值，得到所述标志消除模型。

6.根据权利要求1所述的方法，其特征在于，所述从所述待处理图像中截取包含所述待消除标志的第一区域图像之后，所述将所述第一区域图像输入到预先训练的标志消除模型中之前，所述方法还包括：

对所述第一区域图像进行预处理，得到满足所述标志消除模型的输入要求的预处理图像；

所述将所述第一区域图像输入到预先训练的标志消除模型中，对所述第一区域图像中的待消除标志进行消除处理，得到已消除待消除标志的第二区域图像，包括：

将所述预处理图像输入到预先训练的标志消除模型中，对所述预处理图像中的待消除标志进行消除处理，得到已消除待消除标志的第三区域图像；

对所述第三区域图像进行处理，得到所述第二区域图像。

7.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取待处理图像；

8.根据权利要求7所述的装置，其特征在于，所述检测模块具体用于：

9.一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。