CN110660066A - 网络的训练方法、图像处理方法、网络、终端设备及介质 - Google Patents
网络的训练方法、图像处理方法、网络、终端设备及介质 Download PDFInfo
- Publication number
- CN110660066A CN110660066A CN201910931784.2A CN201910931784A CN110660066A CN 110660066 A CN110660066 A CN 110660066A CN 201910931784 A CN201910931784 A CN 201910931784A CN 110660066 A CN110660066 A CN 110660066A
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- mask
- edge
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种网络训练方法、图像处理方法、网络、终端设备及介质。训练方法包括:S1,获取包含目标对象的样本图像、样本图像对应的样本掩膜以及样本掩膜对应的样本边缘信息;S2,将样本图像输入至图像分割网络,得到该图像分割网络输出的生成掩膜;S3,将该生成掩膜输入至训练后的边缘神经网络,得到该边缘神经网络输出的生成边缘信息;S4根据样本掩膜与生成掩膜的差距,和生成边缘信息与样本边缘信息的差距,确定损失函数;S5,调整图像分割网络的各个参数,并返回S2,直至损失函数小于阈值。本申请可使图像分割网络输出的掩膜图像更加精确地表示目标对象的轮廓边缘。
Description
技术领域
本申请属于图像处理技术领域,尤其涉及一种图像分割网络的训练方法、图像处理方法、图像分割网络、终端设备及计算机可读存储介质。
背景技术
用户在拍摄完图像之后,往往希望变更图像中的背景(比如,将背景更换为室外沙滩场景,或者,将背景更换为用于拍摄证件照的纯色背景)。为了实现上述技术效果,目前常用的做法为:利用训练后的图像分割网络输出用于表示目标对象(也即是前景,比如,人像)所在区域的掩膜,然后利用该掩膜将目标对象分割出来,进而更换图像背景。
然而,目前图像分割网络输出的掩膜并不能精确表示目标对象的轮廓边缘,从而不能将目标对象进行精准分割,造成更换图像背景的效果较差。因此,如何使得图像分割网络所输出的掩膜能够更加精确地表示目标对象的轮廓边缘,是目前亟待解决的技术问题。
发明内容
有鉴于此,本申请实施例提供了一种图像分割网络的训练方法、图像处理方法、图像分割网络、终端设备及计算机可读存储介质,可以在一定程度上使得训练后的图像分割网络所输出的掩膜能够更加精确地表示目标对象的轮廓边缘。
本申请实施例的第一方面提供了一种图像分割网络的训练方法,包括步骤S101-S105:
S101,获取包含目标对象的各个样本图像、每个样本图像分别对应的样本掩膜以及每个样本掩膜分别对应的样本边缘信息,其中,每个样本掩膜均用于指示对应样本图像中目标对象所位于的图像区域,每个样本边缘信息均用于指示对应样本掩膜所指示的目标对象所在图像区域的轮廓边缘;
S102,对于每个样本图像,将该样本图像输入至图像分割网络,得到该图像分割网络输出的用于指示该样本图像中目标对象所在区域的生成掩膜;
S103,对于每个生成掩膜,将该生成掩膜输入至训练后的边缘神经网络,得到该边缘神经网络输出的生成边缘信息,该生成边缘信息用于指示该生成掩膜所指示的目标对象所在区域的轮廓边缘;
S104,确定所述图像分割网络的损失函数,所述损失函数用于衡量每个样本图像分别对应的样本掩膜与生成掩膜的差距,并且,所述损失函数还用于衡量每个样本图像分别对应的生成边缘信息与样本边缘信息的差距;
S105,调整所述图像分割网络的各个参数,然后返回执行S102,直至所述图像分割网络的损失函数小于第一预设阈值为止,从而得到训练后的图像分割网络。
本申请实施例的第二方面提供了一种图像处理方法,包括:
获取待处理图像,获取待处理图像,并将所述待处理图像输入至训练后的图像分割网络,得到所述待处理图像对应的掩膜,其中,所述训练后的图像分割网络是采用训练后的边缘神经网络训练得到,所述训练后的边缘神经网络用于根据输入的掩膜输出该掩膜所指示的目标对象所在区域的轮廓边缘;
基于所述待处理图像对应的掩膜,将所述待处理图像中所包含的目标对象分割出来。
本申请实施例的第三方面提供了一种图像分割网络,该图像分割网络是采用如上述第一方面所述的训练方法训练得到。
本申请实施例的第四方面提供了一种终端设备,包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现如上述第一方面或者第二方面所述方法的步骤。
本申请实施例的第五方面提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序被处理器执行时实现如上述第一方面或者第二方面所述方法的步骤。
本申请第六方面提供了一种计算机程序产品,上述计算机程序产品包括计算机程序,上述计算机程序被一个或多个处理器执行时实现如上述第一方面或者第二方面所述方法的步骤。
由上可见,本申请所提供的训练方法中,在对图像分割网络进行训练时,会利用训练后的边缘神经网络对图像分割网络进行训练。
首先利用附图1描述训练后的边缘神经网络,如图1所示,训练后的边缘神经网络001根据输入至该边缘神经网络001的掩膜002所指示的目标对象所在的图像区域(纯白色区域),输出边缘信息003,该边缘信息用于指示该图像区域的轮廓边缘所在的位置,附图1中的边缘信息003是以图像形式呈现的。
本申请所提供的训练方法包括如下步骤:首先,对于每个样本来说,将该样本图像输入至图像分割网络,得到该图像分割网络输出的生成掩膜,并将该生成掩膜输入至训练后的边缘神经网络,得到该边缘神经网络输出的生成边缘信息;其次,确定该图像分割网络的损失函数,该损失函数与每个样本图像对应的掩膜差距均正相关(某个样本图像对应的掩膜差距为该样本图像对应的样本掩膜与生成掩膜的差距),并且,该损失函数与每个样本图像对应的边缘差距也均正相关(某个样本图像对应的边缘差距为该样本图像对应的样本边缘信息与生成边缘信息的差距),最后,调整图像分割网络的各个参数,直至损失函数小于第一预设阈值为止。
由此可见,上述训练方法在保证图像分割网络输出的生成掩膜逼近样本掩膜的同时,会进一步保证图像分割网络输出的生成掩膜中所表示的目标对象的轮廓边缘与实际的轮廓边缘更为逼近,因此,本申请所提供的图像分割网络所输出的掩膜图像能够更加精确地表示目标对象的轮廓边缘。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例。
图1是本申请提供的一种训练后的边缘神经网络的工作原理示意图;
图2是本申请实施例一提供的一种图像分割网络的训练方法示意图;
图3是本申请实施例一提供的一种样本图像、样本掩膜以及样本边缘信息的示意图;
图4是本申请实施例一提供的一种图像分割网络的结构示意图;
图5是本申请实施例一提供的图像分割网络与训练后的边缘神经网络的连接关系示意图;
图6是本申请实施例一提供的边缘神经网络的结构示意图;
图7是本申请实施例二提供的另一种图像分割网络的训练方法示意图;
图8是本申请实施例二提供的图像分割网络的训练过程示意图;
图9是本申请实施例三提供的图像处理方法的工作流程示意图;
图10是本申请实施例四提供的一种图像分割网络的训练装置的结构示意图;
图11是本申请实施例五提供的一种图像处理装置的结构示意图;
图12是本申请实施例六提供的一种终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
本申请实施例提供的方法可以适用于终端设备,示例性地,该终端设备包括但不限于:智能手机、平板电脑、笔记本、桌上型计算机、云端服务器等。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
实施例一
下面对本申请实施例一提供的图像分割网络的训练方法进行描述,请参阅附图2,该训练方法包括:
在步骤S101中,获取包含目标对象的各个样本图像、每个样本图像分别对应的样本掩膜以及每个样本掩膜分别对应的样本边缘信息,其中,每个样本掩膜均用于指示对应样本图像中目标对象所位于的图像区域,每个样本边缘信息均用于指示对应样本掩膜所指示的目标对象所在图像区域的轮廓边缘;
在本申请实施例中,可以先从数据集中获取一部分样本图像,然后可以通过如下方式扩充用于训练图像分割网络的样本图像数量:对预先获取的样本图像进行镜面反转、尺度缩放和/或Gamma变化等,以此增大样本图像数量,从而获取该步骤S101所述的各个样本图像。
本申请所述的样本掩膜为二值图像。该步骤S101所述的某一样本掩膜对应的样本边缘信息的获取方式可以为:对该样本掩膜进行膨胀运算,得到膨胀运算后的掩膜图像,将膨胀运算后的掩膜图像与该样本掩膜做相减运算,即可得到该样本掩膜对应的样本边缘信息。采用这种方式所获取的样本边缘信息与样本掩膜相同,为二值图像。
为便于本领域技术人员对样本图像、样本掩膜以及样本边缘信息有更为直观的认识,下面利用附图3来进行说明。如图3所示,图像201是包含目标对象(即人像)的样本图像,图像202可以是该样本图像201对应的样本掩膜,图像203可以为该样本掩膜201对应的样本边缘信息。此外,本领域技术人员应该可以理解,上述样本边缘信息并非一定为二值图像,也可以是其他信息表现形式,只要能够体现“样本掩膜所指示的目标对象所在图像区域的轮廓边缘”即可。
此外,本领域技术人员应该能够理解,上述目标对象可以为人像、狗、猫等一切拍摄主体,本申请并不对目标对象的类别进行限定。
另外,为了更好的训练图像分割网络,各个样本图像所包含的图像内容要尽可能的不同,比如,若上述目标对象为人像时,则样本图像1所包含的图像内容可以为小明正面人像,样本图像2所包含的图像内容可以为小红半侧面人像。
在步骤S102中,对于每个样本图像,将该样本图像输入至图像分割网络,得到该图像分割网络输出的用于指示该样本图像中目标对象所在区域的生成掩膜;
在本申请实施例中,执行该步骤S102之前,需要事先建立一图像分割网络,该图像分割网络用于根据输入的图像,输出该图像所对应的掩膜。该图像分割网络可以为CNN(Convolutional Neural Networks,卷积神经网络),也可以为FPN(Feature PyramidNetworks,特征金字塔网络),本申请并不对图像分割网络的具体网络结构进行限定。采用FPN结构的图像分割网络可具体参见附图4。
在建立好上述图像分割网络之后,开始执行该步骤S102,以对该图像分割网络进行训练。
在训练过程中,需要将每一个样本图像均输入至该图像分割网络,得到该图像分割网络输出的各个生成掩膜,其中,每一个生成掩膜对应一个样本图像。另外,本领域技术人员容易理解,该步骤所述的“生成掩膜”与步骤S101所述的样本掩膜相同,可以为二值图像。
在步骤S103中,对于每个生成掩膜,将该生成掩膜输入至训练后的边缘神经网络,得到该边缘神经网络输出的生成边缘信息,该生成边缘信息用于指示该生成掩膜所指示的目标对象所在区域的轮廓边缘;
在执行该步骤S103之前,需要获取训练后的边缘神经网络,该训练后的边缘神经网络用于根据输入的掩膜,输出边缘信息,该边缘信息用于指示输入的该掩膜所指示的目标对象所在区域的轮廓边缘。在本申请实施例中,训练后的边缘神经网络可以如图1所示,输出003所示的边缘信息。
在获取到训练后的边缘神经网络之后,将步骤S102所述的各个生成掩膜分别输入至该训练后的边缘神经网络,得到该训练后的边缘神经网络输出的各个生成边缘信息,其中,每个生成边缘信息对应一生成掩膜,用于表示该生成掩膜所指示的目标对象所在图像区域的轮廓边缘。
在本申请实施例中,在训练图像分割网络的过程中,图像分割网络与训练后的边缘神经网络的连接方式如图5所示。
在步骤S104中,确定上述图像分割网络的损失函数,该损失函数用于衡量每个样本图像分别对应的样本掩膜与生成掩膜的差距,并且,该损失函数还用于衡量每个样本图像分别对应的生成边缘信息与样本边缘信息的差距;
本领域技术人员容易理解,每个样本图像均对应有一个样本掩膜、样本边缘信息、生成掩膜以及生成边缘信息。为了得到该步骤S104所述的损失函数,对于每个样本图像来说,需要计算该样本图像对应的样本掩膜与生成掩膜的差距(为便于后续描述,定义对于某个样本图像来说,该样本图像对应的样本掩膜与生成掩膜的差距为该样本图像对应的掩膜差距),还需要计算该样本图像对应的样本边缘信息与生成边缘信息的差距(为便于后续描述,定义对于某个样本图像来说,该样本图像对应的样本边缘信息与生成边缘信息的差距为该样本图像对应的边缘差距)。
在步骤S104中,需要计算上述图像分割网络的损失函数,该损失函数与每个样本图像用于衡量每个样本图像分别对应的样本掩膜与生成掩膜的差距,并且,该损失函数还用于衡量每个样本图像分别对应的生成边缘信息与样本边缘信息的差距,也即是:该损失函数与每个样本图像对应的掩膜差距均正相关,并且,该损失函数与每个样本图像对应的边缘差距也均正相关。
在本申请实施例中,上述损失函数的计算过程可以为:
步骤A、对于每个样本图像,计算该样本图像对应的生成掩膜与该样本图像对应的样本掩膜的图像差(即可以为m1i为生成掩膜第i个像素点的像素值,m2i为样本掩膜第i个像素点的像素值,M为生成掩膜的像素点总个数);
步骤B、若上述样本边缘信息以及生成边缘信息均为图像,则对于每个样本图像,计算该样本图像对应的样本边缘信息与该样本图像对应的生成边缘信息的图像差(该图像差的计算可参考步骤A所述);
步骤C、可以将上述步骤A得到的各个图像差以及图像B得到的各个图像差进行平均(若样本图像个数为N,则步骤A求得的各个图像差与步骤B得到的各个图像差求和,然后除以2N),即可得到损失函数。
然而,上述损失函数的计算方式并不局限于上述步骤A-步骤C,在本申请实施例中,上述损失函数也可以通过如下公式(1)计算得到:
在本申请实施例中,上述F1j的计算方法可以为:计算第j个样本图像所对应的样本掩膜与生成掩膜的交叉熵损失,具体公式如下:
其中,M为第j个样本图像中像素点的总个数,yji的数值是根据第j个样本图像对应的样本掩膜确定的,yji用于指示第j个样本图像中第i个像素点是否在目标对象所位于的图像区域,pji为所述图像分割网络预测的第j个样本图像中第i个像素点在目标对象所位于的图像区域的概率,x为对数log的底值。
在本申请实施例中,yji的数值是根据第j个样本图像对应的样本掩膜确定的,比如:若第j个样本图像对应的样本掩膜中,指示该第j个样本图像中第i个像素点位于目标对象所在的图像区域,则yji可以为1,若第j个样本图像对应的样本掩膜中,指示该第j个样本图像中第i个像素点没有位于目标对象所在的图像区域,则yji可以为0。本领域技术人员应该能够理解,yji的取值并不局限与1和0,也可以为其他数值。yji的取值是预先设定的,比如为1或者0。
本领域技术人员应该注意,当样本掩膜指示第i个像素点位于目标对象所在的图像区域时,yji的值要大于当样本掩膜指示第i个像素点未位于目标对象所在的图像区域时yji的值。也即是,若样本掩膜指示第i个像素点位于目标对象所在的图像区域时,yji为1,否则,yji为0;或者,若样本掩膜指示第i个像素点位于目标对象所在的图像区域时,yji为2,否则,yji为1;或者,若样本掩膜指示第i个像素点位于目标对象所在的图像区域时,yji为0.8,否则,yji为0.2。
在本申请实施例中,F2j的计算方式可以与上述公式(2)类似,即可以为:计算第j个样本图像所对应的样本边缘信息与与生成边缘信息的交叉熵损失。
或者,若上述训练后的边缘神经网络由A个卷积块级联而成,每个卷积块均有B个卷积层构成,则相应地,F2j的计算公式可以如下:
其中,mask1为第j个样本图像对应的生成掩膜,mask2为第j个样本图像对应的样本掩膜,hc(mask1)为训练后的边缘神经网络输入为mask1时,第c个卷积块的输出,hc(mask2)为训练后的边缘神经网络输入为mask2时,第c个卷积块的输出,λc为常数。
上述F2j的计算公式中,当训练后的边缘神经网络输入为mask2时,最后一个卷积块的输出可以认为等同于样本边缘信息,因此,可以通过上述公式(3)来衡量样本边缘信息与生成边缘信息的差距。
如图6所示,边缘神经网络可以由3个卷积块级联而成,每个卷积块均为一个卷积层。
在步骤S105中,判断上述损失函数是否小于第一预设阈值,若是,则执行步骤S107,否则,执行步骤S106;
在步骤S106中,调整上述图像分割网络的各个参数,然后返回执行步骤S102;
在步骤S107中,得到训练后的图像分割网络;
也即是,不断调整图像分割网络的各个参数,直至损失函数小于第一预设阈值。此外,在本申请实施例中,并不对参数调整方式进行具体限定,可以采用梯度下降算法、动力更新算法等等,此处对调整参数所使用的方法不作限定。
此外,在本申请实施例中,在对图像分割网络进行训练的时候,当将样本图像输入至图像分割网络之前,可以先将样本图像进行预处理,然后将预处理后的样本图像输入至图像分割网络。其中,上述预处理可以包括:图像裁剪和/或归一化处理等。
在上述步骤S107之后,还可以用测试集对训练后的图像分割网络进行评价。其中,测试集的获取方式可以参见现有技术,此处不再赘述。
对于测试集中的单个样本图像来说,评价函数可以为:
其中,X是将该样本图像输入至训练后的图像分割网络后,该图像分割网络输出的掩膜所指示的目标对象的图像区域;
Y是该样本图像对应的样本掩膜所指示的目标对象的图像区域;
通过X与Y的IoU(Intersection-over-Union,交并比),来评价该训练后的图像分割网络,IoU值越接近1,说明该训练后的图像分割网络性能越好。
本申请实施例一所提供的训练方法在保证图像分割网络输出的生成掩膜逼近样本掩膜的同时,会进一步保证图像分割网络输出的生成掩膜中所表示的目标对象的轮廓边缘与真实的轮廓边缘更为逼近,因此,本申请所提供的图像分割网络所输出的掩膜图像能够更加精确地表示目标对象的轮廓边缘。
实施例二
下面对本申请实施例二提供的另一种图像分割网络的训练方法进行描述,该训练方法相比于实施例一所述的训练方法,包含了对边缘神经网络的训练过程。请参阅附图7,该训练方法包括:
在步骤S301中,获取包含目标对象的各个样本图像、每个样本图像分别对应的样本掩膜以及每个样本掩膜分别对应的样本边缘信息,其中,每个样本掩膜均用于指示对应样本图像中目标对象所位于的图像区域,每个样本边缘信息均用于指示对应样本掩膜所指示的目标对象所在图像区域的轮廓边缘;
该步骤S301的具体实施过程具体可参见实施例一中步骤S101部分,此处不再赘述。
在步骤S302中,对于每个样本掩膜,将该样本掩膜输入至边缘神经网络,得到该边缘神经网络输出的边缘信息,该边缘信息用于指示该样本掩膜所指示的目标对象所在区域的轮廓边缘;
在本申请实施例中,该步骤S302至后续的步骤S306为对边缘神经网络的训练过程,以得到训练后的边缘神经网络。本领域技术人员应该能够理解,该步骤S302-S306执行在后续步骤S308之前,并不必须执行在步骤S307之前。
在执行该步骤S302之前,需要事先建立边缘神经网络,该边缘神经网络用于获取输入的样本掩膜所指示的目标对象所在区域的轮廓边缘。如附图6所示,该边缘神经网络可以由3个卷积层级联而成。
在该步骤S302中,将各个样本掩膜输入至边缘神经网络,得到该边缘神经网络输出的各个边缘信息,其中,每个样本掩膜均对应有一个该边缘神经网络输出的边缘信息。
在步骤S303中,确定上述边缘神经网络的损失函数,该损失函数用于衡量每个样本掩膜分别对应的样本边缘信息与上述边缘神经网络输出的边缘信息的差距;
在本申请实施例中,该步骤S303的具体含义是:确定上述边缘神经网络的损失函数,其中该损失函数正相关于每个样本掩膜对应的边缘差距(该边缘差距为该样本掩膜对应的样本边缘信息,与将该样本掩膜输入至上述边缘神经网络后该边缘神经网络输出的边缘信息的差距)。
在本申请实施例中,上述边缘神经网络的损失函数计算方式可以为:
若上述样本边缘信息与上述边缘神经网络输出的边缘信息均为如图1中003所示的图像,则上述边缘神经网络的损失函数可以为上述样本边缘信息与上述边缘神经网络输出的边缘信息的图像差(该图像差计算方式可参见实施例一中的步骤A所述,此处不再赘述)。
此外,上述边缘神经网络的损失函数计算方式可以为:对于每个样本掩膜来说,计算对应的样本边缘信息与上述边缘神经网络输出的边缘信息的交叉熵损失,然后求取平均。具体计算公式如下:
其中,LOSS2为上述边缘神经网络的损失函数,N为样本掩膜的总个数(本领域技术人员容易理解,样本图像、样本掩膜以及样本边缘信息的总个数均相同,均为N),M为第j个样本掩膜中像素点的总个数,rji的数值是根据第j个样本图像对应的样本边缘信息确定的,rji用于指示第j个样本掩膜中第i个像素点是否为轮廓边缘,qji为上述边缘神经网络预测的第j个样本掩膜中第i个像素点为轮廓边缘的概率,x为对数log的底值。
在本申请实施例中,rji的数值是根据第j个样本掩膜对应的样本边缘信息确定的,比如:若第j个样本掩膜对应的样本边缘信息中,指示该第j个样本掩膜中第i个像素点为轮廓边缘,则rji可以为1,若第j个样本掩膜对应的样本边缘信息中,指示该第i个像素点不为轮廓边缘,则rji可以为0。本领域技术人员应该能够理解,rji的取值并不局限与1和0,也可以为其他数值。rji的取值是预先设定的,比如为1或者0。
本领域技术人员应该注意,当样本边缘信息指示第i个像素点为轮廓边缘时,rji的值要大于当样本边缘信息指示第i个像素点不为轮廓边缘时rji的值。也即是,若样本边缘信息指示第i个像素点为轮廓边缘时,rji为1,否则,rji为0;或者,若样本边缘信息指示第i个像素点为轮廓边缘时,rji为2,否则,rji为1;或者,若样本边缘信息指示第i个像素点为轮廓边缘时,rji为0.8,否则,rji为0.2。
在步骤S304中,判断上述边缘神经网络的损失函数是否小于第二预设阈值,若否,则执行步骤S305,若是,则执行步骤S306;
在步骤S305中,调整上述边缘神经网络模型的各个参数,然后返回执行步骤S302;
在步骤S306中,得到训练后的边缘神经网络;
也即是,不断调整边缘神经网络的各个参数,直至损失函数小于第二预设阈值。此外,在本申请实施例中,并不对参数调整方式进行具体限定,可以采用梯度下降算法、动力更新算法等等,此处对调整参数所使用的方法不作限定。
在步骤S307中,对于每个样本图像,将该样本图像输入至图像分割网络,得到该图像分割网络输出的用于指示该样本图像中目标对象所在区域的生成掩膜;
在步骤S308中,对于每个生成掩膜,将该生成掩膜输入至训练后的边缘神经网络,得到该边缘神经网络输出的生成边缘信息,该生成边缘信息用于指示该生成掩膜所指示的目标对象所在区域的轮廓边缘;
在步骤S309中,确定上述图像分割网络的损失函数,该损失函数用于衡量每个样本图像分别对应的样本掩膜与生成掩膜的差距,并且,该损失函数还用于衡量每个样本图像分别对应的生成边缘信息与样本边缘信息的差距;
在步骤S310中,判断上述损失函数是否小于第一预设阈值,若是,则执行步骤S312,否则,执行步骤S311;
在步骤S311中,调整上述图像分割网络的各个参数,然后返回执行步骤S102;
在步骤S312中,得到训练后的图像分割网络;
上述步骤S307-S312的具体实施方式与实施例一中步骤S102-S107的具体实施方式完全相同,具体可参见实施例一的描述,此处不再赘述。
下面利用附图8对本申请实施例二所述的训练过程进行简要说明。
如图8(a)所示,为边缘神经网络的训练过程。首先,将样本掩膜输入至边缘神经网络中,得到该边缘神经网络输出的边缘信息;其次,根据边缘神经网络与各个样本边缘信息,计算交叉熵损失,其中,该样本边缘信息为样本掩膜通过膨胀运算及相减运算得到,具体可参见实施例一的描述,此处不在赘述;然后,将各个交叉熵损失进行平均即得到损失函数;最后,不断调整该边缘神经网络的各个参数,直至损失函数较小为止,从而得到训练后的边缘神经网络。
在得到训练后的边缘神经网络之后,可参见图8(b)实现对图像分割网络的训练。
如图8(b)所示,为图像分割网络的训练过程,首先,将样本图像输入至图像分割网络中,得到该图像分割网络输出的生成掩膜,并计算该生成掩膜与样本掩膜的交叉熵损失;其次,将该生成掩膜输入至训练后的边缘神经网络,得到每个卷积层的输出,并将样本掩膜输入至该训练后的边缘神经网络,得到每个卷积层的输出;然后,根据计算的上述交叉熵损失、将生成掩膜输入时,各个卷积层的输出以及将样本掩膜输入时,各个卷积层的输出,计算图像分割网络的损失函数(具体计算方式可参见实施例一的描述);最后,不断调整该图像分割网络的各个参数,直至损失函数较小为止,从而得到训练后的图像分割网络。
本申请实施例二所述的训练方法,相比于实施例一多出了边缘神经网络的训练过程,这可以使得训练边缘神经网络所采用的样本与训练图像分割网络所采用的样本是一致的,从而可以更好的根据边缘神经网络的输出结果来衡量图像分割网络输出掩膜的边缘准确度,从而更好地训练图像分割网络。
实施例三
本申请实施例三提供了一种图像处理方法,请参阅附图9,该图像处理方法包括:
在步骤S401中,获取待处理图像,并将该待处理图像输入至训练后的图像分割网络,得到该待处理图像对应的掩膜,其中,该训练后的图像分割网络是采用训练后的边缘神经网络训练得到,该训练后的边缘神经网络用于根据输入的掩膜输出该掩膜所指示的目标对象所在区域的边缘轮廓;
具体地,该步骤S401所述的训练后的边缘神经网络是采用如上述实施例一或实施例二所述方法训练得到的神经网络;
在步骤S402中,基于上述待处理图像对应的掩膜,将该待处理图像中所包含的目标对象分割出来。
本领域技术人员容易理解,在上述步骤S402之后,还可以执行更换背景的具体操作,该操作是现有技术,此处不在赘述。
该实施例三所述的方法可以是应用在终端设备(比如手机)中的方法,该方法可以便于用户更换待处理图像中的背景,该方法能够准确的分割目标对象,更加精确的更换背景,能够在一定程度上提高用户体验。
实施例四
本申请实施例四提供了一种图像分割网络的训练装置。为了便于说明,仅示出与本申请相关的部分,如图10所示,该训练装置500包括:
样本获取模块501,用于获取包含目标对象的各个样本图像、每个样本图像分别对应的样本掩膜以及每个样本掩膜分别对应的样本边缘信息,其中,每个样本掩膜均用于指示对应样本图像中目标对象所位于的图像区域,每个样本边缘信息均用于指示对应样本掩膜所指示的目标对象所在图像区域的轮廓边缘;
生成掩膜获取模块502,用于对于每个样本图像,将该样本图像输入至图像分割网络,得到该图像分割网络输出的用于指示该样本图像中目标对象所在区域的生成掩膜;
生成边缘获取模块503,用于对于每个生成掩膜,将该生成掩膜输入至训练后的边缘神经网络,得到该边缘神经网络输出的生成边缘信息,该生成边缘信息用于指示该生成掩膜所指示的目标对象所在区域的轮廓边缘;
损失确定模块504,用于确定所述图像分割网络的损失函数,所述损失函数用于衡量每个样本图像分别对应的样本掩膜与生成掩膜的差距,并且,所述损失函数还用于衡量每个样本图像分别对应的生成边缘信息与样本边缘信息的差距;
调参模块505,用于调整所述图像分割网络的各个参数,然后触发所述生成掩膜获取模块继续执行相应的步骤,直至所述图像分割网络的损失函数小于第一预设阈值为止,从而得到训练后的图像分割网络。
可选地,上述损失确定模块504具体用于:
确定所述图像分割网络的损失函数,该损失函数的计算公式为:
其中,LOSS1为所述图像分割网络的损失函数,N为样本图像的总个数,F1j用于衡量第j个样本图像对应的样本掩膜与生成掩膜的差距,F2j用于衡量第j个样本图像对应的样本边缘信息与生成边缘信息的差距,
可选地,上述F1j的计算公式如下:
其中,M为第j个样本图像中像素点的总个数,yji的数值是根据第j个样本图像对应的样本掩膜确定的,yji用于指示第j个样本图像中第i个像素点是否在目标对象所位于的图像区域,pji为所述图像分割网络预测的第j个样本图像中第i个像素点在目标对象所位于的图像区域的概率,x为对数log的底值;
此外,当样本掩膜指示第i个像素点位于目标对象所在的图像区域时,该yji的值要大于当样本掩膜指示第i个像素点未位于目标对象所在的图像区域时yji的值。
可选地,上述训练后的边缘神经网络由A个卷积块级联而成,每个卷积块均有B个卷积层构成;
相应地,上述F2j的计算公式如下:
其中,mask1为第j个样本图像对应的生成掩膜,mask2为第j个样本图像对应的样本掩膜,hc(mask1)为训练后的边缘神经网络输入为mask1时,第c个卷积块的输出,hc(mask2)为训练后的边缘神经网络输入为mask2时,第c个卷积块的输出,λc为常数。
可选地,上述训练装置还包括边缘神经网络训练模块,该边缘神经网络训练模块包括:
边缘信息获取单元,用于对于每个样本掩膜,将该样本掩膜输入至边缘神经网络,得到该边缘神经网络输出的边缘信息,该边缘信息用于指示该样本掩膜所指示的目标对象所在区域的轮廓边缘;
边缘损失确定单元,用于确定所述边缘神经网络的损失函数,该损失函数用于衡量每个样本掩膜分别对应的样本边缘信息与所述边缘神经网络输出的边缘信息的差距;
边缘调参单元,用于调整所述边缘神经网络的各个参数,然后触发所述边缘信息获取单元继续执行相应步骤,直至所述边缘神经网络的损失函数值小于第二预设阈值,从而得到训练后的边缘神经网络。
可选地,上述边缘损失确定单元具体用于:
确定所述边缘神经网络的损失函数,该损失函数的计算公式为:
其中,LOSS2为所述边缘神经网络的损失函数,N为样本图像的总个数,M为第j个样本掩膜中像素点的总个数,rji的数值是根据第j个样本图像对应的样本边缘信息确定的,rji用于指示第j个样本掩膜中第i个像素点是否为轮廓边缘,qji为所述边缘神经网络预测的第j个样本掩膜中第i个像素点为轮廓边缘的概率,x为对数log的底值;
此外,当样本边缘信息指示第i个像素点为轮廓边缘时,该rji的值要大于当样本边缘信息指示第i个像素点不为轮廓边缘时rji的值。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例一以及方法实施例二基于同一构思,其具体功能及带来的技术效果,具体可参见相应方法实施例部分,此处不再赘述。
实施例五
本申请实施例五提供了一种图像处理装置。为了便于说明,仅示出与本申请相关的部分,如图11所示,该图像处理装置600包括:
掩膜获取模块601,用于获取待处理图像,并将所述待处理图像输入至训练后的图像分割网络,得到所述待处理图像对应的掩膜,其中,是采用训练后的边缘神经网络训练得到,该训练后的边缘神经网络用于根据输入的掩膜输出该掩膜所指示的目标对象所在区域的边缘轮廓(具体地,所述训练后的图像分割网络是采用如实施例一或实施例二所述训练方法训练得到);
目标对象分割模块602,用于基于所述待处理图像对应的掩膜,将所述待处理图像中所包含的目标对象分割出来。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例三基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例三部分,此处不再赘述。
实施例六
图12是本申请实施例六提供的终端设备的示意图。如图12所示,该实施例的终端设备700包括:处理器701、存储器702以及存储在上述存储器702中并可在上述处理器701上运行的计算机程序703。上述处理器701执行上述计算机程序703时实现上述各个方法实施例中的步骤。或者,上述处理器701执行上述计算机程序703时实现上述各装置实施例中各模块/单元的功能。
示例性的,上述计算机程序703可以被分割成一个或多个模块/单元,上述一个或者多个模块/单元被存储在上述存储器702中,并由上述处理器701执行,以完成本申请。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述上述计算机程序703在上述终端设备700中的执行过程。例如,上述计算机程序703可以被分割成样本获取模块、生成掩膜获取模块、生成边缘获取模块、损失确定模块以及调参模块,各模块具体功能如下:
S101,获取包含目标对象的各个样本图像、每个样本图像分别对应的样本掩膜以及每个样本掩膜分别对应的样本边缘信息,其中,每个样本掩膜均用于指示对应样本图像中目标对象所位于的图像区域,每个样本边缘信息均用于指示对应样本掩膜所指示的目标对象所在图像区域的轮廓边缘;
S102,对于每个样本图像,将该样本图像输入至图像分割网络,得到该图像分割网络输出的用于指示该样本图像中目标对象所在区域的生成掩膜;
S103,对于每个生成掩膜,将该生成掩膜输入至训练后的边缘神经网络,得到该边缘神经网络输出的生成边缘信息,该生成边缘信息用于指示该生成掩膜所指示的目标对象所在区域的轮廓边缘;
S104,确定所述图像分割网络的损失函数,所述损失函数用于衡量每个样本图像分别对应的样本掩膜与生成掩膜的差距,并且,所述损失函数还用于衡量每个样本图像分别对应的生成边缘信息与样本边缘信息的差距;
S105,调整所述图像分割网络的各个参数,然后返回执行S102,直至所述图像分割网络的损失函数小于第一预设阈值为止,从而得到训练后的图像分割网络。
或者,上述计算机程序703可以被分割成掩膜获取模块以及目标对象分割模块,各模块具体功能如下:
获取待处理图像,并将所述待处理图像输入至训练后的图像分割网络,得到所述待处理图像对应的掩膜,其中,所述训练后的图像分割网络是采用实施例一或实施例二所述的训练方法训练得到;
基于所述待处理图像对应的掩膜,将所述待处理图像中所包含的目标对象分割出来。
上述终端设备可包括,但不仅限于,处理器701、存储器702。本领域技术人员可以理解,图12仅仅是终端设备700的示例,并不构成对终端设备700的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如上述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器701可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器702可以是上述终端设备700的内部存储单元,例如终端设备700的硬盘或内存。上述存储器702也可以是上述终端设备700的外部存储设备,例如上述终端设备700上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,上述存储器702还可以既包括上述终端设备700的内部存储单元也包括外部存储设备。上述存储器702用于存储上述计算机程序以及上述终端设备所需的其它程序和数据。上述存储器702还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述各个方法实施例中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (12)
1.一种图像分割网络的训练方法,其特征在于,包括:
S101,获取包含目标对象的各个样本图像、每个样本图像分别对应的样本掩膜以及每个样本掩膜分别对应的样本边缘信息,其中,每个样本掩膜均用于指示对应样本图像中目标对象所位于的图像区域,每个样本边缘信息均用于指示对应样本掩膜所指示的目标对象所在图像区域的轮廓边缘;
S102,对于每个样本图像,将该样本图像输入至图像分割网络,得到该图像分割网络输出的用于指示该样本图像中目标对象所在区域的生成掩膜;
S103,对于每个生成掩膜,将该生成掩膜输入至训练后的边缘神经网络,得到该边缘神经网络输出的生成边缘信息,该生成边缘信息用于指示该生成掩膜所指示的目标对象所在区域的轮廓边缘;
S104,确定所述图像分割网络的损失函数,所述损失函数用于衡量每个样本图像分别对应的样本掩膜与生成掩膜的差距,并且,所述损失函数还用于衡量每个样本图像分别对应的生成边缘信息与样本边缘信息的差距;
S105,调整所述图像分割网络的各个参数,然后返回执行S102,直至所述图像分割网络的损失函数小于第一预设阈值为止,从而得到训练后的图像分割网络。
2.如权利要求1所述的训练方法,其特征在于,所述确定所述图像分割网络的损失函数,所述损失函数用于衡量每个样本图像分别对应的样本掩膜与生成掩膜的差距,并且,所述损失函数还用于衡量每个样本图像分别对应的生成边缘信息与样本边缘信息的差距,包括:
确定所述图像分割网络的损失函数,所述损失函数正相关于每个样本图像分别对应的掩膜差距,并且,所述损失函数正相关于每个样本图像分别对应的边缘差距,其中,每个样本图像对应的掩膜差距为该样本图像对应的样本掩膜与生成掩膜的差距,每个样本图像对应的边缘差距为该样本图像对应的样本边缘信息与生成边缘信息的差距。
6.如权利要求1至5中任一项所述的训练方法,其特征在于,在所述步骤S103之前,所述训练方法还包括对边缘神经网络的训练过程,所述对边缘神经网络的训练过程如下:
对于每个样本掩膜,将该样本掩膜输入至边缘神经网络,得到该边缘神经网络输出的边缘信息,该边缘信息用于指示该样本掩膜所指示的目标对象所在区域的轮廓边缘;
确定所述边缘神经网络的损失函数,该损失函数用于衡量每个样本掩膜分别对应的样本边缘信息与所述边缘神经网络输出的边缘信息的差距;
调整所述边缘神经网络的各个参数,然后返回执行所述对于每个样本掩膜,将该样本掩膜输入至边缘神经网络,得到该边缘神经网络输出的边缘信息的步骤以及后续步骤,直至所述边缘神经网络的损失函数值小于第二预设阈值,从而得到训练后的边缘神经网络。
7.如权利要求6所述的训练方法,其特征在于,所述确定所述边缘神经网络的损失函数,该损失函数用于衡量每个样本掩膜分别对应的样本边缘信息与所述边缘神经网络输出的边缘信息的差距,包括:
确定所述边缘神经网络的损失函数,该损失函数的计算公式为:
其中,LOSS2为所述边缘神经网络的损失函数,N为样本图像的总个数,M为第j个样本掩膜中像素点的总个数,rji的数值是根据第j个样本图像对应的样本边缘信息确定的,rji用于指示第j个样本掩膜中第i个像素点是否为轮廓边缘,qji为所述边缘神经网络预测的第j个样本掩膜中第i个像素点为轮廓边缘的概率,x为对数log的底值;
此外,当样本边缘信息指示第i个像素点为轮廓边缘时,该rji的值要大于当样本边缘信息指示第i个像素点不为轮廓边缘时rji的值。
8.一种图像处理方法,其特征在于,包括:
获取待处理图像,并将所述待处理图像输入至训练后的图像分割网络,得到所述待处理图像对应的掩膜,其中,所述训练后的图像分割网络是采用训练后的边缘神经网络训练得到,所述训练后的边缘神经网络用于根据输入的掩膜输出该掩膜所指示的目标对象所在区域的轮廓边缘;
基于所述待处理图像对应的掩膜,将所述待处理图像中所包含的目标对象分割出来。
9.如权利要求8所述的图像处理方法,其特征在于,所述训练后的图像分割网络是采用训练后的边缘神经网络训练得到,所述训练后的边缘神经网络用于根据输入的掩膜输出该掩膜所指示的目标对象所在区域的轮廓边缘,包括:
所述训练后的图像分割网络是采用如权利要求1至7中任一项所述的训练方法训练得到。
10.一种图像分割网络,其特征在于,所述图像分割网络采用如权利要求1至7中任一项所述的训练方法训练得到。
11.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910931784.2A CN110660066B (zh) | 2019-09-29 | 2019-09-29 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
PCT/CN2020/117470 WO2021057848A1 (zh) | 2019-09-29 | 2020-09-24 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910931784.2A CN110660066B (zh) | 2019-09-29 | 2019-09-29 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110660066A true CN110660066A (zh) | 2020-01-07 |
CN110660066B CN110660066B (zh) | 2023-08-04 |
Family
ID=69039787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910931784.2A Active CN110660066B (zh) | 2019-09-29 | 2019-09-29 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110660066B (zh) |
WO (1) | WO2021057848A1 (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111311485A (zh) * | 2020-03-17 | 2020-06-19 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
CN111415358A (zh) * | 2020-03-20 | 2020-07-14 | Oppo广东移动通信有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN111462086A (zh) * | 2020-03-31 | 2020-07-28 | 北京推想科技有限公司 | 图像分割方法及装置、神经网络模型的训练方法及装置 |
CN111488876A (zh) * | 2020-06-28 | 2020-08-04 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的车牌识别方法、装置、设备及介质 |
CN111754521A (zh) * | 2020-06-17 | 2020-10-09 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备及存储介质 |
CN111899273A (zh) * | 2020-06-10 | 2020-11-06 | 上海联影智能医疗科技有限公司 | 图像分割方法、计算机设备和存储介质 |
CN112070793A (zh) * | 2020-09-11 | 2020-12-11 | 北京邮电大学 | 一种目标提取方法及装置 |
CN112132847A (zh) * | 2020-09-27 | 2020-12-25 | 北京字跳网络技术有限公司 | 模型训练方法、图像分割方法、装置、电子设备和介质 |
CN112465843A (zh) * | 2020-12-22 | 2021-03-09 | 深圳市慧鲤科技有限公司 | 图像分割方法及装置、电子设备和存储介质 |
CN112580567A (zh) * | 2020-12-25 | 2021-03-30 | 深圳市优必选科技股份有限公司 | 一种模型获取方法、模型获取装置及智能设备 |
WO2021057848A1 (zh) * | 2019-09-29 | 2021-04-01 | Oppo广东移动通信有限公司 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
CN112669228A (zh) * | 2020-12-22 | 2021-04-16 | 厦门美图之家科技有限公司 | 图像处理方法、***、移动终端及存储介质 |
CN113159074A (zh) * | 2021-04-26 | 2021-07-23 | 京东数科海益信息科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN113327210A (zh) * | 2021-06-30 | 2021-08-31 | 中海油田服务股份有限公司 | 测井图像填补方法、装置、介质及电子设备 |
CN113643311A (zh) * | 2021-06-28 | 2021-11-12 | 清华大学 | 一种对边界误差鲁棒的图像分割方法和装置 |
CN113744293A (zh) * | 2020-05-13 | 2021-12-03 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
CN113808003A (zh) * | 2020-06-17 | 2021-12-17 | 北京达佳互联信息技术有限公司 | 图像处理模型的训练方法、图像处理方法及装置 |
CN113822287A (zh) * | 2021-11-19 | 2021-12-21 | 苏州浪潮智能科技有限公司 | 一种图像处理方法、***、设备以及介质 |
CN114758136A (zh) * | 2022-06-13 | 2022-07-15 | 深圳比特微电子科技有限公司 | 目标去除模型建立方法、装置及可读存储介质 |
CN114998168A (zh) * | 2022-05-19 | 2022-09-02 | 清华大学 | 超声图像样本生成方法及设备 |
WO2023097479A1 (zh) * | 2021-11-30 | 2023-06-08 | 华为技术有限公司 | 一种训练模型的方法、构建三维耳廓结构的方法和装置 |
WO2023138540A1 (zh) * | 2022-01-20 | 2023-07-27 | 北京字跳网络技术有限公司 | 边缘提取方法、装置、电子设备及存储介质 |
CN117237397A (zh) * | 2023-07-13 | 2023-12-15 | 天翼爱音乐文化科技有限公司 | 基于特征融合的人像分割方法、***、设备及存储介质 |
CN117474932A (zh) * | 2023-12-27 | 2024-01-30 | 苏州镁伽科技有限公司 | 对象分割方法和装置、电子设备及存储介质 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362351A (zh) * | 2020-03-05 | 2021-09-07 | 阿里巴巴集团控股有限公司 | 一种图像处理方法、装置、电子设备以及存储介质 |
CN113177606B (zh) * | 2021-05-20 | 2023-11-28 | 上海商汤智能科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN113378948A (zh) * | 2021-06-21 | 2021-09-10 | 梅卡曼德(北京)机器人科技有限公司 | 图像掩膜生成方法、装置、电子设备和存储介质 |
CN113724163B (zh) * | 2021-08-31 | 2024-06-07 | 平安科技(深圳)有限公司 | 基于神经网络的图像矫正方法、装置、设备及介质 |
CN115223171B (zh) * | 2022-03-15 | 2024-07-02 | 腾讯科技(深圳)有限公司 | 文本识别方法、装置、设备及存储介质 |
CN116823864B (zh) * | 2023-08-25 | 2024-01-05 | 锋睿领创(珠海)科技有限公司 | 基于平衡损失函数的数据处理方法、装置、设备及介质 |
CN117315263B (zh) * | 2023-11-28 | 2024-03-22 | 杭州申昊科技股份有限公司 | 一种目标轮廓装置、训练方法、分割方法、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106846336A (zh) * | 2017-02-06 | 2017-06-13 | 腾讯科技(上海)有限公司 | 提取前景图像、替换图像背景的方法及装置 |
CN108647588A (zh) * | 2018-04-24 | 2018-10-12 | 广州绿怡信息科技有限公司 | 物品类别识别方法、装置、计算机设备和存储介质 |
CN109377445A (zh) * | 2018-10-12 | 2019-02-22 | 北京旷视科技有限公司 | 模型训练方法、替换图像背景的方法、装置和电子*** |
US20190080456A1 (en) * | 2017-09-12 | 2019-03-14 | Shenzhen Keya Medical Technology Corporation | Method and system for performing segmentation of image having a sparsely distributed object |
CN109685067A (zh) * | 2018-12-26 | 2019-04-26 | 江西理工大学 | 一种基于区域和深度残差网络的图像语义分割方法 |
CN110084234A (zh) * | 2019-03-27 | 2019-08-02 | 东南大学 | 一种基于实例分割的声呐图像目标识别方法 |
CN110176016A (zh) * | 2019-05-28 | 2019-08-27 | 哈工大新材料智能装备技术研究院(招远)有限公司 | 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法 |
CN110188760A (zh) * | 2019-04-01 | 2019-08-30 | 上海卫莎网络科技有限公司 | 一种图像处理模型训练方法、图像处理方法及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10748036B2 (en) * | 2017-11-21 | 2020-08-18 | Nvidia Corporation | Training a neural network to predict superpixels using segmentation-aware affinity loss |
CN109325954B (zh) * | 2018-09-18 | 2021-08-10 | 北京旷视科技有限公司 | 图像分割方法、装置及电子设备 |
CN109726644A (zh) * | 2018-12-14 | 2019-05-07 | 重庆邮电大学 | 一种基于生成对抗网络的细胞核分割方法 |
CN110660066B (zh) * | 2019-09-29 | 2023-08-04 | Oppo广东移动通信有限公司 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
-
2019
- 2019-09-29 CN CN201910931784.2A patent/CN110660066B/zh active Active
-
2020
- 2020-09-24 WO PCT/CN2020/117470 patent/WO2021057848A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106846336A (zh) * | 2017-02-06 | 2017-06-13 | 腾讯科技(上海)有限公司 | 提取前景图像、替换图像背景的方法及装置 |
US20190080456A1 (en) * | 2017-09-12 | 2019-03-14 | Shenzhen Keya Medical Technology Corporation | Method and system for performing segmentation of image having a sparsely distributed object |
CN108647588A (zh) * | 2018-04-24 | 2018-10-12 | 广州绿怡信息科技有限公司 | 物品类别识别方法、装置、计算机设备和存储介质 |
CN109377445A (zh) * | 2018-10-12 | 2019-02-22 | 北京旷视科技有限公司 | 模型训练方法、替换图像背景的方法、装置和电子*** |
CN109685067A (zh) * | 2018-12-26 | 2019-04-26 | 江西理工大学 | 一种基于区域和深度残差网络的图像语义分割方法 |
CN110084234A (zh) * | 2019-03-27 | 2019-08-02 | 东南大学 | 一种基于实例分割的声呐图像目标识别方法 |
CN110188760A (zh) * | 2019-04-01 | 2019-08-30 | 上海卫莎网络科技有限公司 | 一种图像处理模型训练方法、图像处理方法及电子设备 |
CN110176016A (zh) * | 2019-05-28 | 2019-08-27 | 哈工大新材料智能装备技术研究院(招远)有限公司 | 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法 |
Cited By (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021057848A1 (zh) * | 2019-09-29 | 2021-04-01 | Oppo广东移动通信有限公司 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
CN111311485A (zh) * | 2020-03-17 | 2020-06-19 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
CN111311485B (zh) * | 2020-03-17 | 2023-07-04 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
CN111415358A (zh) * | 2020-03-20 | 2020-07-14 | Oppo广东移动通信有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN111415358B (zh) * | 2020-03-20 | 2024-03-12 | Oppo广东移动通信有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN111462086B (zh) * | 2020-03-31 | 2024-04-26 | 推想医疗科技股份有限公司 | 图像分割方法及装置、神经网络模型的训练方法及装置 |
CN111462086A (zh) * | 2020-03-31 | 2020-07-28 | 北京推想科技有限公司 | 图像分割方法及装置、神经网络模型的训练方法及装置 |
CN113744293A (zh) * | 2020-05-13 | 2021-12-03 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
CN111899273A (zh) * | 2020-06-10 | 2020-11-06 | 上海联影智能医疗科技有限公司 | 图像分割方法、计算机设备和存储介质 |
CN113808003B (zh) * | 2020-06-17 | 2024-02-09 | 北京达佳互联信息技术有限公司 | 图像处理模型的训练方法、图像处理方法及装置 |
CN111754521A (zh) * | 2020-06-17 | 2020-10-09 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备及存储介质 |
CN113808003A (zh) * | 2020-06-17 | 2021-12-17 | 北京达佳互联信息技术有限公司 | 图像处理模型的训练方法、图像处理方法及装置 |
CN111488876A (zh) * | 2020-06-28 | 2020-08-04 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的车牌识别方法、装置、设备及介质 |
CN112070793A (zh) * | 2020-09-11 | 2020-12-11 | 北京邮电大学 | 一种目标提取方法及装置 |
CN112132847A (zh) * | 2020-09-27 | 2020-12-25 | 北京字跳网络技术有限公司 | 模型训练方法、图像分割方法、装置、电子设备和介质 |
CN112669228B (zh) * | 2020-12-22 | 2024-05-31 | 厦门美图之家科技有限公司 | 图像处理方法、***、移动终端及存储介质 |
CN112669228A (zh) * | 2020-12-22 | 2021-04-16 | 厦门美图之家科技有限公司 | 图像处理方法、***、移动终端及存储介质 |
CN112465843A (zh) * | 2020-12-22 | 2021-03-09 | 深圳市慧鲤科技有限公司 | 图像分割方法及装置、电子设备和存储介质 |
CN112580567A (zh) * | 2020-12-25 | 2021-03-30 | 深圳市优必选科技股份有限公司 | 一种模型获取方法、模型获取装置及智能设备 |
CN112580567B (zh) * | 2020-12-25 | 2024-04-16 | 深圳市优必选科技股份有限公司 | 一种模型获取方法、模型获取装置及智能设备 |
CN113159074A (zh) * | 2021-04-26 | 2021-07-23 | 京东数科海益信息科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN113159074B (zh) * | 2021-04-26 | 2024-02-09 | 京东科技信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN113643311A (zh) * | 2021-06-28 | 2021-11-12 | 清华大学 | 一种对边界误差鲁棒的图像分割方法和装置 |
CN113643311B (zh) * | 2021-06-28 | 2024-04-09 | 清华大学 | 一种对边界误差鲁棒的图像分割方法和装置 |
CN113327210A (zh) * | 2021-06-30 | 2021-08-31 | 中海油田服务股份有限公司 | 测井图像填补方法、装置、介质及电子设备 |
CN113327210B (zh) * | 2021-06-30 | 2023-04-07 | 中海油田服务股份有限公司 | 测井图像填补方法、装置、介质及电子设备 |
CN113822287B (zh) * | 2021-11-19 | 2022-02-22 | 苏州浪潮智能科技有限公司 | 一种图像处理方法、***、设备以及介质 |
WO2023087597A1 (zh) * | 2021-11-19 | 2023-05-25 | 苏州浪潮智能科技有限公司 | 一种图像处理方法、***、设备以及介质 |
CN113822287A (zh) * | 2021-11-19 | 2021-12-21 | 苏州浪潮智能科技有限公司 | 一种图像处理方法、***、设备以及介质 |
WO2023097479A1 (zh) * | 2021-11-30 | 2023-06-08 | 华为技术有限公司 | 一种训练模型的方法、构建三维耳廓结构的方法和装置 |
WO2023138540A1 (zh) * | 2022-01-20 | 2023-07-27 | 北京字跳网络技术有限公司 | 边缘提取方法、装置、电子设备及存储介质 |
CN114998168A (zh) * | 2022-05-19 | 2022-09-02 | 清华大学 | 超声图像样本生成方法及设备 |
CN114998168B (zh) * | 2022-05-19 | 2024-07-23 | 清华大学 | 超声图像样本生成方法及设备 |
CN114758136A (zh) * | 2022-06-13 | 2022-07-15 | 深圳比特微电子科技有限公司 | 目标去除模型建立方法、装置及可读存储介质 |
CN117237397A (zh) * | 2023-07-13 | 2023-12-15 | 天翼爱音乐文化科技有限公司 | 基于特征融合的人像分割方法、***、设备及存储介质 |
CN117237397B (zh) * | 2023-07-13 | 2024-05-28 | 天翼爱音乐文化科技有限公司 | 基于特征融合的人像分割方法、***、设备及存储介质 |
CN117474932A (zh) * | 2023-12-27 | 2024-01-30 | 苏州镁伽科技有限公司 | 对象分割方法和装置、电子设备及存储介质 |
CN117474932B (zh) * | 2023-12-27 | 2024-03-19 | 苏州镁伽科技有限公司 | 对象分割方法和装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021057848A1 (zh) | 2021-04-01 |
CN110660066B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110660066A (zh) | 网络的训练方法、图像处理方法、网络、终端设备及介质 | |
CN109166156B (zh) | 一种摄像头标定图像的生成方法、移动终端及存储介质 | |
CN111489290B (zh) | 一种人脸图像超分辨重建方法、装置及终端设备 | |
CN109345553B (zh) | 一种手掌及其关键点检测方法、装置和终端设备 | |
EP3627440B1 (en) | Image processing method and apparatus | |
CN112102164B (zh) | 一种图像处理方法、装置、终端及存储介质 | |
CN109711508B (zh) | 图像处理方法和装置 | |
CN108564550B (zh) | 图像处理方法、装置及终端设备 | |
CN110516678B (zh) | 图像处理方法和装置 | |
CN111290684B (zh) | 图像显示方法、图像显示装置及终端设备 | |
CN109286758B (zh) | 一种高动态范围图像的生成方法、移动终端及存储介质 | |
CN108805838B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
CN111709894B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113947613B (zh) | 目标区域检测方法、装置、设备及存储介质 | |
CN108932703B (zh) | 图片处理方法、图片处理装置及终端设备 | |
CN111062279B (zh) | 照片处理方法及照片处理装置 | |
CN111340722B (zh) | 图像处理方法、处理装置、终端设备及可读存储介质 | |
CN111222446B (zh) | 人脸识别方法、人脸识别装置及移动终端 | |
CN109165648B (zh) | 一种图像处理方法、图像处理装置及移动终端 | |
CN108776959B (zh) | 图像处理方法、装置及终端设备 | |
CN108810407B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
CN108629219B (zh) | 一种识别一维码的方法及装置 | |
CN110874814A (zh) | 一种图像处理方法、图像处理装置及终端设备 | |
CN115147434A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
CN109993694B (zh) | 一种生成超分辨率图像的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |