CN112508968B - 图像分割方法、装置、***及存储介质 - Google Patents
图像分割方法、装置、***及存储介质 Download PDFInfo
- Publication number
- CN112508968B CN112508968B CN202011440343.1A CN202011440343A CN112508968B CN 112508968 B CN112508968 B CN 112508968B CN 202011440343 A CN202011440343 A CN 202011440343A CN 112508968 B CN112508968 B CN 112508968B
- Authority
- CN
- China
- Prior art keywords
- image
- target image
- pixel points
- current image
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 239000013077 target material Substances 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像分割方法、图像分割装置、***及存储介质，该方法包括：利用基于深度学习的图像分割模型获得当前图像中目标图像的前景像素点；利用GrabCut算法基于所述目标图像的前景像素点对所述当前图像进行分割，获得目标图像。通过这种方式，能够输出准确度较高的完整目标图像。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像分割方法、图像分割装置、物料重量估计***及存储介质。
背景技术
目前，基于图像视觉的目标图像分割方案被广泛应用于智能工业制造领域当中，把前景目标图像从图像以贴合目标图像边缘的方式提取出来，以进行数据分析。目标图像分割技术方案目前可分为两类：第一类为传统视觉方案，通过数字图像相关技术判断图像的边缘响应，通过边缘分割目标图像，此类方法无需数据训练，其中Grabcut是最流行的基于传统视觉方案的分割算法；第二类方法基于机器学习技术，需要标注分割的区域制作数据集，进行训练模型，此类机器学习方法目前最先进的模型是Unet模型，能够通过训练的方式训练模型，学习标注模型中的分割区域。
对于上述两种方案，均难以满足输出准确度较高的完整目标图像的需求。
发明内容
基于此，本申请提供一种图像分割方法、图像分割装置、物料重量估计***及存储介质，能够输出准确度较高的完整目标图像。
第一方面，本申请提供一种图像分割方法，所述方法包括：
利用基于深度学习的图像分割模型获得当前图像中目标图像的前景像素点；
利用GrabCut算法基于所述目标图像的前景像素点对所述当前图像进行分割，获得目标图像。
第二方面，本申请提供一种图像分割装置，所述装置包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序并在执行所述计算机程序时，实现如上所述的图像分割方法。
第三方面，本申请提供一种物料重量估计***，所述***包括如上所述的图像分割装置和重量估计装置，所述图像分割装置用于获得目标图像，所述重量估计装置用于根据所述图像分割装置提供的目标图像估计目标的重量。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的图像分割方法。
本申请实施例提供了一种图像分割方法、装置、***及存储介质，利用基于深度学习的图像分割模型获得当前图像中目标图像的前景像素点；利用GrabCut算法基于所述目标图像的前景像素点对所述当前图像进行分割，获得目标图像。相比没有预先提供准确度高的前景像素点仅利用GrabCut算法，由于利用基于深度学习的图像分割模型能够预先获得准确度较高的目标图像的前景像素点，在获得的前景像素点的基础上，再利用GrabCut算法基于准确度较高的前景像素点对当前图像进行分割，能够自动有效地根据边界信息分离出准确度高的、完整的目标图像，能够免去现有GrabCut算法的人工输入方式。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
图1是本申请图像分割方法一实施例的流程示意图；
图2是本申请图像分割方法另一实施例的流程示意图；
图3是本申请图像分割方法又一实施例的流程示意图；
图4是本申请图像分割方法又一实施例的流程示意图；
图5是本申请图像分割方法一实际应用中拍摄得到的原始图像的示意图；
图6是将图5的原始图像输入Unet模型后输出的图像的示意图；
图7是图5采用本申请图像分割方法进行自适应过滤筛选出的前景像素点所组成的确定前景区域的示意图；
图8是对图7中的确定前景区域进行膨胀操作后得到的膨胀后的区域的示意图；
图9是图5采用本申请图像分割方法输出最终的目标图像的示意图；
图10是本申请图像分割装置一实施例的结构示意图；
图11是本申请物料重量估计***一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
目标图像分割技术方案目前可分为两类：第一类为传统视觉方案，通过数字图像相关技术判断图像的边缘响应，通过边缘分割目标图像，此类方法无需数据训练，其中Grabcut是最流行的基于传统视觉方案的分割算法；第二类方法基于机器学习技术，需要标注分割的区域制作数据集，进行训练模型，目前最先进的模型是Unet模型。对于上述两种方案，均难以满足输出准确度较高的完整目标图像的需求。
本申请实施例利用基于深度学习的图像分割模型获得当前图像中目标图像的前景像素点；利用GrabCut算法基于所述目标图像的前景像素点对所述当前图像进行分割，获得目标图像。相比没有预先提供前景像素点仅利用GrabCut算法，由于利用基于深度学习的图像分割模型能够预先获得准确度较高的目标图像的前景像素点，在获得的前景像素点的基础上，再利用GrabCut算法基于准确度较高的前景像素点对当前图像进行分割，能够自动有效地根据边界信息分离出准确度高的、完整的目标图像，能够免去现有GrabCut算法的人工输入方式。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
参见图1，图1是本申请图像分割方法一实施例的流程示意图，所述方法包括：步骤S101和步骤S102。
步骤S101：利用基于深度学习的图像分割模型获得当前图像中目标图像的前景像素点。
步骤S102：利用GrabCut算法基于所述目标图像的前景像素点对所述当前图像进行分割，获得目标图像。
本实施例中，目标可以是指用户关注、感兴趣的对象，目标图像可以是目标成像后的图像，用户关注、感兴趣的图像，也可以称为前景图像。当前图像中除了包括目标图像，还包括非目标图像，也可以称为后景图像。例如，一张图像中包括草坪、花、凳子、小狗、人物等图像，用户感兴趣的是图像中的小狗图像，图像中小狗图像之外的其他部分即为非目标图像，希望将小狗图像从整体图像中分类开来，这就涉及图像分割技术。
图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。
前景像素点可以是指可能是目标图像的确定像素点的像素点，即前景像素点既包括目标图像的确定像素点，也包括目标图像的待确定像素点(或者不确定像素点)。利用基于深度学习的图像分割模型获得的前景像素点的准确性越高(即目标图像的确定像素点越多)，最后获得的目标图像的完整性、准确性越高。在实际应用中，可以根据实际条件和实际需要，利用基于深度学习的图像分割模型获得当前图像中尽可能准确度高的目标图像的前景像素点。
由于深度学习模型在广泛的视觉应用中取得成功，已经有大量的工作致力于开发使用基于深度学习的图像分割模型。基于深度学习的图像分割模型包括但不限于：全卷积神经网络模型、卷积模型与图形模型、Encoder-decoder基础模型、基于多尺度和金字塔网络的模型、基于R-CNN的模型、扩展卷积模型和DeepLab家族、基于递归神经网络的模型、基于注意力的模型、生成模型和对抗性训练、具有活动轮廓模型的卷积模型、其他模型，等等。基于深度学习的图像分割模型在流行的基准测试中获得最高的准确率。因此，本申请实施例利用基于深度学习的图像分割模型能够输出准确度较高的目标图像的前景像素点。
GrabCut算法是一个抠图算法，就是把目标图像从目标图像所在的图像中提取出来，需要输入前景像素点，以及可能含有前景区域。GrabCut算法对输入的像素点的要求非常高，可以理解为“输入一部分准确度较高的像素点，GrabCut算法能够找出相似的像素点”，如果输入的像素点的准确性不高，会大大影响GrabCut算法的输出准确性。现有的GrabCut算法，一般是通过用户交互的方式(即高信任度的像素点是人工挑选输入的)给GrabCut算法划出前景区域，然后算法自动分离出前景和后景。本申请实施例准确度高或者高信任度的像素点是利用Unet模型获得的，然后使用GrabCut算法可以基于这些准确度高或者高信任度的像素点把Unet模型的输出补全，输出一个边界良好的切割的目标图像，即能够得到一个完整的、能够贴合目标图像的边缘的形状，能够免去人工输入方式。
本申请实施例利用基于深度学习的图像分割模型获得当前图像中目标图像的前景像素点；利用GrabCut算法基于所述目标图像的前景像素点对所述当前图像进行分割，获得目标图像。相比没有预先提供前景像素点仅利用GrabCut算法，由于利用基于深度学习的图像分割模型能够预先获得准确度较高的目标图像的前景像素点，在获得的前景像素点的基础上，再利用GrabCut算法基于准确度较高的前景像素点对当前图像进行分割，能够自动有效地根据边界信息分离出准确度高的、完整的目标图像，能够免去现有GrabCut算法的人工输入方式。
下面详细说明步骤S101的具体细节内容。
在一实施例中，由于Unet结构简单，能够适应很小的训练集，步骤S101，利用基于深度学习的图像分割模型获得当前图像中目标图像的前景像素点，可以包括：利用Unet模型获得当前图像中目标图像的前景像素点。
Unet模型是一种非常典型的解码器-编码器模型，是比较早的使用全卷积网络、使用多尺度特征进行语义分割的算法之一，使用包含压缩路径和扩展路径的对称U形结构。Unet结构简单，能够适应很小的训练集(大约30张图)。语义分割是指像素级地识别图像，即标注出图像中每个像素点所属的对象类别。
通过训练集数据训练，训练出Unet模型。Unet模型的输出通常是缺损的，没有完全贴合目标图像边缘。但是，Unet模型属于语义分割算法，能够标注出图像中每个像素点所属的对象类别。利用Unet模型可用于预测图像中的分割结果，但只能预测出来部分的像素点，这部分预测出来的像素点准确性较高，能够较准确地找出部分属于目标图像的像素点，因此，利用Unet模型能够输出准确度较高的目标图像的前景像素点。
一般情况下，步骤S101可以采用较为简单、粗略的方式：利用Unet模型预测得到目标图像的初始像素点和每个初始像素点为目标图像的可能性的模型输出概率；在这个基础上可以根据实际情况简单设定一个模型输出概率阈值，将模型输出概率小于模型输出概率阈值的初始像素点过滤去除(即将准确度较低的一部分像素点过滤掉)，将模型输出概率大于或等于模型输出概率阈值的初始像素点保留下来作为目标图像的前景像素点。
为了进一步提高前景像素点的准确性，可以采用自适应算法过滤的方式进一步过滤，找到更准确的像素点作为目标图像的前景像素点。
自适应(self-adaptive)是指处理和分析过程中，根据处理数据的数据特征自动调整处理方法、处理顺序、处理参数、边界条件或约束条件，使其与所处理数据的统计分布特征、结构特征相适应，以取得最佳的处理效果。本申请实施例的自适应算法过滤的过程是一个不断提高前景像素点的准确性的过程。
在一实施例中，步骤S101，所述利用Unet模型获得当前图像中目标图像的前景像素点，可以包括：子步骤S101A1、子步骤S101A2以及子步骤S101A3，如图2所示。
子步骤S101A1：利用Unet模型预测得到目标图像的初始像素点和每个初始像素点为目标图像的可能性的模型输出概率。
子步骤S101A2：使用自适应变换算法，对每个初始像素点的模型输出概率进行变换，得到每个初始像素点的变换概率。
子步骤S101A3：将变换概率大于或等于第一概率阈值的初始像素点作为目标图像的前景像素点。
本实施例中，自适应变化算法可以是指对每个初始像素点的模型输出概率进行变换，以便于进一步过滤去掉通过模型输出概率阈值难以去掉的准确性不高的初始像素点。第一概率阈值需要根据具体的应用情况来确定。
对每个初始像素点的模型输出概率进行变换的具体方式可以根据实际情况确定。例如，一般来说越是目标图像边缘区域的像素点，其介于确定像素点和不确定像素点之间，准确性不高，在进行变换的时候，可以在模型输出概率的基础上进一步降低该初始像素点的概率；而越是目标图像内部区域的像素点，其准确性会非常高，在进行变换的时候，可以在模型输出概率的基础上进一步提高该初始像素点的概率。又如，如果初始像素点所在的区域比较孤立，区域面积较小，其准确性一般来说不高，在进行变换的时候，可以在模型输出概率的基础上进一步降低该初始像素点的概率；如果初始像素点所在的区域比较集中，区域面积较大，其准确性一般来说较高，在进行变换的时候，可以在模型输出概率的基础上进一步提高该初始像素点的概率。
通常情况下，图像输入到Unet模型后，从Unet模型出来的都是一个一个的块(也称为连通域)，即输出块。在实际应用中，还可以根据输出块的实际情况确定当前图像中目标图像的前景像素点；输出块包括的像素点比较多，输出块相当于很多像素点组成的一个整体，根据输出块的实际情况，自适应地确定当前图像中目标图像的前景像素点，能够提高处理效率，能够从较大的整体上获得更加准确的像素点。即在一实施例中，步骤S101，所述利用Unet模型获得当前图像中目标图像的前景像素点，还可以包括：子步骤S101B1和子步骤S101B2，如图3所示。
子步骤S101B1：利用Unet模型得到当前图像的输出块。
子步骤S101B2：根据所述当前图像的输出块，使用自适应过滤算法确定当前图像中目标图像的前景像素点。
本实施例中，自适应过滤算法可以是指针对当前图像的输出块进行自适应地过滤筛选，以确定当前图像中更加准确的目标图像的前景像素点。
子步骤S101B2的具体方式可以根据实际情况确定。例如：对于目标图像的边缘的输出块，可以过滤掉该输出块边缘部分的像素点，保留该输出块非边缘部分的像素点。又如：对于比较孤立、尺寸较小的输出块，可以全部过滤掉。
在一实施例中，子步骤S101B2，所述根据所述当前图像的输出块，使用自适应过滤算法确定当前图像中目标图像的前景像素点，还可以包括：根据所述当前图像的输出块的面积，确定当前图像中目标图像的前景像素点。
例如，根据输出块面积的大小，对输出块给出一个权重，该输出块中像素点的模型输出概率乘以该输出块的权重才是输出块中像素点的调整后的概率，再和给定的某个概率阈值比较，确定过滤掉还是保留为目标图像的前景像素点。又如，可以将面积过小的输出块全部过滤掉，保留面积比较大的输出块；等等。
在一实施例中，当输出块的数目较多，特别是有很多数目较多、面积较小的输出块时，可以选择考虑通过输出块的面积确定当前图像中目标图像的前景像素点。即，子步骤S101B2，所述根据所述当前图像的输出块的面积，确定当前图像中目标图像的前景像素点，还可以包括：若所述输出块的数目大于或等于数目阈值，则根据所述当前图像的输出块的面积，确定当前图像中目标图像的前景像素点。通过这种方式，能够在后续过滤掉数量较多、较小的噪声区域。
在一实施例中，选择面积较大的输出块，再根据这些选择出来的输出块，确定当前图像中目标图像的前景像素点。即子步骤S101B2，所述根据所述当前图像的输出块的面积，确定当前图像中目标图像的前景像素点，还可以包括：
A、从所述当前图像的输出块中，选择出面积大于或等于面积阈值的输出块作为选择输出块。
B、根据所述选择输出块，确定当前图像中目标图像的前景像素点。
面积阈值需要根据具体的实际应用情况来确定。由于面积较小的输出块通常是比较孤立、与目标图像关联很小的、准确性很低的噪声区域，通过这种方式，能够将面积小于面积阈值的输出块过滤掉，能够提高前景像素点的准确性。
进一步，在上述的B中，所述根据所述选择输出块，确定当前图像中目标图像的前景像素点，还可以包括：
B1、根据每个所述选择输出块的面积、每个所述选择输出块的像素点的模型输出概率以及预设过滤要求，确定每个所述选择输出块的每个像素点的调整概率。
B2、根据每个像素点的调整概率，选择出调整概率大于或等于第二概率阈值的选择像素点。
B3、将所述选择像素点作为所述当前图像中目标图像的前景像素点。
本实施例中，预设过滤要求可以是指与第二概率阈值对应的调整概率的确定要求和确定方式，以便于根据调整概率和第二概率阈值选择像素点。预设过滤要求、第二概率阈值可以根据具体的实际应用情况来确定。
由于根据选择输出块的面积、像素点的模型输出概率以及预设过滤要求确定像素点的调整概率，能够得到充分考虑影响因素的精细化的调整概率，再根据像素点的调整概率和第二概率阈确定目标图像的前景像素点，通过这种方式，能够得到较为精细的、更为准确的前景像素点。
例如：假设当前图像的输出块分别为c1、c2、c3、…、cn，这些输出块计算出来的面积分别为s1、s2、s3、…、sn，这些输出块的总面积为S＝s1+s2+s3+…+sn，对于某个输出块cn，该输出块cn上的m个像素点对应的由Unet模型输出的模型输出概率分别为p1、p2、p3、…、pm，模型输出概率p1对应的像素点自适应再调整后的调整概率为p`＝(p1/(p1+p2+p3+…+pm))*(sn/(s1+s2+s3+…+sn))，设定过滤的第二概率阈值为t，把所有调整概率低于t的像素点筛去，保留大于t的像素点作为目标图像的前景像素点。
下面详细说明步骤S102的细节内容。
在一实施例中，为了进一步缩小图像的分割区域，提高图像分割效率，步骤S102，所述利用GrabCut算法基于所述目标图像的前景像素点对所述当前图像进行分割，获得目标图像，还可以包括：子步骤S1021、子步骤S1022、子步骤S1023以及子步骤S1024，如图4所示。
子步骤S1021：对所述目标图像的前景像素点进行膨胀操作得到膨胀后的区域。
子步骤S1022：通过所述膨胀后的区域和所述前景像素点对应的目标图像的确定前景区域，得到目标图像的候选前景区域。
子步骤S1023：通过所述膨胀后的区域和所述当前图像，得到目标图像的确定后景区域。
其中，子步骤S1022和子步骤S1023没有先后顺序关系。
子步骤S1024：利用所述GrabCut算法根据所述目标图像的确定前景区域、候选前景区域以及确定后景区域对所述膨胀后的区域进行分割，得到目标图像。
在本实施例中，目标图像的前景像素点是准确度较高的像素点，将目标图像的前景像素点组成的区域称为目标图像的确定前景区域。膨胀操作在确定前景区域的基础上能够进一步膨胀或扩展一下像素点(即膨胀或扩展原来的区域)，膨胀后多出来的像素点作为可能的前景像素点输入，膨胀后的区域减去确定前景区域，即为候选前景区域(也可以称为膨胀区域，即可能的前景像素点组成的区域)，候选前景区域也就是前景与后景交界的区域，即大致的边界区域，该区域可能包括前景区域(可能包括前景像素点)，也可能包括后景区域(可能包括后景像素点)，也可能前景区域和后景区域都包括(可能既包括前景像素点也包括后景像素点)。当前图像减去候选前景区域为目标图像的确定后景区域。将目标图像的确定前景区域、候选前景区域以及确定后景区域输入所述GrabCut算法，需要GrabCut算法找出候选前景区域中可能的前景像素点，找出可能的后景像素点，找到后即可得到分割后的目标图像。
下面具体说明在一实际应用中，利用本申请实施例的方法输出用户关注的工件的目标图像的过程。
参见图5至图9，图5是拍摄得到的原始图像(即当前图像，图中带有白色圆弧形部件的工件图像即为目标图像)；图6是将图5的原始图像输入Unet模型后输出的图像，可以看到输出的图像是缺损的，没有完全贴合物件边缘，而且有很多噪声区域；图7是对Unet的输出进行自适应过滤，筛选出准确度高的前景像素点所组成的确定前景区域；图8是对图7中的确定前景区域进行膨胀操作后得到的膨胀后的区域；图9是GrabCut算法根据确定前景区域、候选前景区域以及确定后景区域进行分割后，输出最终的完整的、准确的目标图像。
参见图10，图10是本申请图像分割装置一实施例的结构示意图，需要说明的是，该装置能够执行上述图像分割方法中的步骤，相关内容的详细说明，请参见上述图像分割方法的相关内容，在此不再赘叙。
所述装置100包括：存储器1和处理器2，存储器1和处理器2通过总线连接。其中，处理器2可以是微控制单元、中央处理单元或数字信号处理器，等等；存储器1可以是Flash芯片、只读存储器、磁盘、光盘、U盘或者移动硬盘等等。所述存储器1用于存储计算机程序；所述处理器2用于执行所述计算机程序并在执行所述计算机程序时，实现如上任一项所述的图像分割方法。
参见图11，图11是本申请物料重量估计***一实施例的结构示意图，所述***300包括如上所述的图像分割装置100和重量估计装置200，所述图像分割装置100用于获得目标图像，所述重量估计装置200用于根据所述图像分割装置提供的目标图像估计目标的重量。
其中，所述目标包括车辆上的装载物料。
在钢铁制造领域中，经常使用质量检测员对车辆上的装载料件进行估计重量。当采用自动化的基于人工智能的估重方法时，需要先得到装载料件图像的完整的轮廓，以排除非料件像素或者装载料件像素丢失对重量估计的影响。基于深度学习的图像分割模型和GrabCut的方案能够得到贴合边界、同时准确度高地分割出图像中装载料件的轮廓。
基于深度学习的图像分割模型，首先需要制作训练数据集：质检员对图片中的目标料件图像勾勒出轮廓作为标注，标注后的图片作为模型的输入集输入给模型进行训练。训练后的基于深度学习的图像分割模型具有较好识别目标物料图像的部分像素的能力，但实际应用过程中，只能识别目标料件图像中不完整的部分像素。
获取到目标料件图像的部分像素后，需要进一步筛选去除一些预测的噪声。使用自适应的方案滤去预测的噪声。剩下的高准确度的像素输入给GrabCut算法，能够获取到完整的装载料件图像。把边界明晰的装载料件图片输入给后续的估重模型(即重量估计装置)，能够有效输出装载料件的重量。输入的装载料件图片的像素越完整，得到的估重结果更加准确。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上任一项所述的图像分割方法。相关内容的详细说明，请参见上述图像分割方法的相关内容，在此不再赘叙。
其中，该计算机可读存储介质可以是上述装置的内部存储单元，例如硬盘或内存。该计算机可读存储介质也可以是外部存储设备，例如配备的插接式硬盘、智能存储卡、安全数字卡、闪存卡，等等。
应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施例，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (12)
1.一种图像分割方法，其特征在于，所述方法包括：
利用基于深度学习的图像分割模型获得当前图像中目标图像的前景像素点，所述前景像素点包括：基于准确度阈值筛选出的目标图像的确定像素点和/或目标图像的待定像素点；
利用GrabCut算法基于所述目标图像的前景像素点对所述当前图像进行分割，获得完整的目标图像，所述对所述当前图像进行分割包括将所述目标图像的前景像素点补全；
所述利用GrabCut算法基于所述目标图像的前景像素点对所述当前图像进行分割，获得完整的目标图像，包括：
对所述目标图像的前景像素点进行膨胀操作得到膨胀后的区域；
通过所述膨胀后的区域和所述前景像素点对应的目标图像的确定前景区域，得到目标图像的候选前景区域；
通过所述膨胀后的区域和所述当前图像，得到目标图像的确定后景区域；
利用所述GrabCut算法根据所述目标图像的确定前景区域、候选前景区域以及确定后景区域对所述膨胀后的区域进行分割，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述利用基于深度学习的图像分割模型获得当前图像中目标图像的前景像素点，包括：
利用Unet模型获得当前图像中目标图像的前景像素点。
3.根据权利要求2所述的方法，其特征在于，所述准确度阈值包括第一概率阈值，所述利用Unet模型获得当前图像中目标图像的前景像素点，包括：
利用Unet模型预测得到目标图像的初始像素点和每个初始像素点为目标图像的可能性的模型输出概率；
使用自适应变换算法，对每个初始像素点的模型输出概率进行变换，得到每个初始像素点的变换概率；
将变换概率大于或等于第一概率阈值的初始像素点作为目标图像的前景像素点。
4.根据权利要求2所述的方法，其特征在于，所述利用Unet模型获得当前图像中目标图像的前景像素点，包括：
利用Unet模型得到当前图像的输出块；
根据所述当前图像的输出块，使用自适应过滤算法确定当前图像中目标图像的前景像素点。
5.根据权利要求4所述的方法，其特征在于，所述根据所述当前图像的输出块，使用自适应过滤算法确定当前图像中目标图像的前景像素点，包括：
根据所述当前图像的输出块的面积，确定当前图像中目标图像的前景像素点。
6.根据权利要求5所述的方法，其特征在于，所述根据所述当前图像的输出块的数目和面积，确定当前图像中目标图像的前景像素点，包括：
从所述当前图像的输出块中，选择出面积大于或等于面积阈值的输出块作为选择输出块；
根据所述选择输出块，确定当前图像中目标图像的前景像素点。
7.根据权利要求6所述的方法，其特征在于，所述准确度阈值包括第二概率阈值，所述根据所述选择输出块，确定当前图像中目标图像的前景像素点，包括：
根据每个所述选择输出块的面积、每个所述选择输出块的像素点的模型输出概率以及预设过滤要求，确定每个所述选择输出块的每个像素点的调整概率；
根据每个像素点的调整概率，选择出调整概率大于或等于第二概率阈值的选择像素点；
将所述选择像素点作为所述当前图像中目标图像的前景像素点。
8.根据权利要求5所述的方法，其特征在于，所述根据所述当前图像的输出块的面积，确定当前图像中目标图像的前景像素点，包括：
若所述输出块的数目大于或等于数目阈值，则根据所述当前图像的输出块的面积，确定当前图像中目标图像的前景像素点。
9.一种图像分割装置，其特征在于，所述装置包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序并在执行所述计算机程序时，实现如权利要求1-8任一项所述的图像分割方法。
10.一种物料重量估计***，其特征在于，所述***包括如权利要求9所述的图像分割装置和重量估计装置，所述图像分割装置用于获得目标图像，所述重量估计装置用于根据所述图像分割装置提供的目标图像估计目标的重量。
11.根据权利要求10所述的***，其特征在于，所述目标包括车辆上的装载物料。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-8任一项所述的图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011440343.1A CN112508968B (zh) | 2020-12-10 | 2020-12-10 | 图像分割方法、装置、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011440343.1A CN112508968B (zh) | 2020-12-10 | 2020-12-10 | 图像分割方法、装置、***及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508968A CN112508968A (zh) | 2021-03-16 |
| CN112508968B true CN112508968B (zh) | 2022-02-15 |
Family
ID=74970795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011440343.1A Active CN112508968B (zh) | 2020-12-10 | 2020-12-10 | 图像分割方法、装置、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508968B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107437255A (zh) * | 2016-05-27 | 2017-12-05 | 鸿富锦精密工业（深圳）有限公司 | 图像处理装置及方法 |
| CN109584211A (zh) * | 2018-10-31 | 2019-04-05 | 南开大学 | 一种动物***极体的视觉自动检测方法 |
| CN109785345A (zh) * | 2019-01-25 | 2019-05-21 | 中电健康云科技有限公司 | 图像分割方法及装置 |
| CN110473194A (zh) * | 2019-08-12 | 2019-11-19 | 西南大学 | 基于多图像块阈值分割算法的水果表面缺陷检测方法 |
| US10528814B1 (en) * | 2019-05-21 | 2020-01-07 | Caastle, Inc. | Systems and methods for color and pattern analysis of images of wearable items |
| CN110869977A (zh) * | 2017-06-29 | 2020-03-06 | 吉斯艾集团有限责任公司 | 基于回归的动物体重估计 |
| CN110992381A (zh) * | 2019-12-17 | 2020-04-10 | 嘉兴学院 | 一种基于改进Vibe+算法的运动目标背景分割方法 |
| CN111292333A (zh) * | 2018-12-07 | 2020-06-16 | 北京京东尚科信息技术有限公司 | 用于分割图像的方法和装置 |
| CN111444773A (zh) * | 2020-03-02 | 2020-07-24 | 武汉理工大学 | 一种基于图像的多目标分割识别方法及*** |
| CN111709955A (zh) * | 2020-06-17 | 2020-09-25 | 厦门美图之家科技有限公司 | 图像分割检验方法、装置、终端及存储介质 |
| CN111860652A (zh) * | 2020-07-22 | 2020-10-30 | 中国平安财产保险股份有限公司 | 基于图像检测的动物体重测量方法、装置、设备及介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530305B (zh) * | 2016-09-23 | 2019-09-13 | 北京市商汤科技开发有限公司 | 语义分割模型训练和图像分割方法及装置、计算设备 |
| CN108109160A (zh) * | 2017-11-16 | 2018-06-01 | 浙江工业大学 | 一种基于深度学习的免交互式GrabCut舌体分割方法 |
| US10262432B1 (en) * | 2017-12-30 | 2019-04-16 | Gabriel Keilholz | System and method for measuring and comparing items using computer vision |
-
2020
- 2020-12-10 CN CN202011440343.1A patent/CN112508968B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107437255A (zh) * | 2016-05-27 | 2017-12-05 | 鸿富锦精密工业（深圳）有限公司 | 图像处理装置及方法 |
| CN110869977A (zh) * | 2017-06-29 | 2020-03-06 | 吉斯艾集团有限责任公司 | 基于回归的动物体重估计 |
| CN109584211A (zh) * | 2018-10-31 | 2019-04-05 | 南开大学 | 一种动物***极体的视觉自动检测方法 |
| CN111292333A (zh) * | 2018-12-07 | 2020-06-16 | 北京京东尚科信息技术有限公司 | 用于分割图像的方法和装置 |
| CN109785345A (zh) * | 2019-01-25 | 2019-05-21 | 中电健康云科技有限公司 | 图像分割方法及装置 |
| US10528814B1 (en) * | 2019-05-21 | 2020-01-07 | Caastle, Inc. | Systems and methods for color and pattern analysis of images of wearable items |
| CN110473194A (zh) * | 2019-08-12 | 2019-11-19 | 西南大学 | 基于多图像块阈值分割算法的水果表面缺陷检测方法 |
| CN110992381A (zh) * | 2019-12-17 | 2020-04-10 | 嘉兴学院 | 一种基于改进Vibe+算法的运动目标背景分割方法 |
| CN111444773A (zh) * | 2020-03-02 | 2020-07-24 | 武汉理工大学 | 一种基于图像的多目标分割识别方法及*** |
| CN111709955A (zh) * | 2020-06-17 | 2020-09-25 | 厦门美图之家科技有限公司 | 图像分割检验方法、装置、终端及存储介质 |
| CN111860652A (zh) * | 2020-07-22 | 2020-10-30 | 中国平安财产保险股份有限公司 | 基于图像检测的动物体重测量方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 从零开始实现穿衣图像分割完整教程（附python代码演练）;磐创AI;《https://cloud.tencent.com/developer/article/1460620》;20190710;第1-6页 * |
| 磐创AI.从零开始实现穿衣图像分割完整教程（附python代码演练）.《https://cloud.tencent.com/developer/article/1460620》.2019, * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508968A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12002259B2 (en) | Image processing apparatus, training apparatus, image processing method, training method, and storage medium | |
| US7801361B2 (en) | Analyzing pixel data using image, thematic and object layers of a computer-implemented network structure | |
| CN111709420A (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| JP2004164624A (ja) | 低被写界深度画像セグメンテーションの方法及び機器 | |
| CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| JP2009541838A (ja) | 画像値を含む画像において閾値を定めるための方法、システム及び計算機プログラム | |
| CN113642576B (zh) | 一种目标检测及语义分割任务中训练图像集合的生成方法及装置 | |
| CN113537037A (zh) | 路面病害识别方法、***、电子设备及存储介质 | |
| KR102114738B1 (ko) | 언노운 영역 감지를 통한 알파 매트의 트라이맵 자동 생성 방법 및 그 장치 | |
| CN114677394A (zh) | 抠图方法、装置、摄像设备、会议***、电子设备及介质 | |
| CN116612280A (zh) | 车辆分割方法、装置、计算机设备和计算机可读存储介质 | |
| CN115424264A (zh) | 全景分割方法及相关装置、电子设备、存储介质 | |
| CN108446702A (zh) | 一种图像字符分割方法、装置、设备及存储介质 | |
| CN112508968B (zh) | 图像分割方法、装置、***及存储介质 | |
| CN113436206A (zh) | 一种基于聚类分割的病理组织切片扫描区域定位方法 | |
| CN113011433B (zh) | 一种滤波参数调整方法及装置 | |
| JP2005100121A (ja) | 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置 | |
| JP2003162718A (ja) | 画像処理方法及びプログラム | |
| CN112381084A (zh) | 断层图像的轮廓自动识别方法 | |
| JP2005100122A (ja) | 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置 | |
| CN112465835B (zh) | 用于翡翠图像分割的方法及模型训练方法 | |
| JP5979008B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN111932447B (zh) | 一种图片处理方法、装置、设备及存储介质 | |
| Dimiccoli et al. | Hierarchical region-based representation for segmentation and filtering with depth in single images | |
| CN113850186A (zh) | 基于卷积神经网络的智能流媒体视频大数据分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |