CN115439846B - 图像的分割方法、装置、电子设备及介质 - Google Patents

图像的分割方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN115439846B
CN115439846B CN202210952173.8A CN202210952173A CN115439846B CN 115439846 B CN115439846 B CN 115439846B CN 202210952173 A CN202210952173 A CN 202210952173A CN 115439846 B CN115439846 B CN 115439846B
Authority
CN
China
Prior art keywords
image
target
class activation
characteristic
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210952173.8A
Other languages
English (en)
Other versions
CN115439846A (zh
Inventor
梁孔明
郭宸宇
马占宇
吴铭
张闯
肖波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210952173.8A priority Critical patent/CN115439846B/zh
Publication of CN115439846A publication Critical patent/CN115439846A/zh
Application granted granted Critical
Publication of CN115439846B publication Critical patent/CN115439846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像的分割方法、装置、电子设备及介质。通过应用本申请的技术方案，可以利用原始图像的类激活图像来确定其每个特征区域图像的所属类别，并将其中特定类别的特征区域图像映射到原始图像中从而得到保留有分割对象的完整边界的分割图像。进而实现一种利用超像素技术保留目标区域的边界，并同时结合采用计算目标区域原型的方法尽可能获得图像完整的伪像素级标签。从而避免了相关技术中存在的，由于类激活图存在产生的伪像素级标签目标区域不完成或边界不明显所导致的，分割后的图像不够精确的问题。

Description

图像的分割方法、装置、电子设备及介质
技术领域
本申请中涉及数据处理技术，尤其是一种图像的分割方法、装置、电子设备及介质。
背景技术
随着通信和网络时代的发展，在各个应用场景下，图像分割技术的应用也随之越来越受重视。
相关技术中，利用图像级标签的弱监督语义分割方法绝大多数是基于类激活图(CAM)对分割目标进行定位，而CAM仅能够识别图像中部分高响应判别区域，且缺乏对分割目标所在边界的精确描述。因此，如何设计一种能够精确生成分割目标图像的方法，成为了需要解决的问题。
发明内容
本申请实施例提供一种图像的分割方法、装置、电子设备及介质。用以解决相关技术中存在的，利用类激活图技术无法精确得到分割目标图像的问题。
其中，根据本申请实施例的一个方面，提供的一种图像的分割方法，包括：
获取原始图像对应的至少一个基于超像素技术得到的特征区域图像；以及，获取所述原始图像对应的至少一个类激活图像，其中每个所述类激活图像标注有所属的图像类别；
基于所述类激活图像，确定每个所述特征区域图像所表征的图像类别；
将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到所述目标特征区域图像对应的分割图像
可选地，在基于本申请上述方法的另一个实施例中，所述获取原始图像对应的至少一个特征区域图像，包括：
将所述原始图像输入至图像分类网络，得到所述原始图像对应的超像素图像；
对所述超像素图像进行区域池化操作，确定每个所述超像素图像对应的多个区域特征；
将所述多个区域特征进行特征聚类，得到对应的所述至少一个特征区域图像。
可选地，在基于本申请上述方法的另一个实施例中，所述获取所述原始图像对应的至少一个类激活图像，包括：
利用类激活算法，生成所述原始图像中各个待分割对象对应的所述类激活图像。
可选地，在基于本申请上述方法的另一个实施例中，所述基于所述类激活图像，确定每个所述特征区域图像所表征的图像类别，包括：
分别计算所述特征区域图像与所有类激活图像的重叠度，确定所述特征区域图像对应重叠度最大的目标类激活图像；
将所述特征区域图像对应的所述目标类激活图像所属的图像类别，作为所述特征区域图像所表征的图像类别。
可选地，在基于本申请上述方法的另一个实施例中，所述分别计算所述特征区域图像与所有类激活图像的重叠度，确定所述特征区域图像对应重叠度最大的目标类激活图像，包括：
分别计算所述每个特征区域图像与所有类激活图像的交并比值；
将所述特征区域图像对应的所有交并比值中，最大交并比值对应的类激活图像作为所述特征区域图像对应的所述目标类激活图像。
可选地，在基于本申请上述方法的另一个实施例中，所述将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到所述目标特征区域图像对应的分割图像，包括：
将每个所述目标特征区域图像进行平均池化，计算得到每个所述目标特征区域图像的原型；
将所述原始图像与所述目标特征区域图像的原型进行矩阵连乘求和运算，得到特征和值；
基于所述特征和值，得到所述目标特征区域图像对应的分割图像。
可选地，在基于本申请上述方法的另一个实施例中，所述基于所述特征和值，得到所述目标特征区域图像对应的分割图像，包括：
利用预设激活函数，对所述特征和值进行负值去除，得到所述原始图像的伪像素级标签；
利用所述伪像素级标签，得到所述目标特征区域图像对应的分割图像。
其中，根据本申请实施例的又一个方面，提供的一种图像的分割装置，其特征在于，包括：
获取模块，被配置为获取原始图像对应的至少一个基于超像素技术得到的特征区域图像；以及，获取所述原始图像对应的至少一个类激活图像，其中每个所述类激活图像标注有所属的图像类别；
确定模块，被配置为基于所述类激活图像，确定每个所述特征区域图像所表征的图像类别；
生成模块，被配置为将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到所述目标特征区域图像对应的分割图像。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器以执行所述可执行指令从而完成上述任一所述图像的分割方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述图像的分割方法的操作。
本申请中，可以获取原始图像对应的至少一个基于超像素技术得到的特征区域图像；以及，获取原始图像对应的至少一个类激活图像，其中每个类激活图像标注有所属的图像类别；基于类激活图像，确定每个特征区域图像所表征的图像类别；将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到目标特征区域图像对应的分割图像。通过应用本申请的技术方案，可以利用原始图像的类激活图像来确定其每个特征区域图像的所属类别，并将其中特定类别的特征区域图像映射到原始图像中从而得到保留有分割对象完整边界的分割图像。进而实现一种利用超像素技术保留目标区域的边界，并同时结合采用计算目标区域原型的方法尽可能获得图像完整的伪像素级标签。从而避免了相关技术中存在的，由于类激活图存在产生的伪像素级标签目标区域不完成或边界不明显所导致的，分割后的图像不够精确的问题。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1示出了本申请一实施例所提供的一种图像的分割方法示意图；
图2示出了本申请一实施例所提供的一种图像的分割方法的***架构示意图；
图3示出了本申请一实施例所提供的一种图像的分割方法的流程示意图；
图4示出了本申请一实施例所提供的一种电子装置的结构示意图；
图5示出了本申请一实施例所提供的一种电子设备的结构示意图；
图6示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应的随之改变。
下面结合图1-图3来描述根据本申请示例性实施方式的用于进行图像的分割方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种图像的分割方法、装置、电子设备及介质。
图1示意性地示出了根据本申请实施方式的一种图像的分割方法的流程示意图。如图1所示，该方法包括：
S101,获取原始图像对应的至少一个基于超像素技术得到的特征区域图像；以及，获取原始图像对应的至少一个类激活图像，其中每个类激活图像标注有所属的图像类别。
S101,基于类激活图像，确定每个特征区域图像所表征的图像类别。
S101,将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到目标特征区域图像对应的分割图像。
其中，随着网络和通信时代的发展，在各个应用场景下，图像分割技术的应用也随之越来越受重视。
相关技术中，利用图像级标签的弱监督语义分割方法绝大多数是基于类激活图(CAM)对分割目标进行定位，而CAM仅能够识别图像中部分高响应判别区域，且缺乏对目标所在边界的精确描述，现有的技术在此基础上利用显著性检测、像素间的关系、注意力机制等来挖掘、扩张种子区域，无法获得更完整精确的伪像素级标签进行下一步的分割。因此，如何设计一种能够精确生成分割目标图像的方法，成为了需要解决的问题。
为了解决上述存在的问题，本申请实施例提出一种图像的分割方法，其思想是避免利用超像素技术保留分割对象的完整边界，同时创新地结合采用特征区域图像重心的方法尽可能获得分割对象完整的伪像素级标签。从而得到保留有分割对象的完整边界的分割图像。
一种方式中，如图2所示，为本申请实施例中提出的一种图像的分割方法的***架构示意图。结合图2，对本申请实施例提出的图像的分割方法进行步骤说明：
步骤1、获取待分割对象对应的种子区域，其中分为三个子步骤得到：
步骤a、生成超像素图像并进行特征聚类，从而实现将特征区域图像化并保留图像中物体的轮廓边界的目的。
具体的，可以先将原始图像输入至图像分类网络，从而得到至少一个区域的超像素图像，并对该至少一个区域的超像素图像进行区域池化操作，从而确定每个超像素图像对应的超像素特征。
其中，超像素技术是一种可以提取图像中的特定颜色、纹理等特征的像素的集合，其可以保留物体的轮廓。
一种方式中，本申请实施例可以采用ImageNet预训练的图像分类网络(例如为ResNet50网络)，来对原始图像进行特征提取。作为示例的，全连接层可以为一个输出通道为20的分类器(由于采用的PASCAL VOC2021数据集有20类)，经过超像素技术得到超像素图像，即被分成很多区域的图像。
进一步的，对该多个区域的超像素图像经过池化操作，从而得到这些区域的特征，在利用k-means方法将多个超像素特征进行特征聚类，得到对应的至少一个特征区域图像。可以理解的，每个聚类后的特征区域图像相比之前来说更大也更具有鲜明意义。
步骤b、生成原始图像对应的至少一个类激活图像，其用于定位分割对象及确定种子区域。
其中，类激活图可以显示模型在训练过程中，权重或重心在何处、如何转移，分类模型是根据哪一部分的特征进行判别的，也即能够找到原始图像的相关任务的关键部位。
一种方式中，本申请实施例需要经过类激活方法得到原始图像中，各个分割目标的类激活图。其中，每个类激活图已经标注有对应的所属类别。
步骤c、计算聚类得到的区域特征图，与，类激活图像之间的IOU，从而确定各个区域特征图的所属类别，即得到分割目标的种子区域。
其中，IoU(Intersection over Union)用于衡量目标分割任务中，预测结果的位置信息的准确程度。作为示例的，本申请实施例中利用每个区域特征图与类激活图像之间的IOU来衡量其与对应类激活图像的重叠度。
一种方式中，本申请实施例中可以分别计算每个特征区域图像与所有类激活图像的重叠度，以此确定每个特征区域图像相对应的，与该重叠度最大的目标类激活图像。
也即，通过上述方式可以得到特征区域图像A对应的最大类激活图像a(即目标类激活图像)、特征区域图像B对应的最大类激活图像b(即目标类激活图像)。
作为示例的，重叠度的计算方式可以根据计算特征区域图像与所有类激活图像的交并比来确定每个特征区域的所属类别，其中公式如下：
Figure BDA0003789862810000081
其中，k代表某一个图像类别，C代表类激活图、R代表特征区域图像。可以理解的，本申请实施例需要对不同的图像类别k计算Ik。也即Ik最大值对应的类别即为对应特征区域图像的类别。
步骤2、计算目标特征区域图像的原型。
一种方式中，本申请实施例可以通过计算特征区域图像的重心值得到其对应的原型。
进一步而言，本申请实施例需要利用原始图像F，计算每个特征区域图像Rn的重心值，从而将每个特征区域图像进行平均池化以得到每个特征区域图像对应的原型(原型即重心值)。其中，公式如下：
Figure BDA0003789862810000082
其中，1()代表若原始图像的某个像素点属于第n个特征区域图像时，即取值为1。否则取值为0。
步骤3、计算得到原始图像的伪像素级标签。
进一步的，本申请实施例需要将所有属于第k类的特征区域图像Rn分别与初始得到的原始图像F进行矩阵乘并求和(即矩阵连乘求和)，在经过预设激活函数(例如为ReLU激活函数)来实现去除其中的负值从而得到最终的伪像素级标签。
步骤4、利用伪像素级标签对原始图像进行线程分割，得到目标特征区域图像对应的分割图像。
本申请中，可以获取原始图像对应的至少一个基于超像素技术得到的特征区域图像；以及，获取原始图像对应的至少一个类激活图像，其中每个类激活图像标注有所属的图像类别；基于类激活图像，确定每个特征区域图像所表征的图像类别；将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到目标特征区域图像对应的分割图像。通过应用本申请的技术方案，可以利用原始图像的类激活图像来确定其每个特征区域图像的所属类别，并将其中特定类别的特征区域图像映射到原始图像中从而得到保留有分割对象的完整边界的分割图像。进而也避免了相关技术中存在的，由于类激活图存在产生的伪像素级标签目标区域不完成或边界不明显所导致的，分割后的图像不够精确的问题。
可选地，在基于本申请上述方法的另一个实施例中，所述获取原始图像对应的至少一个特征区域图像，包括：
将所述原始图像输入至图像分类网络，得到所述原始图像对应的超像素图像；
对所述超像素图像进行区域池化操作，确定每个所述超像素图像对应的多个区域特征；
将所述多个区域特征进行特征聚类，得到对应的所述至少一个特征区域图像。
可选地，在基于本申请上述方法的另一个实施例中，所述获取所述原始图像对应的至少一个类激活图像，包括：
利用类激活算法，生成所述原始图像中各个待分割对象对应的所述类激活图像。
可选地，在基于本申请上述方法的另一个实施例中，所述基于所述类激活图像，确定每个所述特征区域图像所表征的图像类别，包括：
分别计算所述特征区域图像与所有类激活图像的重叠度，确定所述特征区域图像对应重叠度最大的目标类激活图像；
将所述特征区域图像对应的所述目标类激活图像所属的图像类别，作为所述特征区域图像所表征的图像类别。
可选地，在基于本申请上述方法的另一个实施例中，所述分别计算所述特征区域图像与所有类激活图像的重叠度，确定所述特征区域图像对应重叠度最大的目标类激活图像，包括：
分别计算所述每个特征区域图像与所有类激活图像的交并比值；
将所述特征区域图像对应的所有交并比值中，最大交并比值对应的类激活图像作为所述特征区域图像对应的所述目标类激活图像。
可选地，在基于本申请上述方法的另一个实施例中，所述将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到所述目标特征区域图像对应的分割图像，包括：
将每个所述目标特征区域图像进行平均池化，计算得到每个所述目标特征区域图像的原型；
将所述原始图像与所述目标特征区域图像的原型进行矩阵连乘求和运算，得到特征和值；
基于所述特征和值，得到所述目标特征区域图像对应的分割图像。
可选地，在基于本申请上述方法的另一个实施例中，所述基于所述特征和值，得到所述目标特征区域图像对应的分割图像，包括：
利用预设激活函数，对所述特征和值进行负值去除，得到所述原始图像的伪像素级标签；
利用所述伪像素级标签，得到所述目标特征区域图像对应的分割图像。
如图3所示，为本申请提出的一种图像的分割方法的流程示意图，其中包括：
本申请中，可以获取原始图像对应的至少一个基于超像素技术得到的特征区域图像；以及，获取原始图像对应的至少一个类激活图像，其中每个类激活图像标注有所属的图像类别；基于类激活图像，确定每个特征区域图像所表征的图像类别；将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到目标特征区域图像对应的分割图像。
通过应用本申请的技术方案，可以利用原始图像的类激活图像来确定其每个特征区域图像的所属类别，并将其中特定类别的特征区域图像映射到原始图像中从而得到保留有分割对象的完整边界的分割图像。进而实现一种利用超像素技术保留目标区域的边界，并同时结合采用计算目标区域原型的方法尽可能获得图像完整的伪像素级标签。从而避免了相关技术中存在的，由于类激活图存在产生的伪像素级标签目标区域不完成或边界不明显所导致的，分割后的图像不够精确的问题。
可选的，在本申请的另外一种实施方式中，如图4所示，本申请还提供一种图像的分割装置。其中包括：
获取模块201，被配置为获取原始图像对应的至少一个特征区域图像；以及，获取所述原始图像对应的至少一个类激活图像，其中每个所述类激活图像标注有所属的图像类别；
确定模块202，被配置为基于所述类激活图像，确定每个所述特征区域图像所表征的图像类别；
生成模块203，被配置为将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到所述目标特征区域图像对应的分割图像。
本申请中，可以获取原始图像对应的至少一个基于超像素技术得到的特征区域图像；以及，获取原始图像对应的至少一个类激活图像，其中每个类激活图像标注有所属的图像类别；基于类激活图像，确定每个特征区域图像所表征的图像类别；将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到目标特征区域图像对应的分割图像。通过应用本申请的技术方案，可以利用原始图像的类激活图像来确定其每个特征区域图像的所属类别，并将其中特定类别的特征区域图像映射到原始图像中从而得到保留有分割对象的完整边界的分割图像。进而实现一种利用超像素技术保留目标区域的边界，并同时结合采用计算目标区域原型的方法尽可能获得图像完整的伪像素级标签。从而避免了相关技术中存在的，由于类激活图存在产生的伪像素级标签目标区域不完成或边界不明显所导致的，分割后的图像不够精确的问题。
在本申请的另外一种实施方式中，获取模块201，被配置执行的步骤包括：
将所述原始图像输入至图像分类网络，得到所述原始图像对应的超像素图像；
对所述超像素图像进行区域池化操作，确定每个所述超像素图像对应的多个区域特征；
将所述多个区域特征进行特征聚类，得到对应的所述至少一个特征区域图像。
在本申请的另外一种实施方式中，获取模块201，被配置执行的步骤包括：
利用类激活算法，生成所述原始图像中各个待分割对象对应的所述类激活图像。
在本申请的另外一种实施方式中，获取模块201，被配置执行的步骤包括：
分别计算所述特征区域图像与所有类激活图像的重叠度，确定所述特征区域图像对应重叠度最大的目标类激活图像；
将所述特征区域图像对应的所述目标类激活图像所属的图像类别，作为所述特征区域图像所表征的图像类别。
在本申请的另外一种实施方式中，获取模块201，被配置执行的步骤包括：
分别计算所述每个特征区域图像与所有类激活图像的交并比值；
将所述特征区域图像对应的所有交并比值中，最大交并比值对应的类激活图像作为所述特征区域图像对应的所述目标类激活图像。
在本申请的另外一种实施方式中，获取模块201，被配置执行的步骤包括：
将每个所述目标特征区域图像进行平均池化，计算得到每个所述目标特征区域图像的原型；
将所述原始图像与所述目标特征区域图像的原型进行矩阵连乘求和运算，得到特征和值；
基于所述特征和值，得到所述目标特征区域图像对应的分割图像。
在本申请的另外一种实施方式中，获取模块201，被配置执行的步骤包括：
利用预设激活函数，对所述特征和值进行负值去除，得到所述原始图像的伪像素级标签；
利用所述伪像素级标签对所述原始图像进行线程分割，得到所述目标特征区域图像对应的分割图像。
本申请实施方式还提供一种电子设备，以执行上述图像的分割方法。请参考图5，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图5所示，电子设备3包括：处理器300，存储器301，总线302和通信接口303，所述处理器300、通信接口303和存储器301通过总线302连接；所述存储器301中存储有可在所述处理器300上运行的计算机程序，所述处理器300运行所述计算机程序时执行本申请前述任一实施方式所提供的图像的分割方法。
其中，存储器301可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口303(可以是有线或者无线)实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线302可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器301用于存储程序，所述处理器300在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述数据识别的方法可以应用于处理器300中，或者由处理器300实现。
处理器300可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器300中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器300可以是通用处理器，包括处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器301，处理器300读取存储器301中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的数据识别的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的数据识别的方法对应的计算机可读存储介质，请参考图6，其示出的计算机可读存储介质为光盘40，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的图像的分割方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的数据识别的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种图像的分割方法，其特征在于，包括：
获取原始图像对应的至少一个基于超像素技术得到的特征区域图像；以及，获取所述原始图像对应的至少一个类激活图像，其中每个所述类激活图像标注有所属的图像类别；
基于所述类激活图像，确定每个所述特征区域图像所表征的图像类别；
将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到目标特征区域图像对应的分割图像，所述目标特征区域原型通过计算所述特征区域图像的重心值得到；
其中，所述将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到所述目标特征区域图像对应的分割图像，包括：
将每个所述目标特征区域图像进行平均池化，计算得到每个所述目标特征区域图像的原型；
将所述原始图像与所述目标特征区域图像的原型进行矩阵连乘求和运算，得到特征和值；
基于所述特征和值，得到所述目标特征区域图像对应的分割图像；
其中，所述基于所述特征和值，得到所述目标特征区域图像对应的分割图像，包括：
利用预设激活函数，对所述特征和值进行负值去除，得到所述原始图像的伪像素级标签；
利用所述伪像素级标签对所述原始图像进行线程分割，得到所述目标特征区域图像对应的分割图像。
2.如权利要求1所述的方法，其特征在于，所述获取原始图像对应的至少一个基于超像素技术得到的特征区域图像，包括：
将所述原始图像输入至图像分类网络，得到所述原始图像对应的超像素图像；
对所述超像素图像进行区域池化操作，确定每个所述超像素图像对应的多个区域特征；
将所述多个区域特征进行特征聚类，得到对应的所述至少一个特征区域图像。
3.如权利要求1或2所述的方法，其特征在于，所述获取所述原始图像对应的至少一个类激活图像，包括：
利用类激活算法，生成所述原始图像中各个待分割对象对应的所述类激活图像。
4.如权利要求1所述的方法，其特征在于，所述基于所述类激活图像，确定每个所述特征区域图像所表征的图像类别，包括：
分别计算所述特征区域图像与所有类激活图像的重叠度，确定所述特征区域图像对应重叠度最大的目标类激活图像；
将所述特征区域图像对应的所述目标类激活图像所属的图像类别，作为所述特征区域图像所表征的图像类别。
5.如权利要求4所述的方法，其特征在于，所述分别计算所述特征区域图像与所有类激活图像的重叠度，确定所述特征区域图像对应重叠度最大的目标类激活图像，包括：
分别计算所述每个特征区域图像与所有类激活图像的交并比值；
将所述特征区域图像对应的所有交并比值中，最大交并比值对应的类激活图像作为所述特征区域图像对应的所述目标类激活图像。
6.一种图像的分割装置，其特征在于，包括：
获取模块，被配置为获取原始图像对应的至少一个基于超像素技术得到的特征区域图像；以及，获取所述原始图像对应的至少一个类激活图像，其中每个所述类激活图像标注有所属的图像类别；
确定模块，被配置为基于所述类激活图像，确定每个所述特征区域图像所表征的图像类别；
生成模块，被配置为将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到目标特征区域图像对应的分割图像，所述目标特征区域原型通过计算所述特征区域图像的重心值得到；
其中，所述将表征于预设图像类别的目标特征区域原型与所述原始图像相映射，得到所述目标特征区域图像对应的分割图像，包括：
将每个所述目标特征区域图像进行平均池化，计算得到每个所述目标特征区域图像的原型；
将所述原始图像与所述目标特征区域图像的原型进行矩阵连乘求和运算，得到特征和值；
基于所述特征和值，得到所述目标特征区域图像对应的分割图像；
其中，所述基于所述特征和值，得到所述目标特征区域图像对应的分割图像，包括：
利用预设激活函数，对所述特征和值进行负值去除，得到所述原始图像的伪像素级标签；
利用所述伪像素级标签对所述原始图像进行线程分割，得到所述目标特征区域图像对应的分割图像。
7.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器执行所述可执行指令从而完成权利要求1-5中任一所述图像的分割方法的操作。
8.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-5中任一所述图像的分割方法的操作。
CN202210952173.8A 2022-08-09 2022-08-09 图像的分割方法、装置、电子设备及介质 Active CN115439846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210952173.8A CN115439846B (zh) 2022-08-09 2022-08-09 图像的分割方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210952173.8A CN115439846B (zh) 2022-08-09 2022-08-09 图像的分割方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN115439846A CN115439846A (zh) 2022-12-06
CN115439846B true CN115439846B (zh) 2023-04-25

Family

ID=84242779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210952173.8A Active CN115439846B (zh) 2022-08-09 2022-08-09 图像的分割方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115439846B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598900A (zh) * 2020-05-18 2020-08-28 腾讯科技（深圳）有限公司 一种图像区域分割模型训练方法、分割方法和装置
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN112991238A (zh) * 2021-02-22 2021-06-18 上海市第四人民医院 基于纹理色彩混合式的食物图像分割方法、***、介质及终端
CN114596435A (zh) * 2022-01-06 2022-06-07 腾讯科技（深圳）有限公司 语义分割标签的生成方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340023B (zh) * 2016-08-22 2019-03-05 腾讯科技（深圳）有限公司 图像分割的方法和装置
CN113505670B (zh) * 2021-06-29 2023-06-23 西南交通大学 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法
CN113658132B (zh) * 2021-08-16 2022-08-19 沭阳九鼎钢铁有限公司 基于计算机视觉的结构件焊缝检测方法
CN114494693B (zh) * 2021-12-31 2024-06-28 清华大学 对图像进行语义分割的方法及装置
CN114549961B (zh) * 2022-03-02 2023-04-07 北京百度网讯科技有限公司 目标对象的检测方法、装置、设备以及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN111598900A (zh) * 2020-05-18 2020-08-28 腾讯科技（深圳）有限公司 一种图像区域分割模型训练方法、分割方法和装置
CN112991238A (zh) * 2021-02-22 2021-06-18 上海市第四人民医院 基于纹理色彩混合式的食物图像分割方法、***、介质及终端
CN114596435A (zh) * 2022-01-06 2022-06-07 腾讯科技（深圳）有限公司 语义分割标签的生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115439846A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
EP3620981B1 (en) Object detection method, device, apparatus and computer-readable storage medium
US11954152B2 (en) Video matching methods and apparatuses, and blockchain-based infringement evidence storage methods and apparatuses
CN111091123A (zh) 文本区域检测方法及设备
CN112465909B (zh) 基于卷积神经网络的类激活映射目标定位方法及***
CN112149677A (zh) 一种点云语义分割的方法、装置及设备
CN111353580B (zh) 目标检测网络的训练方法、电子设备及存储介质
CN112634201B (zh) 目标检测方法、装置和电子设备
CN113095418A (zh) 一种目标检测方法及***
CN111401421A (zh) 基于深度学习的图像类别判定方法、电子设备以及介质
CN110879972A (zh) 一种人脸检测方法及装置
CN112052907A (zh) 基于图像边缘信息的目标检测方法、装置及存储介质
CN109190662A (zh) 一种基于关键点回归的车辆三维检测方法、***、终端和存储介质
CN113111708B (zh) 车辆匹配样本生成方法、装置、计算机设备和存储介质
CN115439846B (zh) 图像的分割方法、装置、电子设备及介质
CN116503382B (zh) 一种显示屏划痕缺陷检测的方法和***
CN117079069A (zh) 一种基于自监督辅助学习的目标检测方法与装置
CN116843983A (zh) 路面病害识别方法、模型训练方法、电子设备及介质
CN114140765B (zh) 一种障碍物感知方法、装置及存储介质
CN113033578B (zh) 基于多尺度特征匹配的图像校准方法、***、终端及介质
CN112633352B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN110663046A (zh) 用于方向梯度直方图计算的硬件加速器
CN114118127A (zh) 一种视觉场景标志检测与识别方法及装置
CN113344042A (zh) 基于辅助驾驶的路况图像模型训练方法、***和智能终端
CN114550207B (zh) 脖子关键点检测方法及装置、检测模型训练方法及装置
CN113435339B (zh) 车辆属性检测方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant