CN114549913A - 一种语义分割方法、装置、计算机设备和存储介质 - Google Patents
一种语义分割方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114549913A CN114549913A CN202210438646.2A CN202210438646A CN114549913A CN 114549913 A CN114549913 A CN 114549913A CN 202210438646 A CN202210438646 A CN 202210438646A CN 114549913 A CN114549913 A CN 114549913A
- Authority
- CN
- China
- Prior art keywords
- classifier
- target
- image
- probability distribution
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000009826 distribution Methods 0.000 claims abstract description 205
- 238000000605 extraction Methods 0.000 claims abstract description 153
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000004590 computer program Methods 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 64
- 230000035945 sensitivity Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 241000282326 Felis catus Species 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像语义分割方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：获取目标图像；对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征；基于第一分类器对所述图像提取特征进行处理，得到中间概率分布；将中间概率分布与图像提取特征进行融合，得到图像提取特征对应的目标分类器；基于目标分类器以及第一分类器对图像提取特征进行处理，得到各个像素类别对应的目标概率分布；基于目标概率分布得到目标图像中各个像素点分别对应的目标像素类别。采用本方法能够提高图像语义分割准确率。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种语义分割方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展，图像识别得到越来越广泛的应用。例如，对于需要分割的图像，使用图像语义分割模型将大大地提高图像分割效率。
相关技术中，可以将图像输入到图像语义分割模型的特征提取器以及分类器中进行图像分割，得到每个像素点分别对应的类别，然而，目前的图像语义分割模型对于不同的样本都是使用通用分类器，并不能很好地刻画不同样本的特征分布，存在分割准确度低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够语义分割的方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像语义分割方法。所述方法包括：获取目标图像；对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征；基于第一分类器对所述图像提取特征进行处理，得到中间概率分布，所述中间概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；将所述中间概率分布与所述图像提取特征进行融合，得到所述图像提取特征对应的目标分类器；基于所述目标分类器以及所述第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布，所述目标概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；基于所述目标概率分布得到所述目标图像中各个像素点分别对应的目标像素类别。
在其中一个实施例中，所述基于所述目标分类器以及所述第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布包括：获取所述目标分类器对应的第一加权系数以及所述通用分类器对应的第二加权系数；基于所述第一加权系数对所述目标分类器进行加权，得到加权目标分类器；基于所述第二加权系数对所述通用分类器进行加权，得到加权通用分类器；综合所述加权通用分类器和加权目标分类器得到综合分类器，利用所述综合分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布。
在其中一个实施例中，所述获取所述目标分类器对应的第一加权系数以及所述通用分类器对应的第二加权系数包括：获取所述通用分类器和所述目标分类器之间的分类器相似度，基于所述分类器相似度得到所述第一加权系数，所述第一加权系数与所述分类器相似度成正相关关系；基于所述第一加权系数得到所述第二加权系数，所述第二加权系数与所述第一加权系数为负相关关系。
在其中一个实施例中，所述基于所述分类器相似度得到所述第一加权系数包括：获取敏感系数；将所述敏感系数与所述分类器相似度进行相乘，得到所述第一加权系数。
在其中一个实施例中，所述基于第一分类器对所述图像提取特征进行处理，得到中间概率分布包括：基于所述图像语义分割模型中的所述通用分类器对所述图像提取特征进行处理，得到初始概率分布，所述初始概率分布包括每个像素类别分别对应的初始概率矩阵；将所述初始概率矩阵中的元素移位到相同行或者相同列中，得到移位概率矩阵；将每个像素类别对应的所述移位概率矩阵进行拼接，得到中间概率分布。
在其中一个实施例中，所述目标分类器对应的计算方式包括：对所述图像提取特征进行处理得到的初始概率分布进行移位以及拼接，利用激活函数对拼接后的初始概率分布进行激活，得到中间概率分布；将所述中间概率分布与所述图像提取特征进行矩阵相乘运算，得到所述目标分类器。
在其中一个实施例中，所述将所述中间概率分布与所述图像提取特征进行融合，得到所述图像提取特征对应的目标分类器包括：获取置信度阈值；将所述中间概率分布中的每个概率与所述置信度阈值进行对比，基于所述概率与所述置信度阈值的大小关系得到遮罩矩阵；基于所述遮罩矩阵，对所述中间概率分布进行筛选，得到去噪概率分布；将所述去噪概率分布与所述图像提取特征进行相乘，得到所述目标分类器。
第二方面，本申请还提供了一种图像语义分割装置。所述装置包括：目标图像获取模块，用于获取目标图像；图像提取特征提取模块，用于对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征；中间概率分布获得模块，用于基于第一分类器对所述图像提取特征进行处理，得到中间概率分布，所述中间概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；目标分类器获得模块，用于将所述中间概率分布与所述图像提取特征进行融合，得到所述图像提取特征对应的目标分类器；目标概率分布获得模块，用于基于所述目标分类器以及所述第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布，所述目标概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；目标像素类别得到模块，用于基于所述目标概率分布得到所述目标图像中各个像素点分别对应的目标像素类别。
在其中一个实施例中，目标分类器获得模块，用于：获取所述目标分类器对应的第一加权系数以及所述通用分类器对应的第二加权系数；基于所述第一加权系数对所述目标分类器进行加权，得到加权目标分类器；基于所述第二加权系数对所述通用分类器进行加权，得到加权通用分类器；综合所述加权通用分类器和加权目标分类器得到综合分类器，利用所述综合分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布。
在其中一个实施例中，目标分类器获得模块，用于：获取所述通用分类器和所述目标分类器之间的分类器相似度，基于所述分类器相似度得到所述第一加权系数，所述第一加权系数与所述分类器相似度成正相关关系；基于所述第一加权系数得到所述第二加权系数，所述第二加权系数与所述第一加权系数为负相关关系。
在其中一个实施例中，目标分类器获得模块，用于：基于获取敏感系数；将所述敏感系数与所述分类器相似度进行相乘，得到所述第一加权系数。
在其中一个实施例中，中间概率分布获得模块，用于：基于所述图像语义分割模型中的所述通用分类器对所述图像提取特征进行处理，得到初始概率分布，所述初始概率分布包括每个像素类别分别对应的初始概率矩阵；将所述初始概率矩阵中的元素移位到相同行或者相同列中，得到移位概率矩阵；将每个像素类别对应的所述移位概率矩阵进行拼接，得到中间概率分布。
在其中一个实施例中，所述目标分类器对应的计算方式包括：对所述图像提取特征进行处理得到的初始概率分布进行移位以及拼接，利用激活函数对拼接后的初始概率分布进行激活，得到中间概率分布；将所述中间概率分布与所述图像提取特征进行矩阵相乘运算，得到所述目标分类器。
在其中一个实施例中，目标分类器获得模块，用于：获取置信度阈值；将所述中间概率分布中的每个概率与所述置信度阈值进行对比，基于所述概率与所述置信度阈值的大小关系得到遮罩矩阵；基于所述遮罩矩阵，对所述中间概率分布进行筛选，得到去噪概率分布；将所述去噪概率分布与所述图像提取特征进行相乘，得到所述目标分类器。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取目标图像；对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征；基于第一分类器对所述图像提取特征进行处理，得到中间概率分布，所述中间概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；将所述中间概率分布与所述图像提取特征进行融合，得到所述图像提取特征对应的目标分类器；基于所述目标分类器以及所述第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布，所述目标概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；基于所述目标概率分布得到所述目标图像中各个像素点分别对应的目标像素类别。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取目标图像；对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征；基于第一分类器对所述图像提取特征进行处理，得到中间概率分布，所述中间概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；将所述中间概率分布与所述图像提取特征进行融合，得到所述图像提取特征对应的目标分类器；基于所述目标分类器以及所述第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布，所述目标概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；基于所述目标概率分布得到所述目标图像中各个像素点分别对应的目标像素类别。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取目标图像；对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征；基于第一分类器对所述图像提取特征进行处理，得到中间概率分布，所述中间概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；将所述中间概率分布与所述图像提取特征进行融合，得到所述图像提取特征对应的目标分类器；基于所述目标分类器以及所述第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布，所述目标概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；基于所述目标概率分布得到所述目标图像中各个像素点分别对应的目标像素类别。
上述图像语义分割方法、装置、计算机设备、存储介质和计算机程序产品，通过获取目标图像；对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征；基于第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的中间概率分布，中间概率分布包括目标图像中各个像素点属于各个像素类别的概率；将中间概率分布与图像提取特征进行融合，得到图像提取特征对应的目标分类器；基于目标分类器以及第一分类器对图像提取特征进行处理，得到各个像素类别对应的目标概率分布，目标概率分布包括目标图像中各个像素点属于各个像素类别的概率；基于目标概率分布得到目标图像中各个像素点分别对应的目标像素类别。通过特征提取器提取目标图像的特征向量，得到图像提取特征，然后使用通用分类器对图像提取特征进行处理，得到了用作构建目标分类器的中间概率分布，接着将中间概率分布与图像提取特征进行融合，融合后得到了目标分类器，因此目标分类器是基于目标图像的图像提取特征自适应改变的，基于通用分类器和目标分类器的处理，能够增强分类器对不同图片内容的自适应感知能力，提高了得到目标像素点对应的目标像素类别准确度，从而提高了图像语义分割的准确度。
附图说明
图1为一个实施例中图像语义分割方法的应用环境图；
图2为一个实施例中图像语义分割方法的流程示意图；
图3为一个实施例中PANet模型模拟结果对比示意图；
图4为一个实施例中PFENet模型模拟结果对比示意图；
图5为一个实施例中图像语义分割步骤的流程示意图；
图6为另一个实施例中图像语义分割步骤的流程示意图；
图7为又一个实施例中图像语义分割步骤的流程示意图；
图8为再一个实施例中图像语义分割步骤的流程示意图；
图9为多一个实施例中图像语义分割步骤的流程示意图；
图10为一个实施例中图像语义分割装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像语义分割方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102响应于接收操作，向服务器发送图像语义分割的指令，服务器104获取目标图像；对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征；基于第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的中间概率分布，中间概率分布包括目标图像中各个像素点属于各个像素类别的概率；将中间概率分布与图像提取特征进行融合，得到图像提取特征对应的目标分类器；基于目标分类器以及第一分类器对图像提取特征进行处理，得到各个像素类别对应的目标概率分布，目标概率分布包括目标图像中各个像素点属于各个像素类别的概率；基于目标概率分布得到目标图像中各个像素点分别对应的目标像素类别。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像语义分割方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S202，获取目标图像。
其中，目标图像可以是用作人工智能模型的图像语义分割的图像，使用人工智能模型对图像进行语义分割，同时能使人工智能模型的参数自适应地变化。
具体地，服务器可以获取一个或者多个需要利用图像语义分割模型进行分割的图像。
在一个实施例中，摄像头拍摄了一个广告牌照片，需要对这张照片使用图像语义分割模型进行语义分割，则服务器从摄像头终端获取该照片。
步骤S204，对目标图像进行特征提取，得到目标图像对应的图像提取特征。
其中，可以是基于图像语义分割模型中的特征提取器对目标图像进行特征提取，图像语义分割模型可以是对图像进行像素级别的分类，该模型对每个像素所在的周边环境以及内容有所感知，才能完成对单个像素所属类别的判定；特征提取器可以是对图像进行特征提取的函数，该函数提取出来的特征使用特征向量进行表示；图像提取特征可以是目标图像通过特征提取器所得到的用来表示该图像特征的向量，特征提取器可以是基于卷积神经网络（Convolutional Neural Networks, CNN）的，是一类包含卷积计算且具有深度结构的前馈神经网络。图像语义分割模型包含特征提取器以及通用分类器，特征提取器可以提取图像中的特征向量，通用分类器对特征向量进行分类，得到每个类别中每个像素点的概率。
具体的，特征提取器获得目标图像后，特征提取器将对目标图像进行特征提取，得到用来表示该图像特征的图像提取特征。
在一个实施例中，目标图像中含有猫、狗以及背景，特征提取器获得目标图像后对猫、狗以及背景进行特征提取，提取后用向量的形式来表示猫、狗以及背景的特征。
步骤S206，基于第一分类器对图像提取特征进行处理，得到各个像素类别对应的中间概率分布，中间概率分布包括目标图像中各个像素点属于各个像素类别的概率。
其中，可以是基于第一分类器对所述图像提取特征进行处理，通用分类器可以是基于很多训练图像训练得到的，因此对于每个图像都是通用的，分类得到的结果是对图像中每个像素属于每一个类别的概率；中间概率分布可以是图像提取特征被通用分类器进行转换计算得到的向量。
具体的，用[h,w,d]来表示提取到的图像提取特征的高、宽和特征通道数，用n来表示待预测类别数量，因而初始概率分布p的尺寸应为[h,w,n]，表示每个像素点对于n个类别的归属概率，而通用分类器对应的尺寸[n, d]，即对n个类别中的每个类别分别用一个d维度的向量来表示。原本初始概率分布p的尺寸为[h,w,n]，用reshape操作将其调整为尺寸[hw, n] 的向量，进一步通过行与列的交换调整为尺寸[n, hw]的向量，图像提取特征通过reshape调整后，softmax是一个得到归一化的分类概率的函数，向它输入一个向量（向量元素为任意实数），输出的是该向量属于某个类别的概率值，这里softmax作用在第2维向量（尺寸n）上，使得成为n个类别上对的加权矩阵（在空间hw个位置上权重之和为1），得到中间概率分布。
在一个实施例中，目标图像中含有一只狗，图像语义分割模型中的通用分类器对狗的每个像素点的概率进行reshape，得到了狗的每个像素点对应的调整为尺寸 [hw, n]的向量，然后通过向量元素的交换，得到了狗的每个像素点对应的向量[n, hw]。
步骤S208，将中间概率分布与图像提取特征进行融合，得到图像提取特征对应的目标分类器。
其中，目标分类器可以是中间概率分布通过与图像提取特征进行乘法运算后所得到的函数。可以理解，通用分类器与目标分类器是相对而言的，即通用分类器是基于不同的训练图像训练得到的，是不同图像通用的分类器，而目标分类器是基于一个图像的提取图像特征以及对应的中间概率分布得到的，是该目标图像对应的特有的分类器。
具体的，中间概率分布和提取到的图像特征（尺寸为[hw, c]）进行矩阵乘法运算，得到目标分类器Gc(x)(尺寸为[n,c])。具体的reshape、softmax和矩阵乘法步骤的表达式如下式：
其中，x为图像提取特征，Gc(x)在这里表示的是从图片特征x当中提取到的类别信息，也就是目标分类器，尺寸亦与分类器相同。
在一个实施例中，狗的图像每个像素点的概率经过Reshape，Reshape的过程为[h,w,n] 通过降维得到矩阵[hw, n] ，对[hw, n]进行移位，得到 [n, hw]，reshape操作将其调整为尺寸[n, hw]的向量，它的第二维向量将被softmax作用，使得成为n个类别上对的加权矩阵（在空间hw个位置上权重之和为1），然后对狗的图像每个像素点和狗的图像提取特征进行矩阵乘法。
步骤S210，基于目标分类器以及第一分类器对图像提取特征进行处理，得到各个像素类别对应的目标概率分布，目标概率分布包括目标图像中各个像素点属于各个像素类别的概率。
其中，目标概率分布可以是目标图像通过目标分类器和第一分类器中的通用分类器进行分类所得到的每个像素类别对应的概率分布向量，像素类别有很多个。
具体的，目标分类器和通用分类器所组成的分类器为综合分类器，该综合分类器可以根据图像提取特征的变化而自动改变自己的参数，使得模型性能更好。图像提取特征被输入到目标分类器和通用分类器中，这两个函数分别对图像特征的每个像素点进行分类，最后给出各个像素类别所对应的目标概率分布。综合分类器Cx是依赖于数据本身的内容而产生的，综合分类器Cx的产生可以表述为下式：
其中，
为一个加权系数，其能够调节原有分类器以及对分类器新引进的特征的
权重，来完成自适应分类器的构建。
在一个实施例中，目标分类器Gc(x)和通用分类器C所组成的分类器为综合分类器Cx，目标图像的特征向量输入综合分类器Cx中，通过综合分类器Cx处理，得到目标图像的每个像素点对于每个类别的概率。
步骤S212，基于目标概率分布得到目标图像中各个像素点分别对应的目标像素类别。
其中，目标像素类别可以是对于目标图像中每个像素点可归类的类别，一个图像中可以包括不同类别的像素点，图像分割可以将相同类别的像素点分割到同一个区域。
具体的，通过目标分类器和通用分类器后，每个像素点对应每个类别都有一个概率，选取概率最高的类别作为该像素点所对应的目标像素类别，得到类别之后，进行分割，得到多个区域。
在一个实施例中，像素点B位于1类别的概率为0.07，位于2类别的概率为0.1，位于3类别的概率为0.83，因此像素点B对于3类别的概率最高，所以输出像素点B为3类别。
在一个实施例中，通用语义分割的情况下，基于ResNet-50的PSPNet分割模型上，使用本方法应用在现有技术上均取得性能提升。小样本分割的情况下，应用到PANet和PFENet模型上，数据集均取得显著提升。如图3和图4所示，图中的Fold-0~Fold-3以及Mean均为数据集，Methods为模型，其中PANet和PFENet模型是现有的模型，PANet+Ours和PFENet+Ours是在PANet以及PFENet上采用本申请实施例进行识别的模型，1-shot为单例学习，5-shot为5例学习，图中的数字为计算真实值和预测值两个集合的交集和并集之比，单位为mIOU。
上述图像语义分割方法中，通过获取目标图像；对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征；基于第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的中间概率分布，中间概率分布包括目标图像中各个像素点属于各个像素类别的概率；将中间概率分布与图像提取特征进行融合，得到图像提取特征对应的目标分类器；基于目标分类器以及第一分类器对图像提取特征进行处理，得到各个像素类别对应的目标概率分布，目标概率分布包括目标图像中各个像素点属于各个像素类别的概率；基于目标概率分布得到目标图像中各个像素点分别对应的目标像素类别。通过特征提取器提取目标图像的特征向量，得到图像提取特征，然后使用通用分类器对图像提取特征进行处理，得到了用作构建目标分类器的中间概率分布，接着将中间概率分布与图像提取特征进行融合，融合后得到了目标分类器，因此目标分类器是基于目标图像的图像提取特征自适应改变的，基于通用分类器和目标分类器的处理，能够增强分类器对不同图片内容的自适应感知能力，提高了得到目标像素点对应的目标像素类别准确度，从而提高了图像语义分割的准确度。即对于不同的图片，得到的目标分类器是根据图片的内容进行自适应变化的，从而可以更好地刻画不同图像的特征分布，提高像素级别的图像分类准确度。
在一个实施例中，如图5所示，第一分类器包括图像语义分割模型中的通用分类器，基于目标分类器以及第一分类器对图像提取特征进行处理，得到各个像素类别对应的目标概率分布包括：
步骤S302，获取目标分类器对应的第一加权系数以及通用分类器对应的第二加权系数。
其中，第一加权系数可以是目标分类器位于综合分类器里面所占的权重；第二加权系数可以是通用分类器位于综合分类器里面所占的权重；第一加权系数和第二加权系数可以是预先设置的固定值，也可以是基于目标分类器自适应得到的。
具体的，服务器获取关于目标分类器所对应的第一加权系数和通用分类器所对应的第二加权系数，第一加权系数和第二加权系数为负相关关系，两者相加之和为一。
在一个实施例中，服务器获取第一加权系数的值为0.7，因为第一加权系数和第二加权系数之和为1，因此服务器获得第二加权系数为0.3。
步骤S304，基于第一加权系数对目标分类器进行加权，得到加权目标分类器。
其中，加权目标分类器可以是目标分类器与第一加权系数进行乘法计算后所得到的具有加权效果的目标分类器。
具体的，第一加权系数是一个权重，目标分类器是一个分类器，分类器中包括用于
进行分类的模型参数，两者进行相乘后，得到加权目标分类器，使用计算公式表示为
×
Gc。
在一个实施例中，第一加权系数为0.7，目标分类器为Gx，两者相乘后得到的加权目标分类器为0.7Gx。
步骤S306，基于第二加权系数对通用分类器进行加权，得到加权通用分类器。
其中，加权通用分类器可以是通用分类器与第二加权系数进行乘法计算后所得到的具有加权效果的通用分类器。
具体的，第二加权系数是一个权重，通用分类器是一个分类器，两者进行相乘后，
得到加权通用分类器，使用公示表示为（1-
）×C。
在一个实施例中，第二加权系数为0.3，通用分类器为C，两者相乘后得到的加权通用分类器为0.3C。
步骤S308，综合加权通用分类器和加权目标分类器得到综合分类器，利用综合分类器对图像提取特征进行处理，得到各个像素类别对应的目标概率分布。
其中，综合分类器可以是通用分类器和目标分类器相加所得到的分类器。
具体的，图像提取特征通过有通用分类器和目标分类器所组合的综合分类器进行处理，得到对于不同像素类别的目标概率分布，具体的表达式如下：
其中，
为第一加权系数，1-
为第二加权系数，Cx为综合分类器，其中
的大小
可以根据Gc(x)和C之间的余弦相似度确定，该余弦相似度与
成正相关关系。例如，若Gc(x)
和C之间的余弦相似度Cos(C,Gc(x))较高，说明Gc(x)的可信赖程度越高，可以以较高比例来
替代C的内容，以精准地对当前样本特征x进行预测。反之，若余弦Cos(C,Gc(x))相似度较
低，则说明从当前样本引进的类别信息于原有分类器差异较大，引入可能会损害模型原有
的泛化能力，因而Gc(x)的权重需要对应调小，
为敏感系数。
在一个实施例中，一张包含猫、狗和背景的图像提取特征通过通用分类器和目标分类器进行处理，得到了关于狗的像素位于像素类别1的概率为0.02，像素类别2的概率为0.04，像素类别3的概率为0.94。
本实施例中，通过对图像提取特征经过通用分类器和目标分类器的处理，得到了经过两次处理的目标概率分布，能够对目标图像的像素点进行更准确的分类。
在一个实施例中，如图6所示，获取目标分类器对应的第一加权系数以及通用分类器对应的第二加权系数包括：
步骤S402，获取通用分类器和目标分类器之间的分类器相似度，基于分类器相似度得到第一加权系数，第一加权系数与分类器相似度成正相关关系。
其中，分类器相似度可以是通用分类器和目标分类器之间的相似度，如果相似度越高，说明目标分类器的可信度越高，可以以较高比例来替代通用分类器的内容。
具体的，对通用分类器和目标分类器之间进行相似度计算，得到的结果为分类器相似度，通过分类器相似度可以得到第一加权系数。分类器相似度可以和第一加权系数成正相关关系，例如直接使用分类器相似度作为第一加权系数。
在一个实施例中，通用分类器和目标分类器用余弦相似度来表示它们的相似程度，通过计算得到它们的余弦相似度为0.8，则得到第一加权系数为0.8。
步骤S404，基于第一加权系数得到第二加权系数，第二加权系数与第一加权系数为负相关关系。
具体的，第一加权系数与第二加权系数是成负相关关系，例如两者之和为一，因此获得第一加权系数后，即可得到第二加权系数。
在一个实施例中，第一加权系数为0.8，且第一加权系数和第二加权系数的和为一，因此得到第二加权系数为0.2。
本实施例中，通过引入分类器相似度，并得到分类器相似度与第一加权系数的关系，能够使第一加权系数的调整有更多的依据，更容易获得更优的加权系数。
在一个实施例中，如图7所示，基于分类器相似度得到第一加权系数包括：
步骤S502，获取敏感系数。
其中，敏感系数可以是综合分类器对分类器相似度的敏感度，调节敏感系数可以对第一加权系数和第二加权系数的大小进行改变。
具体的，服务器中预先设置了敏感系数，服务器获取得到敏感系数，例如敏感系数可以为1。
在一个实施例中，给服务器输入0.75作为该综合分类器的敏感系数。
步骤S504，将敏感系数与分类器相似度进行相乘，得到第一加权系数。
具体的，分类器相似度是一个体现相似度的值，将敏感系数和分类器相似度进行相乘运算，得到第一加权系数。
在一个实施例中，敏感系数为0.75，分类器相似度为0.8，把它们两者进行乘法运算，得到第一加权系数为0.6。
本实施例中，通过增加敏感系数与分类器相似度进行相乘后得到的第一加权系数，调节第一加权系数所占的比重，对于分类器相似度比较高的情形，能够根据需要目标分类器的比重。例如，可以设置相似度与敏感系数的对应关系，当相似度小于预设阈值时，则提高敏感系数的值。
在一个实施例中，如图8所示，基于第一分类器对所述图像提取特征进行处理，得到中间概率分布包括：
步骤S602，基于第一分类器对所述图像提取特征进行处理，得到初始概率分布，初始概率分布包括每个像素类别分别对应的初始概率矩阵。
其中，初始分布概率可以是对图像提取特征进行处理后所得到的每个像素类别对应的初始概率矩阵；初始概率矩阵可以是里面包含了每个像素类别里面目标图像所对应的每个像素点的概率。例如，假设有6个类别，目标图像为200*300像素的图像，则可以得到6个200行乘以300列的初始概率矩阵。每个初始概率矩阵代表的是200*300像素的像素点属于6个类别中其中一个类别的概率。
具体的，图像提取特征被通用分类器进行分类，得到了目标图像所对应的初始概率分布，且初始概率分布里面包含了每个像素类别里面的每个像素点的概率。
在一个实施例中，含有猫、狗以及背景的目标图像的提取特征被通用分类器进行分类，因为目标图像具有不同的像素类别，每个类别具有很多像素点，因此得到了关于目标图像的初始概率分布，而且目标图像的初始概率分布中包含了关于目标图像的每个像素类别的每个像素点的概率。
步骤S604，将初始概率矩阵中的元素移位到相同行或者相同列中，得到移位概率矩阵。
其中，移位概率矩阵可以是对初始概率矩阵中的元素进行移位，把所有元素都移到同一行或者同一列中所得到的矩阵。
具体的，初始概率矩阵是一个多维的矩阵，通过移位，把初始概率矩阵中的元素移到同一行或者同一列中，得到了移位概率矩阵。
在一个实施例中，初始概率矩阵是一个200*300的矩阵，通过移位后得到了一个1*600的矩阵。
步骤S606，将每个像素类别对应的移位概率矩阵进行拼接，得到中间概率分布。
其中，中间概率分布可以是对不同已经进行移位概率矩阵进行拼接，得到多维矩阵，该多维矩阵则是中间概率分布。
具体的，每个像素类别有对应的移位概率矩阵，对所有像素类别的移位概率矩阵进行拼接，拼接得到的结果就得到了中间概率分布。
在一个实施例中，目标图像的像素点一共有6各类别，每个类别中含有200*300个像素点，reshape后一共有6个1*600的移位概率矩阵，对这6个矩阵进行拼接，得到了6*600的中间概率分布。中间概率分布有n行，有h*w列，每一行代表目标图像中，每个像素点属于该行对应的像素类别的概率。
本实施例中，通过通用分类器对图像提取特征进行移位和拼接的处理，可以得到中间概率分布。
在一个实施例中，目标分类器对应的计算方式包括：对图像提取特征进行处理得到的初始概率分布进行移位以及拼接，利用激活函数对拼接后的初始概率分布进行激活，得到中间概率分布；将中间概率分布与图像提取特征进行矩阵相乘运算，得到目标分类器。例如，目标分类器对应的计算公式可以表示如下：
Gc(x)为目标分类器，p为通用分类器对图像提取特征进行处理得到的初始概率分布，Reshape(p)为对p进行移位以及拼接，x为图像提取特征。由于p为基于x得到的对于n个像素类别对应的每个像素点属于对应像素类别的概率，因此通过上式，可以从x提取对于n个类别每个类别中的关键信息，Gc(x)相当于是从x提取对于n个类别每个类别中的关键信息，用来调整原有通用分类器C，使得其能够适应于不同输入的内容。
在一个实施例中，如图9所示，将中间概率分布与图像提取特征进行融合，得到图像提取特征对应的目标分类器包括：
步骤S702，获取置信度阈值。
其中，置信度阈值可以是一个用来过滤掉那些置信度低的特征值的贡献，以避免引入噪声的值。
具体的，给定一个置信度阈值，服务器获取到置信度阈值。
在一个实施例中，目标分类器需要过滤掉置信度阈值小于0.2的中间概率分布，因此给服务器预先设置0.2的置信度阈值。
步骤S704，将中间概率分布中的每个概率与置信度阈值进行对比，基于概率与置信度阈值的大小关系得到遮罩矩阵。
其中，遮罩矩阵可以是用来对中间概率分布小于置信度阈值的概率进行去除的矩阵。遮罩矩阵与中间概率分布的尺寸相同，遮罩矩阵中一个位置的值根据中间概率分布中该位置对应的概率与阈值的大小关系确定，当概率大于阈值，则遮罩矩阵中该位置的值为1，否则为0。
具体的，设置置信度阈值，将中间概率分布中的每一个类别的每一个像素点跟置信度阈值进行对比，得到一个用来去除噪声的遮罩矩阵。
在一个实施例中，设置目标图像的中间概率分布的置信度阈值为0.5，那么目标图像的中间概率分布中的每一个概率将与置信度阈值进行对比，并生成了一个遮罩矩阵。
步骤S706，基于遮罩矩阵，对中间概率分布进行筛选，得到去噪概率分布。
其中，去噪概率分布可以是通过遮罩矩阵把中间概率分布中的噪音去除后所得到的概率分布。例如可以将遮罩矩阵中的每个值与中间概率分布中对应位置的概率进行相乘，得到去噪概率分布。
具体的，通过遮罩矩阵，对中间概率分布进行筛选，小于置信度阈值的概率将被去除，大于或等于置信度阈值的概率将会被保留，被保留的概率所组成的概率分布为去噪概率分布。
在一个实施例中，设置置信度阈值为0.5所形成的遮罩矩阵，通过对中间概率分布进行筛选，该中间概率分布的像素点具有0.3、0.4、0.5、0.6、0.7以及0.8这几种概率的值，通过遮罩矩阵则会把0.3和0.4两个概率去除掉，相应的像素点也不纳入去噪概率分布中。
步骤S708，将去噪概率分布与图像提取特征进行相乘，得到目标分类器。
具体的，对已经进行去噪的去噪概率分布和图像提取特征进行相乘，相乘得到的结果为目标分类器，具体的表达式如公式如下：
其中，M为去噪概率分布，尺寸为[n,hw]，与中间概率分布相同，sum(-1)是对M里面的所有hw的值进行求和，h和w分别为图像特区特征的高和宽，x为图像提取特征，Gc(x)为目标分类器。
本实施例中，通过设置置信度阈值，使得置信度不足的概率被去除掉，降低图像语义分割的噪音，能够提高图像语义分割模型的性能，使得图像语义分割的成功率更高。
应该理解的是，本语义分割模型的分类器是基于目标图像的图像提取特征自适应改变的，基于通用分类器和目标分类器的处理，能够增强分类器对不同图片内容的自适应感知能力，提高了得到目标像素点对应的目标像素类别准确度，从而提高了图像语义分割的准确度。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像语义分割方法的图像语义分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像语义分割装置实施例中的具体限定可以参见上文中对于图像语义分割方法的限定，在此不再赘述。
在一个实施例中，如图10所示，提供了一种图像语义分割装置，包括：目标图像获取模块、图像提取特征提取模块、中间概率分布获得模块、目标分类器获得模块、目标概率分布获得模块和目标像素类别得到模块，其中：
目标图像获取模块802，用于获取目标图像。
图像提取特征提取模块804，用于对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征。
中间概率分布获得模块806，用于基于第一分类器对所述图像提取特征进行处理，得到中间概率分布，中间概率分布包括目标图像中各个像素点属于各个像素类别的概率。
目标分类器获得模块808，用于将中间概率分布与图像提取特征进行融合，得到图像提取特征对应的目标分类器。
目标概率分布获得模块810，用于基于目标分类器以及第一分类器对图像提取特征进行处理，得到各个像素类别对应的目标概率分布，目标概率分布包括目标图像中各个像素点属于各个像素类别的概率。
目标像素类别得到模块812，用于基于目标概率分布得到目标图像中各个像素点分别对应的目标像素类别。
在其中一个实施例中，目标分类器获得模块，用于：获取目标分类器对应的第一加权系数以及通用分类器对应的第二加权系数；基于第一加权系数对目标分类器进行加权，得到加权目标分类器；基于第二加权系数对通用分类器进行加权，得到加权通用分类器；综合加权通用分类器和加权目标分类器得到综合分类器，利用综合分类器对图像提取特征进行处理，得到各个像素类别对应的目标概率分布。
在其中一个实施例中，目标分类器获得模块，用于：获取通用分类器和目标分类器之间的分类器相似度，基于分类器相似度得到第一加权系数，第一加权系数与分类器相似度成正相关关系；基于第一加权系数得到第二加权系数，第二加权系数与第一加权系数为负相关关系。
在其中一个实施例中，目标分类器获得模块，用于：基于获取敏感系数；将敏感系数与分类器相似度进行相乘，得到第一加权系数。
在其中一个实施例中，中间概率分布获得模块，用于：基于第一分类器对所述图像提取特征进行处理，得到初始概率分布，初始概率分布包括每个像素类别分别对应的初始概率矩阵；将初始概率矩阵中的元素移位到相同行或者相同列中，得到移位概率矩阵；将每个像素类别对应的移位概率矩阵进行拼接，得到中间概率分布。
在其中一个实施例中，目标分类器对应的计算方式为：对所述图像提取特征进行处理得到的初始概率分布进行移位以及拼接，利用激活函数对拼接后的初始概率分布进行激活，得到中间概率分布；将所述中间概率分布与所述图像提取特征进行矩阵相乘运算，得到所述目标分类器。
在其中一个实施例中，目标分类器获得模块，用于：获取置信度阈值；将中间概率分布中的每个概率与置信度阈值进行对比，基于概率与置信度阈值的大小关系得到遮罩矩阵；基于遮罩矩阵，对中间概率分布进行筛选，得到去噪概率分布；将去噪概率分布与图像提取特征进行相乘，得到目标分类器。
上述图像语义分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储服务器数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像语义分割方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像语义分割方法，其特征在于，所述方法包括：
获取目标图像；
对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征；
基于第一分类器对所述图像提取特征进行处理，得到中间概率分布，所述中间概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；
将所述中间概率分布与所述图像提取特征进行融合，得到所述图像提取特征对应的目标分类器；
基于所述目标分类器以及所述第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布，所述目标概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；
基于所述目标概率分布得到所述目标图像中各个像素点分别对应的目标像素类别。
2.根据权利要求1所述的方法，其特征在于，所述第一分类器包括图像语义分割模型中的通用分类器，所述基于所述目标分类器以及所述第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布包括：
获取所述目标分类器对应的第一加权系数以及所述通用分类器对应的第二加权系数；
基于所述第一加权系数对所述目标分类器进行加权，得到加权目标分类器；
基于所述第二加权系数对所述通用分类器进行加权，得到加权通用分类器；
综合所述加权通用分类器和加权目标分类器得到综合分类器，利用所述综合分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布。
3.根据权利要求2所述的方法，其特征在于，所述获取所述目标分类器对应的第一加权系数以及所述通用分类器对应的第二加权系数包括：
获取所述通用分类器和所述目标分类器之间的分类器相似度，基于所述分类器相似度得到所述第一加权系数，所述第一加权系数与所述分类器相似度成正相关关系；
基于所述第一加权系数得到所述第二加权系数，所述第二加权系数与所述第一加权系数为负相关关系。
4.根据权利要求3所述的方法，其特征在于，所述基于所述分类器相似度得到所述第一加权系数包括：
获取敏感系数；
将所述敏感系数与所述分类器相似度进行相乘，得到所述第一加权系数。
5.根据权利要求1所述的方法，其特征在于，所述第一分类器包括图像语义分割模型中的通用分类器，所述基于所述图像语义分割模型中的第一分类器对所述图像提取特征进行处理，得到中间概率分布包括：
基于所述图像语义分割模型中的所述通用分类器对所述图像提取特征进行处理，得到初始概率分布，所述初始概率分布包括每个像素类别分别对应的初始概率矩阵；
将所述初始概率矩阵中的元素移位到相同行或者相同列中，得到移位概率矩阵；
将每个像素类别对应的所述移位概率矩阵进行拼接，得到中间概率分布。
6.根据权利要求5所述的方法，其特征在于，所述目标分类器对应的计算方式包括：
对所述图像提取特征进行处理得到的初始概率分布进行移位以及拼接，利用激活函数对拼接后的初始概率分布进行激活，得到中间概率分布；
将所述中间概率分布与所述图像提取特征进行矩阵相乘运算，得到所述目标分类器。
7.根据权利要求1所述的方法，其特征在于，所述将所述中间概率分布与所述图像提取特征进行融合，得到所述图像提取特征对应的目标分类器包括：
获取置信度阈值；
将所述中间概率分布中的每个概率与所述置信度阈值进行对比，基于所述概率与所述置信度阈值的大小关系得到遮罩矩阵；
基于所述遮罩矩阵，对所述中间概率分布进行筛选，得到去噪概率分布；
将所述去噪概率分布与所述图像提取特征进行相乘，得到所述目标分类器。
8.一种图像语义分割装置，其特征在于，所述装置包括：
目标图像获取模块，用于获取目标图像；
图像提取特征提取模块，用于对所述目标图像进行特征提取，得到所述目标图像对应的图像提取特征；
中间概率分布获得模块，用于基于第一分类器对所述图像提取特征进行处理，得到中间概率分布，所述中间概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；
目标分类器获得模块，用于将所述中间概率分布与所述图像提取特征进行融合，得到所述图像提取特征对应的目标分类器；
目标概率分布获得模块，用于基于所述目标分类器以及所述第一分类器对所述图像提取特征进行处理，得到各个像素类别对应的目标概率分布，所述目标概率分布包括所述目标图像中各个像素点属于各个像素类别的概率；
目标像素类别得到模块，用于基于所述目标概率分布得到所述目标图像中各个像素点分别对应的目标像素类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210438646.2A CN114549913B (zh) | 2022-04-25 | 2022-04-25 | 一种语义分割方法、装置、计算机设备和存储介质 |
| PCT/CN2022/120480 WO2023206944A1 (zh) | 2022-04-25 | 2022-09-22 | 一种语义分割方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210438646.2A CN114549913B (zh) | 2022-04-25 | 2022-04-25 | 一种语义分割方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114549913A true CN114549913A (zh) | 2022-05-27 |
| CN114549913B CN114549913B (zh) | 2022-07-19 |
Family
ID=81667042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210438646.2A Active CN114549913B (zh) | 2022-04-25 | 2022-04-25 | 一种语义分割方法、装置、计算机设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114549913B (zh) |
| WO (1) | WO2023206944A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115345895A (zh) * | 2022-10-19 | 2022-11-15 | 深圳市壹倍科技有限公司 | 用于视觉检测的图像分割方法、装置、计算机设备及介质 |
| CN115620013A (zh) * | 2022-12-14 | 2023-01-17 | 深圳思谋信息科技有限公司 | 语义分割方法、装置、计算机设备及计算机可读存储介质 |
| CN115761239A (zh) * | 2023-01-09 | 2023-03-07 | 深圳思谋信息科技有限公司 | 一种语义分割方法及相关装置 |
| WO2023206944A1 (zh) * | 2022-04-25 | 2023-11-02 | 深圳思谋信息科技有限公司 | 一种语义分割方法、装置、计算机设备和存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636026B (zh) * | 2023-11-17 | 2024-06-11 | 上海凡顺实业股份有限公司 | 一种集装箱锁销类别图片识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109461157A (zh) * | 2018-10-19 | 2019-03-12 | 苏州大学 | 基于多级特征融合及高斯条件随机场的图像语义分割方法 |
| CN109872374A (zh) * | 2019-02-19 | 2019-06-11 | 江苏通佑视觉科技有限公司 | 一种图像语义分割的优化方法、装置、存储介质及终端 |
| CN113902913A (zh) * | 2021-08-31 | 2022-01-07 | 际络科技(上海)有限公司 | 图片语义分割方法及装置 |
| CN114187311A (zh) * | 2021-12-14 | 2022-03-15 | 京东鲲鹏(江苏)科技有限公司 | 一种图像语义分割方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335277A (zh) * | 2019-05-07 | 2019-10-15 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN114549913B (zh) * | 2022-04-25 | 2022-07-19 | 深圳思谋信息科技有限公司 | 一种语义分割方法、装置、计算机设备和存储介质 |
-
2022
- 2022-04-25 CN CN202210438646.2A patent/CN114549913B/zh active Active
- 2022-09-22 WO PCT/CN2022/120480 patent/WO2023206944A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109461157A (zh) * | 2018-10-19 | 2019-03-12 | 苏州大学 | 基于多级特征融合及高斯条件随机场的图像语义分割方法 |
| CN109872374A (zh) * | 2019-02-19 | 2019-06-11 | 江苏通佑视觉科技有限公司 | 一种图像语义分割的优化方法、装置、存储介质及终端 |
| CN113902913A (zh) * | 2021-08-31 | 2022-01-07 | 际络科技(上海)有限公司 | 图片语义分割方法及装置 |
| CN114187311A (zh) * | 2021-12-14 | 2022-03-15 | 京东鲲鹏(江苏)科技有限公司 | 一种图像语义分割方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 陈孝如: "基于全卷积网络的图像语义分割算法", 《电脑知识与技术》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023206944A1 (zh) * | 2022-04-25 | 2023-11-02 | 深圳思谋信息科技有限公司 | 一种语义分割方法、装置、计算机设备和存储介质 |
| CN115345895A (zh) * | 2022-10-19 | 2022-11-15 | 深圳市壹倍科技有限公司 | 用于视觉检测的图像分割方法、装置、计算机设备及介质 |
| CN115345895B (zh) * | 2022-10-19 | 2023-01-06 | 深圳市壹倍科技有限公司 | 用于视觉检测的图像分割方法、装置、计算机设备及介质 |
| CN115620013A (zh) * | 2022-12-14 | 2023-01-17 | 深圳思谋信息科技有限公司 | 语义分割方法、装置、计算机设备及计算机可读存储介质 |
| CN115761239A (zh) * | 2023-01-09 | 2023-03-07 | 深圳思谋信息科技有限公司 | 一种语义分割方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023206944A1 (zh) | 2023-11-02 |
| CN114549913B (zh) | 2022-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN112052787B (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
| CN114529825B (zh) | 用于消防通道占用目标检测的目标检测模型、方法及应用 | |
| CN111738244B (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
| CN109829506B (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| US20220230282A1 (en) | Image processing method, image processing apparatus, electronic device and computer-readable storage medium | |
| CN110110689B (zh) | 一种行人重识别方法 | |
| CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
| CN113298096B (zh) | 训练零样本分类模型的方法、***、电子设备及存储介质 | |
| CN114511576B (zh) | 尺度自适应特征增强深度神经网络的图像分割方法与*** | |
| CN112926654A (zh) | 预标注模型训练、证件预标注方法、装置、设备及介质 | |
| WO2021042857A1 (zh) | 图像分割模型的处理方法和处理装置 | |
| CN111709415B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN114419406A (zh) | 图像变化检测方法、训练方法、装置和计算机设备 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN116863194A (zh) | 一种足溃疡图像分类方法、***、设备及介质 | |
| CN114155388B (zh) | 一种图像识别方法、装置、计算机设备和存储介质 | |
| CN116012841A (zh) | 一种基于深度学习的开集图像场景匹配方法及装置 | |
| CN115661609A (zh) | 一种图像处理方法、装置和介质 | |
| CN113674383A (zh) | 生成文本图像的方法及装置 | |
| CN112084371A (zh) | 一种电影多标签分类方法、装置、电子设备以及存储介质 | |
| CN112329925B (zh) | 模型生成方法、特征提取方法、装置及电子设备 | |
| CN114049634B (zh) | 一种图像识别方法、装置、计算机设备和存储介质 | |
| CN117689890B (zh) | 一种基于晴雾场景的语义分割方法、装置及存储介质 | |
| CN115761239B (zh) | 一种语义分割方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20220527 Assignee: Beijing simou Intelligent Technology Co.,Ltd. Assignor: Shenzhen Si Mou Information Technology Co.,Ltd. Contract record no.: X2024980002106 Denomination of invention: A semantic segmentation method, device, computer equipment, and storage medium Granted publication date: 20220719 License type: Common License Record date: 20240221 |
|
| EE01 | Entry into force of recordation of patent licensing contract |