CN113610856B - 训练图像分割模型和图像分割的方法和装置 - Google Patents
训练图像分割模型和图像分割的方法和装置 Download PDFInfo
- Publication number
- CN113610856B CN113610856B CN202110948547.4A CN202110948547A CN113610856B CN 113610856 B CN113610856 B CN 113610856B CN 202110948547 A CN202110948547 A CN 202110948547A CN 113610856 B CN113610856 B CN 113610856B
- Authority
- CN
- China
- Prior art keywords
- feature map
- feature
- image
- label
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012549 training Methods 0.000 title claims abstract description 63
- 230000011218 segmentation Effects 0.000 claims abstract description 103
- 230000000877 morphologic effect Effects 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 38
- 230000003993 interaction Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 12
- 238000005096 rolling process Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000037062 Polyps Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000032376 Lung infection Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开的实施例公开了训练图像分割模型和图像分割的方法和装置。该方法的具体实施方式包括：获取样本集和图像分割模型；从样本集中选取样本；将选取的样本的图像输入特征提取网络，得到第一特征图集合；将第一特征图集合输入辅助解码器，得到第二特征图集合和辅助分割结果；将第一特征图集合和第二特征图集合合并，得到融合特征图集合；将融合特征图集合输入主解码器，得到主分割结果；将选取的样本的原始标签进行形态学操作，得到辅助标签；基于辅助标签与辅助分割结果的差异，以及原始标签与主分割结果的差异计算总损失值；根据总损失值调整图像分割模型。该实施方式生成了能够在复杂场景中图像分割的模型，从而提高了图像分割的准确性。
Description
技术领域
本公开的实施例涉及图像处理技术领域，具体涉及训练图像分割模型和图像分割的方法和装置。
背景技术
图像分割是计算机视觉中最具挑战性的任务之一，其目的是预测给定图像的像素级语义标签。受FCN(Fully Convolutional Networks，全卷积网络)最新进展的启发，人们提出了许多方法，这些方法可以对目标区域的局部环境进行分层建模，并通过依次堆叠卷积层和池化层来学习判别性的特征表示。基于FCN的图像分割方法还被用于特殊类型的物体分割，包括伪装物体检测、肺部感染分割、息肉分割、细胞分割、工业表面检测等。
然而，现有的图像分割方法在部署到一些鲁棒性的图像分割任务中时，其性能明显下降，如伪装物体检测、医学图像分割和视觉工业检测。特别是前景物体和背景区域在外观上高度相似的场景。在这样复杂的场景中，很难确定单个元素(局部邻域)和物体边界之间的关联性。边界分配的模糊性阻碍了上下文建模，导致不准确和不完整的分割结果。
发明内容
本公开的实施例提出了训练图像分割模型和图像分割的方法和装置。
第一方面，本公开的实施例提供了一种训练图像分割模型的方法，包括：获取样本集和图像分割模型，其中，样本集中的样本包括图像和原始标签，所述图像分割模型包括特征提取网络、辅助解码器、主解码器；执行以下训练步骤：从所述样本集中选取样本；将选取的样本的图像输入所述特征提取网络，得到第一特征图集合；将所述第一特征图集合输入辅助解码器，得到第二特征图集合和辅助分割结果；将所述第一特征图集合和所述第二特征图集合合并，得到融合特征图集合；将所述融合特征图集合输入所述主解码器，得到主分割结果；将选取的样本的原始标签进行形态学操作，得到辅助标签；基于所述辅助标签与所述辅助分割结果的差异，以及所述原始标签与所述主分割结果的差异计算总损失值；若所述总损失值小于预定阈值，则确定出所述图像分割模型训练完成。
在一些实施例中，该方法还包括：若所述总损失值大于等于预定阈值，则调整所述图像分割模型的相关参数，基于调整后的图像分割模型继续执行所述训练步骤。
在一些实施例中，所述辅助解码器包括低区域解码器和/或凹凸性解码器。
在一些实施例中，对于低区域解码器，辅助标签为低区域标签，通过如下方式得到：用原始标签减去经过形态学腐蚀操作的原始标签得到第1子标签，用经过形态学膨胀操作的原始标签减去原始标签得到第2子标签，将第1子标签和第2子标签沿着通道维度进行矩阵连接得到低区域标签。
在一些实施例中，对于凹凸性解码器，辅助标签为凹凸性标签，通过如下方式得到：用原始标签减去经过形态学开操作的原始标签得到第3子标签，用经过形态学闭操作的原始标签减去原始标签得到第4子标签，将第3子标签和第4子标签沿着通道维度进行矩阵连接得到凹凸性标签。
在一些实施例中，所述将所述第一特征图集合输入辅助解码器，得到第二特征图集合和辅助分割结果，包括：将所述第一特征图集合中的特征图按尺度由小到大的顺序排序；基于所述第一特征图集合中排序第一的特征图，执行如下解码步骤：将排序第一的特征图卷积后上采样得到新一特征图添加到第二特征图集合；将新一特征图与排序第二的特征图沿着通道维度进行矩阵连接后再进行卷积和上采样得到新二特征图添加到第二特征图集合；如果排序第二的特征图是尺度最大的特征图，则将新二特征图进行卷积映射后得到辅助分割结果；如果排序第二的特征图不是尺度最大的特征图，则将排序第二的特征图作为排序第一的特征图，将排序第二的特征图之后的特征图作为排序第二的特征图，继续执行上述解码步骤。
在一些实施例中，所述图像分割模型还包括交互增强模块；以及所述将所述第一特征图集合和所述第二特征图集合合并，得到融合特征图集合，包括：对于所述第一特征图集合中每个特征图，将该特征图和所述第二特征图集合中相同尺度的特征图输入交互增强模块，进行矩阵连接后进行非局部关系运算，得到融合特征图。
在一些实施例中，所述辅助解码器包括低区域解码器和凹凸性解码器，所述第二特征图集合包括低区域特征图集合和凹凸性特征图集合；以及所述将所述第一特征图集合和所述第二特征图集合合并，得到融合特征图集合，包括：将相同尺度的低区域特征图和凹凸性特征图输入交互增强模块，分别进行卷积然后通过局部互关系运算，得到融合子特征图；对于所述第一特征图集合中每个特征图，将该特征图和相同尺度的融合子特征图输入交互增强模块，进行矩阵连接后进行非局部关系运算，得到融合特征图。
在一些实施例中，所述将所述融合特征图集合输入所述主解码器，得到主分割结果，包括：将所述融合特征图集合中的特征图按尺度由小到大的顺序排序；基于所述融合特征图集合中排序第一的特征图，执行如下解码步骤：将排序第一的特征图卷积后上采样得到新一特征图；将新一特征图卷积后得到分割图添加到分割图集合中；将新一特征图与排序第二的特征图沿着通道维度进行矩阵连接后再进行卷积和上采样得到新二特征图；将新二特征图卷积后得到分割图添加到分割图集合中；如果排序第二的特征图是尺度最大的特征图，则将分割图集合中尺度最大的分割图作为主分割结果；如果排序第二的特征图不是尺度最大的特征图，则将排序第二的特征图作为排序第一的特征图，将排序第二的特征图之后的特征图作为排序第二的特征图，继续执行上述解码步骤。
第二方面，本公开实施例提供了一种图像分割方法，包括：获取待分割的图像；将所述图像输入根据第一方面所述的方法训练出的图像分割模型，得到分割结果。
第三方面，本公开实施例提供了一种训练图像分割模型的装置，包括：获取单元，被配置成获取样本集和图像分割模型，其中，样本集中的样本包括图像和原始标签，所述图像分割模型包括特征提取网络、辅助解码器、主解码器；训练单元，被配置成执行以下训练步骤：从所述样本集中选取样本；将选取的样本的图像输入所述特征提取网络，得到第一特征图集合；将所述第一特征图集合输入辅助解码器，得到第二特征图集合和辅助分割结果；将所述第一特征图集合和所述第二特征图集合合并，得到融合特征图集合；将所述融合特征图集合输入所述主解码器，得到主分割结果；将选取的样本的原始标签进行形态学操作，得到辅助标签；基于所述辅助标签与所述辅助分割结果的差异，以及所述原始标签与所述主分割结果的差异计算总损失值；若所述总损失值小于预定阈值，则确定出所述图像分割模型训练完成。
第四方面，本公开实施例提供了一种图像分割装置，包括：获取单元，被配置成获取待分割的图像；分割单元，被配置成将所述图像输入根据第一方面所述的方法训练出的图像分割模型，得到分割结果。
第五方面，本公开实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面或第二方面所述的方法。
第六方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如第一方面或第二方面所述的方法。
本公开实施例提供的训练图像分割模型和图像分割的方法和装置，利用与图-底分配机制相关的线索进行鲁棒的对象分割。图-底分配线索被用作辅助监督，促进对物体边界上下文信息的感知，进而取得更好的物体分割结果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征图、目的和优点将会变得更明显：
图1是本公开的一个实施例可以应用于其中的示例性***架构图；
图2是根据本公开的训练图像分割模型的方法的一个实施例的流程图；
图3a-3g是根据本公开的训练图像分割模型的方法的一个应用场景的示意图；
图4是根据本公开的图像分割的方法的一个实施例的流程图；
图5是根据本公开的训练图像分割模型的装置的一个实施例的结构示意图；
图6是根据本公开的图像分割装置的一个实施例的结构示意图；
图7是适于用来实现本公开的实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开实施例的训练图像分割模型的方法、训练图像分割模型的装置、图像分割方法或图像分割装置的示例性***架构100。
如图1所示，***架构100可以包括终端101、102，网络103、数据库服务器104和服务器105。网络103用以在终端101、102，数据库服务器104与服务器105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户110可以使用终端101、102通过网络103与服务器105进行交互，以接收或发送消息等。终端101、102上可以安装有各种客户端应用，例如模型训练类应用、图像分割类应用、购物类应用、支付类应用、网页浏览器和即时通讯工具等。
这里的终端101、102可以是硬件，也可以是软件。当终端101、102为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、膝上型便携计算机和台式计算机等等。当终端101、102为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
当终端101、102为硬件时，其上还可以安装有图像采集设备。图像采集设备可以是各种能实现采集图像功能的设备，如摄像头、传感器等等。用户110可以利用终端101、102上的图像采集设备，来采集图像。
数据库服务器104可以是提供各种服务的数据库服务器。例如数据库服务器中可以存储有样本集。样本集中包含有大量的样本。其中，样本可以包括样本图像以及图像中各像素是否属于前景的标签。这样，用户110也可以通过终端101、102，从数据库服务器104所存储的样本集中选取样本。
服务器105也可以是提供各种服务的服务器，例如对终端101、102上显示的各种应用提供支持的后台服务器。后台服务器可以利用终端101、102发送的样本集中的样本，对初始模型进行训练，并可以将训练结果(如生成的图像分割模型)发送给终端101、102。这样，用户可以应用生成的图像分割模型进行图像分割。
这里的数据库服务器104和服务器105同样可以是硬件，也可以是软件。当它们为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当它们为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。数据库服务器104和服务器105也可以为分布式***的服务器，或者是结合了区块链的服务器。数据库服务器104和服务器105也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
需要说明的是，本公开实施例所提供的训练图像分割模型的方法或图像分割方法一般由服务器105执行。相应地，训练图像分割模型的装置或图像分割装置一般也设置于服务器105中。
需要指出的是，在服务器105可以实现数据库服务器104的相关功能的情况下，***架构100中可以不设置数据库服务器104。
应该理解，图1中的终端、网络、数据库服务器和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络、数据库服务器和服务器。
继续参见图2，其示出了根据本公开的训练图像分割模型的方法的一个实施例的流程200。该训练图像分割模型的方法可以包括以下步骤：
步骤201，获取样本集和图像分割模型。
在本实施例中，训练图像分割模型的方法的执行主体(例如图1所示的服务器105)可以通过多种方式来获取样本集。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器(例如图1所示的数据库服务器104)中获取存储于其中的现有的样本集。再例如，用户可以通过终端(例如图1所示的终端101、102)来收集样本。这样，执行主体可以接收终端所收集的样本，并将这些样本存储在本地，从而生成样本集。
在这里，样本集中的样本包括图像和原始标签。图像可以是一些难以区分前景和背景的图像，例如伪装物体图像、细胞图像等。原始标签用于标识图像中的每个像素是否属于前景。可以人工圈出一个区域的像素点打上前景标签。原始标签可以用矩阵表示，矩阵中每个元素代表图像中的像素点，如果该像素点是前景则相应的元素值为1，否则为0。
图像分割模型可包括特征提取网络、辅助解码器、主解码器。特征提取网络可以是Resnet50、VGG、***net等神经网络。特征提取网络作为编码器，通过编码器的多尺度特征获得高分辨率的语义丰富的特征图。再利用解码器结构聚合来自编码器的多层特征图来逐步上采样并生成高分辨率特征图。这些基于编码器-解码器的方法可以有效地获得高分辨率特征表示。
本申请用了两种解码器：辅助解码器和主解码器。主解码器的输出为最终的分割结果。而辅助解码器输出为中间的辅助分割结果，仅用于辅助模型的监督训练，后续使用模型进行图像分割时产生的中间的辅助分割结果会被丢弃。
步骤202，从样本集中选取样本。
在本实施例中，执行主体可以从步骤201中获取的样本集中选取样本，以及执行步骤203至步骤2010的训练步骤。其中，样本的选取方式和选取数量在本公开中并不限制。例如可以是随机选取至少一个样本，也可以是从中选取图像的清晰度较好(即像素较高)的样本。
步骤203，将选取的样本的图像输入特征提取网络，得到第一特征图集合。
在本实施例中，特征提取网络可输出多尺度的特征图，这些特征图组成第一特征图集合。如图3a所示，以Resnet50为例，可从图像中提取出1/32、1/16、1/8、1/4四种尺度的特征图，其分别为：第1特征图、第2特征图、第3特征图和第4特征图，组成第一特征图集合。
步骤204，将第一特征图集合输入辅助解码器，得到第二特征图集合和辅助分割结果。
在本实施例中，辅助解码器可以是低区域(Lower Region)解码器和凹凸性(Convexity)解码器中的一种，也可以是两种。如果只用一个辅助解码器，则只得到一个辅助分割结果，如果使用两个辅助解码器，则得到两个辅助分割结果。图3a示例的是同时使用两种辅助解码器，实际上也可以任选一个辅助解码器。解码器进行解码的过程为现有技术，因此不再赘述。
如果采用Lower Region解码器，则得到低区域特征图，解码过程如图3b所示。
S1：将第1特征图、第2特征图、第3特征图和第4特征图输入Lower Region解码器得到第5特征图、第6特征图、第7特征图和第8特征图；
S1.1：将第1特征图经过卷积块1和一个两倍的上采样得到第5特征图；
S1.2：将第2特征图和S1.1的输出特征沿着通道维度进行矩阵连接，接着经过卷积块2和一个两倍的上采样得到第6特征图；
S1.3：将第3特征图和S1.2的输出特征沿着通道维度进行矩阵连接，接着经过卷积块3和一个两倍的上采样得到第7特征图；
S1.4：将第4特征图和S1.3的输出特征沿着通道维度进行矩阵连接，接着经过卷积块4和一个两倍的上采样得到第8特征图，将第8特征图经过卷积层映射得到辅助分割结果，作为第1辅助输出。第二特征图集合中包括了第5-8特征图。
如果采用Convexity解码器，则得到凹凸性特征图，解码过程如图3c所示。
S2：将第1特征图、第2特征图、第3特征图和第4特征图输入Convexity解码器得到第9特征图、第10特征图、第11特征图和第12特征图；
S2.1：将第1特征图经过卷积块5和一个两倍的上采样得到第9特征图；
S2.2：将第2特征图和S2.1的输出特征沿着通道维度进行矩阵连接，接着经过卷积块6和一个两倍的上采样得到第10特征图；
S2.3：将第3特征图和S2.2的输出特征沿着通道维度进行矩阵连接，接着经过卷积块7和一个两倍的上采样得到第11特征图；
S2.4：将第4特征图和S2.3的输出特征沿着通道维度进行矩阵连接，接着经过卷积块8和一个两倍的上采样得到第12特征图，将第12特征图经过卷积层映射得到辅助分割结果，作为第2辅助输出。第二特征图集合中包括了第9-12特征图。
步骤205，将第一特征图集合和第二特征图集合合并，得到融合特征图集合。
在本实施例中，可直接将第一特征图集合和第二特征图集合相同尺度的特征图通过沿着通道维度进行矩阵连接的方式合并。例如，第一特征图集合中1/32尺度的特征图(第1特征图)和第二特征图集合中1/32尺度的特征图(第5特征图)合并，得到1/32的融合特征图。
可选地，可通过交互增强模块将第一特征图集合和第二特征图集合合并。
如果仅使用一个辅助编码器，则交互增强模块可将凹凸性特征图与第一特征图集合中的特征图沿着通道维度进行矩阵连接，之后进行非局部关系运算(注：非局部关系运算方式有多种可选，例如：Non-Local Convolution，Lambda Convolution)得到融合特征图。
如果使用两个辅助编码器，则交互增强模块可将相同尺度的低区域特征图和凹凸性特征图分别进行卷积然后通过局部互关系运算(注：局部关系运算方式有多种可选，例如：Local Relation Convolution，Lambda Convolution等)，得到融合子特征图。对于所述第一特征图集合中每个特征图，将该特征图和相同尺度的融合子特征图输入交互增强模块，进行矩阵连接后进行非局部关系运算，得到融合特征图。
交互增强模块的处理过程如图3e所示，输出融合特征图集合。
S3：将第一特征图集合(第1特征图、第2特征图、第3特征图和第4特征图)，第二特征图集合中的低区域特征图集合(第5特征图、第6特征图、第7特征图和第8特征图)以及第二特征图集合中的凹凸性特征图集合(第9特征图、第10特征图、第11特征图和第12特征图)，输入交互增强模块得到第13特征图、第14特征图、第15特征图和第16特征图；
S3.1：S1.1输出的第5特征图经过卷积块9，S2.1输出的第9特征图经过卷积块10，将二者进行局部关系运算(注：局部关系运算方式有多种可选，例如：Local RelationConvolution，Lambda Convolution等)得到的特征和第1特征沿着通道维度进行矩阵连接，之后进行非局部关系运算(注：非局部关系运算方式有多种可选，例如：Non-LocalConvolution，Lambda Convolution)得到第13特征图。
S3.2：S1.2输出的第6特征经过卷积块11，S2.2输出的第10特征经过卷积块12，将二者进行局部关系运算(注：局部关系运算方式有多种可选，例如：Local RelationConvolution，Lambda Convolution等)得到的特征和第2特征沿着通道维度进行矩阵连接，之后进行非局部关系运算(注：非局部关系运算方式有多种可选，例如：Non-LocalConvolution，Lambda Convolution)得到第14特征图。
S3.3：第7特征图经过卷积块13，S2.3输出的第11特征图经过卷积块14，将二者进行局部关系运算(注：局部关系运算方式有多种可选，例如：Local Relation Convolution，Lambda Convolution等)得到的特征和第3特征图沿着通道维度进行矩阵连接，之后进行非局部关系运算(注：非局部关系运算方式有多种可选，例如：Non-Local Convolution，Lambda Convolution)得到第15特征图。
S3.4：S1.4输出的第8特征图经过卷积块15，S2.4输出的第12特征图经过卷积块16，将二者进行局部关系运算(注：局部关系运算方式有多种可选，例如：Local RelationConvolution，Lambda Convolution等)得到的特征图和第4特征图沿着通道维度进行矩阵连接，之后进行非局部关系运算(注：非局部关系运算方式有多种可选，例如：Non-LocalConvolution，Lambda Convolution)得到第16特征图。
第13-16特征图构成了融合特征图集合。
步骤206，将融合特征图集合输入主解码器，得到主分割结果。
在本实施例中，主解码器的解码过程可以是现有技术常用方法，因此不再赘述。
图3f所示为本申请的主解码器的示意图。
S4：将S3输出的第13特征图、第14特征图、第15特征图和第16特征图输入主解码器得到第1分割图、第2分割图、第3分割图和第4分割图；
S4.1：将第13特征图经过卷积块17和一个两倍的上采样得到第17特征图，将第17特征图经过卷积块21得到第1分割图；
S4.2：将第14特征图和S4.1的输出特征沿着通道维度进行矩阵连接，接着经过卷积块18和一个两倍的上采样得到第18特征图，将第18特征图经过卷积块22得到第2分割图；
S4.3：将第15特征图和S4.2的输出特征沿着通道维度进行矩阵连接，接着经过卷积块19和一个两倍的上采样得到第19特征图，将第19特征图经过卷积块23得到第3分割图；
S4.4：将第16特征图和S4.3的输出特征沿着通道维度进行矩阵连接，接着经过卷积块20和一个两倍的上采样得到第20特征图，将第20特征图经过卷积块24得到第4分割图。
最终的分割结果是尺度最大的分割图，在本例中为第4分割图。
步骤207，将选取的样本的原始标签进行形态学操作，得到辅助标签。
在本实施例中，图像形态学中的几个基本操作：腐蚀、膨胀、开操作、闭操作。这些操作为本领域的常用技术因此不再赘述。
如果采用了Lower Region编码器，则需要制作Lower Region标签作为辅助标签。如果采用了Convexity编码器，则需要制作Convexity标签作为辅助标签。一个像素点可同时具备两种辅助标签，也可只具备任一种辅助标签。只采用一种辅助标签时不使用交互增强模块。辅助标签也用于表征图像中的像素点是否是前景。
图3g所示为辅助标签的示意图。#1表示第1子标签，#2表示第2子标签，#3表示第3子标签，#4表示第4子标签。图中F表示前景区域，G表示背景区域。
S5：将原始标签通过形态学变化得到Lower Region标签和Convexity标签；
S5.1：可将原始标签看作一个黑白图，黑色的像素点表示前景。用原始标签减去经过形态学腐蚀操作的原始标签得到第1子标签，用经过形态学膨胀操作的原始标签减去原始标签得到第2子标签，将第1子标签和第2子标签沿着通道维度进行矩阵连接得到LowerRegion标签；
S5.2：用原始标签减去经过形态学开操作的原始标签得到第3子标签，用经过形态学闭操作的原始标签减去原始标签得到第4子标签，将第3子标签和第4子标签沿着通道维度进行矩阵连接得到Convexity标签。
步骤208，基于辅助标签与辅助分割结果的差异，以及原始标签与主分割结果的差异计算总损失值。
在本实施例中，可根据辅助标签与辅助分割结果的差异计算第一损失值。如果辅助标签表示出的像素点为前景，而实际分割结果为背景，则说明该像素点的分割存在误差，按此方法统计整图中每个像素点辅助标签和辅助分割结果不同的点的误差，将误差输入损失函数得到第一损失值。同理，可根据原始标签与主分割结果的差异计算第二损失值。将第一损失值和第二损失值的加权和作为总损失值。第二损失值的权重可设置为大于第一损失值的权重。例如，第一损失值的权重为0.2，第二损失值的权重为0.8。
如果采用两种辅助解码器，则使用Lower Region标签监督第1辅助输出，使用Convexity标签监督第2辅助输出，使用原始数据集标签分别同时监督主分割结果的输出，最终进行联合训练。
如果只采用一个辅助解码顺，则只使用相应的辅助输出进行联合训练。
可选择二值交叉熵为损失函数，Adamw为优化函数，初始学习率为1e-4，迭代100周期后停止。也可通过总损失值来控制训练终止。
步骤209，若总损失值小于预定阈值，则确定出图像分割模型训练完成。
在本实施例中，如果步骤202中选取有多个样本，那么在每个样本的总损失值均达到预定阈值的情况下，执行主体可以确定初始模型训练完成。再例如，执行主体可以统计总损失值达到预定阈值的样本占选取的样本的比例。且在该比例达到预设样本比例(如95％)，可以确定初始模型训练完成。
步骤210，若总损失值大于等于预定阈值，则调整图像分割模型的相关参数，基于调整后的图像分割模型继续执行训练步骤202-210。
在本实施例中，若执行主体确定初始模型未训练完成，则可以调整图像分割模型中的相关参数。例如采用反向传播技术修改图像分割模型中各卷积层中的权重。以及可以返回步骤202，从样本集中重新选取样本。从而可以继续执行上述训练步骤。
本实施例中训练图像分割模型的方法，通过辅助解码器得到辅助分割结果，并首次采用形态学方法合成辅助标签，引入了新的监督目标，使得模型分割图像时更加准确性、避免误分割。
请参见图4，其示出了本公开提供的图像分割方法的一个实施例的流程400。该图像分割方法可以包括以下步骤：
步骤401，获取待分割的图像。
在本实施例中，图像分割方法的执行主体(例如图1所示的服务器105)可以通过多种方式来获取检测对象的图像。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器(例如图1所示的数据库服务器104)中获取存储于其中的图像。再例如，执行主体也可以接收终端(例如图1所示的终端101、102)或其他设备采集的图像。
在本实施例中，检测对象可以是任意物体，例如，伪装物体、息肉、细胞等与背景区域高度相似的物体。
步骤402，将图像输入图像分割模型，得到分割结果。
在本实施例中，执行主体可以将步骤401中获取的图像输入图像分割模型中，从而生成检测对象的分割结果。分割结果可以是用于描述图像中物体的轮廓。
在本实施例中，图像分割模型可以是采用如上述图2实施例所描述的方法而生成的。具体生成过程可以参见图2实施例的相关描述，在此不再赘述。
需要说明的是，本实施例图像分割方法可以用于测试上述各实施例所生成的图像分割模型。进而根据测试结果可以不断地优化图像分割模型。该方法也可以是上述各实施例所生成的图像分割模型的实际应用方法。采用上述各实施例所生成的图像分割模型，来进行图像分割，有助于提高图像分割的性能。如找到的物体较多，找到的物体轮廓较清晰等。
继续参见图5，作为对上述各图所示方法的实现，本公开提供了一种训练图像分割模型的装置的一个实施例。该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的训练图像分割模型的装置500可以包括：获取单元501和训练单元502。其中，获取单元501，被配置成获取样本集和图像分割模型，其中，样本集中的样本包括图像和原始标签，所述图像分割模型包括特征提取网络、辅助解码器、主解码器；训练单元502，被配置成执行以下训练步骤：从所述样本集中选取样本；将选取的样本的图像输入所述特征提取网络，得到第一特征图集合；将所述第一特征图集合输入辅助解码器，得到第二特征图集合和辅助分割结果；将所述第一特征图集合和所述第二特征图集合合并，得到融合特征图集合；将所述融合特征图集合输入所述主解码器，得到主分割结果；将选取的样本的原始标签进行形态学操作，得到辅助标签；基于所述辅助标签与所述辅助分割结果的差异，以及所述原始标签与所述主分割结果的差异计算总损失值；若所述总损失值小于预定阈值，则确定出所述图像分割模型训练完成。
在本实施例的一些可选的实现方式中，训练单元502进一步被配置成：若所述总损失值大于等于预定阈值，则调整所述图像分割模型的相关参数，基于调整后的图像分割模型继续执行所述训练步骤。
在本实施例的一些可选的实现方式中，辅助解码器包括低区域解码器和/或凹凸性解码器。
在本实施例的一些可选的实现方式中，训练单元502进一步被配置成：用原始标签减去经过形态学腐蚀操作的原始标签得到第1子标签；用经过形态学膨胀操作的原始标签减去原始标签得到第2子标签；将第1子标签和第2子标签沿着通道维度进行矩阵连接得到低区域标签作为辅助标签。
在本实施例的一些可选的实现方式中，训练单元502进一步被配置成：用原始标签减去经过形态学开操作的原始标签得到第3子标签；用经过形态学闭操作的原始标签减去原始标签得到第4子标签；将第3子标签和第4子标签沿着通道维度进行矩阵连接得到凹凸性标签作为辅助标签。
在本实施例的一些可选的实现方式中，训练单元502进一步被配置成：将所述第一特征图集合中的特征图按尺度由小到大的顺序排序；基于所述第一特征图集合中排序第一的特征图，执行如下解码步骤：将排序第一的特征图卷积后上采样得到新一特征图添加到第二特征图集合；将新一特征图与排序第二的特征图沿着通道维度进行矩阵连接后再进行卷积和上采样得到新二特征图添加到第二特征图集合；如果排序第二的特征图是尺度最大的特征图，则将新二特征图进行卷积映射后得到辅助分割结果；如果排序第二的特征图不是尺度最大的特征图，则将排序第二的特征图作为排序第一的特征图，将排序第二的特征图之后的特征图作为排序第二的特征图，继续执行上述解码步骤。
在本实施例的一些可选的实现方式中，所述图像分割模型还包括交互增强模块；训练单元502进一步被配置成：对于所述第一特征图集合中每个特征图，将该特征图和所述第二特征图集合中相同尺度的特征图输入交互增强模块，进行矩阵连接后进行非局部关系运算，得到融合特征图。
在本实施例的一些可选的实现方式中，所述辅助解码器包括低区域解码器和凹凸性解码器，所述第二特征图集合包括低区域特征图集合和凹凸性特征图集合；训练单元502进一步被配置成：将相同尺度的低区域特征图和凹凸性特征图输入交互增强模块，分别进行卷积然后通过局部互关系运算，得到融合子特征图；对于所述第一特征图集合中每个特征图，将该特征图和相同尺度的融合子特征图输入交互增强模块，进行矩阵连接后进行非局部关系运算，得到融合特征图。
在本实施例的一些可选的实现方式中，训练单元502进一步被配置成：将所述融合特征图集合中的特征图按尺度由小到大的顺序排序；基于所述融合特征图集合中排序第一的特征图，执行如下解码步骤：将排序第一的特征图卷积后上采样得到新一特征图；将新一特征图卷积后得到分割图添加到分割图集合中；将新一特征图与排序第二的特征图沿着通道维度进行矩阵连接后再进行卷积和上采样得到新二特征图；将新二特征图卷积后得到分割图添加到分割图集合中；如果排序第二的特征图是尺度最大的特征图，则将分割图集合中尺度最大的分割图作为主分割结果；如果排序第二的特征图不是尺度最大的特征图，则将排序第二的特征图作为排序第一的特征图，将排序第二的特征图之后的特征图作为排序第二的特征图，继续执行上述解码步骤。
继续参见图6，作为对上述图4所示方法的实现，本公开提供了一种图像分割装置的一个实施例。该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的图像分割装置600可以包括：获取单元601和分割单元602。其中，获取单元601，被配置成获取待分割的图像；分割单元602，被配置成将所述图像输入根据权利要求1-9所述的方法训练出的图像分割模型，得到分割结果。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质。
一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现流程200或400所述的方法。
一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现流程200或400所述的方法。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如训练图像分割模型的方法。例如，在一些实施例中，训练图像分割模型的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的训练图像分割模型的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行训练图像分割模型的方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以为分布式***的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。服务器可以为分布式***的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (14)
1.一种训练图像分割模型的方法，包括：
获取样本集和图像分割模型，其中，样本集中的样本包括图像和原始标签，所述图像分割模型包括特征提取网络、辅助解码器、主解码器；
执行以下训练步骤：从所述样本集中选取样本；将选取的样本的图像输入所述特征提取网络，得到第一特征图集合；将所述第一特征图集合输入辅助解码器，得到第二特征图集合和辅助分割结果；将所述第一特征图集合和所述第二特征图集合合并，得到融合特征图集合；将所述融合特征图集合输入所述主解码器，得到主分割结果；将选取的样本的原始标签进行形态学操作，得到辅助标签；基于所述辅助标签与所述辅助分割结果的差异，以及所述原始标签与所述主分割结果的差异计算总损失值；若所述总损失值小于预定阈值，则确定出所述图像分割模型训练完成。
2.根据权利要求1所述的方法，其中，所述方法还包括：
若所述总损失值大于等于预定阈值，则调整所述图像分割模型的相关参数，基于调整后的图像分割模型继续执行所述训练步骤。
3.根据权利要求1所述的方法，其中，所述辅助解码器包括低区域解码器和/或凹凸性解码器。
4.根据权利要求3所述的方法，其中，所述将选取的样本的原始标签进行形态学操作，得到辅助标签，包括：
用原始标签减去经过形态学腐蚀操作的原始标签得到第1子标签；
用经过形态学膨胀操作的原始标签减去原始标签得到第2子标签；
将第1子标签和第2子标签沿着通道维度进行矩阵连接得到低区域标签作为辅助标签。
5.根据权利要求3所述的方法，其中，所述将选取的样本的原始标签进行形态学操作，得到辅助标签，包括：
用原始标签减去经过形态学开操作的原始标签得到第3子标签；
用经过形态学闭操作的原始标签减去原始标签得到第4子标签；
将第3子标签和第4子标签沿着通道维度进行矩阵连接得到凹凸性标签作为辅助标签。
6.根据权利要求1所述的方法，其中，所述将所述第一特征图集合输入辅助解码器，得到第二特征图集合和辅助分割结果，包括：
将所述第一特征图集合中的特征图按尺度由小到大的顺序排序；
基于所述第一特征图集合中排序第一的特征图，执行如下解码步骤：将排序第一的特征图卷积后上采样得到新一特征图添加到第二特征图集合；将新一特征图与排序第二的特征图沿着通道维度进行矩阵连接后再进行卷积和上采样得到新二特征图添加到第二特征图集合；如果排序第二的特征图是尺度最大的特征图，则将新二特征图进行卷积映射后得到辅助分割结果；
如果排序第二的特征图不是尺度最大的特征图，则将排序第二的特征图作为排序第一的特征图，将排序第二的特征图之后的特征图作为排序第二的特征图，继续执行上述解码步骤。
7.根据权利要求1所述的方法，其中，所述图像分割模型还包括交互增强模块；以及
所述将所述第一特征图集合和所述第二特征图集合合并，得到融合特征图集合，包括：
对于所述第一特征图集合中每个特征图，将该特征图和所述第二特征图集合中相同尺度的特征图输入交互增强模块，进行矩阵连接后进行非局部关系运算，得到融合特征图。
8.根据权利要求7所述的方法，其中，所述辅助解码器包括低区域解码器和凹凸性解码器，所述第二特征图集合包括低区域特征图集合和凹凸性特征图集合；以及
所述将所述第一特征图集合和所述第二特征图集合合并，得到融合特征图集合，包括：
将相同尺度的低区域特征图和凹凸性特征图输入交互增强模块，分别进行卷积然后通过局部互关系运算，得到融合子特征图；
对于所述第一特征图集合中每个特征图，将该特征图和相同尺度的融合子特征图输入交互增强模块，进行矩阵连接后进行非局部关系运算，得到融合特征图。
9.根据权利要求1所述的方法，其中，所述将所述融合特征图集合输入所述主解码器，得到主分割结果，包括：
将所述融合特征图集合中的特征图按尺度由小到大的顺序排序；
基于所述融合特征图集合中排序第一的特征图，执行如下解码步骤：将排序第一的特征图卷积后上采样得到新一特征图；将新一特征图卷积后得到分割图添加到分割图集合中；将新一特征图与排序第二的特征图沿着通道维度进行矩阵连接后再进行卷积和上采样得到新二特征图；将新二特征图卷积后得到分割图添加到分割图集合中；如果排序第二的特征图是尺度最大的特征图，则将分割图集合中尺度最大的分割图作为主分割结果；
如果排序第二的特征图不是尺度最大的特征图，则将排序第二的特征图作为排序第一的特征图，将排序第二的特征图之后的特征图作为排序第二的特征图，继续执行上述解码步骤。
10.一种图像分割方法，包括：
获取待分割的图像；
将所述图像输入根据权利要求1-9所述的方法训练出的图像分割模型，得到分割结果。
11.一种训练图像分割模型的装置，包括：
获取单元，被配置成获取样本集和图像分割模型，其中，样本集中的样本包括图像和原始标签，所述图像分割模型包括特征提取网络、辅助解码器、主解码器；
训练单元，被配置成执行以下训练步骤：从所述样本集中选取样本；将选取的样本的图像输入所述特征提取网络，得到第一特征图集合；将所述第一特征图集合输入辅助解码器，得到第二特征图集合和辅助分割结果；将所述第一特征图集合和所述第二特征图集合合并，得到融合特征图集合；将所述融合特征图集合输入所述主解码器，得到主分割结果；将选取的样本的原始标签进行形态学操作，得到辅助标签；基于所述辅助标签与所述辅助分割结果的差异，以及所述原始标签与所述主分割结果的差异计算总损失值；若所述总损失值小于预定阈值，则确定出所述图像分割模型训练完成。
12.一种图像分割装置，包括：
获取单元，被配置成获取待分割的图像；
分割单元，被配置成将所述图像输入根据权利要求1-9所述的方法训练出的图像分割模型，得到分割结果。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个计算机程序，
当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一项所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110948547.4A CN113610856B (zh) | 2021-08-18 | 2021-08-18 | 训练图像分割模型和图像分割的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110948547.4A CN113610856B (zh) | 2021-08-18 | 2021-08-18 | 训练图像分割模型和图像分割的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610856A CN113610856A (zh) | 2021-11-05 |
| CN113610856B true CN113610856B (zh) | 2023-11-07 |
Family
ID=78308902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110948547.4A Active CN113610856B (zh) | 2021-08-18 | 2021-08-18 | 训练图像分割模型和图像分割的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610856B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503694B (zh) * | 2023-06-28 | 2023-12-08 | 宁德时代新能源科技股份有限公司 | 模型训练方法、图像分割方法、装置和计算机设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014113786A1 (en) * | 2013-01-18 | 2014-07-24 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Quantitative predictors of tumor severity |
| WO2019238976A1 (en) * | 2018-06-15 | 2019-12-19 | Université de Liège | Image classification using neural networks |
| CN111223102A (zh) * | 2018-11-23 | 2020-06-02 | 银河水滴科技（北京）有限公司 | 一种图像分割模型训练方法、图像分割方法及装置 |
| CN111739027A (zh) * | 2020-07-24 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及可读存储介质 |
| CN112184714A (zh) * | 2020-11-10 | 2021-01-05 | 平安科技（深圳）有限公司 | 图像分割方法、装置、电子设备及介质 |
| CN112861829A (zh) * | 2021-04-13 | 2021-05-28 | 山东大学 | 一种基于深度卷积神经网络的水体提取方法及*** |
| CN113139974A (zh) * | 2021-04-13 | 2021-07-20 | 广东工业大学 | 基于半监督学习的病灶分割模型训练、应用方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018111940A1 (en) * | 2016-12-12 | 2018-06-21 | Danny Ziyi Chen | Segmenting ultrasound images |
| US10740647B2 (en) * | 2018-03-14 | 2020-08-11 | Adobe Inc. | Detecting objects using a weakly supervised model |
-
2021
- 2021-08-18 CN CN202110948547.4A patent/CN113610856B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014113786A1 (en) * | 2013-01-18 | 2014-07-24 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Quantitative predictors of tumor severity |
| WO2019238976A1 (en) * | 2018-06-15 | 2019-12-19 | Université de Liège | Image classification using neural networks |
| CN111223102A (zh) * | 2018-11-23 | 2020-06-02 | 银河水滴科技（北京）有限公司 | 一种图像分割模型训练方法、图像分割方法及装置 |
| CN111739027A (zh) * | 2020-07-24 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及可读存储介质 |
| CN112184714A (zh) * | 2020-11-10 | 2021-01-05 | 平安科技（深圳）有限公司 | 图像分割方法、装置、电子设备及介质 |
| CN112861829A (zh) * | 2021-04-13 | 2021-05-28 | 山东大学 | 一种基于深度卷积神经网络的水体提取方法及*** |
| CN113139974A (zh) * | 2021-04-13 | 2021-07-20 | 广东工业大学 | 基于半监督学习的病灶分割模型训练、应用方法 |
Non-Patent Citations (1)
| Title |
|---|
| 融合残差注意力机制的UNet视盘分割;侯向丹;赵一浩;刘洪普;郭鸿湧;于习欣;丁梦园;;中国图象图形学报(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113610856A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| CN113657390B (zh) | 文本检测模型的训练方法和检测文本方法、装置和设备 | |
| CN108895981B (zh) | 一种三维测量方法、装置、服务器和存储介质 | |
| CN112784778B (zh) | 生成模型并识别年龄和性别的方法、装置、设备和介质 | |
| CN112862877B (zh) | 用于训练图像处理网络和图像处理的方法和装置 | |
| CN113436100B (zh) | 用于修复视频的方法、装置、设备、介质和产品 | |
| CN113362314B (zh) | 医学图像识别方法、识别模型训练方法及装置 | |
| CN112949767A (zh) | 样本图像增量、图像检测模型训练及图像检测方法 | |
| CN111967297A (zh) | 图像的语义分割方法、装置、电子设备及介质 | |
| CN114792355B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| CN113538235A (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
| CN110956131A (zh) | 单目标追踪方法、装置及*** | |
| CN114202648A (zh) | 文本图像矫正方法、训练方法、装置、电子设备以及介质 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN110717405A (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
| CN111815748B (zh) | 一种动画处理方法、装置、存储介质及电子设备 | |
| CN113516697A (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| CN113592932A (zh) | 深度补全网络的训练方法、装置、电子设备及存储介质 | |
| CN117746125A (zh) | 图像处理模型的训练方法、装置及电子设备 | |
| CN117593762A (zh) | 一种融合视觉和压力的人体姿态估计方法、设备及介质 | |
| CN114494782B (zh) | 图像处理方法、模型训练方法、相关装置及电子设备 | |
| CN113139463B (zh) | 用于训练模型的方法、装置、设备、介质和程序产品 | |
| CN113205131A (zh) | 图像数据的处理方法、装置、路侧设备和云控平台 | |
| CN113591709A (zh) | 动作识别方法、装置、设备、介质和产品 | |
| CN113343979B (zh) | 用于训练模型的方法、装置、设备、介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |