CN113450351B - 分割模型训练方法、图像分割方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种分割模型训练方法、图像分割方法、装置、设备及介质。该方法包括：获取第一图像以及所述第一图像匹配的第二图像，并基于初始分割模型分别提取所述第一图像的第一图像特征，以及所述第二图像的第二图像特征；基于初始聚类中心点对所述第一图像特征进行聚类处理，得到第一初始聚类结果，并基于所述初始聚类中心点对所述第二图像特征进行聚类处理，得到第二初始聚类结果；基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，得到目标分割模型。通过本发明实施例公开的技术方案，解决了有监督的图像分割方法需要大量的标记数据以及人工标注耗时耗力的问题。

Description

分割模型训练方法、图像分割方法、装置、设备及介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种分割模型训练方法、图像分割方法、装置、设备及介质。

背景技术

目前在深度学习领域，一般有两种方式可以进行对3D医学影像数据的整图器官分割，全监督分割和弱监督分割。全监督分割效果较好，但是需要大量精确标记的数据进行训练，这些数据需要大量专业人员耗费大量时间进行标记。而弱监督分割需要对每一层数据进行分类或检测标记，同样需要耗费较大的精力。因为每例数据都会包含相同的器官，因此，对整例数据进行分类标注以进行弱监督分割也是不可行的。

发明内容

本发明提供一种分割模型训练方法、图像分割方法、装置、设备及介质，解决了有监督的图像分割方法需要大量的标记数据以及人工标注耗时耗力的问题。

第一方面，本发明实施例提供了一种分割模型训练方法，该方法包括：

获取第一图像以及所述第一图像匹配的第二图像，并基于初始分割模型分别提取所述第一图像的第一图像特征，以及所述第二图像的第二图像特征；

基于初始聚类中心点对所述第一图像特征进行聚类处理，得到第一初始聚类结果，并基于所述初始聚类中心点对所述第二图像特征进行聚类处理，得到第二初始聚类结果；

基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，得到目标分割模型。

可选的，所述获取第一图像以及所述第一图像匹配的第二图像，包括：

获取第一图像；

确定所述第一图像中的各感兴趣区域的区域类型，并将所述区域类型相同的其他图像确定为所述第一图像匹配的关联第二图像；和/或，

对所述第一图像进行增强处理，基于增强处理的结果确定所述第一图像匹配的增强第二图像。

可选的，所述基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，包括：

基于所述第一初始聚类结果以及所述第二初始聚类结果确定所述初始分割模型的损失函数，并基于所述损失函数对所述初始分割模型进行训练。

可选的，所述第一初始聚类结果包括第一聚类中心点，所述第二初始聚类结果包括第二聚类中心点；

相应的，基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，包括：

基于所述第一聚类中心点对第二图像特征进行聚类处理，得到第二交叉聚类结果，基于所述第二交叉聚类结果和所述第二初始聚类结果确定所述初始分割模型的损失函数，并基于所述损失函数对所述初始分割模型进行训练；或，

基于所述第二聚类中心点对第一图像特征进行聚类处理，得到第一交叉聚类结果，并基于所述第一交叉聚类结果和所述第一初始聚类结果确定所述初始分割模型的损失函数，并基于所述损失函数对所述初始分割模型进行训练。

可选的，若所述第二图像包括关联第二图像和增强第二图像；

相应的，所述基于第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，包括：

获取基于所述第一图像和所述关联第二图像进行训练得到的关联分割模型的模型参数；

获取基于所述第一图像和所述增强第二图像进行训练得到的增强分割模型的模型参数；

基于所述关联分割模型的模型参数以及增强分割模型的模型参数确定目标模型函数；

基于所述目标模型函数分别更新所述关联分割模型和所述增强分割模型。

可选的，在所述提取所述第一图像的第一图像特征，以及所述第二图像的第二图像特征之后，还包括：

将所述第一图像特征以及所述第二图像特征输入至卷积模块，以使所述卷积模块对各图像特征进行正则化处理。

第二方面，本发明实施例还公开了一种图像分割方法，该方法包括：

获取待分割图像；

将所述待分割图像输入至预先训练的分割模型，得到模型输出的图像特征；其中，所述分割模型训练方法预先训练得到。

第三方面，本发明实施例还提供了一种分割模型训练装置，该装置包括：

图像特征获取模块，用于获取第一图像以及所述第一图像匹配的第二图像，并基于初始分割模型分别提取所述第一图像的第一图像特征，以及所述第二图像的第二图像特征；

初始聚类结果获取模块，用于基于初始聚类中心点对所述第一图像特征进行聚类处理，得到第一初始聚类结果，并基于所述初始聚类中心点对所述第二图像特征进行聚类处理，得到第二初始聚类结果；

目标分割模型确定模块，用于基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，得到目标分割模型。

第四方面，本发明实施例还公开了一种图像分割装置，该装置包括：

图像获取模块，用于获取待分割图像；

图像特征确定模块，用于将所述待分割图像输入至预先训练的分割模型，得到模型输出的图像特征；其中，所述分割模型训练方法预先训练得到。

第五方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例提供的分割模型训练方法或者图像分割方法。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的分割模型训练方法或者图像分割方法。

本发明实施例的技术方案通过获取第一图像以及与第一图像匹配的第二图像，并基于初始分割模型分别提取第一图像的第一图像特征，以及第二图像的第二图像特征，以实现对第一图像特征以及第二图像特征进行聚类处理；基于初始聚类中心点对第一图像特征进行聚类处理，得到第一初始聚类结果，并基于初始聚类中心点对第二图像特征进行聚类处理，得到第二初始聚类结果；进一步地基于第一初始聚类结果和第二初始聚类结果对初始分割模型进行训练，得到目标分割模型，解决了有监督的图像分割方法需要大量的标记数据以及人工标注耗时耗力的问题，实现了基于无标注数据训练分割模型，减小了数据标注的工作量，提高了模型训练效率。

附图说明

为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。

图1是本发明实施例一提供的分割模型训练方法的流程示意图；

图2是本发明实施例二提供的分割模型训练方法的流程示意图；

图3是本发明实施例三提供的分图像分割方法的流程示意图；

图4是本发明实施例四提供的分割模型训练装置的结构示意图；

图5是本发明实施例五提供的图像分割装置的结构示意图；

图6为本发明实施例六提供的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种分割模型训练方法的流程图，本实施例可适用于对分割模型进行训练的情况，更适用于基于无监督方式对分割模型进行训练，即基于无标注的数据对分割模型进行训练的情况。该方法可以由分割模型训练装置来执行，该装置可以由软件和/或硬件的方式来实现。

在对本发明实施例的技术方案进行介绍之前，先对本实施的技术方案的应用场景进行示例性的介绍。当然下述应用场景的介绍只是示例性的介绍，本实施例的技术方案还可以应用于其他应用场景，本实施例对技术方案的应用场景不加以限制。具体的，应用场景包括：目前在深度学习领域，一般有两种方式可以进行对3D医学影像数据的整图器官分割，全监督分割和弱监督分割。全监督分割效果较好，但是需要大量精确标记的数据进行训练，这些数据需要大量专业人员耗费大量时间进行标记。而弱监督分割需要对每一层数据进行分类或检测标记，同样需要耗费较大的精力。因为每例数据都会包含相同的器官，因此，对整例数据进行分类标注以进行弱监督分割也是不可行的。进一步的，传统的无监督分割方式效果很差，达不到能够使用的程度。

解决目前采用全监督分割或者弱监督分割对3D医学影像整图器官分割的分割模型训练过程中需要大量标注的问题，我们提出一种无监督的分割模型训练方式，即不对图像进行标记就可以进行训练分割模型。

具体的，无监督的分割模型训练方式包括：获取第一图像以及与第一图像匹配的第二图像，并基于初始分割模型分别提取第一图像的第一图像特征，以及第二图像的第二图像特征，以实现对第一图像特征以及第二图像特征进行聚类处理；基于初始聚类中心点对第一图像特征进行聚类处理，得到第一初始聚类结果，并基于初始聚类中心点对第二图像特征进行聚类处理，得到第二初始聚类结果；进一步地基于第一初始聚类结果和第二初始聚类结果对初始分割模型进行训练，得到目标分割模型，解决了有监督的图像分割方法需要大量的标记数据以及人工标注耗时耗力的问题，实现了基于无标注数据训练分割模型，减小了数据标注的工作量，提高了模型训练效率。

如图1所示，本实施例的技术方案具体包括以下步骤：

S110、获取第一图像以及第一图像匹配的第二图像，并基于初始分割模型分别提取第一图像的第一图像特征，以及第二图像的第二图像特征。

在本发明实施例中，第一图像和第二图像可以是用于对分割模型进行训练的样本图像。其中，第一图像和第二图像均为未标注图像，并且第一图像和第二图像之间相匹配。具体的匹配关系可以包括两图像之间具有相同感兴趣区域的区域类型，还可以包括两图像之间为增强关系或者反增强关系。在本实施例中，第一图像的数量以及第二图像的数量可以为多张，本实施例对图像数量不加以限制。

具体的，获取第一图像的方法可以直接读取当前训练装置预先存储的部分样本图像作为第一图像。

可选的，获取与第一图像匹配的第二图像的方法可以是确定第一图像中的各感兴趣区域的区域类型，并将区域类型相同的其他图像确定为第一图像匹配的关联第二图像。具体的，在获取第一图像后，确定第一图像中的各感兴趣区域以及各感兴趣区域的类型，示例性的感兴趣区域的区域类型可以是肺部、胃部以及心脏等类型。若样本数据中存在与第一图像中的各感兴趣区域的区域类型相同的样本图像，则该图像可以确定为第二图像。在本实施例中，基于上述方法确定的第二图像还可以叫做关联第二图像，即第一图像与关联第二图像对应的图像对象为多个图像对象。

可选的，获取与第一图像匹配的第二图像的方法还可以是对第一图像进行增强处理，基于增强处理的结果确定第一图像匹配的增强第二图像。具体的，在获取第一图像之后，对该第一图像进行增强处理，得到增强后的图像。具体的，增强处理的处理方法包括但不限于对第一图像进行反转，折叠，旋转，图像明暗变化，图像对比度变化等处理。进一步地将增强处理后的图像确定为第一图像匹配的第二图像。在本实施例中，基于上述方法确定的第二图像还可以叫做增强第二图像，即第一图像与增强第二图像对应的图像对象为同一个图像对象。

进一步地，在获取第一图像以及第二图像之后，基于初始分割模型获取第一图像的第一图像特征以及第二图像的第二图像特征。具体的，分别将第一图像和第二图像输入至初始分割模型，得到模型输出的第一图像特征和第二图像特征。当然，本实施中还可以基于其他方式确定第一图像的第一图像特征以及第二图像的第二图像特征，本实施例对于提取图像特征的方法不加以限制。

S120、基于初始聚类中心点对第一图像特征进行聚类处理，得到第一初始聚类结果，并基于初始聚类中心点对第二图像特征进行聚类处理，得到第二初始聚类结果。

在本实施例中，基于初始聚类中心点对第一图像特征进行聚类处理的方法具体包括随机选取第一图像特征中的k个图像特征作为初始聚类中心点，并分别计算各第一图像特征分别和初始聚类中心点的距离，示例性的，距离可以是欧式距离根据所有的距离数值确定新的聚类中心点，若新的聚类中心点与初始聚类中心点一致，则继续计算各第一图像特征分别和新的聚类中心点的距离，直至新一轮计算的聚类中心点与上一轮计算得到的聚类中心点一致，则结束聚类，将最新一轮计算的聚类中心点确定为第一初始聚类结果。

同样的，基于初始聚类中心点对第二图像特征进行聚类处理的方法具体包括随机选取第二图像特征中的k个图像特征作为初始聚类中心点，并分别计算各第二图像特征分别和初始聚类中心点的距离，根据所有的距离数值确定新的聚类中心点，进一步的根据新的聚类中心点确定第二初始聚类结果。

S130、基于第一初始聚类结果和第二初始聚类结果对初始分割模型进行训练，得到目标分割模型。

在本实施例中，在确定第一初始聚类结果以及第二初始聚类结果后，分别计算第一初始聚类结果中的各聚类中心点分别第二初始聚类结果中的各聚类中心点之间的相似度，得到各相似度计算结果。示例性的，第一聚类中心点包括1A、1B；第二聚类中心点包括2A、2B；计算相似度的方法的步骤具体包括：计算1A和2A之间的相似度、计算1A和2B之间的相似度、计算1B和2A之间的相似度以及计算1B和2B之间的相似度得到各相似度计算结果，确定各相似度结果中的最大相似度，用1减去该相似度数值的结果作为初始分割模型的损失函数，并基于该损失函数对初始分割模型进行迭代训练，直至满足迭代停止条件之后停止训练，得到目标分割模型。

在一些实施例中，为了保证初始分割模型提取的特征是有意义的，即防止分割模型优化到局部最优解，将第一图像特征以及第二图像特征输入至卷积模块，即经过一个1x1x1大小的卷积层，即使该卷积模块对各图像特征进行正则化处理，以实现防止分割模型优化到局部最优解，并得到训练好的目标分割模型。

本发明实施例的技术方案通过获取第一图像以及与第一图像匹配的第二图像，并基于初始分割模型分别提取第一图像的第一图像特征，以及第二图像的第二图像特征，以实现对第一图像特征以及第二图像特征进行聚类处理；基于初始聚类中心点对第一图像特征进行聚类处理，得到第一初始聚类结果，并基于初始聚类中心点对第二图像特征进行聚类处理，得到第二初始聚类结果；进一步地基于第一初始聚类结果和第二初始聚类结果对初始分割模型进行训练，得到目标分割模型，解决了有监督的图像分割方法需要大量的标记数据以及人工标注耗时耗力的问题，实现了基于无标注数据训练分割模型，减小了数据标注的工作量，提高了模型训练效率。

实施例二

图2为本发明实施例二提供的一种分割模型训练方法的流程图，本实施例在上述各实施例的基础上，将步骤“基于第一初始聚类结果和第二初始聚类结果对初始分割模型进行训练，得到目标分割模型”细化为步骤“基于第一初始聚类结果和第二初始聚类结果对初始分割模型进行训练，得到目标分割模型；其中，第一初始聚类结果包括第一聚类中心点，第二初始聚类结果包括第二聚类中心点”，其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图2，本实施例提供的分割模型训练方法包括：

S210、获取第一图像以及第一图像匹配的第二图像，并基于初始分割模型分别提取第一图像的第一图像特征，以及第二图像的第二图像特征。

S220、基于初始聚类中心点对第一图像特征进行聚类处理，得到第一初始聚类结果，并基于初始聚类中心点对第二图像特征进行聚类处理，得到第二初始聚类结果。

S230、基于第一初始聚类结果和第二初始聚类结果对初始分割模型进行训练，得到目标分割模型；其中，第一初始聚类结果包括第一聚类中心点，第二初始聚类结果包括第二聚类中心点。

在本实施例中，第一初始聚类结果包括第一聚类中心点，相应的，基于第一初始聚类结果和第二初始聚类结果对初始分割模型进行训练的方法可以包括：基于第一聚类中心点对第二图像特征进行聚类处理，得到第二交叉聚类结果，基于第二交叉聚类结果和第二初始聚类结果确定初始分割模型的损失函数，并基于损失函数对初始分割模型进行训练。具体的，将第一聚类结果中的第一聚类中点作为初始聚类中心点，并分别计算各第二图像特征分别和初始聚类中心点的距离，根据所有的距离数值确定新的聚类中心点，进一步的根据新的聚类中心点确定第二交叉聚类结果；进一步的，根据第二交叉聚类结果中的各聚类中心点以及第二初始聚类结果中的各聚类中心点确定初始分割模型的损失函数，并基于该损失函数对初始分割模型进行迭代训练，直至满足迭代停止条件之后停止训练，得到目标分割模型。

可选的，第二初始聚类结果包括第二聚类中心点，相应的，基于第二初始聚类结果和第一初始聚类结果对初始分割模型进行训练的方法可以包括：基于第二聚类中心点对第一图像特征进行聚类处理，得到第一交叉聚类结果，基于第一交叉聚类结果和第一初始聚类结果确定初始分割模型的损失函数，并基于损失函数对初始分割模型进行训练。具体的，将第二聚类结果中的第二聚类中点作为初始聚类中心点，并分别计算各第一图像特征分别和初始聚类中心点的距离，根据所有的距离数值确定新的聚类中心点，进一步的根据新的聚类中心点确定第一交叉聚类结果；进一步的，根据第一交叉聚类结果中的各聚类中心点以及第一初始聚类结果中的各聚类中心点确定初始分割模型的损失函数，并基于该损失函数对初始分割模型进行迭代训练，直至满足迭代停止条件之后停止训练，得到目标分割模型。

在一些实施例中，为了得到更加准确的目标分割模型可以同时采用第一图像和关联第二图像以及采用第一图像和增强第二图像对分割模型进行训练。但是分别利用了两种不同的样本图像对分割模型进行训练，共同优化时会导致模型训练难以收敛，所以本实施例的技术方案还包括：获取基于第一图像和关联第二图像进行训练得到的关联分割模型的模型参数；获取基于第一图像和增强第二图像进行训练得到的增强分割模型的模型参数；基于关联分割模型的模型参数以及增强分割模型的模型参数确定目标模型函数；

基于模型函数分别更新关联分割模型和增强分割模型。具体的，可以在每次迭代时可以先分别训练关联分割模型和增强分割模型，并确定关联分割模型的模型参数和增强分割模型的模型参数；然后基于关联分割模型的模型参数和增强分割模型的模型参数得到目标分割模型参数。具体的，可以将两个模型参数的均值确定为目标模型参数，也可以基于两个模型参数对应的权重确定目标模型参数；进一步地将目标模型参数分别赋予关联分割模型和增强分割模型继续进行下一次迭代，以此保证分割模型训练的稳定性，使分割模型容易收敛，从而得到目标分割模型。

本发明实施例的技术方案通过获取第一图像以及与第一图像匹配的第二图像，并基于初始分割模型分别提取第一图像的第一图像特征，以及第二图像的第二图像特征，以实现对第一图像特征以及第二图像特征进行聚类处理；基于初始聚类中心点对第一图像特征进行聚类处理，得到第一初始聚类结果，并基于初始聚类中心点对第二图像特征进行聚类处理，得到第二初始聚类结果；进一步地确定第一交叉聚类结果或者第二交叉聚类结果，并基于第一初始聚类结果和第一交叉聚类结果对初始分割模型进行训练，或者基于第二初始聚类结果和第二交叉聚类结果对初始分割模型进行训练，得到目标分割模型，实现了进一步的提高了模型训练效率。

实施例三

图3为本发明实施例三提供的一种图像分割方法的流程图，本实施例可适用于对图像进行分割的情况。该方法可以由图像分割装置来执行，该装置可以由软件和/或硬件的方式来实现。如图3所示，该方法具体包括以下步骤：

S310、获取待分割图像。

S320、将待分割图像输入至预先训练的分割模型，得到模型输出的图像特征。

本发明实施例的技术方案通过采用无标注数据训练的分割模型进行图像分割，提高了图像分割的效率。

实施例四

以下是本发明实施例提供的分割模型训练装置的实施例，该装置与上述各实施例的分割模型训练方法属于同一个发明构思，在分割模型训练装置的实施例中未详尽描述的细节内容，可以参考上述分割模型训练方法的实施例。

图4为本发明实施例四提供的分割模型训练装置的结构示意图，本实施例可适用于对分割模型进行训练的情况，更适用于基于无监督方式对分割模型进行训练，即基于无标注的数据对分割模型进行训练的情况。如图4所示，该分割模型训练装置的具体结构包括：图像特征获取模块410、初始聚类结果获取模块420和目标分割模型确定模块430；其中，

图像特征获取模块410，用于获取第一图像以及所述第一图像匹配的第二图像，并基于初始分割模型分别提取所述第一图像的第一图像特征，以及所述第二图像的第二图像特征；

初始聚类结果获取模块420，用于基于初始聚类中心点对所述第一图像特征进行聚类处理，得到第一初始聚类结果，并基于所述初始聚类中心点对所述第二图像特征进行聚类处理，得到第二初始聚类结果；

目标分割模型确定模块430，用于基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，得到目标分割模型。

本发明实施例的技术方案通过获取第一图像以及与第一图像匹配的第二图像，并基于初始分割模型分别提取第一图像的第一图像特征，以及第二图像的第二图像特征，以实现对第一图像特征以及第二图像特征进行聚类处理；基于初始聚类中心点对所述第一图像特征进行聚类处理，得到第一初始聚类结果，并基于所述初始聚类中心点对所述第二图像特征进行聚类处理，得到第二初始聚类结果；进一步地基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，得到目标分割模型，解决了有监督的图像分割方法需要大量的标记数据以及人工标注耗时耗力的问题，实现了基于无标注数据训练分割模型，减小了数据标注的工作量，提高了模型训练效率。

在上述实施例的基础上，图像特征获取模块410，包括：

第一图像获取单元，用于获取第一图像；

关联第二图像获取单元，用于确定所述第一图像中的各感兴趣区域的区域类型，并将所述区域类型相同的其他图像确定为所述第一图像匹配的关联第二图像；和/或，

增强第二图像获取单元，用于对所述第一图像进行增强处理，基于增强处理的结果确定所述第一图像匹配的增强第二图像。

在上述实施例的基础上，目标分割模型确定模块430，包括：

第一训练单元，用于基于所述第一初始聚类结果以及所述第二初始聚类结果确定所述初始分割模型的损失函数，并基于所述损失函数对所述初始分割模型进行训练。

在上述实施例的基础上，所述第一初始聚类结果包括第一聚类中心点，所述第二初始聚类结果包括第二聚类中心点；

相应的，目标分割模型确定模块430，包括：

第二训练单元，用于基于所述第一聚类中心点对第二图像特征进行聚类处理，得到第二交叉聚类结果，基于所述第二交叉聚类结果和所述第二初始聚类结果确定所述初始分割模型的损失函数，并基于所述损失函数对所述初始分割模型进行训练；或，

第三训练单元，用于基于所述第二聚类中心点对第一图像特征进行聚类处理，得到第一交叉聚类结果，并基于所述第一交叉聚类结果和所述第一初始聚类结果确定所述初始分割模型的损失函数，并基于所述损失函数对所述初始分割模型进行训练。

在上述实施例的基础上，若所述第二图像包括关联第二图像和增强第二图像；

相应的，目标分割模型确定模块430，包括：

关联模型参数获取单元，用于获取基于所述第一图像和所述关联第二图像进行训练得到的关联分割模型的模型参数；

增强模型参数获取单元，用于获取基于所述第一图像和所述增强第二图像进行训练得到的增强分割模型的模型参数；

目标模型参数获取单元，用于基于所述关联分割模型的模型参数以及增强分割模型的模型参数确定目标模型函数；

分割模型更新单元，用于基于所述模型函数分别更新所述关联分割模型和所述增强分割模型。

在上述实施例的基础上，该装置还包括：

特征卷积单元，用于在所述提取所述第一图像的第一图像特征，以及所述第二图像的第二图像特征之后，将所述第一图像特征以及所述第二图像特征输入至卷积模块，以使所述卷积模块对各图像特征进行正则化处理。

本发明实施例所提供的分割模型训练装置可执行本发明任意实施例所提供的分割模型训练方法，具备执行方法相应的功能模块和有益效果。

实施例五

以下是本发明实施例提供的分割模型训练装置的实施例，该装置与上述各实施例的分割模型训练方法属于同一个发明构思，在分割模型训练装置的实施例中未详尽描述的细节内容，可以参考上述分割模型训练方法的实施例。

图5为本发明实施例五提供的图像分割装置的结构示意图，本实施例可适用于对图像进行分割的情况。如图5所示，该图像分割装置的具体结构包括：图像获取模块510和图像特征确定模块520；其中，

图像获取模块510，用于获取待分割图像；

图像特征确定模块520，用于将所述待分割图像输入至预先训练的分割模型，得到模型输出的图像特征；其中，所述分割模型基于分割模型训练方法预先训练得到。

本发明实施例的技术方案通过采用无标注数据训练的分割模型进行图像分割，提高了图像分割的效率。

值得注意的是，上述分割模型训练装置和图像分割装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例六

图6为本发明实施例六提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图6显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备12以通用计算电子设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。

电子设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。***存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如***存储器28中，这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图6中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

处理单元16通过运行存储在***存储器28中的程序，从而执行各种功能应用以及样本数据获取，例如实现本发实施例所提供的一种分割模型训练方法和图像分割方法步骤，；其中，分割模型训练方法包括：

获取第一图像以及所述第一图像匹配的第二图像，并基于初始分割模型分别提取所述第一图像的第一图像特征，以及所述第二图像的第二图像特征；

基于初始聚类中心点对所述第一图像特征进行聚类处理，得到第一初始聚类结果，并基于所述初始聚类中心点对所述第二图像特征进行聚类处理，得到第二初始聚类结果；

基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，得到目标分割模型。

图像分割方法包括：

获取待分割图像；

将所述待分割图像输入至预先训练的分割模型，得到模型输出的图像特征；其中，所述分割模型基于分割模型训练方法预先训练得到。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的样本数据获取方法的技术方案。

实施例七

本实施例七提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现例如实现本发实施例所提供的一种分割模型训练方法和图像分割方法步骤，；其中，分割模型训练方法包括：

获取第一图像以及所述第一图像匹配的第二图像，并基于初始分割模型分别提取所述第一图像的第一图像特征，以及所述第二图像的第二图像特征；

基于初始聚类中心点对所述第一图像特征进行聚类处理，得到第一初始聚类结果，并基于所述初始聚类中心点对所述第二图像特征进行聚类处理，得到第二初始聚类结果；

基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，得到目标分割模型。

图像分割方法包括：

获取待分割图像；

将所述待分割图像输入至预先训练的分割模型，得到模型输出的图像特征；其中，所述分割模型基于分割模型训练方法预先训练得到。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种分割模型训练方法，其特征在于，包括：

获取第一图像以及所述第一图像匹配的第二图像，并基于初始分割模型分别提取所述第一图像的第一图像特征，以及所述第二图像的第二图像特征；

基于初始聚类中心点对所述第一图像特征进行聚类处理，得到第一初始聚类结果，并基于所述初始聚类中心点对所述第二图像特征进行聚类处理，得到第二初始聚类结果；

基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，得到目标分割模型；

所述获取第一图像以及所述第一图像匹配的第二图像，包括：

获取第一图像；

确定所述第一图像中的各感兴趣区域的区域类型，并将所述区域类型相同的其他图像确定为所述第一图像匹配的关联第二图像；和/或，

对所述第一图像进行增强处理，基于增强处理的结果确定所述第一图像匹配的增强第二图像；

若所述第二图像包括关联第二图像和增强第二图像；

相应的，所述基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，包括：

获取基于所述第一图像和所述关联第二图像进行训练得到的关联分割模型的模型参数；

获取基于所述第一图像和所述增强第二图像进行训练得到的增强分割模型的模型参数；

基于所述关联分割模型的模型参数以及增强分割模型的模型参数确定目标模型函数；

基于所述目标模型函数分别更新所述关联分割模型和所述增强分割模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，包括：

基于所述第一初始聚类结果以及所述第二初始聚类结果确定所述初始分割模型的损失函数，并基于所述损失函数对所述初始分割模型进行训练。

3.根据权利要求1所述的方法，其特征在于，所述第一初始聚类结果包括第一聚类中心点，所述第二初始聚类结果包括第二聚类中心点；

相应的，基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，包括：

基于所述第一聚类中心点对第二图像特征进行聚类处理，得到第二交叉聚类结果，基于所述第二交叉聚类结果和所述第二初始聚类结果确定所述初始分割模型的损失函数，并基于所述损失函数对所述初始分割模型进行训练；或，

基于所述第二聚类中心点对第一图像特征进行聚类处理，得到第一交叉聚类结果，并基于所述第一交叉聚类结果和所述第一初始聚类结果确定所述初始分割模型的损失函数，并基于所述损失函数对所述初始分割模型进行训练。

4.根据权利要求1所述的方法，其特征在于，在所述提取所述第一图像的第一图像特征，以及所述第二图像的第二图像特征之后，还包括：

将所述第一图像特征以及所述第二图像特征输入至卷积模块，以使所述卷积模块对各图像特征进行正则化处理。

5.一种图像分割方法，其特征在于，包括：

获取待分割图像；

将所述待分割图像输入至预先训练的分割模型，得到模型输出的图像特征；其中，所述分割模型基于权利要求1-4任一所述的分割模型训练方法预先训练得到。

6.一种分割模型训练装置，其特征在于，包括：

图像特征获取模块，用于获取第一图像以及所述第一图像匹配的第二图像，并基于初始分割模型分别提取所述第一图像的第一图像特征，以及所述第二图像的第二图像特征；

初始聚类结果获取模块，用于基于初始聚类中心点对所述第一图像特征进行聚类处理，得到第一初始聚类结果，并基于所述初始聚类中心点对所述第二图像特征进行聚类处理，得到第二初始聚类结果；

目标分割模型确定模块，用于基于所述第一初始聚类结果和所述第二初始聚类结果对初始分割模型进行训练，得到目标分割模型；

所述图像特征获取模块，还包括：

第一图像获取单元，用于获取第一图像；

关联第二图像获取单元，用于确定所述第一图像中的各感兴趣区域的区域类型，并将所述区域类型相同的其他图像确定为所述第一图像匹配的关联第二图像；和/或，

增强第二图像获取单元，用于对所述第一图像进行增强处理，基于增强处理的结果确定所述第一图像匹配的增强第二图像；

若所述第二图像包括关联第二图像和增强第二图像，相应的，所述目标分割模型确定模块，还包括：

关联模型参数获取单元，用于获取基于所述第一图像和所述关联第二图像进行训练得到的关联分割模型的模型参数；

增强模型参数获取单元，用于获取基于所述第一图像和所述增强第二图像进行训练得到的增强分割模型的模型参数；

目标模型参数获取单元，用于基于所述关联分割模型的模型参数以及增强分割模型的模型参数确定目标模型函数；

分割模型更新单元，用于基于所述目标模型函数分别更新所述关联分割模型和所述增强分割模型。

7.一种图像分割装置，其特征在于，包括：

图像获取模块，用于获取待分割图像；

图像特征确定模块，用于将所述待分割图像输入至预先训练的分割模型，得到模型输出的图像特征；其中，所述分割模型基于权利要求1-4任一所述的分割模型训练方法预先训练得到。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的分割模型训练方法或者权利要求5所述的图像分割方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的分割模型训练方法或者权利要求5所述的图像分割方法。