CN115713535B - 图像分割模型确定方法以及图像分割方法 - Google Patents
图像分割模型确定方法以及图像分割方法 Download PDFInfo
- Publication number
- CN115713535B CN115713535B CN202211386108.XA CN202211386108A CN115713535B CN 115713535 B CN115713535 B CN 115713535B CN 202211386108 A CN202211386108 A CN 202211386108A CN 115713535 B CN115713535 B CN 115713535B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- image sample
- feature
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 115
- 238000000605 extraction Methods 0.000 claims abstract description 189
- 238000013139 quantization Methods 0.000 claims description 93
- 238000012549 training Methods 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000012800 visualization Methods 0.000 description 7
- 230000000747 cardiac effect Effects 0.000 description 6
- 210000004185 liver Anatomy 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 210000005246 left atrium Anatomy 0.000 description 2
- 210000005240 left ventricle Anatomy 0.000 description 2
- 210000005245 right atrium Anatomy 0.000 description 2
- 210000005241 right ventricle Anatomy 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 210000001557 animal structure Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本说明书实施例提供了图像分割模型确定方法以及图像分割方法，其中，图像分割模型确定方法包括确定包含目标对象的第一图像样本集以及第二图像样本集；根据第一图像样本集中的第一图像样本，确定特征提取模型；将第二图像样本输入特征提取模型，获得第二图像样本的第二特征图像；根据第二特征图像以及样本标签，确定图像分割模型。该方法通过无标签的第一图像样本集，训练可以实现多尺度图像特征提取的特征提取模型，使得该特征提取模型可以学习第一图像样本的丰富的、高级语义信息；然后再将该特征提取模型作为特征提取器，结合少量的有标签的第二图像样本集，训练获得图像分割模型，使得该图像分割模型后续可以进行精确的图像分割。
Description
技术领域
本说明书实施例涉及计算机技术领域，特别涉及一种图像分割模型确定方法。
背景技术
基于医疗影像的器官分割在术前规划、放疗规划、疾病早筛等方面有着重要的作用，但是由于医疗设备的性能差异、成像参数的差异、患者之间的差异、病灶形态差异等等因素，会造成医疗影像数据的多样性比较复杂，而对于多样性数据的标注是非常费时费力的，且需要专业的医学工作者进行标注，成本高昂。
因此，在面对大量的多样性比较复杂的、无标注医疗影像数据的情况下，如何利用这些大量的、无标注的医疗影像数据以及少量的、有标注的医疗影像数据，精准的实现医疗影像数据中人体组织数据的分割成为当前急需解决的技术问题。
发明内容
有鉴于此，本说明书实施例提供了两种图像分割模型确定方法。本说明书一个或者多个实施例同时涉及两种图像分割模型确定装置，一种图像分割方法，一种图像分割装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种图像分割模型确定方法，包括：
确定包含目标对象的第一图像样本集以及第二图像样本集，其中，所述第二图像样本集中包括第二图像样本以及所述第二图像样本对应的样本标签；
根据所述第一图像样本集中的第一图像样本，确定特征提取模型，其中，所述特征提取模型包括编码器，所述编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后的、基于字典学习的向量量化模块；
将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像；
根据所述第二特征图像以及所述样本标签，确定图像分割模型。
根据本说明书实施例的第二方面，提供了一种图像分割模型确定装置，包括：
样本确定模块，被配置为确定包含目标对象的第一图像样本集以及第二图像样本集，其中，所述第二图像样本集中包括第二图像样本以及所述第二图像样本对应的样本标签；
第一模型确定模块，被配置为根据所述第一图像样本集中的第一图像样本，确定特征提取模型，其中，所述特征提取模型包括编码器，所述编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后的、基于字典学习的向量量化模块；
第一特征图像获得模块，被配置为将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像；
第二模型确定模块，被配置为根据所述第二特征图像以及所述样本标签，确定图像分割模型。
根据本说明书实施例的第三方面，提供了一种图像分割方法，包括：
接收用户输入的人体目标部位的CT图像，并将所述CT图像输入特征提取模型，获得所述CT图像的特征图像；
将所述特征图像输入图像分割模型，获得所述CT图像的图像分割结果，并将所述图像分割结果展示给所述用户，其中，所述特征提取模型以及所述图像分割模型为上述图像分割模型确定方法中的特征提取模型以及图像分割模型。
根据本说明书实施例的第四方面，提供了一种图像分割装置，包括：
图像接收模块，被配置为接收用户输入的人体目标部位的CT图像，并将所述CT图像输入特征提取模型，获得所述CT图像的特征图像；
图像分类模块，被配置为将所述特征图像输入图像分割模型，获得所述CT图像的图像分割结果，并将所述图像分割结果展示给所述用户，其中，所述特征提取模型以及所述图像分割模型为上述图像分割模型确定方法中的特征提取模型以及图像分割模型。
根据本说明书实施例的第五方面，提供了一种图像分割模型确定方法，包括：
响应于用户发送的图像分割模型处理请求，为所述用户展示图像输入界面；
接收所述用户通过所述图像输入界面输入的、包含目标对象的第一图像样本集以及第二图像样本集，其中，所述第二图像样本集中包括第二图像样本以及所述第二图像样本对应的样本标签；
根据所述第一图像样本集中的第一图像样本，确定特征提取模型，其中，所述特征提取模型包括编码器，所述编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后的、基于字典学习的向量量化模块；
将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像；
根据所述第二特征图像以及所述样本标签，确定图像分割模型，并将所述图像分割模型返回至所述用户。
根据本说明书实施例的第六方面，提供了一种图像分割模型确定装置，包括：
界面展示模块，被配置为响应于用户发送的图像分割模型处理请求，为所述用户展示图像输入界面；
样本接收模块，被配置为接收所述用户通过所述图像输入界面输入的、包含目标对象的第一图像样本集以及第二图像样本集，其中，所述第二图像样本集中包括第二图像样本以及所述第二图像样本对应的样本标签；
第三模型确定模块，被配置为根据所述第一图像样本集中的第一图像样本，确定特征提取模型，其中，所述特征提取模型包括编码器，所述编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后的、基于字典学习的向量量化模块；
第二特征图像获得模块，被配置为将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像；
第四模型确定模块，被配置为根据所述第二特征图像以及所述样本标签，确定图像分割模型，并将所述图像分割模型返回至所述用户。
根据本说明书实施例的第七方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像分割模型确定方法或图像分割方法的步骤。
根据本说明书实施例的第八方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述图像分割模型确定方法或图像分割方法的步骤。
根据本说明书实施例的第九方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述图像分割模型确定方法或图像分割方法的步骤。
本说明书一个实施例实现了一种图像分割模型确定方法，包括确定包含目标对象的第一图像样本集以及第二图像样本集，其中，所述第二图像样本集中包括第二图像样本以及所述第二图像样本对应的样本标签；根据所述第一图像样本集中的第一图像样本，确定特征提取模型，其中，所述特征提取模型包括编码器，所述编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后的、基于字典学习的向量量化模块；将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像；根据所述第二特征图像以及所述样本标签，确定图像分割模型。
具体的，该方法通过无标签的第一图像样本集，训练不同尺度下、基于字典学习进行图像特征提取的特征提取模型，利用字典学习的思想将字典学习和编码器进行结合，使得该特征提取模型可以学习第一图像样本的丰富的、高级语义信息，后续可以实现多尺度图像特征提取；然后再将该特征提取模型作为特征提取器，结合少量的有标签的第二图像样本集，训练获得图像分割模型，使得该图像分割模型后续可以对包含目标对象的图像进行精确的图像分割。
附图说明
图1是本说明书一个实施例提供的一种图像分割方法应用于人体心脏的CT图像分割的具体场景示意图；
图2是本说明书一个实施例提供的一种图像分割模型确定方法的流程图；
图3是本说明书一个实施例提供的一种图像分割模型确定方法的处理过程流程图；
图4是本说明书一个实施例提供的一种图像分割模型确定方法中无监督的多层级的稀疏向量量化变分自动编码器SVQ-VAE的网络结构示意图；
图5是本说明书一个实施例提供的一种图像分割模型确定方法中不同解码层对原始图像进行重建过程中学习到的语义信息可视化结果的示意图；
图6是本说明书一个实施例提供的一种图像分割模型确定装置的结构示意图；
图7是本说明书一个实施例提供的一种图像分割方法的流程图；
图8是本说明书一个实施例提供的另一种图像分割模型确定方法的流程图；
图9是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
CT：Computed Tomography，即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描。
SVQ-VAE：Sparse Vector Quantization Variational Auto-Encoder，稀疏向量量化变分自动编码器。
MLP：Multi-Layer Perceptron，多层感知机，一种简单的前向结构神经网络。
为了解决上述技术问题，可以采用基于预训练的人体目标部位分割方法：MIM(Masked Image Modeling，掩码图像建模)实现；例如，MAE(Masked AutoEncoder，掩码自编码器)：在人体目标部位分割任务上主要使用pre-training(预训练)结合fine-tuning(微调)的模式，但是，问题是无法了解pre-training到底学到了什么，另外，人体目标部位分割时候使用的decoder(解码器)还是一个重量级的模型，实现效果较差。
基于此，在本说明书中，提供了两种图像分割模型确定方法。本说明书一个或者多个实施例同时涉及两种图像分割模型确定装置，一种图像分割方法，一种图像分割装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
参见图1，图1示出了根据本说明书一个实施例提供的一种图像分割方法应用于人体心脏的CT图像分割的具体场景示意图。
图1中包括CT扫描机102、终端104以及服务器106。
具体实施时，CT扫描机102对待进行人体心脏的CT图像分割的用户进行CT扫描，获取该用户的人体心脏的CT图像；终端104从该CT扫描机102获取该心脏的CT图像，并将该心脏的CT图像发送至服务器106，服务器106将该心脏的CT图像输入预先训练好的特征提取模型进行特征提取，并将提取出的该CT图像的特征图像输入图像处理模型，通过该图像处理模型输出该心脏的CT图像对应的心脏分割图像(即Maskt掩膜图像)，并将该心脏分割图像返回至终端104；终端104的操作用户(例如医生)即可以根据该心脏分割图像对用户的心脏情况进行下一步判断，比如心脏病筛查、心脏手术前规划等。其中，该特征提取模型可以理解为通过在至少两个编码层设置字典学习的编码器，基于该稀疏的多层级向量量化变分自动编码器，结合无标签的历史心脏的CT图像训练获得的无监督的表征学习模型，而图像分割模型可以理解为将该无监督的表征学习模型作为特征提取器，结合少量的有标签学习的历史心脏的CT图像预先训练的深度学习模型。
此外，图像处理模型不仅可以输出心脏分割图像，也可以同时根据心脏分割图像中的每个分割部分的标签，输出该心脏的CT图像的对象标签，例如左心房、右心房、左心室、右心室等。
本说明书实施例提供的图像分割方法应用于人体心脏的CT图像分割的具体场景中，提出了一种基于稀疏的多层级向量量化变分自动编码器，该编码器在大量的无标签数据上学习不同尺度下的过完备字典，通过这些字典获取丰富的语义表征；最后基于极少量的标注数据训练一个简单MLP模型实现多器官图像的精准分割，提高图像处理模型的分割准确性。
参见图2，图2示出了根据本说明书一个实施例提供的一种图像分割模型确定方法的流程图，具体包括以下步骤。
步骤202：确定包含目标对象的第一图像样本集以及第二图像样本集。
其中，所述第二图像样本集中包括第二图像样本以及所述第二图像样本对应的样本标签。
具体的，本说明书实施例提供的图像分割模型确定方法，不仅可以应用于医疗领域，对各种人体或动物的目标部位(如心脏、肝脏等人体或动物器官)的CT图像进行分割，还可以应用于其他具有复杂多样性、且标注成本高的领域，例如航天领域的卫星图像或者行星图像等。
为了便于理解，本说明书实施例中均以该图像分割模型应用于医疗领域为例，进行详细介绍。
那么，在该图像分割模型应用于医疗领域的情况下，目标对象可以理解为人体目标部位，例如心脏、肝脏等人体器官；包含目标对象的第一图像样本集可以理解为包含人体目标部位的第一图像样本集，例如包含人体心脏的第一图像样本集，即第一图像样本集中包括包含人体心脏的多个第一图像样本，且每个第一图像样本中包含的人体心脏均不相同；同理，包含目标对象的第二图像样本集可以理解为包含人体目标部位的第二图像样本集，例如包含人体心脏的第二图像样本集，即第二图像样本集中包括包含人体心脏的多个第二图像样本，且每个第二图像样本中包含的人体心脏均不相同；即所述包含目标对象的第一图像样本集以及第二图像样本集，为包含人体目标部位的第一CT图像样本集以及第二CT图像样本集。
而第二图像样本对应的样本标签，则可以理解为第二图像样本的分割图像，例如分割后的、包含人体心脏的图像，例如在包含人体心脏的第二图像样本中，将该第二图像样本中的人体心脏的左心房、右心房、左心室、右心室等分割且标注出来，那么该分割以及标注后的图像则可以理解为该第二图像样本对应的样本标签。
实际应用中，第一图像样本集中的第一图像样本以及第二图像样本集中的第二图像样本可以存在部分重叠，或者是第二图像样本集中的第二图像样本可以是从第一图像样本集中获取的第一图像样本均可；由于第一图像样本集中的第一图像样本后续应用于无监督的特征提取模型训练，无需标注的样本数据，而第二图像样本集中的第二图像样本后续应用于有监督的图像分割模型训练，需要进行数据标注以生成样本标签，因此，为了提高模型训练效果，无监督的特征提取模型训练时可以采用大量的、无标签的第一图像样本；有监督的图像分割模型训练是则采用少量的、有标签的第二图像样本；因此，第一图像样本集中的第一图像样本的数量则大于第二图像样本集中第二图像样本的数量。
以目标对象为人体心脏为例，确定包含目标对象的第一图像样本集以及第二图像样本集，则可以理解为获取或者接收包含不同人体心脏的第一图像样本集以及第二图像样本集，其中，第一图像样本集中包括无标签的第一图像样本，第二图像样本集中包括有标签的第二图像样本。
步骤204：根据所述第一图像样本集中的第一图像样本，确定特征提取模型。
其中，所述特征提取模型包括编码器，所述编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后、基于字典学习的向量量化模块。
其中，特征提取模型可以理解为编码器(encode)-解码器(decode)结构的特征提取模型，例如Unet结构的特征提取模型；Unet结构是相对比较简单的图像分割算法，通过四个下采样提取目标特征，再通过四个上采样恢复至原尺寸，即实际上是一个基于编码器-解码器思想的算法，编码器包括四个编码层，该编码器对应的解码器包括四个对称的解码层。
为了便于理解，以下实施例均以特征提取模型为Unet结构的特征提取模型为例，进行详细介绍。
具体的，根据所述第一图像样本集中的第一图像样本，确定特征提取模型；可以理解为，根据第一图像样本集中的多个第一图像样本，训练获得Unet结构的特征提取模型，且该特征提取模型包括编码器和解码器，其中，编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后、基于字典学习的向量量化模块，其中，字典学习(Dictionary Learning)的目标，就是提取事物最本质的特征(类似于字典当中的字或词语)。
具体实施时，该特征提取模型为基于编码器-解码器结构的特征提取模型，那么根据第一图像样本集中的第一图像样本，进行特征提取模型训练的具体实现如下所述：
所述根据所述第一图像样本集中的第一图像样本，确定特征提取模型，包括：
将所述第一图像样本集中的第一图像样本，输入特征提取模型的编码器的当前编码层进行编码，获得所述第一图像样本在所述当前编码层的初始特征图像；
在确定所述当前编码层设置有基于字典学习的向量量化模块的情况下，根据所述向量量化模块确定所述第一图像样本在所述当前编码层的目标特征图像；
对所述第一图像样本在所述当前编码层的初始特征图像进行下采样后，输入所述当前编码层的下一编码层，获得所述第一图像样本在所述下一编码层的目标特征图像；
将所述第一图像样本在所有编码层的目标特征图像，输入所述特征提取模型的解码器的解码层进行解码，根据解码结果训练获得所述特征提取模型，其中，所述编码器中的编码层与所述解码器中的解码层对称设置。
为了使得特征提取模型的特征提取效果更好，本说明书实施例中采用多层级的稀疏向量量化自动编码器(SVQ-VAE)对多样性数据进行无监督的表征学习，而实际应用中并非SVQ-VAE中所有的编码层后均设置有基于字典学习的向量量化模块，而为了使得特征提取模型的特征提取效果更好，本说明书实施例以在该SVQ-VAE的每个编码层中均设置基于字典学习的向量量化模块为例，训练特征提取模型，使得该特征提取模型可以在该SVQ-VAE的不同编码层的不同尺度下学习过完备的字典，以实现对图像的多尺度特征的提取。
以第一图像样本集中的一个第一图像样本为例，对特征提取模型的训练进行详细说明。
具体的，将第一图像样本集中的一个第一图像样本，输入特征提取模型的当前编码层(例如第一个编码层)进行编码，获得该第一图样样本在该当前编码层的初始特征图像，即编码后的初始编码特征图像；在确定该当前编码层设置有、基于字典学习的向量量化模块的情况下，根据该向量量化模块确定该第一图像样本在该当前编码层的目标特征图像；然后对第一图像样本在该当前编码层的初始特征图像进行下采样，例如将256像素下采样为128像素，并在该当前编码层存在下一编码层(例如第二个编码层)的情况下，将下采样后的初始特征图像输入该当前编码层的下一编码层，经过在下一编码层的处理，获得该第一图像样本在下一编码层的目标特征图像；以此类推，直至获得该第一图像样本在所有编码层的每个编码层的目标特征图像，最后根据该第一图像样本在所有编码层的每个编码层的目标特征图像，结合特征提取模型的解码器的解码层进行解码，根据解码结果训练获得该特征提取模型。
本说明书实施例提供的图像分割模型确定方法，通过在特征提取模型设置稀疏向量量化自动编码器(SVQ-VAE)对多样性的第一图像样本进行无监督的表征学习，通过该SVQ-VAE可以在不同编码层的不同尺度下学习过完备的字典，实现对特征提取模型的训练，以使得后续该特征提取模型对图像进行多尺度特征的提取，提高特征丰富度。
而具体的，若该当前编码层的下一编码层也设置有基于字典学习的向量量化模块的情况下，当将第一图像样本在当前编码层的初始特征图像进行下采样后，输入到该当前编码层的下一编码层进行目标特征图像的具体实现方式，与上述第一图像样本在当前编码层的实现步骤相同，从而完成该下一编码层的编码器对第一图像样本在该编码层的另一尺度下的特征学习。具体实现步骤如下所述：
所述对所述第一图像样本在所述当前编码层的初始特征图像进行下采样后，输入所述当前编码层的下一编码层，获得所述第一图像样本在所述下一编码层的目标特征图像，包括：
对所述第一图像样本在所述当前编码层的初始特征图像进行下采样后，输入所述当前编码层的下一编码层；
在所述下一编码层进行编码，获得所述第一图像样本在所述下一编码层的初始特征图像；
在确定所述下一编码层设置有基于字典学习的向量量化模块的情况下，根据所述向量量化模块确定所述第一图像样本在所述下一编码层的目标特征图像。
其中，该下一编码层设置的、基于字典学习的向量量化模块、与上述实施例中当前编码层设置的、基于字典学习的向量量化模块相同，在此不再赘述。
以当前编码层为第一个编码层，该当前编码层的下一编码层为第二个编码层为例进行详细介绍。
具体的，对第一图像样本在第一编码层的初始特征图像进行下采样后，将下采样后的初始特征图像输入第二个编码层；在第二个编码层进行编码后，获得该第一图像样本在第二个编码层的初始特征图像；然后再确定该第二个编码层设置有、基于字典学习的向量量化模块的情况下，根据该向量量化模块确定该第一图像样本在该第二个编码层的目标特征图像。
而当该第二个编码层也存在下一编码层(如第三个编码层)、且该第三个编码层也设置有、基于字典学习的向量量化模块的情况下，获得第一图像样本在第三个编码层的目标特征图像的具体实现方式，与获得第一图像样本在第二个编码层的目标特征图像的步骤相同；同理，以此类推，通过上述获得第一图像样本在第二个编码层的目标特征图像的实现方式，可以获得第一图像样本在特征提取模型的所有编码层的目标特征图像。
实际应用中，若该特征提取模型为Unet结构的特征提取模型，则可以在四个编码层均设置有该基于字典学习的向量量化模块，这样做的好处就是，比如在第一个编码层，看到的第一图像样本的特征更全，这个时候后续分割出来的过完备字典关注到的大尺度特征就较多，而在第四个编码层，看到的第一图像样本的细节特征较多，这个时候后续分割出来的过完备字典关注到的细节特征就较多，那么整体下来就相当于四个编码层中的编码器，分割出来四个过完备字典分别关注第一图像样本的不同尺度的图像特征，以提高图像特征的提取丰富度。
具体实施时，通过第一个编码层设置的编码器确定第一图像样本在第一个编码层的目标特征图像、以及通过第二个编码层设置的编码器确定第一图像样本在第二个编码层的目标特征图像的具体实现步骤相同，具体实现方式如下所述：
所述根据所述向量量化模块确定所述第一图像样本在所述当前编码层的目标特征图像，包括：
根据所述向量量化模块将所述初始特征图像分解为过完备字典以及稀疏编码；
根据所述过完备字典以及所述稀疏编码，确定所述第一图像样本在所述当前编码层的目标特征图像；
相应地，所述根据所述向量量化模块确定所述第一图像样本在所述下一编码层的目标特征图像，包括：
根据所述向量量化模块将所述初始特征图像分解为过完备字典以及稀疏编码；
根据所述过完备字典以及所述稀疏编码，确定所述第一图像样本在所述下一编码层的目标特征图像。
仍以当前编码层为第一个编码层，下一编码层为第二个编码层为例进行详细解释。
具体的，根据第一个编码层后的向量量化模块，将第一图像样本在第一个编码层的初始特征图像通过预设算法(如正交匹配追踪算法，Orthogonal Matching Pursuit，OMP)分解为对应的过完备字典以及稀疏编码；然后根据该过完备字典以及稀疏编码，计算该第一图像样本在该第一个编码层的目标特征图像，例如将过完备字典以及稀疏编码相乘，获得的乘积则为该第一图像样本在该第一个编码层的目标特征图像。
同理，在第二个编码层，根据第二个编码层后的向量量化模块，将第一图像样本在第二个编码层的初始特征图像通过预设算法(如正交匹配追踪算法，Orthogonal MatchingPursuit，OMP)分解为对应的过完备字典以及稀疏编码；然后根据该过完备字典以及稀疏编码，计算该第一图像样本在该第二个编码层的目标特征图像，例如将过完备字典以及稀疏编码相乘，获得的乘积则为该第一图像样本在该第二个编码层的目标特征图像。
本说明书实施例中，在特征提取模型的编码层后设置有基于字典学习的向量量化模块的情况下，向量量化模块可以将第一图像样本在每个编码层的初始特征图像分解为过完备字典以及稀疏编码，并根据过完备字典以及稀疏编码，计算出第一图像样本在当前编码层的当前尺度下的目标特征图像，以便后续解码器的解码层在根据每个编码层的不同尺度下的目标特征图像，进行第一图像样本重建的基础上，学习该第一图像样本的非常稳定的、丰富的语义信息。
而在当前编码层以及该当前编码层的下一编码层均未设置基于字典学习的向量量化模块的情况下，获得第一图像样本在当前编码层的目标特征图像以及第一图像样本在当前编码层的下一编码层的目标特征图像的具体实现方式如下所述：
所述获得所述第一图像样本在所述当前编码层的初始特征图像之后，还包括：
在确定所述当前编码层没有设置基于字典学习的向量量化模块的情况下，将所述第一图像样本在所述当前编码层的初始特征图像，确定为所述第一图像样本在所述当前编码层的目标特征图像；
相应地，所述获得所述第一图像样本在所述下一编码层的初始特征图像之后，还包括：
在确定所述下一编码层没有设置基于字典学习的向量量化模块的情况下，将所述第一图像样本在所述下一编码层的初始特征图像，确定为所述第一图像样本在所述下一编码层的目标特征图像。
仍以当前编码层为第一个编码层，下一编码层为第二个编码层为例进行详细解释。
具体的，在确定第一个编码层没有设置基于字典学习的向量量化模块的情况下，将第一图像样本在该第一个编码层的初始特征图像，确定为第一图像样本在该第一编码层的目标特征图像。
同理，在确定第二个编码层没有设置基于字典学习的向量量化模块的情况下，将第一图像样本在该第二个编码层的初始特征图像，确定为第一图像样本在该第二编码层的目标特征图像。
本说明书实施例中，在特征提取模型的编码层均没有设置基于字典学习的向量量化模块的情况下，可以直接将第一图像样本在每个编码层的初始特征图像作为目标特征图像，参与后续的解码器训练，提高特征提取模型的训练效率。
而在获得第一图像样本在特征提取模型的每个编码层的目标特征图像之后，则可以根据第一图像样本在特征提取模型的每个编码层的目标特征图像，结合特征提取模型的解码器，实现对特征提取模型的训练；具体实现方式如下所述：
所述将所述第一图像样本在所有编码层的目标特征图像，输入所述特征提取模型的解码器的解码层进行解码，根据解码结果训练获得所述特征提取模型，包括：
将所述第一图像样本在最后一个编码层的目标特征图像，输入所述特征提取模型的解码器的、与所述最后一个编码层对应的当前解码层进行解码，获得所述第一图像样本在所述当前解码层的初始解码特征图像；
将所述第一图像样本在所述最后一个编码层的上一编码层的目标特征图像、以及所述第一图像样本在所述当前解码层的解码特征图像，输入所述当前编码层的上一解码层，获得所述第一图像样本在所述上一解码层的初始解码特征图像；
根据所述第一图像样本在所有解码层的初始解码特征图像，训练获得所述特征提取模型。
具体的，将第一图像样本在最后一个编码层(如第四个编码层)的目标特征图像，输入最后一个编码层对应的当前解码层(如第一个解码层)进行解码，获得第一图像样本在该当前解码层的初始解码特征图像；将第一图像样本在最后一个编码层的上一编码层(如第三编码层)的目标特征图像，以及第一图像样本在该当前解码层的初始解码特征图像，输入该当前解码层的上一解码层(如第二个解码层)，获得第一图像样本在该上一解码层的初始解码特征图像；最后根据第一图像样本在每个解码层的初始解码特征图像，训练获得特征提取模型。
本说明书实施例提供的图像分割模型确定方法，将每个编码层的目标特征图像结合每个解码层的上一解码层的输出，输入到当前解码层中进行解码处理，在实现对第一图像样本重建的过程中，学习第一图像样本在不同编码层的不同尺度的丰富的语义信息。
具体的，所述根据所述第一图像样本在所有解码层的初始解码特征图像，训练获得所述特征提取模型，包括：
根据所述第一图像样本在所有解码层的初始解码特征图像，确定所述第一图像样本对应的目标解码特征图像，并根据所述目标解码特征图像，训练获得所述特征提取模型。
实际应用中，在获得第一图像样本在所有解码层的初始解码特征图像之后，则可以根据该初始解码特征图像，获得该第一图像样本对应的目标解码特征图像，例如将第一图像样本在所有解码层的初始解码特征图像进行拼接，以获得第一图像样本对应的目标解码特征图像；最后根据该目标解码特征图像快速且准确的训练该特征提取模型。具体实现方式如下所述：
所述根据所述目标解码特征图像，训练获得所述特征提取模型，包括：
根据所述目标解码特征图像，调整所述特征提取模型的网络参数以及所述过完备字典；
直至满足预设结束训练条件的情况下，获得训练后的所述特征提取模型。
其中，预设结束训练条件可以根据实际应用进行设置，例如预设结束训练条件可以理解为迭代次数超过预设次数阈值(如20000次)等；或者在初始的训练样本中划分一部分训练样本作为验证集，在验证集的损失函数满足预设条件的情况下，结束该特征提取模型的训练。
具体的，根据目标解码特征图像，调整特征提取模型的网络参数以及每个编码层的过完备字典，直至该特征提取模型的训练满足预设结束训练条件的情况下，获得训练后的、可以获得不同尺度的、丰富的语义信息的特征提取模型。
步骤206：将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像。
在通过上述实施例中的训练步骤，训练获得特征提取模型之后，在图像分割模型训练之后，则根据该特征提取模型提取每个第二图像样本的第二特征图像，后续即可根据该第二特征图像以及对应的样本标签，训练图像分割模型，具体实现方式如下所述：
所述将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像，包括：
将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的目标解码特征图像，并将所述目标解码特征图像确定为所述第二图像样本的第二特征图像。
以一个第二图像样本为例进行举例说明。
具体的，将第二图像样本输入特征提取模型，获得第二图像样本的目标解码特征图像，将该第二图像样本的目标解码特征图像确定为该第二图像样本的第二特征图像。
步骤208：根据所述第二特征图像以及所述样本标签，确定图像分割模型。
其中，样本标签为所述第二图像样本的图像分割结果；
相应地，所述根据所述第二特征图像以及所述样本标签，确定图像分割模型，包括：
根据所述第二特征图像以及所述第二图像样本的图像分割结果，训练获得图像分割模型，其中，所述图像分割模型包括多层感知机图像分割模型。
具体的，第二图像样本的图像分割结果可以理解为通过颜色标注等方式针对第二图像样本实现的图像分割结果，例如在第二图像样本中将目标部位进行不同颜色标注，以及不同符号进行区分等。
图像分割模型包括但不限于多层感知机图像分割模型(即MLP)，其它的轻量级图像分割模型均可。
具体实施时，则可以根据第二图像样本集中每个第二图像样本对应的第二特征图像、以及每个第二图像样本对应的样本标签：第二图像样本的图像分割结果，训练获得该图像分割模型。使得基于该特征提取模型的该图像分割模型可以通过少量的第二图像样本训练，即可获得较好的图像分割效果。
此外，为了保证特征提取模型的训练效果，可以对特征提取模型的解码层的输出进行语义可视化，具体实现方式如下所述：
所述获得所述第一图像样本在所述上一解码层的初始解码特征图像之后，还包括：
通过图像展示界面展示所述第一图像样本在所有解码层的初始解码特征图像。
本说明书实施例提供的该图像分割模型确定方法，通过无标签的第一图像样本集，训练不同尺度下、基于字典学习进行图像特征提取的特征提取模型，利用字典学习的思想将字典学习和编码器进行结合，使得该特征提取模型可以学习第一图像样本的丰富的、高级语义信息，后续可以实现多尺度图像特征提取；然后再将该特征提取模型作为特征提取器，结合少量的有标签的第二图像样本集，训练获得图像分割模型，使得该图像分割模型后续可以对包含目标对象的图像进行精确的图像分割。
下述结合附图3，以本说明书提供的图像分割模型确定方法在医疗领域的应用为例，对所述图像分割模型确定方法进行进一步说明。其中，图3示出了本说明书一个实施例提供的一种图像分割模型确定方法的处理过程流程图，具体包括以下步骤。
具体的，该图像分割模型确定方法包括两部分内容，第一部分为：特征提取模型训练，即无监督的多层级的稀疏向量量化变分自动编码器学习(Unsupervised hierarchicalsparse VQVAE learning)，第二部分为：图像分割模型训练，即语义分割(semanticsegmentation)。
以该图像分割模型确定方法中的特征提取模型为Unet结构的特征提取模型，该特征提取模型包括编码器(即SVQ-VAE)和解码器，编码器包括四个编码层，且每个编码层后均设置有基于字典学习的向量量化模块、解码器包括四个解码层，且图像分割模型为MLP为例进行详细介绍。
步骤一：以无标签的心脏CT图像为例，对第一部分：特征提取模型的训练进行详细介绍。
具体的，将该心脏CT图像输入编码器的第一个编码层进行编码，获得第一编码图像(与上述实施例中的初始特征图像对应)，通过基于字典学习的向量量化模块，将该第一编码图像分解为第一过完备字典以及第一稀疏编码，再根据第一过完备字典以及第一稀疏编码，计算出该第一编码图像在第一个编码层的特征提取尺度下的第一向量量化编码(与上述实施例中的目标特征图像对应)；然后将该第一向量量化编码输入对应的第四个解码层，并对该第一编码图像进行下采样后输入第二个编码层进行编码，获得第二编码图像，以及通过基于字典学习的向量量化模块，将该第二编码图像分解为第二过完备字典以及第二稀疏编码，再根据第二过完备字典以及第二稀疏编码，计算出该第二编码图像在第二个编码层的特征提取尺度下的第二向量量化编码；然后将该第二向量量化编码输入对应的第三个解码层。
同时，对该第二编码图像进行下采样后输入第三个编码层进行编码，获得第三编码图像，以及基于字典学习的向量量化模块，将该第三编码图像分解为第三过完备字典以及第三稀疏编码，再根据第三过完备字典以及第三稀疏编码，计算出该第三编码图像在第三个编码层的特征提取尺度下的第三向量量化编码；然后将该第三向量量化编码输入对应的第二个解码层；以及，对该第三编码图像进行下采样后输入第四个编码层进行编码，获得第四编码图像，以及基于字典学习的向量量化模块，将该第四编码图像分解为第四过完备字典以及第四稀疏编码，再根据第四过完备字典以及第四稀疏编码，计算出该第四编码图像在第四个编码层的特征提取尺度下的第四向量量化编码；然后将该第四向量量化编码输入对应的第一个解码层进行解码，获得该心脏CT图像在第一个解码层的第一解码图像。
第一个解码层对该第一解码图像进行上采样后输入第二个解码层，第二个解码层将第三向量量化编码与上采样后的第一解码图像进行融合，获得该心脏CT图像在第二个解码层的第二解码图像。
第二个解码层将该第二解码图像进行上采样后输入第三个解码层，第三个解码层将第二向量量化编码与上采样后的第二解码图像进行融合，获得该心脏CT图像在第三个解码层的第三解码图像。
第三个解码层将该第三解码图像进行上采样后输入第四个解码层，第四个解码层将第一向量量化编码与上采样后的第三解码图像进行融合，获得该心脏CT图像在第四个解码层的第四解码图像。
最后，将第一解码图像、第二解码图像、第三解码图像以及第四解码图像进行拼接，获得该心脏CT图像对应的目标解码特征图像；然后通过该心脏CT图像对应的目标解码特征图像调整特征提取模型的网络参数，再基于后续的其他心脏CT图像调整每个编码层的过完备字典，当训练满足预设结束条件的情况下，获取训练后的该特征提取模型。
参见图4，图4示出了本说明书一个实施例提供的一种图像分割模型确定方法中无监督的多层级的稀疏向量量化变分自动编码器SVQ-VAE的网络结构示意图。
图4中X可以表示一个心脏CT图像X，将原始心脏CT图像X分解为过完备字典以及稀疏编码，然后根据X对应的过完备字典以及稀疏编码，获得X的向量量化编码，再根据X的向量量化编码，通过对应的解码层进行重建获得X1，然后再根据X1反向调整网络结构的网络参数。
步骤二：从训练特征提取模型的心脏CT图像中选择一部分有标签的心脏CT图像，通过上述特征提取模型，获得根据第一解码图像、第二解码图像、第三解码图像以及第四解码图像进行拼接后的目标特征图像；根据该该心脏CT图像对应的目标特征图像以及该心脏CT图像对应的样本标签，训练获得图像分类模型。
当然，实际应用中图像分类模型的训练也可以采用其他有标签的心脏CT图像实现，在此并不做限定。
根据上述实施例的介绍可知，该图像分割模型确定方法是一个两阶段的实现，第一阶段，利用大量无标签的人体目标部位(如心脏)的CT图像进行表征学习，在特征提取模型提出了一种多层级的稀疏向量量化的变分自动编码器，使得该特征提取模型可以学习不同编码层的不同尺度下、以及保证稀疏的前提下的过完备字典，并通过得到的稀疏编码和过完备字典来得到人体目标部位的CT图像在每个编码层向量量化的编码(即编码图像)，最后这些向量量化的编码通过对应的解码层的解码器进行重建，在重建过程中，使得解码器学习丰富且稳定的语义信息，以此训练获得该特征提取模型。
同时，在重建过程中，还可以对解码层的输出进行简单聚类，以看到不同解码层重建过程中学习到的语义可视化结果。
参见图5，图5示出了本说明书一个实施例提供的一种图像分割模型确定方法中不同解码层对原始图像进行重建过程中学习到的语义信息可视化结果的示意图。
图5中包括原始图像，第二个解码层的解码器的可视化结果，第三个解码层的解码器的可视化结果。通过图5可以看出，第三个解码层的解码器可以学习到比较细节的语义信息，比如心脏边缘的脂肪、血管的相关信息等；第二个解码层的解码器可以学习到大尺度的语义信息，比如心脏整体的相关信息。
第二阶段，在特征提取模型训练之后，获取少量的有标签的人体目标部位(如心脏)的CT图像训练基于pixel-level(像素级)的MLP分类器(即上述的图像分割模型)，以实现后续根据该图像分割模型对于人体目标部位的CT图像的分割。
具体做法如下，把有标签的心脏CT图像输入第一部分的特征提取的模型，得到不同解码层的输出结果，对这些输出结果进行上采样到不同编码层规定的图像尺寸，并在flatten(即压缩)后将所有输出结果拼接到一起，形成一个N x M的训练集X，其中N为图像特征(如HxWxD)，M为不同解码层的解码器的输出结果的和。再把心脏的CT图像对应的掩膜进行展平后，得到一个Nx1的Y(即样本标签)，然后即可利用(X，Y)进行MLP分类器的训练，获得最终的图像分割模型。
本说明书实施例提供的该图像分割模型确定方法，利用字典学习的思想将字典学习和VQ-VAE进行很好的结合，与典型的VQ-VAE通过学习生成过完备字典并利用距离来选取向量量化编码不一样的是，本说明书实施例的方案对学习生成的过完备字典有约束，即可以在保证稀疏编码尽可能的稀疏的前提下，通过该稀疏编码和学习得到的过完备字典来生成向量量化编码，以取代通过距离来选取的粗暴方式，实现效果更优。
本说明书实施例提供的图像分割模型确定方法，通过设计的无监督的多层级的稀疏向量量化变分自动编码器训练特征提取模型，使得基于该特征提取模型的分割任务只需要一个非常简单的MLP模型即可实现，而MLP结构简单所以仅需要少量的标注数据即可获得较好的训练效果。具体在于，本说明书实施例通过多层级的SVQ-VAE的设计，实现了特征提取模型的多尺度的表征学习；并通过引入字典学习解决了VQ-VAE过完备字典迭代困难的问题，且可以得到稳定的、丰富的语义表征学习结果。
与上述方法实施例相对应，本说明书还提供了图像分割模型确定装置实施例，图6示出了本说明书一个实施例提供的一种图像分割模型确定装置的结构示意图。如图6所示，该装置包括：
样本确定模块602，被配置为确定包含目标对象的第一图像样本集以及第二图像样本集，其中，所述第二图像样本集中包括第二图像样本以及所述第二图像样本对应的样本标签；
第一模型确定模块604，被配置为根据所述第一图像样本集中的第一图像样本，确定特征提取模型，其中，所述特征提取模型包括编码器，所述编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后、基于字典学习的向量量化模块；
第一特征图像获得模块606，被配置为将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像；
第二模型确定模块608，被配置为根据所述第二特征图像以及所述样本标签，确定图像分割模型。
可选地，所述第一模型确定模块604，进一步被配置为：
将所述第一图像样本集中的第一图像样本，输入特征提取模型的编码器的当前编码层进行编码，获得所述第一图像样本在所述当前编码层的初始特征图像；
在确定所述当前编码层设置有基于字典学习的向量量化模块的情况下，根据所述向量量化模块确定所述第一图像样本在所述当前编码层的目标特征图像；
对所述第一图像样本在所述当前编码层的初始特征图像进行下采样后，输入所述当前编码层的下一编码层，获得所述第一图像样本在所述下一编码层的目标特征图像；
将所述第一图像样本在所有编码层的目标特征图像，输入所述特征提取模型的解码器的解码层进行解码，根据解码结果训练获得所述特征提取模型，其中，所述编码器中的编码层与所述解码器中的解码层对称设置。
可选地，所述第一模型确定模块604，进一步被配置为：
对所述第一图像样本在所述当前编码层的初始特征图像进行下采样后，输入所述当前编码层的下一编码层；
在所述下一编码层进行编码，获得所述第一图像样本在所述下一编码层的初始特征图像；
在确定所述下一编码层设置有基于字典学习的向量量化模块的情况下，根据所述向量量化模块确定所述第一图像样本在所述下一编码层的目标特征图像。
可选地，所述第一模型确定模块604，进一步被配置为：
根据所述向量量化模块将所述初始特征图像分解为过完备字典以及稀疏编码；
根据所述过完备字典以及所述稀疏编码，确定所述第一图像样本在所述当前编码层的目标特征图像；
相应地，所述根据所述向量量化模块确定所述第一图像样本在所述下一编码层的目标特征图像，包括：
根据所述向量量化模块将所述初始特征图像分解为过完备字典以及稀疏编码；
根据所述过完备字典以及所述稀疏编码，确定所述第一图像样本在所述下一编码层的目标特征图像。
可选地，所述装置，还包括：
第一图像确定模块，被配置为在确定所述当前编码层没有设置基于字典学习的向量量化模块的情况下，将所述第一图像样本在所述当前编码层的初始特征图像，确定为所述第一图像样本在所述当前编码层的目标特征图像；
相应地，所述装置，还包括：
第二图像确定模块，被配置为在确定所述下一编码层没有设置基于字典学习的向量量化模块的情况下，将所述第一图像样本在所述下一编码层的初始特征图像，确定为所述第一图像样本在所述下一编码层的目标特征图像。
可选地，所述第一模型确定模块604，进一步被配置为：
将所述第一图像样本在最后一个编码层的目标特征图像，输入所述特征提取模型的解码器的、与所述最后一个编码层对应的当前解码层进行解码，获得所述第一图像样本在所述当前解码层的初始解码特征图像；
将所述第一图像样本在所述最后一个编码层的上一编码层的目标特征图像、以及所述第一图像样本在所述当前解码层的解码特征图像，输入所述当前编码层的上一解码层，获得所述第一图像样本在所述上一解码层的初始解码特征图像；
根据所述第一图像样本在所有解码层的初始解码特征图像，训练获得所述特征提取模型。
可选地，所述第一模型确定模块604，进一步被配置为
根据所述第一图像样本在所有解码层的初始解码特征图像，确定所述第一图像样本对应的目标解码特征图像，并根据所述目标解码特征图像，训练获得所述特征提取模型。
可选地，所述第一模型确定模块604，进一步被配置为：
根据所述目标解码特征图像，调整所述特征提取模型的网络参数以及所述过完备字典；
直至满足预设结束训练条件的情况下，获得训练后的所述特征提取模型。
可选地，所述第一特征图像获得模块606，进一步被配置为：
将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的目标解码特征图像，并将所述目标解码特征图像确定为所述第二图像样本的第二特征图像。
可选地，所述样本标签为所述第二图像样本的图像分割结果；
相应地，所述第二模型确定模块608，进一步被配置为：
根据所述第二特征图像以及所述第二图像样本的图像分割结果，训练获得图像分割模型，其中，所述图像分割模型包括多层感知机图像分割模型。
可选地，所述包含目标对象的第一图像样本集以及第二图像样本集，为包含人体目标部位的第一CT图像样本集以及第二CT图像样本集。
可选地，所述装置，还包括：
可视化模块，被配置为通过图像展示界面展示所述第一图像样本在所有解码层的初始解码特征图像。
本说明书实施例提供的图像分割模型确定装置，通过无标签的第一图像样本集，训练包括至少两个编码层、且每个编码层均设置有通过字典学习的编码器的特征提取模型，通过每个编码层设置的编码器可以在不同尺度下学习第一图像样本的过完备字典，以实现第一图像样本的多尺度特征的提取，使得该特征提取模型可以学习第一图像样本的丰富的、高级语义信息；然后再将该特征提取模型作为特征提取器，结合少量的有标签的第二图像样本集，训练获得图像分割模型，使得该图像分割模型后续可以对包含目标对象的图像进行精确的图像分割。
上述为本实施例的一种图像分割模型确定装置的示意性方案。需要说明的是，该图像分割模型确定装置的技术方案与上述的图像分割模型确定方法的技术方案属于同一构思，图像分割模型确定装置的技术方案未详细描述的细节内容，均可以参见上述图像分割模型确定方法的技术方案的描述。
参见图7，图7示出了根据本说明书一个实施例提供的一种图像分割方法的流程图，具体包括以下步骤。
步骤702：接收用户输入的人体目标部位的CT图像，并将所述CT图像输入特征提取模型，获得所述CT图像的特征图像；
步骤704：将所述特征图像输入图像分割模型，获得所述CT图像的图像分割结果，并将所述图像分割结果展示给所述用户。
其中，所述特征提取模型以及所述图像分割模型为上述图像分割模型确定方法中的特征提取模型以及图像分割模型。
具体的，人体目标部位可以理解为人体器官，比如心脏、肝脏等；那么人体目标部位的CT图像则可以理解为人体器官的CT图像，例如心脏的CT图像、肝脏的CT图像等。
本说明书实施例提供的该图像分割方法，在接收用户输入的人体目标部位的CT图像之后，则将该目标部位的CT图像，输入通过上述实施例的图像分割模型确定方法训练的特征提取模型，获得该目标部位的CT图像的稳定的、丰富的特征图像，然后将该特征图像输入通过上述实施例的图像分割模型确定方法训练的图像分割模型，即可快速且准确的获得该图像分割模型针对该目标部位的CT图像的分割图像。
此外，本说明书一个实施例还提供了一种图像分割装置，包括：
图像接收模块，被配置为接收用户输入的人体目标部位的CT图像，并将所述CT图像输入特征提取模型，获得所述CT图像的特征图像；
图像分类模块，被配置为将所述特征图像输入图像分割模型，获得所述CT图像的图像分割结果，并将所述图像分割结果展示给所述用户，其中，所述特征提取模型以及所述图像分割模型为上述图像分割模型确定方法中的特征提取模型以及图像分割模型。
上述为本实施例的一种图像分割装置的示意性方案。需要说明的是，该图像分割装置的技术方案与上述的图像分割方法的技术方案属于同一构思，图像分割装置的技术方案未详细描述的细节内容，均可以参见上述图像分割方法的技术方案的描述。
参见图8，图8示出了根据本说明书一个实施例提供的另一种图像分割模型确定方法的流程图，具体包括以下步骤。
步骤802：响应于用户发送的图像分割模型处理请求，为所述用户展示图像输入界面；
步骤804：接收所述用户通过所述图像输入界面输入的、包含目标对象的第一图像样本集以及第二图像样本集，其中，所述第二图像样本集中包括第二图像样本以及所述第二图像样本对应的样本标签；
步骤806：根据所述第一图像样本集中的第一图像样本，确定特征提取模型。
其中，所述特征提取模型包括编码器，所述编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后的、基于字典学习的向量量化模块；
步骤808：将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像；
步骤810：根据所述第二特征图像以及所述样本标签，确定图像分割模型，并将所述图像分割模型返回至所述用户。
本说明书实施例提供的另一图像分割模型确定方法，通过设计的无监督的多层级的稀疏向量量化变分自动编码器训练特征提取模型，使得基于该特征提取模型的分割任务只需要一个非常简单的MLP图像分割模型即可实现，而该图像分割模型结构简单所以仅需要少量的标注数据即可获得较好的训练效果，可以极大的提升训练效率。
此外，本说明书一个实施例还提供了一种图像分割模型确定装置，包括：
界面展示模块，被配置为响应于用户发送的图像分割模型处理请求，为所述用户展示图像输入界面；
样本接收模块，被配置为接收所述用户通过所述图像输入界面输入的、包含目标对象的第一图像样本集以及第二图像样本集，其中，所述第二图像样本集中包括第二图像样本以及所述第二图像样本对应的样本标签；
第三模型确定模块，被配置为根据所述第一图像样本集中的第一图像样本，确定特征提取模型，其中，所述特征提取模型包括编码器，所述编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后的、基于字典学习的向量量化模块；
第二特征图像获得模块，被配置为将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像；
第四模型确定模块，被配置为根据所述第二特征图像以及所述样本标签，确定图像分割模型，并将所述图像分割模型返回至所述用户。
上述为本实施例的另一种图像分割模型确定装置的示意性方案。需要说明的是，该图像分割模型确定装置的技术方案与上述的另一种图像分割模型确定方法的技术方案属于同一构思，另一种图像分割模型确定装置的技术方案未详细描述的细节内容，均可以参见上述另一种图像分割模型确定方法的技术方案的描述。
参见图9，图9示出了根据本说明书一个实施例提供的一种计算设备900的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接，数据库950用于保存数据。
计算设备900还包括接入设备940，接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，networkinterface controller))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX，WorldwideInteroperabilityfor Microwave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near FieldCommunication)接口，等等。
在本说明书的一个实施例中，计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图9所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备900可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或个人计算机(PC，Personal Computer)的静止计算设备。计算设备900还可以是移动式或静止式的服务器。
其中，处理器920用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像分割模型确定方法或图像分割方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的图像分割模型确定方法或图像分割方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述图像分割模型确定方法或图像分割方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像分割模型确定方法或图像分割方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的图像分割模型确定方法或图像分割方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述图像分割模型确定方法或图像分割方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述图像分割模型确定方法或图像分割方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的图像分割模型确定方法或图像分割方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述图像分割模型确定方法或图像分割方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种图像分割模型确定方法，包括：
确定包含目标对象的第一图像样本集以及第二图像样本集，其中，所述第二图像样本集中包括第二图像样本以及所述第二图像样本对应的样本标签；
根据所述第一图像样本集中的第一图像样本，确定特征提取模型，其中，所述特征提取模型包括编码器，所述编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后、基于字典学习的向量量化模块，所述向量量化模块用于使所述特征提取模型在不同的编码层的不同尺度下学习过完备的字典，以实现对所述第一图像样本的多尺度特征提取；
将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像；
根据所述第二特征图像以及所述样本标签，确定图像分割模型。
2.根据权利要求1所述的图像分割模型确定方法，所述根据所述第一图像样本集中的第一图像样本，确定特征提取模型，包括：
将所述第一图像样本集中的第一图像样本，输入特征提取模型的编码器的当前编码层进行编码，获得所述第一图像样本在所述当前编码层的初始特征图像；
在确定所述当前编码层设置有基于字典学习的向量量化模块的情况下，根据所述向量量化模块确定所述第一图像样本在所述当前编码层的目标特征图像；
对所述第一图像样本在所述当前编码层的初始特征图像进行下采样后，输入所述当前编码层的下一编码层，获得所述第一图像样本在所述下一编码层的目标特征图像；
将所述第一图像样本在所有编码层的目标特征图像，输入所述特征提取模型的解码器的解码层进行解码，根据解码结果训练获得所述特征提取模型，其中，所述编码器中的编码层与所述解码器中的解码层对称设置。
3.根据权利要求2所述的图像分割模型确定方法，所述对所述第一图像样本在所述当前编码层的初始特征图像进行下采样后，输入所述当前编码层的下一编码层，获得所述第一图像样本在所述下一编码层的目标特征图像，包括：
对所述第一图像样本在所述当前编码层的初始特征图像进行下采样后，输入所述当前编码层的下一编码层；
在所述下一编码层进行编码，获得所述第一图像样本在所述下一编码层的初始特征图像；
在确定所述下一编码层设置有基于字典学习的向量量化模块的情况下，根据所述向量量化模块确定所述第一图像样本在所述下一编码层的目标特征图像。
4.根据权利要求3所述的图像分割模型确定方法，所述根据所述向量量化模块确定所述第一图像样本在所述当前编码层的目标特征图像，包括：
根据所述向量量化模块将所述初始特征图像分解为过完备字典以及稀疏编码；
根据所述过完备字典以及所述稀疏编码，确定所述第一图像样本在所述当前编码层的目标特征图像；
相应地，所述根据所述向量量化模块确定所述第一图像样本在所述下一编码层的目标特征图像，包括：
根据所述向量量化模块将所述初始特征图像分解为过完备字典以及稀疏编码；
根据所述过完备字典以及所述稀疏编码，确定所述第一图像样本在所述下一编码层的目标特征图像。
5.根据权利要求3所述的图像分割模型确定方法，所述获得所述第一图像样本在所述当前编码层的初始特征图像之后，还包括：
在确定所述当前编码层没有设置基于字典学习的向量量化模块的情况下，将所述第一图像样本在所述当前编码层的初始特征图像，确定为所述第一图像样本在所述当前编码层的目标特征图像；
相应地，所述获得所述第一图像样本在所述下一编码层的初始特征图像之后，还包括：
在确定所述下一编码层没有设置基于字典学习的向量量化模块的情况下，将所述第一图像样本在所述下一编码层的初始特征图像，确定为所述第一图像样本在所述下一编码层的目标特征图像。
6.根据权利要求2所述的图像分割模型确定方法，所述将所述第一图像样本在所有编码层的目标特征图像，输入所述特征提取模型的解码器的解码层进行解码，根据解码结果训练获得所述特征提取模型，包括：
将所述第一图像样本在最后一个编码层的目标特征图像，输入所述特征提取模型的解码器的、与所述最后一个编码层对应的当前解码层进行解码，获得所述第一图像样本在所述当前解码层的初始解码特征图像；
将所述第一图像样本在所述最后一个编码层的上一编码层的目标特征图像、以及所述第一图像样本在所述当前解码层的解码特征图像，输入所述当前编码层的上一解码层，获得所述第一图像样本在所述上一解码层的初始解码特征图像；
根据所述第一图像样本在所有解码层的初始解码特征图像，训练获得所述特征提取模型。
7.根据权利要求6所述的图像分割模型确定方法，所述根据所述第一图像样本在所有解码层的初始解码特征图像，训练获得所述特征提取模型，包括：
根据所述第一图像样本在所有解码层的初始解码特征图像，确定所述第一图像样本对应的目标解码特征图像，并根据所述目标解码特征图像，训练获得所述特征提取模型。
8.根据权利要求1或6所述的图像分割模型确定方法，所述将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像，包括：
将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的目标解码特征图像，并将所述目标解码特征图像确定为所述第二图像样本的第二特征图像。
9.根据权利要求1所述的图像分割模型确定方法，所述样本标签为所述第二图像样本的图像分割结果；
相应地，所述根据所述第二特征图像以及所述样本标签，确定图像分割模型，包括：
根据所述第二特征图像以及所述第二图像样本的图像分割结果，训练获得图像分割模型，其中，所述图像分割模型包括多层感知机图像分割模型。
10.根据权利要求1所述的图像分割模型确定方法，所述包含目标对象的第一图像样本集以及第二图像样本集，为包含人体目标部位的第一CT图像样本集以及第二CT图像样本集。
11.根据权利要求6所述的图像分割模型确定方法，所述获得所述第一图像样本在所述上一解码层的初始解码特征图像之后，还包括：
通过图像展示界面展示所述第一图像样本在所有解码层的初始解码特征图像。
12.一种图像分割方法，包括：
接收用户输入的人体目标部位的CT图像，并将所述CT图像输入特征提取模型，获得所述CT图像的特征图像；
将所述特征图像输入图像分割模型，获得所述CT图像的图像分割结果，并将所述图像分割结果展示给所述用户，其中，所述特征提取模型以及所述图像分割模型为权利要求1-11任意一项图像分割模型确定方法中的特征提取模型以及图像分割模型。
13.一种图像分割模型确定方法，包括：
响应于用户发送的图像分割模型处理请求，为所述用户展示图像输入界面；
接收所述用户通过所述图像输入界面输入的、包含目标对象的第一图像样本集以及第二图像样本集，其中，所述第二图像样本集中包括第二图像样本以及所述第二图像样本对应的样本标签；
根据所述第一图像样本集中的第一图像样本，确定特征提取模型，其中，所述特征提取模型包括编码器，所述编码器包括至少两个进行不同尺度的图像特征提取的编码层，以及设置在至少一个编码层后的、基于字典学习的向量量化模块，所述向量量化模块用于使所述特征提取模型在不同的编码层的不同尺度下学习过完备的字典，以实现对所述第一图像样本的多尺度特征提取；
将所述第二图像样本输入所述特征提取模型，获得所述第二图像样本的第二特征图像；
根据所述第二特征图像以及所述样本标签，确定图像分割模型，并将所述图像分割模型返回至所述用户。
14.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述图像分割模型确定方法、或者权利要求12所述图像分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211386108.XA CN115713535B (zh) | 2022-11-07 | 2022-11-07 | 图像分割模型确定方法以及图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211386108.XA CN115713535B (zh) | 2022-11-07 | 2022-11-07 | 图像分割模型确定方法以及图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115713535A CN115713535A (zh) | 2023-02-24 |
| CN115713535B true CN115713535B (zh) | 2024-05-14 |
Family
ID=85232569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211386108.XA Active CN115713535B (zh) | 2022-11-07 | 2022-11-07 | 图像分割模型确定方法以及图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115713535B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342884B (zh) * | 2023-03-28 | 2024-02-06 | 阿里云计算有限公司 | 图像分割及模型训练的方法、服务器 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126481A (zh) * | 2019-12-20 | 2020-05-08 | 湖南千视通信息科技有限公司 | 一种神经网络模型的训练方法及装置 |
| CN112102321A (zh) * | 2020-08-07 | 2020-12-18 | 深圳大学 | 一种基于深度卷积神经网络的病灶图像分割方法及*** |
| CN113205524A (zh) * | 2021-05-17 | 2021-08-03 | 广州大学 | 基于U-Net的血管图像分割方法、装置和设备 |
| CN113222888A (zh) * | 2021-03-19 | 2021-08-06 | 复旦大学 | 基于深度纹理特征的纺织品纱织尺寸检测方法 |
| CN113283433A (zh) * | 2021-04-13 | 2021-08-20 | 北京工业大学 | 图像语义分割方法、***、电子设备和存储介质 |
| WO2021179205A1 (zh) * | 2020-03-11 | 2021-09-16 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
| CN114445632A (zh) * | 2022-02-08 | 2022-05-06 | 支付宝(杭州)信息技术有限公司 | 图片处理方法及装置 |
| CN114495129A (zh) * | 2022-04-18 | 2022-05-13 | 阿里巴巴（中国）有限公司 | 文字检测模型预训练方法以及装置 |
| CN114648787A (zh) * | 2022-02-11 | 2022-06-21 | 华为技术有限公司 | 人脸图像的处理方法及相关设备 |
| CN114820633A (zh) * | 2022-04-11 | 2022-07-29 | 北京三快在线科技有限公司 | 语义分割方法、语义分割模型的训练方法、装置及设备 |
| CN115131289A (zh) * | 2022-05-24 | 2022-09-30 | 阿里巴巴（中国）有限公司 | 图像处理模型的训练方法 |
| CN115222746A (zh) * | 2022-08-16 | 2022-10-21 | 浙江柏视医疗科技有限公司 | 一种基于时空融合的多任务心脏亚结构分割方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932555A (zh) * | 2020-07-31 | 2020-11-13 | 商汤集团有限公司 | 一种图像处理方法及装置、计算机可读存储介质 |
| CN114207673A (zh) * | 2021-12-20 | 2022-03-18 | 商汤国际私人有限公司 | 序列识别方法及装置、电子设备和存储介质 |
-
2022
- 2022-11-07 CN CN202211386108.XA patent/CN115713535B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126481A (zh) * | 2019-12-20 | 2020-05-08 | 湖南千视通信息科技有限公司 | 一种神经网络模型的训练方法及装置 |
| WO2021179205A1 (zh) * | 2020-03-11 | 2021-09-16 | 深圳先进技术研究院 | 医学图像分割方法、医学图像分割装置及终端设备 |
| CN112102321A (zh) * | 2020-08-07 | 2020-12-18 | 深圳大学 | 一种基于深度卷积神经网络的病灶图像分割方法及*** |
| CN113222888A (zh) * | 2021-03-19 | 2021-08-06 | 复旦大学 | 基于深度纹理特征的纺织品纱织尺寸检测方法 |
| CN113283433A (zh) * | 2021-04-13 | 2021-08-20 | 北京工业大学 | 图像语义分割方法、***、电子设备和存储介质 |
| CN113205524A (zh) * | 2021-05-17 | 2021-08-03 | 广州大学 | 基于U-Net的血管图像分割方法、装置和设备 |
| CN114445632A (zh) * | 2022-02-08 | 2022-05-06 | 支付宝(杭州)信息技术有限公司 | 图片处理方法及装置 |
| CN114648787A (zh) * | 2022-02-11 | 2022-06-21 | 华为技术有限公司 | 人脸图像的处理方法及相关设备 |
| CN114820633A (zh) * | 2022-04-11 | 2022-07-29 | 北京三快在线科技有限公司 | 语义分割方法、语义分割模型的训练方法、装置及设备 |
| CN114495129A (zh) * | 2022-04-18 | 2022-05-13 | 阿里巴巴（中国）有限公司 | 文字检测模型预训练方法以及装置 |
| CN115131289A (zh) * | 2022-05-24 | 2022-09-30 | 阿里巴巴（中国）有限公司 | 图像处理模型的训练方法 |
| CN115222746A (zh) * | 2022-08-16 | 2022-10-21 | 浙江柏视医疗科技有限公司 | 一种基于时空融合的多任务心脏亚结构分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115713535A (zh) | 2023-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166130B (zh) | 一种图像处理方法及图像处理装置 | |
| CN106919903B (zh) | 一种鲁棒的基于深度学习的连续情绪跟踪方法 | |
| CN109754403A (zh) | 一种ct图像内的肿瘤自动分割方法及*** | |
| CN108197629B (zh) | 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法 | |
| JP2019075108A (ja) | 情報処理方法及び装置、並びに情報検出方法及び装置 | |
| Zeiler et al. | Facial expression transfer with input-output temporal restricted boltzmann machines | |
| CN115132313A (zh) | 基于注意力机制的医学影像报告自动生成方法 | |
| CN115713535B (zh) | 图像分割模型确定方法以及图像分割方法 | |
| Beetz et al. | Multi-domain variational autoencoders for combined modeling of MRI-based biventricular anatomy and ECG-based cardiac electrophysiology | |
| CN116823625B (zh) | 基于变分自编码器的跨对比度磁共振超分辨率方法和*** | |
| CN113744275A (zh) | 一种基于特征变换的三维cbct牙齿图像的分割方法 | |
| Krishna et al. | LesionAid: vision transformers-based skin lesion generation and classification | |
| Vorontsov et al. | Boosting segmentation with weak supervision from image-to-image translation | |
| Zhao et al. | MPSHT: multiple progressive sampling hybrid model multi-organ segmentation | |
| Amirrajab et al. | Pathology synthesis of 3d consistent cardiac mr images using 2d vaes and gans | |
| Chatterjee et al. | A survey on techniques used in medical imaging processing | |
| Xie et al. | MRSCFusion: Joint residual Swin transformer and multiscale CNN for unsupervised multimodal medical image fusion | |
| CN114708353B (zh) | 图像重建方法、装置、电子设备与存储介质 | |
| Li et al. | Hrinet: Alternative supervision network for high-resolution ct image interpolation | |
| Vorontsov et al. | Towards semi-supervised segmentation via image-to-image translation | |
| CN114445632A (zh) | 图片处理方法及装置 | |
| CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及*** | |
| CN113538493A (zh) | 一种mri头部影像的脑功能区自动勾画方法、勾画***、计算设备和存储介质 | |
| Zhu et al. | Image translation by latent union of subspaces for cross-domain plaque detection | |
| CN114863245B (zh) | 图像处理模型的训练方法和装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |