CN115861250A - 自适应数据集的半监督医学图像器官分割方法及*** - Google Patents
自适应数据集的半监督医学图像器官分割方法及*** Download PDFInfo
- Publication number
- CN115861250A CN115861250A CN202211607575.0A CN202211607575A CN115861250A CN 115861250 A CN115861250 A CN 115861250A CN 202211607575 A CN202211607575 A CN 202211607575A CN 115861250 A CN115861250 A CN 115861250A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- medical image
- semi
- dataset
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 170
- 238000000034 method Methods 0.000 title claims abstract description 110
- 210000000056 organ Anatomy 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 36
- 238000002790 cross-validation Methods 0.000 claims abstract description 15
- 238000013461 design Methods 0.000 claims abstract description 14
- 238000007619 statistical method Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims description 46
- 230000003044 adaptive effect Effects 0.000 claims description 36
- 238000012952 Resampling Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000002591 computed tomography Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 210000004100 adrenal gland Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 210000001631 vena cava inferior Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种自适应数据集的半监督医学图像器官分割方法及***，包括：获取医学图像数据集，所述医学图像数据集包括标签数据集和无标签数据集；对所述医学图像数据集进行统计分析，获得统计信息；基于所述统计信息，对所述医学图像数据集进行预处理；根据半监督学习方法、nnU‑Net构建半监督学习框架和分割网络，所述半监督学习框架用于指导nnU‑Net自适应地设计预处理方法、分割网络的结构和超参数；采用五折交叉验证方法，根据预处理后的所述标签数据集、预处理后的所述无标签数据集训练所述分割网络，获得训练好的分割网络；根据训练好的分割网络对医学图像进行器官分割，获得分割结果图。泛化性能强，分割精度高，能够实现医学图像器官分割任务。
Description
技术领域
本发明涉及医学图像分割技术领域，尤其涉及的是一种自适应数据集的半监督医学图像器官分割方法及***。
背景技术
医学图像器官分割具有重要的研究意义和应用价值，例如在病变、手术规划和疾病诊断等医学辅助诊断***中，都需要先获取对应器官的结构轮廓后才能进行后续的工作。
虽然目前已有半监督语义分割的相关模型和算法，但是由于医学成像设备、成像模式、体素间距和图像分辨率等属性的差异都会影响到现有的分割模型的性能，导致现有分割模型的泛化性能差，对医学图像的分割精度不高。
因此，现有技术有待改进和提高。
发明内容
本发明的主要目的在于提供一种自适应数据集的半监督医学图像器官分割方法、***、智能终端及计算机可读存储介质，旨在解决现有分割模型泛化性能差、对医学图像的分割精度不高的问题。
为了实现上述目的，本发明提供了一种自适应数据集的半监督医学图像器官分割方法，所述分割方法包括：
获取医学图像数据集，所述医学图像数据集包括标签数据集和无标签数据集；
对所述医学图像数据集进行统计分析，获得统计信息；
基于所述统计信息，对所述医学图像数据集进行预处理；
根据半监督学习方法、nnU-Net构建半监督学习框架和分割网络，所述半监督学习框架用于指导nnU-Net自适应地设计预处理方法、分割网络的结构和超参数；
采用五折交叉验证方法，根据预处理后的所述标签数据集、预处理后的所述无标签数据集训练所述分割网络，获得训练好的分割网络；
将获取的医学图像数据集输入训练好的分割网络进行器官分割，输出分割后结果图。
可选的，所述统计信息中包括像素强度均值，所述基于所述统计信息，对所述医学图像数据集进行预处理，包括：
对医学图像数据集中各个图像样本进行重采样；
根据所述像素强度均值依次对每个图像样本中每一个像素的像素强度进行像素强度标准化。
可选的，所述统计信息中还包括图像样本的体素间隔在XY平面的第一中值和在Z轴方向的第二中值，所述对医学图像数据集中各个图像样本进行重采样，包括：
将所述第一中值设定为重采样时XY平面的体素间隔；
若所述第二中值与所述第一中值的比值不超过设定阈值，将所述第二中值设定为重采样时Z方向的体素间隔，否则，将所述第二中值的下十分位数设定为重采样时Z方向的体素间隔。
可选的，设有两个并行的所述分割网络，将标签数据集中的图像样本输入分割网络时，训练时的损失值包括：该分割网络的预测结果与真实标签之间的损失、该分割网络的预测结果与另一个分割网络的预测结果之间的损失；将无标签数据集中的图像样本输入分割网络时，训练时的损失值包括：该分割网络的预测结果与另一个分割网络的预测结果之间的损失。
可选的，所述采用五折交叉验证方法，根据预处理后的所述标签数据集、预处理后的所述无标签数据集训练所述分割网络，包括：
采用五折交叉验证方法从预处理后的所述标签数据集取样，获得样本集；
将所述样本集和预处理后的所述无标签数据集作为训练样本训练所述分割网络。
可选的，还包括对训练好的分割网络进行测试，测试方法包括：
获取测试集数据并对测试集数据进行预处理；
采用预设步长的滑动窗口将预处理后的测试集数据中的图像样本划分为块后输入训练好的分割网络；
根据非极大值抑制算法去除分割网络预测结果中的假阳性区域，获得测试结果。
为了实现上述目的，本发明还提供了一种自适应数据集的半监督医学图像器官分割***，所述分割***包括：
数据集获取模块，用于获取医学图像数据集，所述医学图像数据集包括标签数据集和无标签数据集；
统计模块，用于对所述医学图像数据集进行统计分析，获得统计信息；
预处理模块，用于基于所述统计信息，对所述医学图像数据集进行预处理；
构建模块，用于根据半监督学习方法和nnU-Net构建半监督学习框架和分割网络，所述半监督学习框架用于指导nnU-Net自适应地设计预处理方法、分割网络的结构和超参数；
优化模块，用于采用五折交叉验证方法，根据预处理后的所述标签数据集、预处理后的所述无标签数据集训练所述分割网络，获得训练好的分割网络。
可选的，还包括测试模块，用于获取测试集数据并对测试集数据进行预处理；采用预设步长的滑动窗口将预处理后的测试集数据中的图像样本划分为块后输入训练好的分割网络；根据非极大值抑制算法去除分割网络预测结果中的假阳性区域，获得测试结果。
为了实现上述目的，本发明还提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的自适应数据集的半监督医学图像器官分割程序，上述自适应数据集的半监督医学图像器官分割程序被上述处理器执行时实现任意一项上述自适应数据集的半监督医学图像器官分割方法的步骤。
为了实现上述目的，本发明还提供了一种计算机可读存储介质，上述计算机可读存储介质上存储有自适应数据集的半监督医学图像器官分割程序，上述自适应数据集的半监督医学图像器官分割程序被处理器执行时实现任意一项上述自适应数据集的半监督医学图像器官分割方法的步骤。
由上述可见，本发明首先获取医学图像数据集的统计信息，然后基于统计信息对医学图像数据集进行预处理，根据半监督学习方法、nnU-Net构建半监督学习框架和分割网络，利用预处理后的少量标签数据和大量无标签数据半监督地训练分割网络。与现有技术相比，通过nnU-Net自适应各种数据集，不需要任何人工调参的过程；通过半监督框架指导nnU-Net自适应地设计预处理方法、分割网络的结构和超参数。训练好的分割网络泛化性能强，分割精度高，能够实现医学图像器官分割任务。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明提供的自适应数据集的半监督医学图像器官分割方法实施例的流程示意图；
图2是图1实施例中步骤S300的流程示意图；
图3是图1实施例中半监督学习框架的网络架构示意图；
图4是图1实施例中分割结果的对比示意图；
图5是对训练好的分割网络进行测试的实施例的流程示意图；
图6是本发明实施例提供的自适应数据集的半监督医学图像器官分割***的结构示意图；
图7是本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
由于医学图像的特殊性，数据量较少、不同数据之间的差异性很大、数据标注成本高。特别是在三维医学成像中，成像设备、成像模式、体素间距和图像分辨率等属性的差异都会影响到分割模型的性能，因此，现有的分割模型迁移到三维医学图像上时，泛化性能差、分割精度不高，难以应用在医学图像器官分割上。
为了解决上述问题，本发明基于半监督学习方法，以少量有标签和大量无标签的医学图像作为数据集，提出了一种数据集自适应的医学图像器官自动分割方法。能够针对数据集自适应地设计预处理方法、分割网络的结构与相关超参数，不需要任何人工调参的过程，可以在少量标签数据和大量无标签数据的任务中自动部署并训练模型，实现医学图像器官分割任务。
示例性方法
如图1所示，本发明实施例提供一种自适应数据集的半监督医学图像器官分割方法，部署于移动终端、电脑、服务器等电子设备上，实现对三维CT图像的器官分割任务。具体的，上述分割方法包括如下步骤：
步骤S100：获取医学图像数据集，所述医学图像数据集包括标签数据集和无标签数据集；
具体地，医学图像包括超声图像、CT图像、核磁共振图像等，可以通过各个医学成像设备的接口获取到系列的医学图像，生成医学图像数据集；也可以从后台服务器获取到医学图像数据集。医学图像数据集的具体获取方式不做限制。
为了减少标注的工作量，目前主要使用三种深度学习方法：自监督学习方法、半监督学习和弱监督学习。自监督学习方法是利用无标签数据，以监督的方式训练模型，学习基础知识然后进行知识迁移；半监督学习方法直接从有限地带标签数据和大量的未带标签数据中学习，得到高质量的分割结果；弱监督学习方法从边框、涂鸦或图像级标签中学习图像分割，而不是使用像素级标注。由于弱监督学习和自监督学习在医学图像分割任务上性能不够理想，尤其是在三维医学图像的分割上，因此，本实施例采用了半监督学习方法来处理三维CT图像的器官分割任务。相应地，上述医学图像数据集包括由少量的标签CT图像构成的标签数据集和由大量无标签CT图像构成的无标签数据集。
步骤S200：对医学图像数据集进行统计分析，获得统计信息；
具体地，对标签数据集和无标签数据集中所有的标签图像、无标签图像进行统计分析，统计分析的具体方法不限，统计分析的项目也可以根据应用场景具体确定，例如：对医学图像数据集中所有图像样本的图像分辨率、图像模态、体素间隔、像素强度进行统计，获得体素间隔的中值、像素强度的均值、方差、中位数、分位数等统计信息。这些统计信息可以用于后续的数据预处理和训练超参数等过程。本实施例进行统计分析时，还计算了所有图像样本的体素间隔在XY平面的第一中值(在XY平面的所有体素间隔的均值)和在Z轴方向的第二中值(在Z轴方向的所有体素间隔的均值)并保存在统计信息中。
CT图像以NIFTI格式保存数据，并将索引坐标(数组下标)映射至体素坐标(空间坐标)，NIFTI格式中除了保存图像的数据外，还保存了一些额外信息，比如：每个像素间的距离、原点坐标、方向等。其中，像素间的距离也称为体素间隔。在CT图像中像素值为HU值(Hounsfield)，与像素的灰度值线性相关。像素的HU值的大小也称为像素强度。对于三通道图像，可以对每个通道分别进行处理，获得像素在每个通道下的像素强度。
步骤S300：基于统计信息，对医学图像数据集进行预处理；
具体地，预处理过程主要包括：对医学图像数据集中的图像样本进行重采样以及像素强度标准化(归一化)，需要说明的是，预处理不改变医学图像数据的格式，预处理后的标签数据集、无标签数据集中的数据格式仍为NIFTI。
可选的，预处理还可以包括其他操作，例如：裁剪操作，以将所有数据都裁剪到非零值区域。
本实施例中，如图2所示，预处理具体包括如下步骤：
步骤S310：对医学图像数据集中各个图像样本进行重采样；
具体地，对图像样本进行重采样之前，首先将统计信息中的第一中值(XY平面的体素间隔中值)设为图像样本重采样时XY平面的体素间隔；当第二中值(Z轴方向的体素间隔中值)与第一中值的比值不超过设定阈值时(本实施例中为3)，将第二中值设定为图像样本重采样时Z轴方向的体素间隔，否则，将第二中值的下十分位数设定为图像样本重采样时Z轴方向的体素间隔(假如第二中值为120，第二中值的下十分位数为12)。确定好重采样时的体素间隔后对医学图像数据集中各个图像样本依次进行重采样以调整各个图像样本中各个像素之间的体素间隔。
步骤S320：根据像素强度均值依次对每个图像样本中每一个像素的像素强度进行像素强度标准化。
具体地，像素强度标准化也称为归一化。通常可以根据像素的分类分别对前景像素进行像素强度标准化、背景像素进行像素强度标准化。本实施例中的无标签数据集由于缺少标签、无法统计前景像素的像素强度分布。因此，对标签数据集和无标签数据集统一采用全景像素完成标准化，具体方法为：将每一个图像样本(无标签数据集中的图像样本或标签数据集中的图像样本)作为个体，其每个像素点的像素强度减去统计信息中保存的像素强度均值，再除以统计信息中保存的像素强度方差，实现每个图像样本的像素强度标准化。例如：对于无标签样本A，将无标签样本A中的每一个像素点的像素强度将去统计信息中的像素强度均值，再除以统计信息中的像素强度方差，完成无标签样本A中每一个像素点的像素强度标准化。
步骤S400：根据半监督学习方法和nnU-Net构建半监督学习框架和分割网络，其中，半监督学习框架用于指导nnU-Net自适应地设计预处理方法、分割网络的结构和超参数；
具体地，分割网络的模型结构依赖于nnU-Net(一种自适应数据集的网络框架)的启发式规则自动生成。nnU-Net是基于2D U-net，3D U-net和U-Net Cascade的自适应任何数据集的框架，能够自动调整所有超参数，无需人工干预。
虽然nnU-Net是一个自动部署医学图像分割任务的框架，但是目前nnU-Net只能应用于有标签的数据集中，且其自动部署过程中会多次使用到数据集的标签。本发明通过将nnU-Net与半监督学习框架相结合，半监督学习框架能够指导nnU-Net针对特定数据集进行数据分析、超参数设置和设计分割网络结构，即自适应地设计预处理方法、分割网络的结构与相关超参数，从而能够在不使用数据标签的前提下完成设计预处理方法、网络结构与相关超参数等任务，并在半监督学习中完成自动部署。
本实施例中，半监督学习框架采用CPS(Cross Pseudo-label Supervision：交叉伪标签监督)构建，图3为半监督学习框架的示意图。半监督学习框架包括两个并行的分割网络T1和T2，分割网络T1和T2具有相同的网络架构，区别在于使用不同的权重θ1和θ2初始化。分割网络T1和T2的输入可以是2D图像或3D图像，可以来自标签数据集、也可以来自无标签数据集，两个分割网络分别输出各自对输入图像的分割预测结果。
现有的CPS策略虽然也是使用两个网络，但是两个网络都是输入同一个图像，每个网络的输出作为另一个网络的监督信号。本实施例在现有的CPS策略的基础上做了改进，将标签数据集和无标签数据集分别输入至两个分割网络中。
步骤S500：采用五折交叉验证方法，根据标签数据集和无标签数据集训练分割网络，获得训练好的分割网络；
具体地，五折交叉验证方法是指将所有的数据集划分为5个部分，训练时每次取一个不同的部分作为验证集，其余的作为训练集。
为了每一折实验都尽可能充分地利用无标签数据集的信息，本实施例中只将标签数据集划分为训练集和验证集，而无标签数据集则不进行划分，即每一折训练过程中都采用全部的无标签数据集。训练时，采用交叉熵与Dice Loss作为分割网络的损失函数，每次训练的批量大小为4(即每次加载2个标签数据和2个无标签数据)，训练终止条件是循环1000轮，在标签数据集和无标签数据集中采样250次为一轮。最后，保留模型在验证集上效果最好的结果，获得训练好的分割网络。
训练时，将标签数据集中的图像样本输入分割网络时，训练时的损失值包括：该分割网络的预测结果与真实标签之间的损失、该分割网络的预测结果与另一个分割网络的预测结果之间的损失；将无标签数据集中的图像样本输入分割网络时，训练时的损失值包括：该分割网络的预测结果与另一个分割网络的预测结果之间的损失。参考图3所示，将分割网络T1输出的伪标签Y1作为分割网络T2的真实标签，将分割网络T2输出的伪标签Y2作为分割网络T1的真实标签，以计算分割网络之间的损失。分割网络与真实标签之间的损失、分割网络与分割网络之间的损失值的计算方法相同，均为1/2的交叉熵损失与1/2的Dice损失的累计。
可选的，训练时还可以对训练集进行数据增强，数据增强的方法可以采用nnU-Net中常用的数据增强方法，如翻转、旋转、比例缩放、高斯噪声等。
步骤S600：将获取的医学图像数据集输入训练好的分割网络进行器官分割，输出分割后结果图。
具体地，获得训练好的分割网络后，将医学图像输入分割网络进行器官分割，就可以获得训练好的分割网络的预测结果，即分割结果。图4展示了本实施例的分割结果(图中为Baseline3D+CPS)与其他分割方法获得的分割结果的对比。
由上所述，本实施例通过半监督学习框架指导nnU-Net针对数据集自适应地设计预处理方法、网络结构与其相关超参数，不需要任何人工调参的过程，可以在少量标签数据和大量无标签数据的任务中自动部署并训练模型，实现基于CT图像的器官分割任务。
需要说明的是，本发明的分割方法可以用于计算机断层扫描图像(CT)或MRI等数据格式的医学图像，可以对这些医学图像中的肝脏、脾脏、左肾、右肾、胰腺、主动脉、下腔静脉、左肾上腺、右肾上腺、胆囊、食道、十二指肠、胃等腹部器官进行分割，完成分割任务。待分割的医学图像可以是3D医学图像数据，也可以是2D切片数据。当然，能分割的器官也不只是局限于上述器官，任何器官只要在数据集中有少量的标签数据，即可自动部署训练并自动实现分割任务。
并且，虽然本实施例采用的网络结构是U-Net，但是该网络结构可以被替换为以CNNs为基础的FCN、DeepLab、V-Net等其他网络结构，或是被替换为以Transformer为基础的Trans U-Net、Swin U-Net等网络结构，或者在U-Net的基础上增加注意力机制、残差网络等模块以提升其特征提取和表征能力。
半监督学习框架可以依靠自我学习(self-training)、协同学习(co-training)和基于生成模型的方法等。本实施例中所提出的半监督学习框架是协同学习中的一个具体实例算法，这一算法可以被其他半监督策略替换。例如，同样是基于协同学习的，依靠多任务、多视图、多分支、多数据增强实现的半监督学习；或是采用其他基于自我学习、基于生成模型的方法。
在一个实施例中，如图5所示，还包括对训练好的分割网络进行测试，具体测试步骤包括：
步骤S700：获取测试集数据并对测试集数据进行预处理；
步骤S800：采用预设步长的滑动窗口将预处理后的测试集数据划分为块后输入训练好的分割网络；
步骤S900：根据非极大值抑制算法去除分割网络预测结果中的假阳性区域，获得测试结果。
具体地，获取测试集数据的步骤与步骤S100相同，并采取和步骤S200相同的预处理方法对测试集数据进行预处理。一般CT图像的尺寸是(512，512，400)，宽高为512*512，400为切片的数量。由于显存/内存的限制，不能将整个三维CT图像送入分割网络，即分割网络接受的输入比原图小，如(192，192，160)。因此，需要多次以大小为(192，192，160)的块对原CT图像进行切分后送入分割网络，得到对每个块预测的分割结果，再采用均值、高斯权重等方法将这些块融合起来，获得测试结果。
对原CT图像进行切分时，本实施例利用预设步长为0.7的滑动窗口对将预处理后的测试集数据进行切分(步长0.7代表各个块之间的HWD三个维度的交叠占整个块的0.7)，然后送入训练好的分割网络中，再根据非极大值抑制算法，去除分割网络预测结果的假阳性区域，得到测试结果。根据该测试结果可以对分割网络进行评估和优化。
示例性设备
如图6所示，对应于自适应数据集的半监督医学图像器官分割方法，本发明实施例还提供一种自适应数据集的半监督医学图像器官分割***，具体的，所述分割***包括：
数据集获取模块600，用于获取医学图像数据集，所述医学图像数据集包括标签数据集和无标签数据集；
统计模块610，用于对所述医学图像数据集进行统计分析，获得统计信息；
预处理模块620，用于基于所述统计信息，对所述医学图像数据集进行预处理；
构建模块630，用于根据半监督学习方法和nnU-Net构建半监督学习框架和分割网络，所述半监督学习框架用于指导所述分割网络自适应地设计预处理方法、网络结构和超参数；
优化模块640，用于采用五折交叉验证方法，根据预处理后的所述标签数据集、预处理后的所述无标签数据集训练所述分割网络，获得训练好的分割网络。
可选的，分割***还包括测试模块，用于获取测试集数据并对测试集数据进行预处理；采用预设步长的滑动窗口将预处理后的测试集数据划分为块后输入训练好的分割网络；根据非极大值抑制算法去除分割网络预测结果中的假阳性区域，获得测试结果。
本实施例中，上述自适应数据集的半监督医学图像器官分割***可以参照上述自适应数据集的半监督医学图像器官分割方法中的对应描述，在此不再赘述。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图7所示。上述智能终端包括通过***总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和自适应数据集的半监督医学图像器官分割程序。该内存储器为非易失性存储介质中的操作***和自适应数据集的半监督医学图像器官分割程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该自适应数据集的半监督医学图像器官分割程序被处理器执行时实现上述任意一种自适应数据集的半监督医学图像器官分割方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图7中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的自适应数据集的半监督医学图像器官分割程序，上述自适应数据集的半监督医学图像器官分割程序被上述处理器执行时进行以下操作指令：
获取医学图像数据集，所述医学图像数据集包括标签数据集和无标签数据集；
对所述医学图像数据集进行统计分析，获得统计信息；
基于所述统计信息，对所述医学图像数据集进行预处理；
根据半监督学习方法、nnU-Net构建半监督学习框架和分割网络，所述半监督学习框架用于指导nnU-Net自适应地设计预处理方法、分割网络的结构和超参数；
采用五折交叉验证方法，根据预处理后的所述标签数据集、预处理后的所述无标签数据集训练所述分割网络，获得训练好的分割网络；
将获取的医学图像数据集输入训练好的分割网络进行器官分割，输出分割后结果图。
可选的，所述统计信息中包括像素强度均值，所述基于所述统计信息，对所述医学图像数据集进行预处理，包括：
对医学图像数据集中各个图像样本进行重采样；
根据所述像素强度均值依次对每个图像样本中每一个像素的像素强度进行像素强度标准化。
可选的，所述统计信息中还包括图像样本的体素间隔在XY平面的第一中值和在Z轴方向的第二中值，所述对医学图像数据集中各个图像样本进行重采样，包括：
将所述第一中值设定为重采样时XY平面的体素间隔；
若所述第二中值与所述第一中值的比值不超过设定阈值，将所述第二中值设定为重采样时Z方向的体素间隔，否则，将所述第二中值的下十分位数设定为重采样时Z方向的体素间隔。
可选的，设有两个并行的所述分割网络，将标签数据集中的图像样本输入分割网络时，训练时的损失值包括：该分割网络的预测结果与真实标签之间的损失、该分割网络的预测结果与另一个分割网络的预测结果之间的损失；将无标签数据集中的图像样本输入分割网络时，训练时的损失值包括：该分割网络的预测结果与另一个分割网络的预测结果之间的损失。
可选的，所述采用五折交叉验证方法，根据预处理后的所述标签数据集、预处理后的所述无标签数据集训练所述分割网络，包括：
采用五折交叉验证方法从预处理后的所述标签数据集取样，获得样本集；
将所述样本集和预处理后的所述无标签数据集作为训练样本训练所述分割网络。
可选的，还包括对训练好的分割网络进行测试，测试方法包括：
获取测试集数据并对测试集数据进行预处理；
采用预设步长的滑动窗口将预处理后的测试集数据中的图像样本划分为块后输入训练好的分割网络；
根据非极大值抑制算法去除分割网络预测结果中的假阳性区域，获得测试结果。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有自适应数据集的半监督医学图像器官分割程序，上述自适应数据集的半监督医学图像器官分割程序被处理器执行时实现本发明实施例提供的任意一种自适应数据集的半监督医学图像器官分割方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.自适应数据集的半监督医学图像器官分割方法，其特征在于，所述分割方法包括：
获取医学图像数据集，所述医学图像数据集包括标签数据集和无标签数据集；
对所述医学图像数据集进行统计分析，获得统计信息；
基于所述统计信息，对所述医学图像数据集进行预处理；
根据半监督学习方法、nnU-Net构建半监督学习框架和分割网络，所述半监督学习框架用于指导nnU-Net自适应地设计预处理方法、分割网络的结构和超参数；
采用五折交叉验证方法，根据预处理后的所述标签数据集、预处理后的所述无标签数据集训练所述分割网络，获得训练好的分割网络；
将获取的医学图像数据集输入训练好的分割网络进行器官分割，输出分割后结果图。
2.如权利要求1所述的自适应数据集的半监督医学图像器官分割方法，其特征在于，所述统计信息中包括像素强度均值，所述基于所述统计信息，对所述医学图像数据集进行预处理，包括：
对医学图像数据集中各个图像样本进行重采样；
根据所述像素强度均值依次对每个图像样本中每一个像素的像素强度进行像素强度标准化。
3.如权利要求2所述的自适应数据集的半监督医学图像器官分割方法，其特征在于，所述统计信息中还包括图像样本的体素间隔在XY平面的第一中值和在Z轴方向的第二中值，所述对医学图像数据集中各个图像样本进行重采样，包括：
将所述第一中值设定为重采样时XY平面的体素间隔；
若所述第二中值与所述第一中值的比值不超过设定阈值，将所述第二中值设定为重采样时Z方向的体素间隔，否则，将所述第二中值的下十分位数设定为重采样时Z方向的体素间隔。
4.如权利要求1所述的自适应数据集的半监督医学图像器官分割方法，其特征在于，设有两个并行的所述分割网络，将标签数据集中的图像样本输入分割网络时，训练时的损失值包括：该分割网络的预测结果与真实标签之间的损失、该分割网络的预测结果与另一个分割网络的预测结果之间的损失；将无标签数据集中的图像样本输入分割网络时，训练时的损失值包括：该分割网络的预测结果与另一个分割网络的预测结果之间的损失。
5.如权利要求1所述的自适应数据集的半监督医学图像器官分割方法，其特征在于，所述采用五折交叉验证方法，根据预处理后的所述标签数据集、预处理后的所述无标签数据集训练所述分割网络，包括：
采用五折交叉验证方法从预处理后的所述标签数据集取样，获得样本集；
将所述样本集和预处理后的无标签数据集作为训练样本训练所述分割网络。
6.如权利要求1所述的自适应数据集的半监督医学图像器官分割方法，其特征在于，还包括对训练好的分割网络进行测试，测试方法包括：
获取测试集数据并对测试集数据进行预处理；
采用预设步长的滑动窗口将预处理后的测试集数据中的图像样本划分为块后输入训练好的分割网络；
根据非极大值抑制算法去除分割网络预测结果中的假阳性区域，获得测试结果。
7.自适应数据集的半监督医学图像器官分割***，其特征在于，所述分割***包括：
数据集获取模块，用于获取医学图像数据集，所述医学图像数据集包括标签数据集和无标签数据集；
统计模块，用于对所述医学图像数据集进行统计分析，获得统计信息；
预处理模块，用于基于所述统计信息，对所述医学图像数据集进行预处理；
构建模块，用于根据半监督学习方法和nnU-Net构建半监督学习框架和分割网络，所述半监督学习框架用于指导nnU-Net自适应地设计预处理方法、分割网络的结构和超参数；
优化模块，用于采用五折交叉验证方法，根据预处理后的所述标签数据集、预处理后的所述无标签数据集训练所述分割网络，获得训练好的分割网络。
8.如权利要求7所述的自适应数据集的半监督医学图像器官分割***，其特征在于，还包括测试模块，用于获取测试集数据并对测试集数据进行预处理；采用预设步长的滑动窗口将预处理后的测试集数据中的图像样本划分为块后输入训练好的分割网络；根据非极大值抑制算法去除分割网络预测结果中的假阳性区域，获得测试结果。
9.智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的自适应数据集的半监督医学图像器官分割程序，所述自适应数据集的半监督医学图像器官分割程序被所述处理器执行时实现如权利要求1-6任意一项所述自适应数据集的半监督医学图像器官分割方法的步骤。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有自适应数据集的半监督医学图像器官分割程序，所述自适应数据集的半监督医学图像器官分割程序被处理器执行时实现如权利要求1-6任意一项所述自适应数据集的半监督医学图像器官分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607575.0A CN115861250B (zh) | 2022-12-14 | 2022-12-14 | 自适应数据集的半监督医学图像器官分割方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607575.0A CN115861250B (zh) | 2022-12-14 | 2022-12-14 | 自适应数据集的半监督医学图像器官分割方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115861250A true CN115861250A (zh) | 2023-03-28 |
| CN115861250B CN115861250B (zh) | 2023-09-22 |
Family
ID=85672929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211607575.0A Active CN115861250B (zh) | 2022-12-14 | 2022-12-14 | 自适应数据集的半监督医学图像器官分割方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861250B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116824146A (zh) * | 2023-07-05 | 2023-09-29 | 深圳技术大学 | 一种小样本ct图像分割方法、***、终端及存储介质 |
| CN118212490A (zh) * | 2024-05-15 | 2024-06-18 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170231484A1 (en) * | 2016-02-12 | 2017-08-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| EP3459461A1 (en) * | 2017-09-25 | 2019-03-27 | Koninklijke Philips N.V. | X-ray imaging reference scan |
| CN113793304A (zh) * | 2021-08-23 | 2021-12-14 | 天津大学 | 一种面向肺癌靶区及危及器官智能分割方法 |
| CN114581628A (zh) * | 2022-03-03 | 2022-06-03 | 北京银河方圆科技有限公司 | 大脑皮层表面重建方法和可读存储介质 |
| CN114612721A (zh) * | 2022-03-15 | 2022-06-10 | 南京大学 | 基于多层次自适应特征融合类增量学习的图像分类方法 |
| US11526994B1 (en) * | 2021-09-10 | 2022-12-13 | Neosoma, Inc. | Labeling, visualization, and volumetric quantification of high-grade brain glioma from MRI images |
-
2022
- 2022-12-14 CN CN202211607575.0A patent/CN115861250B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170231484A1 (en) * | 2016-02-12 | 2017-08-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| EP3459461A1 (en) * | 2017-09-25 | 2019-03-27 | Koninklijke Philips N.V. | X-ray imaging reference scan |
| CN111107787A (zh) * | 2017-09-25 | 2020-05-05 | 皇家飞利浦有限公司 | X射线成像参考扫描 |
| CN113793304A (zh) * | 2021-08-23 | 2021-12-14 | 天津大学 | 一种面向肺癌靶区及危及器官智能分割方法 |
| US11526994B1 (en) * | 2021-09-10 | 2022-12-13 | Neosoma, Inc. | Labeling, visualization, and volumetric quantification of high-grade brain glioma from MRI images |
| CN114581628A (zh) * | 2022-03-03 | 2022-06-03 | 北京银河方圆科技有限公司 | 大脑皮层表面重建方法和可读存储介质 |
| CN114612721A (zh) * | 2022-03-15 | 2022-06-10 | 南京大学 | 基于多层次自适应特征融合类增量学习的图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| YONGZHI HUANG 等: ""3D Cross Pseudo Supervision (3D-CPS): A semi-supervised nnU-Net architecture for abdominal organ segmentation"", 《ARXIV》, pages 1 - 13 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116824146A (zh) * | 2023-07-05 | 2023-09-29 | 深圳技术大学 | 一种小样本ct图像分割方法、***、终端及存储介质 |
| CN116824146B (zh) * | 2023-07-05 | 2024-06-07 | 深圳技术大学 | 一种小样本ct图像分割方法、***、终端及存储介质 |
| CN118212490A (zh) * | 2024-05-15 | 2024-06-18 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115861250B (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220005192A1 (en) | Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network | |
| CN111260055B (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
| CN115861250B (zh) | 自适应数据集的半监督医学图像器官分割方法及*** | |
| JP7206386B2 (ja) | 画像処理モデルの訓練方法、画像処理方法、ネットワーク機器、及び記憶媒体 | |
| US11929174B2 (en) | Machine learning method and apparatus, program, learned model, and discrimination apparatus using multilayer neural network | |
| CN107688783B (zh) | 3d图像检测方法、装置、电子设备及计算机可读介质 | |
| US11182904B2 (en) | Systems and methods for image segmentation | |
| CN110223300A (zh) | Ct图像腹部多器官分割方法及装置 | |
| CN109815931B (zh) | 一种视频物体识别的方法、装置、设备以及存储介质 | |
| CN112446892A (zh) | 一种基于注意力学习的细胞核分割方法 | |
| CN110930378B (zh) | 基于低数据需求的肺气肿影像处理方法及*** | |
| CN111932529A (zh) | 一种图像分割方法、装置及*** | |
| CN110728666A (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其*** | |
| CN113706562B (zh) | 图像分割方法、装置、***及细胞分割方法 | |
| CN115546270A (zh) | 多尺度特征融合的图像配准方法、模型训练方法及设备 | |
| CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
| CN115601330A (zh) | 一种基于多尺度空间反向注意力机制的结肠息肉分割方法 | |
| CN114972382A (zh) | 一种基于轻量级UNet++网络的脑肿瘤分割算法 | |
| CN111353987A (zh) | 一种细胞核分割方法及装置 | |
| Annavarapu et al. | An adaptive watershed segmentation based medical image denoising using deep convolutional neural networks | |
| CN113850796A (zh) | 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 | |
| Vandermeulen et al. | Local filtering and global optimization methods for 3-D magnetic-resonance angiography image enhancement | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN111507950A (zh) | 图像分割的方法和装置、电子设备及计算机可读存储介质 | |
| Zhou et al. | An optimal higher order likelihood distribution based approach for strong edge and high contrast restoration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |