CN116664602B - 基于少样本学习的octa血管分割方法及成像方法 - Google Patents
基于少样本学习的octa血管分割方法及成像方法 Download PDFInfo
- Publication number
- CN116664602B CN116664602B CN202310919310.2A CN202310919310A CN116664602B CN 116664602 B CN116664602 B CN 116664602B CN 202310919310 A CN202310919310 A CN 202310919310A CN 116664602 B CN116664602 B CN 116664602B
- Authority
- CN
- China
- Prior art keywords
- image
- octa
- decoder
- data
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 161
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 82
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 68
- 238000003384 imaging method Methods 0.000 title claims abstract description 23
- 230000006870 function Effects 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000002372 labelling Methods 0.000 claims abstract description 17
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 37
- 230000009466 transformation Effects 0.000 claims description 29
- 230000004913 activation Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 10
- 238000005192 partition Methods 0.000 claims description 8
- 239000002473 artificial blood Substances 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000002792 vascular Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于少样本学习的OCTA血管分割方法，包括获取现有的OCTA血管图像并部分标注；随机抽取图像并数据增强；构建OCTA血管分割原始模型；采用增强后的数据图像训练模型；采用得到的模型进行实际的血管分割。本发明还提供了一种包括所述基于少样本学习的OCTA血管分割方法的成像方法。本发明采用构建的OCTA血管分割模型进行像素级分割预测，并基于不同的输入图像构建不同的损失函数对模型进行训练，从而完成基于少样本学习的OCTA血管分割；因此本发明能够在少样本的情况下完成OCTA图像的血管分割，而且可靠性更高，精确性更好，效率更高。
Description
技术领域
本发明属于图像处理领域，具体涉及一种基于少样本学习的OCTA血管分割方法及成像方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人们对于健康的关注程度也越来越高。
OCTA图像能够反映人员的眼底视网膜血管网的生长状况，而且其成像方法具有无创性、非侵入性的优势，因此OCTA图像在基础医学研究和临床医学中都具有重要的作用。在OCTA图像的应用中，OCTA图像的血管分割结果在医学研究和医学临床方面都有着巨大的实用意义；因此，已经有研究人员开展了大量的关于OCTA图像的血管分割的研究。
传统的OCTA图像的血管分割方案，一般是采用人工标注的方式进行；但是，人工标注的方式，不仅费时费力，成本高昂且效率较差，而且OCTA图像中的血管网分布极为复杂，需要具有极强专业知识的人员来进行操作。而随着人工智能技术和深度学习技术的发展，研究人员已经提出了基于深度学习技术的OCTA图像血管分割方法。
但是，目前的基于深度学习技术的OCTA图像血管分割方法，大多是基于全监督学习方案，其研究依赖于大量的高质量人工标签数据；而大量的高质量人工标签数据，依旧依赖于大量且专业的OCTA图像血管的人工标注。这种情况，使得现有的基于深度学习技术的OCTA图像血管分割方法，依旧存在可靠性差、精确性差且效率较低的缺陷。
发明内容
本发明的目的之一在于提供一种可靠性高、精确性好且效率较高的基于少样本学习的OCTA血管分割方法。
本发明的目的之二在于提供一种包括了所述基于少样本学习的OCTA血管分割方法的成像方法。
本发明提供的这种基于少样本学习的OCTA血管分割方法，包括如下步骤：
S1. 获取现有的OCTA血管图像；对其中的若干图像进行人工血管标注，并对剩余图像不进行标注，从而得到有标签数据图像和无标签数据图像；
S2. 随机抽取步骤S1获取的图像；随机抽取的图像必须同时包括有标签数据图像和无标签数据图像；
S3. 对步骤S2获取的图像进行数据增强，从而得到增强后的数据图像；
S4. 基于卷积神经网络，构建OCTA血管分割原始模型；所述的OCTA血管分割原始模型包括了一个共享编码器和两个解码器；共享编码器用于提取输入的图像中的高级特征，并对数据进行降维处理；解码器用于对共享编码器输出的高级特征进行逐步还原，并还原后的数据进行像素级推理，得到目标分割预测结果；
S5. 采用步骤S3得到的增强后的数据图像，对步骤S4构建的OCTA血管分割原始模型进行训练，得到OCTA血管分割模型；训练时，针对输入的不同类型的数据图像，分别计算对应的有监督的分割损失、无监督的数据扰动一致性损失、骨架变换一致性损失或无监督自支持损失，构成总损失函数，并采用总损失函数进行模型的训练；
S6. 采用步骤S5得到的OCTA血管分割模型，进行实际的OCTA图像的血管分割。
所述的步骤S1，具体包括如下步骤：
获取现有的OCTA血管图像；
在获取的图像中，对若干图像进行人工血管标注，得到有标签数据图像，其中/>为第i张有标签数据图像，/>为第i张有标签数据图像所对应的标签，N为有标签数据图像的总数；
同时，对剩余的图像不进行标注，得到无标签数据图像，其中为第j张无标签数据图像，M为无标签数据图像的总数，且/>。
所述的步骤S3，具体包括如下步骤：
对步骤S2获取的图像，进行图像数据的组合增强；所述的组合增强，具体为对增加高斯噪声、对比度增强、随机镜像、随机翻转、随机裁剪、随机旋转进行随机组合，并根据组合结果进行图像增强；
图像增强后，得到的图像数据包括4类，分别为有标签原始图像及对应的标签、有标签增强图像、无标签原始图像和无标签增强图像。
所述的步骤S4，具体包括如下步骤：
构建的OCTA血管分割原始模型包括共享编码器、第一解码器和第二解码器；
基于卷积层、批量归一化层、激活函数和池化层构建共享编码器；共享编码器用于提取输入的图像中的高级特征，并对数据进行降维处理；
第一解码器包括了上采样模块和推理模块；基于反卷积层、卷积层、批量归一化层和激活函数构建上采样模块，并基于卷积层构建推理模块；
第二解码器包括了上采样模块和推理模块；基于反卷积层、卷积层、批量归一化层和激活函数构建上采样模块，并基于卷积层构建推理模块；
第一解码器和第二解码器均用于对共享编码器输出的高级特征进行逐步还原，并还原后的数据进行像素级推理，得到目标分割预测结果。
所述的步骤S4，具体包括如下内容：
构建的OCTA血管分割原始模型包括共享编码器、第一解码器和第二解码器；
共享编码器包括5个卷积模块和4个池化层，5个卷积模块依次串接，且相邻卷积模块之间串接池化层；第1个卷积模块包括一个的卷积层、批量归一化层和ReLU激活函数；剩余的4个卷积模块，每个卷积模块均包括2个基础模块，每个基础模块包括1个/>的卷积层、批量归一化层和ReLU激活函数；所述的池化层为/>的池化层；
第一解码器包括4个上采样模块和1个推理模块；每个上采样模块均包括1个的反卷积层和两个基础模块；每个基础模块均包括1个/>的卷积层、1个批量归一化层和ReLU激活函数；推理模块包括1个/>的卷积层；
第二解码器包括4个上采样模块和1个推理模块；每个上采样模块均包括1个的反卷积层和两个基础模块；每个基础模块均包括1个/>的卷积层、1个批量归一化层和ReLU激活函数；推理模块包括1个/>的卷积层；
针对第一解码器，第一解码器的第ii个上采样模块的输出特征与共享编码器第ii个卷积模块的输出特征级联后，作为第一解码器的第ii+1个上采样模块的输入特征；
针对第二解码器，第二解码器的第jj个上采样模块的输出特征与共享编码器第jj个卷积模块的输出特征级联后，作为第一解码器的第jj+1个上采样模块的输入特征。
所述的步骤S5，具体包括如下步骤：
采用步骤S3得到的增强后的数据图像，对步骤S4构建的OCTA血管分割原始模型进行训练；
训练时：
若输入的数据图像为有标签增强图像，则计算对应的有监督的分割损失和有标签增强图像骨架变换一致性损失；
若输入的数据图像为无标签原始图像，则同时输入无标签原始图像所对应的无标签增强图像，并计算对应的无监督的数据扰动一致性损失和骨架变换一致性损失；
若输入的数据图像为有标签原始图像及对应的标签，或者输入的数据图像为无标签增强图像，则经过自支持模块处理并计算对应的无监督自支持损失；
最后，根据计算得到的各类损失，采用加权求和的方式构建总损失函数，并通过梯度下降算法进行反向传播，对模型的参数进行更新。
所述的步骤S5，具体包括如下内容：
A. 采用步骤S3得到的增强后的数据图像，对步骤S4构建的OCTA血管分割原始模型进行训练；
B. 训练时：
B-1. 若输入的数据图像为有标签增强图像，则计算对应的有监督的分割损失和有标签增强图像骨架变换一致性损失；具体包括如下步骤：
将有标签增强图像输入模型，得到第一解码器的分割结果和第二解码器的分割结果；
采用如下算式计算得到有监督的分割损失：式中/>为输入的有标签增强图像的数量；/>为第i1张有标签原始图像；/>表示对/>进行数据增强的操作函数；/> 为与/>对应的人工标签；/>为共享编码器的处理函数；/>为第一解码器的处理函数；/>为Dice损失函数；/>为第二解码器的处理函数；
采用如下算式计算得到有监督的骨架变换一致性损失：式中/>为第一中间变量且，/>为中心线骨架提取算法的处理函数，为第一解码器分割预测的中心线骨架图；/>为第二中间变量且，/>表示/>的中心线骨架图；/>为第三中间变量且/>，/>表示第二解码器分割预测的中心线骨架图；
B-2. 若输入的数据图像为无标签原始图像，则同时输入无标签原始图像所对应的无标签增强图像，并计算对应的无监督的数据扰动一致性损失和骨架变换一致性损失；具体包括如下步骤：
将无标签原始图像输入模型，获取第一解码器的分割结果；将输入的无标签原始图像所对应的无标签增强图像输入到模型，获取第二解码器的分割结果；采用步骤S3所述的数据增强操作对第一解码器的分割结果进行转换，并记为伪标签；
采用如下算式计算得到无监督的数据扰动一致性损失：式中/>为输入的无标签原始图像的数量；/>为输入的第j1张无标签原始图像；/>为对/>进行数据增强的操作函数；/>为第一解码器对无标签原始图像的分割预测经数据增强处理函数后获得的伪标签；/>为第二解码器的分割预测结果；
采用如下算式计算得到无监督的骨架变换一致性损失：式中为第二解码器分割预测的中心线骨架图；为伪标签的中心线骨架图；
B-3. 若输入的数据图像为有标签原始图像及对应的标签，或者输入的数据图像为无标签增强图像，则经过自支持模块处理并计算对应的无监督自支持损失；具体包括如下步骤：
将有标签原始图像或无标签增强图像经共享编码器处理得到特征图；将得到的特征图、有标签原始图像所对应的标签通过自支持模块处理，获取有标签原始图像的前景原型和背景原型、无标签增强图像的全局前景原型和局部前景原型、无标签增强图像的全局背景原型和局部背景原型；
采用如下算式计算得到最终的前景原型：式中/>、/>和/>为待学习的权重值；/>为有标签原始图像的前景原型；/>为无标签增强图像的全局前景原型；/>为无标签增强图像的局部前景原型；
采用如下算式计算得到最终的背景原型：式中/>、/>和/>为待学习的权重值；/>为有标签原始图像的背景原型；/>为无标签增强图像的全局背景原型；/>为无标签增强图像的局部背景原型；
根据得到的前景原型和背景原型/>，对输入的无标签增强图像的特征图进行预测，通过插值法还原得到原始图像尺寸，并获取自支持模块的分割预测结果；
根据步骤B-2获取的伪标签，采用如下算式，计算得到自支持模块分割预测结果与伪标签之间的无监督自支持损失：式中/>为无标签增强图像的数量；/>为输入的第j2张无标签增强图像；/>为经数据增强处理后得到的无标签增强图像；/>为自支持模块的处理函数；/>表示自支持模块的分割预测结果；/>表示第一解码器的分割预测结果；
C. 根据计算得到的各类损失，采用加权求和的方式构建总损失函数，并通过梯度下降算法进行反向传播，对模型的参数进行更新；采用如下算式构建总损失函数L：式中c为计算得到的系数。
本发明还提供了一种包括了所述基于少样本学习的OCTA血管分割方法的成像方法，具体包括如下步骤：
（1）获取目标OCTA图像；
（2）采用所述的基于少样本学习的OCTA血管分割方法，对步骤（1）获取的目标OCTA图像进行血管分割，得到血管分割结果；
（3）将步骤（2）得到的血管分割结果，在目标OCTA图像上进行二次成像和标注，得到包含OCTA血管分割结果的OCTA图像，完成目标OCTA图像的成像。
本发明提供的这种基于少样本学习的OCTA血管分割方法及成像方法，采用构建的OCTA血管分割模型进行像素级分割预测，并基于不同的输入图像构建不同的损失函数对模型进行训练，从而完成基于少样本学习的OCTA血管分割；因此本发明能够在少样本的情况下完成OCTA图像的血管分割，而且可靠性更高，精确性更好，效率更高。
附图说明
图1为本发明分割方法的方法流程示意图。
图2为本发明分割方法在第一个数据集上与现有技术的分割结果对比示意图。
图3为本发明分割方法在第二个数据集上与现有技术的分割结果对比示意图。
图4为本发明成像方法的方法流程示意图。
具体实施方式
如图1所示为本发明分割方法的方法流程示意图：本发明公开的这种基于少样本学习的OCTA血管分割方法，包括如下步骤：
S1. 获取现有的OCTA血管图像；对其中的若干图像进行人工血管标注，并对剩余图像不进行标注，从而得到有标签数据图像和无标签数据图像；具体包括如下步骤：
获取现有的OCTA血管图像；
在获取的图像中，对若干图像（少部分图像即可）进行人工血管标注，得到有标签数据图像，其中/>为第i张有标签数据图像，/>为第i张有标签数据图像所对应的标签，N为有标签数据图像的总数；
同时，对剩余的图像不进行标注，得到无标签数据图像，其中为第j张无标签数据图像，M为无标签数据图像的总数，且/>；
S2. 随机抽取步骤S1获取的图像；随机抽取的图像必须同时包括有标签数据图像和无标签数据图像；
S3. 对步骤S2获取的图像进行数据增强，从而得到增强后的数据图像；具体包括如下步骤：
对步骤S2获取的图像，进行图像数据的组合增强；所述的组合增强，具体为对增加高斯噪声、对比度增强、随机镜像、随机翻转、随机裁剪、随机旋转进行随机组合，并根据组合结果进行图像增强；
图像增强后，得到的图像数据包括4类，分别为有标签原始图像及对应的标签、有标签增强图像、无标签原始图像和无标签增强图像；
具体实施时，对于有标签图像中的每一张图像，若采用的增强策略中包含了镜像、翻转、裁剪、旋转操作，则需要对该图像相应的人工标签进行与该图像相同的数据增强处理，以确保图像和标签之间的一致；若采用的增强策略为对比度增强和高斯噪声，则不对标签进行处理；
每一张输入的原始图像仅生成一张对应的增强图像；
S4. 基于卷积神经网络，构建OCTA血管分割原始模型；所述的OCTA血管分割原始模型包括了一个共享编码器和两个解码器；共享编码器用于提取输入的图像中的高级特征，并对数据进行降维处理；解码器用于对共享编码器输出的高级特征进行逐步还原，并还原后的数据进行像素级推理，得到目标分割预测结果；具体包括如下步骤：
构建的OCTA血管分割原始模型包括共享编码器、第一解码器和第二解码器；
基于卷积层、批量归一化层、激活函数和池化层构建共享编码器；共享编码器用于提取输入的图像中的高级特征，并对数据进行降维处理；
第一解码器包括了上采样模块和推理模块；基于反卷积层、卷积层、批量归一化层和激活函数构建上采样模块，并基于卷积层构建推理模块；
第二解码器包括了上采样模块和推理模块；基于反卷积层、卷积层、批量归一化层和激活函数构建上采样模块，并基于卷积层构建推理模块；
第一解码器和第二解码器均用于对共享编码器输出的高级特征进行逐步还原，并还原后的数据进行像素级推理，得到目标分割预测结果；
具体实施时，包括如下内容：
构建的OCTA血管分割原始模型包括共享编码器、第一解码器和第二解码器；
共享编码器包括5个卷积模块和4个池化层，5个卷积模块依次串接，且相邻卷积模块之间串接池化层；第1个卷积模块包括一个的卷积层、批量归一化层和ReLU激活函数；剩余的4个卷积模块，每个卷积模块均包括2个基础模块，每个基础模块包括1个/>的卷积层、批量归一化层和ReLU激活函数；所述的池化层为/>的池化层；
第一解码器包括4个上采样模块和1个推理模块；每个上采样模块均包括1个的反卷积层和两个基础模块；每个基础模块均包括1个/>的卷积层、1个批量归一化层和ReLU激活函数；推理模块包括1个/>的卷积层；
第二解码器包括4个上采样模块和1个推理模块；每个上采样模块均包括1个的反卷积层和两个基础模块；每个基础模块均包括1个/>的卷积层、1个批量归一化层和ReLU激活函数；推理模块包括1个/>的卷积层；
针对第一解码器，第一解码器的第ii个上采样模块的输出特征与共享编码器第ii个卷积模块的输出特征级联后，作为第一解码器的第ii+1个上采样模块的输入特征；
针对第二解码器，第二解码器的第jj个上采样模块的输出特征与共享编码器第jj个卷积模块的输出特征级联后，作为第一解码器的第jj+1个上采样模块的输入特征；
比如，以第一解码器为例进行说明：若输入的特征是共享编码器的第一个卷积模块的输出和第一解码器的第一个上采样模块的输出所级联后的特征，则将该特征输入到第一解码器的第二个上采样模块，作为第一解码器的第二个上采样模块的输入；若输入的特征是共享编码器的第二个卷积模块的输出和第一解码器的第二个上采样模块的输出所级联后的特征，则将该特征输入到第一解码器的第三个上采样模块，作为第一解码器的第三个上采样模块的输入；并依次类推；同时，第二解码器中的处理流程和第一解码器中的处理流程相同；
在模型正常工作时，仅采用第一解码器的分割结果作为模型的最终输出；
S5. 采用步骤S3得到的增强后的数据图像，对步骤S4构建的OCTA血管分割原始模型进行训练，得到OCTA血管分割模型；训练时，针对输入的不同类型的数据图像，分别计算对应的有监督的分割损失、无监督的数据扰动一致性损失、骨架变换一致性损失或无监督自支持损失，构成总损失函数，并采用总损失函数进行模型的训练；具体包括如下步骤：
采用步骤S3得到的增强后的数据图像，对步骤S4构建的OCTA血管分割原始模型进行训练；
训练时：
若输入的数据图像为有标签增强图像，则计算对应的有监督的分割损失和有标签增强图像骨架变换一致性损失；
若输入的数据图像为无标签原始图像，则同时输入无标签原始图像所对应的无标签增强图像，并计算对应的无监督的数据扰动一致性损失和骨架变换一致性损失；
若输入的数据图像为有标签原始图像及对应的标签，或者输入的数据图像为无标签增强图像，则经过自支持模块处理并计算对应的无监督自支持损失；
最后，根据计算得到的各类损失，采用加权求和的方式构建总损失函数，并通过梯度下降算法进行反向传播，对模型的参数进行更新；
具体实施时，包括如下内容：
A. 采用步骤S3得到的增强后的数据图像，对步骤S4构建的OCTA血管分割原始模型进行训练；
B. 训练时：
B-1. 若输入的数据图像为有标签增强图像，则计算对应的有监督的分割损失和有标签增强图像骨架变换一致性损失；具体包括如下步骤：
将有标签增强图像输入模型，得到第一解码器的分割结果和第二解码器的分割结果；
采用如下算式计算得到有监督的分割损失：式中/>为输入的有标签增强图像的数量；/>为第i1张有标签原始图像；/>表示对/>进行数据增强的操作函数；/> 为与/>对应的人工标签；/>为共享编码器的处理函数；/>为第一解码器的处理函数；/>为Dice损失函数；/>为第二解码器的处理函数；
采用如下算式计算得到有监督的骨架变换一致性损失：式中/>为第一中间变量且，/>为中心线骨架提取算法的处理函数，为第一解码器分割预测的中心线骨架图；/>为第二中间变量且，/>表示/>的中心线骨架图；/>为第三中间变量且/>，/>表示第二解码器分割预测的中心线骨架图；
B-2. 若输入的数据图像为无标签原始图像，则同时输入无标签原始图像所对应的无标签增强图像，并计算对应的无监督的数据扰动一致性损失和骨架变换一致性损失；具体包括如下步骤：
将无标签原始图像输入模型，获取第一解码器的分割结果；将输入的无标签原始图像所对应的无标签增强图像输入到模型，获取第二解码器的分割结果；采用步骤S3所述的数据增强操作对第一解码器的分割结果进行转换，并记为伪标签；
采用如下算式计算得到无监督的数据扰动一致性损失：式中/>为输入的无标签原始图像的数量；/>为输入的第j1张无标签原始图像；/>为对/>进行数据增强的操作函数；/>为第一解码器对无标签原始图像的分割预测经数据增强处理函数后获得的伪标签；/>为第二解码器的分割预测结果；
采用如下算式计算得到无监督的骨架变换一致性损失：式中为第二解码器分割预测的中心线骨架图；为伪标签的中心线骨架图；
B-3. 若输入的数据图像为有标签原始图像及对应的标签，或者输入的数据图像为无标签增强图像，则经过自支持模块处理并计算对应的无监督自支持损失；具体包括如下步骤：
将有标签原始图像或无标签增强图像经共享编码器处理得到特征图；将得到的特征图、有标签原始图像所对应的标签通过自支持模块处理，获取有标签原始图像的前景原型和背景原型、无标签增强图像的全局前景原型和局部前景原型、无标签增强图像的全局背景原型和局部背景原型；
具体实施时，对于有标签原始图像，结合有标签原始图像对应的人工标签，确定前景像素特征，计算前景像素特征的均值，获得单张有标签原始图像的前景原型，再对所有输入的有标签原始图像求均值，即可获得有标签原始图像的前景原型；同理，可以获得有标签原始图像的背景原型，对于无标签增强图像，利用前述获得的有标签原始图像前景原型，与无标签增强图像的特征图计算余弦相似度，取余弦相似度最高的前若干个特征，计算均值，获得无标签增强图像的全局前景原型，计算无标签增强特征图中各个位置与这些特征的余弦相似度，组成权重矩阵，再与这些特征相乘，获得无标签增强图像的局部前景原型；同理，可以获得无标签增强图像的全局背景原型和局部背景原型；
采用如下算式计算得到最终的前景原型：式中/>、/>和/>为待学习的权重值；/>为有标签原始图像的前景原型；/>为无标签增强图像的全局前景原型；/>为无标签增强图像的局部前景原型；
采用如下算式计算得到最终的背景原型：式中/>、/>和/>为待学习的权重值；/>为有标签原始图像的背景原型；/>为无标签增强图像的全局背景原型；/>为无标签增强图像的局部背景原型；
根据得到的前景原型和背景原型/>，对输入的无标签增强图像的特征图进行预测，通过插值法还原得到原始图像尺寸，并获取自支持模块的分割预测结果；
根据步骤B-2获取的伪标签，采用如下算式，计算得到自支持模块分割预测结果与伪标签之间的无监督自支持损失：式中/>为无标签增强图像的数量；/>为输入的第j2张无标签增强图像；/>为经数据增强处理后得到的无标签增强图像；/>为自支持模块的处理函数；/>表示自支持模块的分割预测结果；/>表示第一解码器的分割预测结果；
具体实施时，自支持模块为参考Fan、Pei等人于2022年发表的文章《Self-supportFew-Shot Semantic Segmentation》中提出的自支持模块；
本申请提出的骨架变换一致性（对应于本申请步骤S5中B-1部分所述的有监督骨架变换一致性损失，以及步骤S5中B-2部分所述的无监督的骨架变换一致性损失/>）方案，旨在加大对分割结果中出现的拓扑错误（即血管中断、血管缺失等）的惩罚；骨架变换一致性的计算，首先需要将第一解码器和第二解码器输出的分割预测图像，通过一个中心线骨架提取函数处理，将上述的分割预测图像中血管的宽度全部收缩，得到对应的中心线骨架图，这一骨架图体现的就是整张血管分割图像的拓扑结构，反映血管的连通性，于是可以在骨架图上建立一致性关系；这一做法的好处是放大了分割结果中出现的拓扑错误对于损失计算的影响，在骨架图中，整张图像中包含的血管像素的数量被极大缩小；这时，血管中断、血管丢失等拓扑错误在损失计算过程中会带来更加剧烈的影响，直接造成人工智能模型对这一类错误更加敏感，从而在训练过程中更加关注血管的整体连通性；骨架变换一致性的引入切实地为模型提供了更加多样的监督信息：数据扰动一致性（对应于本申请步骤S5中B-2部分所述的无监督的数据扰动一致性损失/>）反映了图像整体在像素级分类上的正确性，而骨架变换一致性则体现了拓扑结构上的相似性，它们提供了两种完全不同的监督信息，分别促进了血管分割的精确性和分割结果的整体连通性；
C. 根据计算得到的各类损失，采用加权求和的方式构建总损失函数，并通过梯度下降算法进行反向传播，对模型的参数进行更新；采用如下算式构建总损失函数L：式中c为计算得到的系数，其为一渐增的ramp-up系数，由consistency weight公式计算得到，其值随着训练过程的迭代而不断增大，逐步提高无监督训练对模型参数更新的影响程度；
S6. 采用步骤S5得到的OCTA血管分割模型，进行实际的OCTA图像的血管分割。
本发明的分割方法，将原始图像输入单共享编码器双解码器网络中执行像素级分割预测，结合少样本学习和双一致性训练，获得了更加精确、整体连通性更强的分割结果；本发明分割方法在OCTA血管分割任务中引入了少样本学习，有效地提取了OCTA图像中潜在的前景信息和背景信息，并指导网络基于原型匹配生成分割结果，为模型的训练过程提供了更多视角和更有效的特征信息；本发明分割方法利用OCTA图像中视网膜血管丛固有的骨架变换性质，额外提出了骨架变换一致性，并结合数据扰动一致性建立了双一致性训练过程，为模型提供了更加强大有力的监督信息，并使模型在训练过程中更加关注分割结果的整体连通性，获得了更加精确、整体连通性更强的OCTA血管分割结果。
以下结合一个实施例，对本发明分割方法进行进一步说明：
将本发明的分割方法，与现有技术（包括全监督方法、2017年提出的半监督方法、2019年提出的半监督方法、2020年提出的半监督方法）进行对比。对比时，分别在两个公开数据集上进行实验，其中，ROSE-1数据集包含训练集30张、测试集9张；OCTA500数据集包含500个不同样本的图像数据及对应的人工标注，从中随机选取训练集60张、测试集20张。实验时，全监督方法采用全部的有标签图像进行训练，半监督方法采用3.3%的有标签图像进行训练，以分割结果的准确率、Dice系数和假阳性率作为评价标准。所有实验结果均在测试集上取得。
具体的对比数据如表1和表2所示：
表1 ROSE-1数据集的分割结果对比数据示意表
表2 OCTA500数据集的分割结果对比数据示意表
通过表1和表2中的实验结果可以看出，本发明提出的分割方法在两个不同数据集上均取得了最优结果，优于全监督方法和其他半监督方法，证明了本发明提出的分割方法的优越性和可行性，可以在减轻对人工标注依赖的同时取得媲美全监督方法的分割性能，达成了本发明的目的。
图2和图3分别展示了本发明分割方法与现有的半监督方法的实验结果对比示意图：从图中可以看出，本发明提出的分割方法总体上取得了更好的分割结果，分割结果图总体更加清晰，离散的假阳性点数量更少，且具备更好的整体连通性；图2和图3页再次印证了本发明分割方法的可行性和优越性。
如图4所示为本发明成像方法的方法流程示意图：本发明公开的这种包括了所述基于少样本学习的OCTA血管分割方法的成像方法，具体包括如下步骤：
（1）获取目标OCTA图像；
（2）采用所述的基于少样本学习的OCTA血管分割方法，对步骤（1）获取的目标OCTA图像进行血管分割，得到血管分割结果；
（3）将步骤（2）得到的血管分割结果，在目标OCTA图像上进行二次成像和标注，得到包含OCTA血管分割结果的OCTA图像，完成目标OCTA图像的成像。
本发明提供的这种成像方法，可以适用于现有的OCTA图像获取设备；具体应用时，将本发明提供的成像方法应用到设备上；运行时，设备先按照正常工作方式获取实际的OCTA图像，然后根据获取的OCTA图像，采用本发明提供的、已经应用到设备上的成像方法在获取的OCTA图像上进行二次成像，从而得到对血管已经进行了突出标记（比如采用不同的颜色进行标记等）的OCTA图像；然后，设备再同时输出原始的OCTA图像以及带有血管分割和标记结果的OCTA图像，从而极大的方便了工作人员和被检测人员。
Claims (7)
1.一种基于少样本学习的OCTA血管分割方法，其特征在于包括如下步骤：
S1. 获取现有的OCTA血管图像；对其中的若干图像进行人工血管标注，并对剩余图像不进行标注，从而得到有标签数据图像和无标签数据图像；
S2. 随机抽取步骤S1获取的图像；随机抽取的图像必须同时包括有标签数据图像和无标签数据图像；
S3. 对步骤S2获取的图像进行数据增强，从而得到增强后的数据图像；
S4. 基于卷积神经网络，构建OCTA血管分割原始模型；所述的OCTA血管分割原始模型包括了一个共享编码器和两个解码器；共享编码器用于提取输入的图像中的高级特征，并对数据进行降维处理；解码器用于对共享编码器输出的高级特征进行逐步还原，并将还原后的数据进行像素级推理，得到目标分割预测结果；
S5. 采用步骤S3得到的增强后的数据图像，对步骤S4构建的OCTA血管分割原始模型进行训练，得到OCTA血管分割模型；训练时，针对输入的不同类型的数据图像，分别计算对应的有监督的分割损失、无监督的数据扰动一致性损失、骨架变换一致性损失或无监督自支持损失，构成总损失函数，并采用总损失函数进行模型的训练；具体包括如下步骤：
采用步骤S3得到的增强后的数据图像，对步骤S4构建的OCTA血管分割原始模型进行训练；
训练时：
若输入的数据图像为有标签增强图像，则计算对应的有监督的分割损失和有标签增强图像骨架变换一致性损失；
若输入的数据图像为无标签原始图像，则同时输入无标签原始图像所对应的无标签增强图像，并计算对应的无监督的数据扰动一致性损失和骨架变换一致性损失；
若输入的数据图像为有标签原始图像及对应的标签和无标签增强图像，则经过自支持模块处理并计算对应的无监督自支持损失；
最后，根据计算得到的各类损失，采用加权求和的方式构建总损失函数，并通过梯度下降算法进行反向传播，对模型的参数进行更新；
S6. 采用步骤S5得到的OCTA血管分割模型，进行实际的OCTA图像的血管分割。
2.根据权利要求1所述的基于少样本学习的OCTA血管分割方法，其特征在于所述的步骤S1，具体包括如下步骤：
获取现有的OCTA血管图像；
在获取的图像中，对若干图像进行人工血管标注，得到有标签数据图像，其中/>为第i张有标签数据图像，/>为第i张有标签数据图像所对应的标签，N为有标签数据图像的总数；
同时，对剩余的图像不进行标注，得到无标签数据图像，其中/>为第j张无标签数据图像，M为无标签数据图像的总数，且/>。
3.根据权利要求2所述的基于少样本学习的OCTA血管分割方法，其特征在于所述的步骤S3，具体包括如下步骤：
对步骤S2获取的图像，进行图像数据的组合增强；所述的组合增强具体为对增加高斯噪声、对比度增强、随机镜像、随机翻转、随机裁剪、随机旋转进行随机组合，并根据组合结果进行图像增强；
图像增强后，得到的图像数据包括4类，分别为有标签原始图像及对应的标签、有标签增强图像、无标签原始图像和无标签增强图像。
4.根据权利要求3所述的基于少样本学习的OCTA血管分割方法，其特征在于所述的步骤S4，具体包括如下步骤：
构建的OCTA血管分割原始模型包括共享编码器、第一解码器和第二解码器；
基于卷积层、批量归一化层、激活函数和池化层构建共享编码器；共享编码器用于提取输入的图像中的高级特征，并对数据进行降维处理；
第一解码器包括了上采样模块和推理模块；基于反卷积层、卷积层、批量归一化层和激活函数构建上采样模块，并基于卷积层构建推理模块；
第二解码器包括了上采样模块和推理模块；基于反卷积层、卷积层、批量归一化层和激活函数构建上采样模块，并基于卷积层构建推理模块；
第一解码器和第二解码器均用于对共享编码器输出的高级特征进行逐步还原，并还原后的数据进行像素级推理，得到目标分割预测结果。
5.根据权利要求4所述的基于少样本学习的OCTA血管分割方法，其特征在于所述的步骤S4，具体包括如下内容：
构建的OCTA血管分割原始模型包括共享编码器、第一解码器和第二解码器；
共享编码器包括5个卷积模块和4个池化层，5个卷积模块依次串接，且相邻卷积模块之间串接池化层；第1个卷积模块包括一个3×3的卷积层、批量归一化层和ReLU激活函数；剩余的4个卷积模块，每个卷积模块均包括2个基础模块，每个基础模块包括1个的卷积层、批量归一化层和ReLU激活函数；所述的池化层为/>的池化层；
第一解码器包括4个上采样模块和1个推理模块；每个上采样模块均包括1个的反卷积层和两个基础模块；每个基础模块均包括1个/>的卷积层、1个批量归一化层和ReLU激活函数；推理模块包括1个/>的卷积层；
第二解码器包括4个上采样模块和1个推理模块；每个上采样模块均包括1个的反卷积层和两个基础模块；每个基础模块均包括1个/>的卷积层、1个批量归一化层和ReLU激活函数；推理模块包括1个/>的卷积层；
针对第一解码器，第一解码器的第ii个上采样模块的输出特征与共享编码器第ii个卷积模块的输出特征级联后，作为第一解码器的第ii+1个上采样模块的输入特征；
针对第二解码器，第二解码器的第jj个上采样模块的输出特征与共享编码器第jj个卷积模块的输出特征级联后，作为第二解码器的第jj+1个上采样模块的输入特征。
6.根据权利要求5所述的基于少样本学习的OCTA血管分割方法，其特征在于所述的步骤S5，具体包括如下内容：
A. 采用步骤S3得到的增强后的数据图像，对步骤S4构建的OCTA血管分割原始模型进行训练；
B. 训练时：
B-1. 若输入的数据图像为有标签增强图像，则计算对应的有监督的分割损失和有标签增强图像骨架变换一致性损失；具体包括如下步骤：
将有标签增强图像输入模型，得到第一解码器的分割结果和第二解码器的分割结果；
采用如下算式计算得到有监督的分割损失：
式中为输入的有标签增强图像的数量；/>为第i1张有标签原始图像；/>表示对/>进行数据增强的操作函数；/> 为与/>对应的人工标签；/>为共享编码器的处理函数；/>为第一解码器的处理函数；/>为Dice损失函数；/>为第二解码器的处理函数；
采用如下算式计算得到有监督的骨架变换一致性损失：式中/>为第一中间变量且，/>为中心线骨架提取算法的处理函数，为第一解码器分割预测的中心线骨架图；/>为第二中间变量且，/>表示/>的中心线骨架图；/>为第三中间变量且/>，/>表示第二解码器分割预测的中心线骨架图；
B-2. 若输入的数据图像为无标签原始图像，则同时输入无标签原始图像所对应的无标签增强图像，并计算对应的无监督的数据扰动一致性损失和骨架变换一致性损失；具体包括如下步骤：
将无标签原始图像输入模型，获取第一解码器的分割结果；将输入的无标签原始图像所对应的无标签增强图像输入到模型，获取第二解码器的分割结果；采用步骤S3的数据增强操作对第一解码器的分割结果进行转换，并记为伪标签；
采用如下算式计算得到无监督的数据扰动一致性损失：式中/>为输入的无标签原始图像的数量；/>为输入的第j1张无标签原始图像；/>为对/>进行数据增强的操作函数；/>为第一解码器对无标签原始图像的分割预测经数据增强处理函数后获得的伪标签；/>为第二解码器的分割预测结果；
采用如下算式计算得到无监督的骨架变换一致性损失：式中为第二解码器分割预测的中心线骨架图；为伪标签的中心线骨架图；
B-3. 若输入的数据图像为有标签原始图像及对应的标签和无标签增强图像，则经过自支持模块处理并计算对应的无监督自支持损失；具体包括如下步骤：
将有标签原始图像和无标签增强图像经共享编码器处理得到特征图；将得到的特征图、有标签原始图像所对应的标签通过自支持模块处理，获取有标签原始图像的前景原型和背景原型、无标签增强图像的全局前景原型和局部前景原型、无标签增强图像的全局背景原型和局部背景原型；
采用如下算式计算得到最终的前景原型：式中/>、/>和/>为待学习的权重值；/>为有标签原始图像的前景原型；/>为无标签增强图像的全局前景原型；/>为无标签增强图像的局部前景原型；
采用如下算式计算得到最终的背景原型：式中/>、/>和/>为待学习的权重值；/>为有标签原始图像的背景原型；/>为无标签增强图像的全局背景原型；/>为无标签增强图像的局部背景原型；
根据得到的前景原型和背景原型/>，对输入的无标签增强图像的特征图进行预测，通过插值法还原得到原始图像尺寸，并获取自支持模块的分割预测结果；
根据步骤B-2获取的伪标签，采用如下算式，计算得到自支持模块分割预测结果与伪标签之间的无监督自支持损失：式中/>为无标签增强图像的数量；/>为输入的第j2张无标签增强图像；/>为经数据增强处理后得到的无标签增强图像；/>为自支持模块的处理函数；/>表示自支持模块的分割预测结果；/>为步骤B-2获取的伪标签；
C. 根据计算得到的各类损失，采用加权求和的方式构建总损失函数，并通过梯度下降算法进行反向传播，对模型的参数进行更新；采用如下算式构建总损失函数L：式中c为计算得到的系数。
7.一种包括了权利要求1~6之一所述的基于少样本学习的OCTA血管分割方法的成像方法，其特征在于具体包括如下步骤：
（1）获取目标OCTA图像；
（2）采用权利要求1~6之一所述的基于少样本学习的OCTA血管分割方法，对步骤（1）获取的目标OCTA图像进行血管分割，得到血管分割结果；
（3）将步骤（2）得到的血管分割结果，在目标OCTA图像上进行二次成像和标注，得到包含OCTA血管分割结果的OCTA图像，完成目标OCTA图像的成像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310919310.2A CN116664602B (zh) | 2023-07-26 | 2023-07-26 | 基于少样本学习的octa血管分割方法及成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310919310.2A CN116664602B (zh) | 2023-07-26 | 2023-07-26 | 基于少样本学习的octa血管分割方法及成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116664602A CN116664602A (zh) | 2023-08-29 |
| CN116664602B true CN116664602B (zh) | 2023-11-03 |
Family
ID=87717357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310919310.2A Active CN116664602B (zh) | 2023-07-26 | 2023-07-26 | 基于少样本学习的octa血管分割方法及成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664602B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611599B (zh) * | 2023-12-28 | 2024-05-31 | 齐鲁工业大学(山东省科学院) | 融合中心线图和增强对比度网络的血管分割方法及其*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6115505A (en) * | 1997-09-05 | 2000-09-05 | Technology Research Association Of Medical And Welfare Apparatus | Area detection apparatus |
| EP2172100A2 (en) * | 2007-06-21 | 2010-04-07 | Venture One (Ip) Limited | Collector device |
| CN109255469A (zh) * | 2018-08-07 | 2019-01-22 | 河海大学 | 融合栈式自编码器和支持向量回归的洪水预测方法 |
| WO2022041307A1 (zh) * | 2020-08-31 | 2022-03-03 | 温州医科大学 | 一种构建半监督图像分割框架的方法及*** |
| CN114881968A (zh) * | 2022-05-07 | 2022-08-09 | 中南大学 | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 |
| CN115294086A (zh) * | 2022-08-17 | 2022-11-04 | 上海交通大学 | 医学影像分割方法、分割模型训练方法、介质及电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10467756B2 (en) * | 2017-05-14 | 2019-11-05 | International Business Machines Corporation | Systems and methods for determining a camera pose of an image |
| CN112183577A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种半监督学习模型的训练方法、图像处理方法及设备 |
| US11816188B2 (en) * | 2020-08-31 | 2023-11-14 | Sap Se | Weakly supervised one-shot image segmentation |
| US11861918B2 (en) * | 2021-01-13 | 2024-01-02 | Dell Products L.P. | Image analysis for problem resolution |
-
2023
- 2023-07-26 CN CN202310919310.2A patent/CN116664602B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6115505A (en) * | 1997-09-05 | 2000-09-05 | Technology Research Association Of Medical And Welfare Apparatus | Area detection apparatus |
| EP2172100A2 (en) * | 2007-06-21 | 2010-04-07 | Venture One (Ip) Limited | Collector device |
| CN109255469A (zh) * | 2018-08-07 | 2019-01-22 | 河海大学 | 融合栈式自编码器和支持向量回归的洪水预测方法 |
| WO2022041307A1 (zh) * | 2020-08-31 | 2022-03-03 | 温州医科大学 | 一种构建半监督图像分割框架的方法及*** |
| CN114881968A (zh) * | 2022-05-07 | 2022-08-09 | 中南大学 | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 |
| CN115294086A (zh) * | 2022-08-17 | 2022-11-04 | 上海交通大学 | 医学影像分割方法、分割模型训练方法、介质及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| A refined equilibrium generative adversarial network for retinal vessel segmentation;Yukun Zhou 等;《ELSEVIER》;全文 * |
| Self-Guided and Cross-Guided Learning for Few-Shot Segmentation;Bingfeng Zhang 等;《CVPR2021》;全文 * |
| 小样本图像语义分割综述;陈琼 等;《数据与计算发展前沿》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116664602A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Object detection based on RGC mask R‐CNN | |
| CN113947609B (zh) | 深度学习网络结构及多标签主动脉夹层ct图像分割方法 | |
| WO2023077816A1 (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| Zhou et al. | Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method | |
| CN107506761B (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及*** | |
| CN109949276B (zh) | 一种于改进SegNet分割网络的***检测方法 | |
| JP6395158B2 (ja) | シーンの取得画像を意味的にラベル付けする方法 | |
| Kwasigroch et al. | Neural architecture search for skin lesion classification | |
| CN109559300A (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| CN107154043A (zh) | 一种基于3dcnn的肺结节假阳性样本抑制方法 | |
| CN113205538A (zh) | 基于CRDNet的血管图像分割方法及装置 | |
| CN110533683B (zh) | 一种融合传统特征与深度特征的影像组学分析方法 | |
| CN112734748B (zh) | 一种肝胆管及胆道结石的图像分割*** | |
| CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN113468996B (zh) | 一种基于边缘细化的伪装物体检测方法 | |
| Huang et al. | Medical image segmentation using deep learning with feature enhancement | |
| CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割*** | |
| CN116664602B (zh) | 基于少样本学习的octa血管分割方法及成像方法 | |
| CN113554665A (zh) | 一种血管分割方法及装置 | |
| CN114581662A (zh) | 一种脑肿瘤图像的分割方法、***、装置及存储介质 | |
| CN114782311B (zh) | 一种基于CenterNet改进的多尺度缺陷目标检测方法及*** | |
| WO2022127500A1 (zh) | 基于多个神经网络的mri图像分割方法、装置及设备 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN112001928A (zh) | 一种视网膜血管分割方法及*** | |
| Ninh et al. | Skin lesion segmentation based on modification of SegNet neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |