CN116309651A - 一种基于单图深度学习的内窥镜图像分割方法 - Google Patents

Abstract

本发明属于图像分割领域，涉及医学图像分析技术，具体提供一种基于单图深度学习的内窥镜图像分割方法，用以实现单张病例情况下的实时精准分割，为临床医学中基于内窥镜图像的治疗方案制定提供支撑。本发明首先提出一种基于单张图像的训练集生成方法，用以自动生成训练集，并在该方法基础上提出轻量化深度学习网络EUnet，用以对生成训练集进行特征拟合，实现内窥镜图像分割，得到病灶区域的分割结果。本发明能够大幅提升分割精度，并具有体量小、实时性高、易运算等优点；特别是在处理胃癌、食管癌等罕见病例的内窥镜图像时，有着显著的精度优势与速度优势，具备临床应用价值。

Description

一种基于单图深度学习的内窥镜图像分割方法

技术领域

本发明属于图像分割领域，涉及医学图像分析技术，具体提供一种基于单图深度学习的内窥镜图像分割方法，用以实现单张病例情况下的实时精准分割，为临床医学中基于内窥镜图像的治疗方案制定提供支撑。

背景技术

胃肠道疾病是人类最常见的疾病之一，也是重要的医疗保健问题之一，准确检测和诊断胃肠道癌病变、早期癌症对于防止胃肠道疾病发展为晚期癌症至关重要；内窥镜作为一种创新的医学影像诊断方式，被广泛应用于胃肠道疾病的检测、跟踪以及治疗过程中，在临床实践中，在医生进一步制定治疗计划之前，准确定位及分割出病灶区域是十分必要的；然而，逐次检查大量内窥镜图像是一个十分耗时的工程，即使是经验丰富的医生也容易因视觉疲劳而导致误诊；因此，一个高效、准确的自动分割方法能够大大减轻诊断人员进行内窥镜图像分析的负担。

近些年来，随着深度学习的快速发展，基于深度学习网络的分割方法实现了内窥镜图像分割，其中，代表性的网络结构主要有基于卷积神经网络（CNN）的分割方法、基于自注意力机制的Transformer网络的分割方法等。基于卷积神经网络（CNN）的分割网络中，U-Net网络及其变体在胃肠道疾病分割应用十分广泛，包括：U-Net、U-Net++、ResUNet和Cascaded U-Net等。进一步的，随着Transformer网络架构的提出，Transformer与U-Net融合的网络开始出现，例如：TransUNet、SwinUNet等，在息肉分割、多器官分割等领域进一步提升了图像分割精度。

尽管基于深度学***；3）模型复杂度高，优异的分割性能通常依赖更深的神经网络实现，然而，愈加复杂的模型需要更高的计算量，导致模型的推理速度大幅降低，同时消耗更多的计算成本。

发明内容

本发明的目的在于提供一种基于单图深度学习的内窥镜图像分割方法，首先提出一种基于单张图像的训练集生成方法（Rendering from Single Lesion Image，RFSLI），用以自动生成训练集，并在该方法基础上提出轻量化深度学习网络EUnet（Edge-EnhancementUNet），用以对生成训练集进行特征拟合，实现内窥镜图像分割，得到病灶区域的分割结果。本发明不仅能够有效解决经典分割算法及深度学习网络在内窥镜图像分析时存在的精度低、泛化性不足的问题，同时能够大幅提升分割精度，并且具有体量小、实时性高、易运算、对设备的计算力要求低等优点；特别是在处理胃癌、食管癌等罕见病例的内窥镜图像时，有着显著的精度优势与速度优势，突破了当前医学图像分割依赖大量同类别高精度标注图像进行训练的限制，具备临床应用价值。

为实现上述目的，本发明采用的技术方案为：

一种基于单图深度学习的内窥镜图像分割方法，包括以下步骤：

步骤1、基于待分割原始图像，采用基于单张图像的训练集生成方法生成训练集，训练集包括：训练图像集合、分割标签集合与边缘标签集合；

步骤2、构建轻量化深度学习网络EUnet，包括：编码器与解码器，解码器包括：分割分支与边缘提取分支；

步骤3、设置复合损失函数，基于训练集对轻量化深度学习网络EUnet进行训练，训练完成后得到内窥镜图像分割模型；

步骤4、将待分割原始图像输入内窥镜图像分割模型，由内窥镜图像分割模型的解码器的分割分支输出分割结果。

进一步的，步骤1中，基于单张图像的训练集生成方法具体为：

步骤1.1、先验获取待分割原始图像的ROI区域，并在ROI区域内进行前景采样，得到N个圆形的采样区域，生成采样数据集；

步骤1.2、基于采样数据集，采用简单图形生成方法生成M个简单图形样本，生成简单图形样本集合；

步骤1.3、在简单图形样本集合中，随机选取J个简单图形样本，并按照随机位置且不重叠的粘贴方式粘贴到待分割原始图像上，得到训练图像；重复K次，得到K张训练图像，构成训练图像集合；同时，将简单图形样本贴放区域作为分割标签前景，简单图形样本贴放区域边缘作为边缘标签前景，ROI区域外的其他区域作为两者背景，分别构成分割标签集合与边缘标签集合。

进一步的，步骤1.1中，前景采样具体为：在ROI区域内提取出N个随机半径的圆形区域作为采样区域；其中，采样区域的半径r满足：

，

其中，H与W为待分割原始图像的长与宽，r_min与r_max为采样区域的半径r的最小值与最大值，

表示向下取整运算。

进一步的，步骤1.2中，简单图形生成方法具体为：

采取随机剪切、旋转的方式对采样数据集中采样区域进行处理，得到M个简单图形样本；其中，简单图形包含圆形与正三角形，简单图形样本的半径

满足：

，

其中，l为步长，r_min与r_max为采样区域的半径r的最小值与最大值。

进一步的，步骤2中，编码器由构建层Layer1~Layer5依次连接构成，输入图像x输入编码器后，构建层Layer1~Layer5分别编码输出y₁~y₅；构建层Layer1由卷积层conv1构成，构建层Layer2由最大池化层与3个残差模块依次连接构成，构建层Layer3由4个残差模块依次连接构成，构建层Layer4由6个残差模块依次连接构成，构建层Layer5由3个残差模块依次连接构成；

解码器的分割分支包括：特征融合模块Up_Block1~Up_Block4、卷积层conv2、卷积层conv3与细节加强模块BE Block，第i个特征融合模块的输入为up_i+1与y_i，up_i+1为第i+1个特征融合模块的输出，y_i为第i个构建层的输出，up₅=y₅，特征融合模块Up_Block1的输出up₁依次经过卷积层conv2与卷积层conv3后生成分割图像输出

；分割图像输出/>

经过细节加强模块BE Block后生成分割预测边缘/>

；

解码器的边缘提取分支包括：边缘检测模块ED Block1~ED Block5与边缘注意力模块EA Block；第i个构建层的输出y_i依次经过第i个边缘检测模块生成中间边缘输出

，中间边缘输出/>

经过边缘注意力模块EA Block后生成边缘输出/>

。

进一步的，残差模块表示为：

，/>

，

其中，Res表示残差模块的输出，x表示输入，conv_3×3表示卷积核大小为3×3的卷积运算；

特征融合模块Up_Block表示为：

，

其中，upsampling表示步长为2的双线性插值运算，[ , ]表示通道维度堆叠运算；

细节加强模块BE Block表示为：

，/>

，

其中，Laplace为拉普拉斯算子，conv_1×1表示卷积核大小为1×1的卷积运算；

边缘检测模块ED Block表示为：

，

其中，deconv_2λ×2λ为卷积核大小为2λ×2λ、步长为λ的反卷积运算；

边缘注意力模块EA Block表示为：

，/>

，

其中，

，⊙表示按像素点乘运算，Sum表示按通道维度求和运算；Attention表示注意力运算，具体为：/>

。

进一步的，步骤3中，复合损失函数为：

，

其中，L为复合损失函数，L_s为分割损失函数，L_e为边缘损失函数，L_c为一致性损失函数，μ₁、μ₂、μ₃分别为分割损失函数、边缘损失函数、一致性损失函数的权重因子；

分割损失函数L_s为：

，

其中，

为分割图像输出，/>

为分割标签；L_BCE表示BCE损失函数，L_Dice表示Dice损失函数；/>

与/>

为BCE损失函数与Dice损失函数的权重因子；

边缘损失函数L_e为：

，

其中，

为边缘输出，e为边缘标签；L_WBCE表示WBCE损失函数；

一致性损失函数L_c为：

，

其中，

为分割预测边缘，/>

为边缘输出；ζ表示二分类函数。

进一步的，步骤3中，训练包括两个阶段，第一阶段冻结编码器，通过Adam优化器对轻量化深度学习网络EUnet进行训练；第二阶段解冻编码器，通过Adam优化器对轻量化深度学习网络EUnet进行再次训练，得到内窥镜图像分割模型。

从工作原理上讲：

本发明提出一种基于单张图像的训练集生成方法（RFSLI），实现了单张图像学***面曲线可通过线段或者圆弧在特定规则下去近似逼近；设病灶的轮廓为平面曲线Z，可以表示为Q段曲线{Z₁, Z₂, ..., Z_q, Z_q+1, ..., Z_Q}的和，规定曲线Z_q的起止点分别为p_q-1与p_q；对于曲线Z_q，可通过线段p_q-1p_q或起止点为p_q-1与p_q、曲率半径为ρ_q的圆弧去逼近；因此，对于任意封闭平面曲线Z，给出一个的曲线分段规则与曲率半径为ρ_q的计算方式，总能通过上述方式进行曲线的近似逼近。受此启发，本发明中RFSLI方法通过采样生成包含病灶纹理的简单图形（圆与正三角形）样本，并通过一个卷积神经网络学习上述简单图形，然后去拟合病灶的复杂边界；整个过程并未使用额外数据，既不同于深度学习的“一次学习”中每个类别需要一个带标注的样本、“零次学习”方法中需要借助迁移学习，也不同于“自监督学习”中需要带标签数据进行微调；由此可见，本发明实现了真正意义上的单张图像学习。

本发明提出轻量化深度学习网络EUnet作为分割模型，能够充分利用“过拟合”。具体而言，在统计学中“过拟合”指过于精密或者精确地匹配特定资料集、以至于无法良好地拟合其他资料或预测未来观察结果的现象；在深度学习中，“过拟合”的直观表现是算法在训练集上表现好，但在测试集上表现不好，泛化性能差；特别是在医学图像分割领域，受病人隐私保护、标注成本高等因素影响，训练数据相对匮乏，更易导致“过拟合”的产生。因此，鉴于“过拟合”的不利因素，深度学习模型通常会采取数据增强、正则化等技术手段去一定程度避免“过拟合”的产生；相反的，本发明实现了单张图像学习，巧妙地解决了训练数据的泛化性问题，进行可以使训练精度越“过拟合”越好。

综上，本发明的有益效果在于提供了一种基于单图深度学习的内窥镜图像分割方法，具有以下优点：

1）无额外样本学习，本发明实现了真正意义上的零样本学习，突破了当前医学图像分割依赖大量高精度标注图像进行训练的限制，原则上可分割任何类别的医学图像，具有极强的泛化性，同时也能有效保护病患的个人隐私；

2）精度高，本发明在仅依靠单张测试样本的条件下，取得了极高的分割精度；在CVC-ClinicDB、Kvasir等公开内窥镜图像数据集上图像分割结果均达到SOTAs；对非公开早期食管癌数据集（EEC-2022）进行测试时，Dice系数达到87.7%，与现有深度学习分割模型相比，分割精度大幅提升；

3）体量小、运算速度快，实时性高；针对内窥镜图像特征，在确保分割精度不下降的前提下，相较于其余SOTAs模型，本发明中内窥镜图像分割模型的参数量更少，具备更快的推理速度；

4）具有极高的临床应用价值，本发明能够分割从未见过的医学图像类别，在理论上可应用于罕见疑难病例的临床诊断；同时，本发明兼具实时性强与精度高等特点，能够广泛应用于如胃癌、食管癌的手术方案制定等临床应用场景中。

附图说明

图1为本发明中基于单图深度学习的内窥镜图像分割方法的流程示意图。

图2为本发明中轻量化深度学习网络EUnet的结构示意图。

图3为图2所示网络EUnet中残差模块（Res Block）的结构示意图。

图4为图2所示网络EUnet中特征融合模块（Up-Block）的结构示意图。

图5为图2所示网络EUnet中细节加强模块（Boundary-Enhance Block，BE Block）的结构示意图。

图6为图2所示网络E Unet中边缘检测模块（Edge-Detect Block，ED Block）的结构示意图。

图7为图2所示网络EUnet中边缘注意力模块（Edge-Attention Block，EA Block）的结构示意图。

具体实施方式

为使本发明的目的、技术方案与有益效果更加清楚明白，下面结合附图和实施例对本发明做进一步详细说明。

本实施例提供一种基于单图深度学习的内窥镜图像分割方法，其流程如图1所示；其核心在于：提供一种基于单张图像的训练集生成方法（RFSLI），该方法首先通过对待分割图像进行ROI（或反向ROI）框选、病灶采样等简单互运算获得待分割图像的粗标签信息，然后通过简单图形生成方法基于粗标签信息生成分别包含训练图像、分割标签、边缘标签的3个训练集；进一步的，提供一个轻量化深度学习网络EUnet，用来对上述训练集进行训练并最终得到图像病灶区域的分割结果。

进一步的，RFSLI的过程为：首先，由专业医生对输入原始图像进行互运算，即由医生手动完成ROI区域（感兴趣区域）框选，进一步在ROI区域内进行前景采样，得到若干个圆形的采样区域；然后，根据本发明提出的简单图形生成方法将上述采样区域经过随机剪切、旋转后得到不同大小的简单图形，并不重叠的随机粘贴到原始图像上，形成分别包含训练图像、分割标签、边缘标签的3个训练集，作为下一步轻量化深度学习网络训练的输入。

更进一步的，在医学图像分析中，医生的经验通常被认为是十分重要的，通过ROI区域选取可以充分融合专业医师的经验，提升最终的分割精度；因此，上述单张图像生成训练集的过程中，ROI区域选取由专业医师完成，目的是框选出前景区域（病灶）的外接多边形区域，该多边形区域可以为1个或多个（视病灶区域分布决定）。需要说明的是，根据医生的经验判断，当病灶占据图像大部分区域时，通常很难框选出ROI，这在内窥镜图像中较为常见；为了解决这个问题，本发明提出反向ROI区域框选，与框选病灶的ROI相比，反向ROI在健康区域上进行；在此情况下，最终的分割预测结果为健康区域的分割结果，再将其经过反转网络，输出得到病灶的分割结果。

更进一步的，上述前景采样具体为：在ROI区域内提取出N个随机半径的圆形区域作为采样区域，生成采样数据集C= {c₁, …, c_N}；其中，N的取值范围设置为2到10，设输入图像的大小为H（高）×W（宽）×3（通道数），则采样区域的半径r的最小值与最大值满足：

，

其中，

表示向下取整。

更进一步的，上述简单图形生成方法具体为：

首先，采取随机剪切、旋转的方式对采样数据集C= {c₁, …, c_N}进行处理，得到M个（M>>N）简单图形样本，构成样本集合G = {g₁, …, g_M}，其中，简单图形包含圆形与正三角形，随机剪切、旋转后的圆形或正三角形的半径

（本发明中，正三角形的半径指其外接圆的半径）取值范围满足：

，

其中，l为步长，本实施例设置为4；r_min : r_max : l表示在最小值r_min与最大值r_max的约束下以步长l进行取值；

然后，从样本集合G = {g₁, …, g_M}随机抽选出J个样本，不重叠的随机粘贴到原始图像上，则得到1张训练图像；重复该过程K次，得到K张训练图像，构成训练图像集合X ={x₁, …, x_K}；所述集合大小可根据实际情况调整，本实施例中设置J=8、K=1600；

最后，将简单图形样本贴放区域作为分割标签前景（正样本），简单图形样本贴放区域边缘作为边缘标签前景（正样本），ROI区域以外的其他区域作为两者背景（负样本），构成分割标签集合S = {s₁, …, s_K}、边缘标签集合E = {e₁, …, e_K}。

进一步的，在深度学习网络训练阶段，提供一个轻量化深度学习网络EUnet，包括：以Resnet34为主干的编码网络、以Unet模型的Skip-Line为基础的分割解码网络、以多尺度特征融合的边缘解码网络；EUnet网络训练包含两个阶段，第1阶段冻结主干网络参数，对边缘提取分支以及分割分支参数进行学习，第2阶段所有参数均进行学习，并选取最后一个epoch的权值参数作为预测阶段权重。轻量化深度学习网络EUnet的具体结构如图2所示，EUnet以UNet为框架，选取ResNet34作为backbone的神经网络，充分利用了UNet的跳跃连接在浅层特征融合的优势；同时，EUnet增加了边缘提取分支的解码端，有效丰富分割目标的细节信息。并且，本发明对应提出包含分割损失、边缘损失与一致性损失的复合损失函数，从而提高网络对病灶边缘像素学习的准确性。

更进一步的，所述轻量化深度学习网络EUnet的结构如图2所示，包括：编码器与解码器；

所述编码器以Resnet34为主干网络，由构建层Layer1~5依次连接构成，输入图像x输入编码器后，构建层Layer1~5分别编码输出y₁~ y₅；构建层Layer1由卷积层conv1构成，卷积层conv1 的卷积核大小为7×7；构建层Layer2由最大池化层（Maxpool层）与3个残差模块（Res Block）依次连接构成，最大池化层的步长为2、kernel为3；构建层Layer3由4个残差模块（Res Block）依次连接构成，构建层Layer4由6个残差模块（Res Block）依次连接构成，构建层Layer5由3个残差模块（Res Block）依次连接构成；

所述残差模块（Res Block）的结构如图3所示，采用残差连接的方式，具体表示为：

，/>

，

其中，x表示输入，conv_3×3表示卷积核大小为3×3的卷积运算；

所述构建层Layer1~5中残差模块的通道数分别为64、64、128、256、512。

所述解码器分为分割分支与边缘提取分支两个部分；

所述分割分支包括：特征融合模块Up_Block1~4、卷积层conv2、卷积层conv3与细节加强模块BE Block，第i个特征融合模块的输入为up_i+1与y_i，up_i为第i个特征融合模块的输出，y_i为第i个构建层的输出，up₅=y₅，特征融合模块Up_Block1的输出up₁依次经过卷积层conv2与卷积层conv3后生成分割图像输出

，即图像分割结果；分割图像输出/>

经过细节加强模块BE Block后生成分割预测边缘/>

，用于后续一致性损失计算，强化两个支路学习的一致性；

所述特征融合模块Up_Block的结构如图4所示，包括：上采样模块（UpsamplingBlock）与两个卷积层，具体表示为：

，

其中，up_i为第i个特征融合模块的输出，y_i为第i个构建层的输出，up₅=y₅；upsampling表示步长为2的双线性插值运算，[ , ]表示通道维度堆叠运算；

所述特征融合模块Up_Block1~4的通道数依次为768、384、192、96，卷积层conv2的通道数为32，卷积层conv3的通道数为16；

所述细节加强模块BE Block的结构如图5所示，包括：拉普拉斯卷积核与3个卷积层，具体表示为：

，/>

，

其中，

为分割图像输出，Laplace为kernel为3的拉普拉斯算子，s_d表示拉普拉斯算子计算结果；

所述细节加强模块BE Block中，3个卷积层的通道数依次为16、16、1，Laplace算子为[-1,-1,-1,-1,8,-1,-1,-1,-1]，本发明使用Laplace算子来提取图像边缘；需要说明的是，Laplace算子为恒定参数，不参与网络训练。

所述边缘提取分支包括：边缘检测模块ED Block1~5与边缘注意力模块EA Block；第i个构建层的输出y_i依次经过第i个边缘检测模块生成中间边缘输出

，中间边缘输出

经过边缘注意力模块EA Block后生成边缘输出/>

；反卷积模块D1~D5用于将输出恢复到与输入图像尺寸一致；

所述边缘检测模块ED Block的结构如图6所示，包括：残差模块、卷积层conv4、反卷积模块，具体表示为：

，

其中，

为第i个中间边缘输出，y_i为第i个构建层的输出；deconv_2λ×2λ为卷积核大小为2λ×2λ、步长为λ的反卷积运算，步长因子λ约束残差模块的输出经过反卷积后与输入图像尺寸一致；

所述反卷积模块D1~D5的步长依次为2、4、8、16、16，卷积层conv4的通道数为1；

所述边缘注意力模块EA Block的结构如图7所示，具体表示为：

，/>

，

其中，

，即将中间边缘输出/>

按通道维度堆叠；conv_3×3表示卷积核大小为3×3的卷积运算，卷积层的通道数为64；⊙表示按像素点乘运算，Sum表示按通道维度求和运算；Attention表示注意力运算，由3个卷积层与Softmax单元实现，具体为：/>

，3个卷积层的通道数依次为64、64、1；

所述编码器与解码器采用ReLU函数作为激活函数。

更进一步的，所述复合损失函数为分割损失函数、边缘损失函数、一致性损失函数的加权和，具体为：

，

其中，L为复合损失函数，L_s为分割损失函数，L_e为边缘损失函数，L_c为一致性损失函数，μ₁、μ₂、μ₃分别为分割损失函数、边缘损失函数、一致性损失函数的预设权重因子，本实施例中，μ₁、μ₂、μ₃分别取1.0、1.0、0.2 。

所述分割损失函数采用BCE(Binary Cross Entropy)损失函数与Dice损失函数的加权和，具体为：

，

其中，

为分割图像输出，/>

为分割标签；/>

与/>

为BCE损失函数与Dice损失函数的预设权重因子，本实施例中，/>

取值为0.8，/>

取值为0.2；

所述BCE损失函数为：

，

其中，

表示像素坐标，

、W分别为输入图像的高度、宽度，n为输入图像像素总 数；

所述Dice损失函数为：

，

其中，

与/>

分别表示分割图像输出/>

与分割标签s的正样本像素点的个数，/>

表示两者相同的正样本像素点的个数。

所述边缘损失函数采用WBCE（Weighted Binary Cross Entropy）损失函数，具体为：

，

其中，

为边缘输出，e为边缘标签；

所述WBCE损失函数为：

，

其中，α、β为权重因子，满足：

，/>

，

为边缘标签e正样本像素点个数，/>

为边缘标签e负样本像素点个数；σ为平衡因子，设置范围为1.0~1.2。

所述一致性损失函数采用WBCE（Weighted Binary Cross Entropy）损失函数，具体为：

，

其中，

为分割预测边缘，/>

为边缘输出；ζ表示二分类器，对于边缘输出的任一像素点/>

满足：

，0≤ i≤ H-1,0≤ j≤ W-1。

基于上述复合损失函数，对上述轻量化深度学习网络EUnet进行训练，训练过程分为两个阶段；其中，第一阶段冻结编码器，通过Adam优化器对网络进行1000步的训练，Batch大小设置为32，初始学习率设置为lr = 1.0×10^-3，每隔50步学习率衰减10%；第二阶段解冻编码器，通过Adam优化器对网络进行1000步的训练，Batch大小设置为32，初始学习率设置为lr = 3.0×10^-5，每隔50步学习率衰减10%；本实施例在CPU：英特尔i9 12900K、内存：10240M、显卡：2个NVIDIA RTX 2080 Ti的硬件配置下，训练总时长为4.5分钟。

下面对本实施例提供的基于单图深度学习的内窥镜图像分割方法进行测试，测试过程共使用3个数据集，如表1所示，其中，CVC-ClinicDB与Kvasir-SEG为公开数据集，EEC-2022为本实施例制作的早期食道癌数据集。所述CVC-ClinicDB（也被称为CVC-612）是一个从结肠镜检查视频中提取的标准息肉数据集，包括612个分辨率为 384×288的样本以及对应的Ground Truth，本实施例中该数据集被划分为550个样本的训练集和62个样本的测试集。所述Kvasir-SEG是一个息肉数据集，包括1000张分辨率从332×487到1920×1072不等的息肉图像以及对应的Ground Truth，本实施例中该数据集被划分为900个样本的训练集和100个样本的测试集。所述EEC-2022由本实施例创建，由经验丰富的内窥镜医生进行制作与注释，包括1236张分辨率为480×480的内窥镜图像，划分为1092个样本的训练集和138个样本的测试集。

表1

本实施例采用经典的医学分割模型UNet、Unet++、PraNet以及目前性能最优的分割模型Swin-Unet、Polyp-PVT作为对比例，将本发明与对比例进行对比测试，采用医学图像分割流行的mDice、mIOU、F_β ^ω、S_α、E_ϕ ^max、MAE等6个指标进行对比，测试结果如表2所示。

表2

从上表可以看出，在两个息肉数据集上，本发明几乎在所有指标上都优于对比例；更重要的是，与对比例相比，本发明在EEC-2022上持续实现了SOTA性能；由此可见，在仅依靠单张图像的情况下，本发明不仅拥有最佳的综合性能，而且越复杂的病例图像上增益越明显，具有很高的临床应用价值，也符合当前医学影像分析的趋势。

综上，本发明充分利用交互式医学图像分割特性，提出基于单图深度学习的内窥镜图像分割方法，该方法所需数据远低于传统深度学习方法，具有测试精度高、分割性能更优的优点，并且充分融合了专业人员的经验，符合当前医疗图像分割领域趋势；同时，在更优性能的前提下，本发明中轻量化深度学习网络EUnet的训练时间更短，具备更强的泛化性，与当前临床应用前景更加契合。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (8)

1.一种基于单图深度学习的内窥镜图像分割方法，其特征在于，包括以下步骤：

步骤1、基于待分割原始图像，采用基于单张图像的训练集生成方法生成训练集，训练集包括：训练图像集合、分割标签集合与边缘标签集合；

步骤2、构建轻量化深度学习网络EUnet，包括：编码器与解码器，解码器包括：分割分支与边缘提取分支；

步骤3、设置复合损失函数，基于训练集对轻量化深度学习网络EUnet进行训练，训练完成后得到内窥镜图像分割模型；

步骤4、将待分割原始图像输入内窥镜图像分割模型，由内窥镜图像分割模型的解码器的分割分支输出分割结果。

2.根据权利要求1所述基于单图深度学习的内窥镜图像分割方法，其特征在于，步骤1中，基于单张图像的训练集生成方法具体为：

步骤1.1、先验获取待分割原始图像的ROI区域，并在ROI区域内进行前景采样，得到N个圆形的采样区域，生成采样数据集；

步骤1.2、基于采样数据集，采用简单图形生成方法生成M个简单图形样本，生成简单图形样本集合；

步骤1.3、在简单图形样本集合中，随机选取J个简单图形样本，并按照随机位置且不重叠的粘贴方式粘贴到待分割原始图像上，得到训练图像；重复K次，得到K张训练图像，构成训练图像集合；同时，将简单图形样本贴放区域作为分割标签前景，简单图形样本贴放区域边缘作为边缘标签前景，ROI区域外的其他区域作为两者背景，分别构成分割标签集合与边缘标签集合。

3.根据权利要求2所述基于单图深度学习的内窥镜图像分割方法，其特征在于，步骤1.1中，前景采样具体为：在ROI区域内提取出N个随机半径的圆形区域作为采样区域；其中，采样区域的半径r满足：

，

其中，H与W为待分割原始图像的长与宽，r_min与r_max为采样区域的半径r的最小值与最大值，

表示向下取整运算。

4.根据权利要求2所述基于单图深度学习的内窥镜图像分割方法，其特征在于，步骤1.2中，简单图形生成方法具体为：

采取随机剪切、旋转的方式对采样数据集中采样区域进行处理，得到M个简单图形样本；其中，简单图形包含圆形与正三角形，简单图形样本的半径

满足：

，

其中，l为步长，r_min与r_max为采样区域的半径r的最小值与最大值。

5.根据权利要求1所述基于单图深度学习的内窥镜图像分割方法，其特征在于，步骤2中，编码器由构建层Layer1~Layer5依次连接构成，输入图像x输入编码器后，构建层Layer1~Layer5分别编码输出y₁~y₅；构建层Layer1由卷积层conv1构成，构建层Layer2由最大池化层与3个残差模块依次连接构成，构建层Layer3由4个残差模块依次连接构成，构建层Layer4由6个残差模块依次连接构成，构建层Layer5由3个残差模块依次连接构成；

解码器的分割分支包括：特征融合模块Up_Block1~Up_Block4、卷积层conv2、卷积层conv3与细节加强模块BE Block，第i个特征融合模块的输入为up_i+1与y_i，up_i+1为第i+1个特征融合模块的输出，y_i为第i个构建层的输出，up₅=y₅，特征融合模块Up_Block1的输出up₁依次经过卷积层conv2与卷积层conv3后生成分割图像输出

；分割图像输出/>

经过细节加强模块BE Block后生成分割预测边缘/>

；

解码器的边缘提取分支包括：边缘检测模块ED Block1~ED Block5与边缘注意力模块EA Block；第i个构建层的输出y_i依次经过第i个边缘检测模块生成中间边缘输出

，中间边缘输出/>

经过边缘注意力模块EA Block后生成边缘输出/>

。

6.根据权利要求5所述基于单图深度学习的内窥镜图像分割方法，其特征在于，残差模块表示为：

，/>

，

其中，Res表示残差模块的输出，x表示输入，conv_3×3表示卷积核大小为3×3的卷积运算；

特征融合模块Up_Block表示为：

，

其中，upsampling表示步长为2的双线性插值运算，[ , ]表示通道维度堆叠运算；

细节加强模块BE Block表示为：

，/>

，

其中，Laplace为拉普拉斯算子，conv_1×1表示卷积核大小为1×1的卷积运算；

边缘检测模块ED Block表示为：

，

其中，deconv_2λ×2λ为卷积核大小为2λ×2λ、步长为λ的反卷积运算；

边缘注意力模块EA Block表示为：

，/>

，

其中，

，⊙表示按像素点乘运算，Sum表示按通道维度求和运算；Attention表示注意力运算，具体为：/>

。

7.根据权利要求1所述基于单图深度学习的内窥镜图像分割方法，其特征在于，步骤3中，复合损失函数为：

，

其中，L为复合损失函数，L_s为分割损失函数，L_e为边缘损失函数，L_c为一致性损失函数，μ₁、μ₂、μ₃分别为分割损失函数、边缘损失函数、一致性损失函数的权重因子；

分割损失函数L_s为：

，

其中，

为分割图像输出，s为分割标签；L_BCE表示BCE损失函数，L_Dice表示Dice损失函数；

与/>

为BCE损失函数与Dice损失函数的权重因子；

边缘损失函数L_e为：

，

其中，

为边缘输出，e为边缘标签；L_WBCE表示WBCE损失函数；

一致性损失函数L_c为：

，

其中，

为分割预测边缘，/>

为边缘输出；ζ表示二分类函数。

8.根据权利要求1所述基于单图深度学习的内窥镜图像分割方法，其特征在于，步骤3中，训练包括两个阶段，第一阶段冻结编码器，通过Adam优化器对轻量化深度学习网络EUnet进行训练；第二阶段解冻编码器，通过Adam优化器对轻量化深度学习网络EUnet进行再次训练，得到内窥镜图像分割模型。

Images