CN109934831A - 一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法 - Google Patents

Abstract

本发明公开了一种基于吲哚氰绿(Indocyanine—green，英文简称ICG)荧光显像的外科肿瘤手术实时导航方法，包括以下步骤：1.获取实时ICG荧光手术视频中的每一帧图像并保存为ICG荧光图像；2.使用基于深度学习的肿瘤边界分割模型将ICG荧光图像中的肿瘤边界分割出来，并以彩色线条的方式添加到原ICG荧光图像中进行显示；3.采用边缘评估函数对ICG荧光图像的分割边界进行评估，得到其对应的边界清晰系数；4.找出边界清晰系数最大的图像，然后将其对应的分割边界叠加到常规光照下的肿瘤图像上，并将叠加后的结果显示在屏幕上，引导医生进行肿瘤切除手术。

Description

一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法

技术领域

本发明涉及医学图像处理技术领域，尤其是一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法。

背景技术

中国是肝癌第一大国，每年有大量患者死于肝癌。通过外科手术完整地将肝癌细胞切除，是治疗肝癌最有效的方法。术中，外科医师一般根据术前的CT、MRI等影像学资料，并借助视觉诊、触诊以及术中超声来判断肿瘤边缘，确定切除范围。由于CT、MRI存在设备巨大、射线辐射、检查耗时长等问题，术中实时的影像学评估仅限于超声检查，但是超声检查对图像判读的专业技能要求较高，难以在肝脏外科普及。

吲哚氰绿(Indocyanine—green，英文简称ICG)，别名靛氰绿，其与血清蛋白结合的大分子化合物对于实体肿瘤具有高度敏感性，被病灶摄取后，根据自身的光学特性结合光分子影像技术，可荧光实体肿瘤。目前，ICG已经广泛用于内窥镜手术中，但是现有在ICG引导下的手术导航***，仅为简单显示荧光图像，然后医生凭借自身的临床经验对图像进行观测并勾画边界，缺乏科学量化的标准。而ICG染色是一个时序过程，即随着细胞的吸收和代谢，荧光是一个由暗逐渐增强，达到高峰后逐渐衰减的过程，同时ICG荧光图像边缘较为模糊，传统的图像处理方法无法有效的获取边界，而仅凭借医生肉眼观察无法获取最清晰的边界。

发明内容

针对上述问题，本发明提供一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法。

本发明保护一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法，包括以下步骤：1.获取实时ICG荧光手术视频中的每一帧图像并保存为ICG荧光图像；2.使用基于深度学习的肿瘤边界分割模型将ICG荧光图像中的肿瘤边界分割出来，并以彩色线条的方式添加到原ICG荧光图像中进行显示；3.采用边缘评估函数对ICG荧光图像的分割边界进行评估，得到其对应的边界清晰系数；4.找出边界清晰系数最大的图像，然后将其对应的分割边界叠加到常规光照下的肿瘤图像上，并将叠加后的结果显示在屏幕上，引导医生进行肿瘤切除手术。

进一步的，所述基于深度学习的肿瘤边界分割模型通过以下步骤建立：1.获取上百例内窥镜手术视频，利用OpenCV将影像数据中的每一帧以jpg格式保存，并进行标注，得到标注后的原始ICG荧光图像序列，将标注后的ICG荧光图像分为训练样本和测试样本；2.对训练样本进行预处理；3.搭建基于Encoder-Decoder模型的边界分割深度学习网络，其中Encoder阶段利用带残差结构的深度可分离卷积对ICG荧光图像进行特征提取，Decoder阶段通过逐步的上采样将特征图恢复到原始图像大小并对图像中每一个像素点进行分类；4.利用搭建完成的学习网络对预处理后的训练样本进行模型训练，得到肿瘤边界分割模型；5.对测试样本进行预处理，并作为输入参数输入到肿瘤边界分割模型，得到初分割图像，然后对每套图像进行连通域处理，连通域处理后的分割结果反馈至原始ICG荧光图像序列中。

进一步的，所述Encoder阶段先采用步长为2的7×7的卷积进行ICG荧光图像特征的提取，后接BN层和ReLU层；然后再利用带有残差结构的深度可分离卷积模块对ICG荧光图像进行特征提取；所述Decoder阶段上采样的过程中，先将底层信息与高层信息进行融合，然后采用转置卷积进行上采样。

进一步的，模型训练采用Adam优化器，交叉熵损失函数作为网络的损失函数。

本发明的有益效果：通过深度学习实时分割视频中每一帧图像边缘，通过边缘清晰度算法对边缘清晰度进行量化评估，选择最清晰的ICG荧光图像，标定肿瘤边缘，并将边缘叠加到自然光照下的实时视频图像中，指导医生进行肿瘤切除手术，为手术提供导航。

附图说明

图1为外科肿瘤手术实时导航方法的流程图；

图2为荧光下的边界分割示意图；

图3为常规光照下的边界叠加示意图；

图4为建立的肿瘤边界分割模型流程图；

图5为深度可分离卷积示意图；

图6为带有残差结构的深度可分离卷积示意图；

图7为肝脏分割深度学习网络结构图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

实施例1

一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法，如图1，包括以下步骤：1.获取实时ICG荧光手术视频中的每一帧图像并保存为ICG荧光图像；2.使用基于深度学习的肿瘤边界分割模型将ICG荧光图像中的肿瘤边界分割出来，并以彩色线条的方式添加到原ICG荧光图像中进行显示，如图2所示；3.采用边缘评估函数对ICG荧光图像的分割边界进行评估，得到其对应的边界清晰系数；4.找出边界清晰系数最大的图像，然后将其对应的分割边界叠加到常规光照下的肿瘤图像上，并将叠加后的结果显示在屏幕上，如图3所示，引导医生进行肿瘤切除手术。

基于深度学习的肿瘤边界分割模型的建立，如图4，具体通过以下步骤：

1.获取100例内窥镜手术视频，利用OpenCV将影像数据中的每一帧以jpg格式保存，并进行标注，得到标注后的原始ICG荧光图像序列，将标注后的ICG荧光图像分为训练样本和测试样本，其中用于模型训练的训练样本80例，用于模型检验的测试样本20例。

2.对训练样本进行预处理：将保存的jpg图像调整到512*512大小，然后采用上下平移、左右平移、镜像、旋转等操作对处理后的训练样本进行扩增处理。

3.搭建基于Encoder-Decoder模型的肝脏分割深度学习网络，其中Encoder阶段利用带残差结构的深度可分离卷积对ICG荧光图像进行特征提取，Decoder阶段通过逐步的上采样将特征图恢复到原始图像大小并对图像中每一个像素点进行分类。

4.利用搭建完成的学习网络对预处理后的训练样本进行模型训练，得到肿瘤边界分割模型，本实施例中具体配置如下：①硬件配置，2个GeForceGTX1080Ti显卡,显存总共22GB，i7-8700CPU,64GB内存；②软件配置：操作***Ubuntu16.04 LTS 64位版，深度学习库为Tensorflow1.9.0版本，加速工具使用了英伟达的cuda9.0和cuDNN7.1.2。在模型的训练过程中采用Adam优化器，交叉熵损失函数作为网络的损失函数。初始学习速率设置为1×10^-4，根据迭代次数的增大而逐渐减小，调优的迭代次数设置为100000次，当迭代次数达到时，网络终止训练，得到肿瘤边界分割模型。

5.对测试样本进行预处理，并作为输入参数输入到肿瘤边界分割模型，得到初分割图像，然后对每组图像进行连通域处理以去除分割结果中可能存在的噪声，提高分割的准确度，连通域处理后的分割结果反馈至原始图像序列中。

Encoder-Decoder(编码-解码)是深度学习中常见的模型框架之一，它并不是一个具体的模型，而是一类框架。所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。基于Encoder-Decoder，我们可以设计出各种各样的应用算法。

在本实施例中，Encoder阶段先采用步长为2的7×7的卷积进行ICG荧光图像特征的提取，后接BN层和ReLU层；然后再利用带有残差结构的深度可分离卷积模块对ICG荧光图像进行特征提取；所述Decoder阶段上采样的过程中，先将底层信息与高层信息进行融合，然后采用转置卷积进行上采样，通过逐步的上采样将特征图逐渐恢复到原始图像大小，并对其中的每一个像素进行分类；网络的最后一层为softmax层。

深度可分离卷积是指将标准卷积分解为一个逐深度的卷积和一个1×1标准卷积(逐点卷积)，如图5所示。逐深度卷积对应着每一个输入特征图的通道，1×1逐点卷积负责将逐深度卷积提取的特征进行融合。深度可分离卷积能够在不影响结果的情况下降低模型的参数，有利于在GPU资源有限的情况下进行更深层模型的搭建；残差结构的应用能够有效解决深层网络中的梯度消散。

深度可分离卷积比普通卷积减少了所需要的参数，下面举例说明。例如某一层输入通道是64，输出通道是128，卷积核的大小为3×3，使用正常卷积，该层的参数计算为(64×3×3)×128＝73728，而在深度可分离卷积中为64×3×3+128×(64×1×1)＝8768，即先用64个3×3大小的卷积和分别于输入的64通道的数据进行卷积操作，得到64个特征图谱，然后采用128个1×1的卷积核在64个特征图谱上进行卷积操作，将64个通道的信息进行融合。通过深度可分离卷积操作参数从73728个降低到8768，大大的降低了模型参数，能在一定程度上防止模型的过拟合。

残差的核心思想是利用恒等映射来绕过参数层，将输入端信息直接通过简单的相加添加到输出端,如图6所示。实验表明残差的使用能有效解解决增加深度带来的退化问题，使通过增加网络的深度来提高准确率成为可能，同时具有残差结构的网络更容易优化。残差连接表达式：X_t+1＝X_t+F(X_t,W_t),其中X_t表示t层残差块的特征输入，而X_t+1表示特征的输出，F(X_t,W_t)表示残差块中进行残差特征学习的非线性单元，包含批量标准化层(BatchNormalization,BN)、修正线性单元(Rectifiedlinearunit,ReLU)。

本实施例中设计的肝脏分割深度学习网络共有81层，前76层用于进行ICG荧光图像特征信息的提取，具体结构图如图7所示。

显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

Claims (5)

1.一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法，其特征在于，包括以下步骤，

步骤1：获取实时ICG荧光手术视频中的每一帧图像并保存为ICG荧光图像；

步骤2：使用基于深度学习的肿瘤边界分割模型将ICG荧光图像中的肿瘤边界分割出来，并以彩色线条的方式添加到原ICG荧光图像中进行显示；

步骤3：采用边缘评估函数对ICG荧光图像的分割边界进行评估，得到其对应的边界清晰系数；

步骤4：找出边界清晰系数最大的图像，然后将其对应的分割边界叠加到常规光照下的肿瘤图像上，并将叠加后的结果显示在屏幕上，引导医生进行肿瘤切除手术。

2.根据权利要求1所述的外科肿瘤手术实时导航方法，其特征在于，所述基于深度学习的肿瘤边界分割模型通过以下步骤建立，

步骤a：获取上百例内窥镜手术视频，利用OpenCV将影像数据中的每一帧以jpg格式保存，并进行标注，得到标注后的原始ICG荧光图像序列，将标注后的ICG荧光图像分为训练样本和测试样本；

步骤b：对训练样本进行预处理；

步骤c：搭建基于Encoder-Decoder模型的边界分割深度学习网络，其中Encoder阶段利用带残差结构的深度可分离卷积对ICG荧光图像进行特征提取，Decoder阶段通过逐步的上采样将特征图恢复到原始图像大小并对图像中每一个像素点进行分类；

步骤d：利用搭建完成的学习网络对预处理后的训练样本进行模型训练，得到肿瘤边界分割模型；

步骤e：对测试样本进行预处理，并作为输入参数输入到肿瘤边界分割模型，得到初分割图像，然后对每套图像进行连通域处理，连通域处理后的分割结果反馈至原始ICG荧光图像序列中。

3.根据权利要求2所述的外科肿瘤手术实时导航方法，其特征在于，所述Encoder阶段先采用步长为2的7×7的卷积进行ICG荧光图像特征的提取，后接BN层和ReLU层；然后再利用带有残差结构的深度可分离卷积模块对ICG荧光图像进行特征提取。

4.根据权利要求2所述的外科肿瘤手术实时导航方法，其特征在于，所述Decoder阶段上采样的过程中，先将底层信息与高层信息进行融合，然后采用转置卷积进行上采样。

5.根据权利要求2所述的外科肿瘤手术实时导航方法，其特征在于，所述步骤d中的模型训练采用Adam优化器，交叉熵损失函数作为网络的损失函数。