CN110717518A - 基于3d卷积神经网络的持续性肺结节识别方法及装置 - Google Patents

Abstract

本申请公开了一种基于3D卷积神经网络的持续性肺结节识别方法及装置。该方法包括：获取肺结节的特征数据，所述特征数据包括影像数据和临床数据；将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量；将所述影像特征向量与所述临床特征向量进行融合，以得到融合特征向量；将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，以得到所述肺结节为持续性肺结节的概率。通过本申请，达到了根据持续性肺结节识别模型准确判断肺结节为持续性肺结节的概率的目的，从而实现了提高持续性肺结节识别准确率的技术效果，进而解决了相关技术中持续性肺结节的检测方法检测准确度不够高的技术问题。

Description

基于3D卷积神经网络的持续性肺结节识别方法及装置

技术领域

本申请涉及深度学习技术领域，具体而言，涉及一种基于3D卷积神经网络的持续性肺结节识别方法及装置。

背景技术

肺癌是目前全世界发病率最高的恶性肿瘤，且呈现出发病率明显升高的趋势，严重威胁了人们的健康。肺结节作为肺内的微小病变，与肺部肿瘤的形成关系密切，对肺癌的早期筛查起到至关重要的作用。近年来，随着CT技术的发展及其在临床中越来越广泛的应用导致偶然发现的肺结节数量大幅增加。在各种类型的结节中，亚实性结节(part-solidnodules)转变为恶性肿瘤的概率远高于实性结节(solid nodules)和纯磨玻璃结节(ground glass nodules)，大约为62.5％–89.6％，然而，在这些偶然检测到的亚实性结节中，大约49-70％的结节会在随后的3个月内会逐渐减小或消失。因此，准确地从检出的结节中找到持续性结节可以使患者避免不必要的射线暴露和侵入性检查，降低患者的经济负担和精神压力，具有重要的临床意义。

目前已有的肺结节持续性研究算法大多依赖人工的方式手动提取特征，需要经验丰富的影像科医生手动勾画出结节的ROI区域，然后提取出ROI区域中的影像特征，这种方法所提取的特征水平由于医生经验等主观原因会有较大的差异，为持续性结节的识别带来了较大的困难；另外，将特征提取与目标分类作为两个过程来实现，分类的结果对特征的依赖程度较高，分类的准确度容易被特征的质量水平所局限。

近年来，随着深度学习算法的发展，基于深度学习的肺结节检测和分类算法得到了广泛的应用，然而在肺结节持续性判断上，目前的方法在解决肺结节持续性分类问题上还有较多的困难。首先，结节尺寸变化范围较大，主要分布在3mm到30mm之间；其次，结节的分类需提取出的特征不仅包括结节整体特征，还包括结节的局部特征；最后，结节持续性的判断除了需要影像学特征外，还要参考临床特征和肺部背景特征，如年龄、性别、非机化性炎症、肺气肿、多发结节等先验信息。

针对相关技术中肺结节的检测方法检测准确度不够高的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于3D卷积神经网络的持续性肺结节识别方法及装置，以实现提高持续性肺结节识别准确率的技术效果，进而解决相关技术中持续性肺结节的检测方法检测准确度不够高的技术问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于3D卷积神经网络的持续性肺结节识别方法。

根据本申请的基于3D卷积神经网络的持续性肺结节识别方法包括：获取肺结节的特征数据，所述特征数据包括影像数据和临床数据；将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量；将所述影像特征向量与所述临床特征向量进行融合，以得到融合特征向量；将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，以得到所述肺结节为持续性肺结节的概率。

进一步地，所述将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量包括：基于所述影像数据获取感兴趣区域；根据所述感兴趣区域确定所述肺结节在影像中的位置信息；基于所述位置信息，按照第一预设规则对所述影像数据中的肺结节进行赋值；将赋值后的影像数据输入所述分支网络，以提取所述影像特征向量。

进一步地，所述将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量包括：基于所述临床数据构建N维特征向量，其中N不小于1；建立临床数据与所述N维特征向量的维度的对应关系；按照第二预设规则对所述临床数据进行赋值；将赋值后的所述临床数据输入所述分支网络，以提取所述临床特征向量。

进一步地，所述获取肺结节的特征数据，所述特征数据包括影像数据和临床数据之后还包括：基于所述影像数据随机抽取M组数据输入所述分支网络，以提取影像特征向量，其中M不小于1；将所述影像特征向量输入所述3D卷积神经网络进行第一阶段训练，以提取初始模型参数；根据训练结果对所述初始模型参数进行反向更新；当所述分支网络收敛后，停止对所述模型参数的更新，以输出第一特征参数。

进一步地，所述将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，以得到所述肺结节为持续性肺结节的概率包括：将所述融合特征向量输入所述3D卷积神经网络进行第二阶段训练，以输出第二特征参数；对所述第一特征参数和所述第二特征参数进行调整，以输出持续性肺结节的识别模型；将所述肺结节的特征数据输入所述持续性肺结节的识别模型，以得到所述肺结节为持续性肺结节的概率。

为了实现上述目的，根据本申请的另一方面，提供了一种基于3D卷积神经网络的持续性肺结节识别装置。

根据本申请的基于3D卷积神经网络的持续性肺结节识别装置包括：获取模块，用于获取肺结节的特征数据，所述特征数据包括影像数据和临床数据；提取模块，用于将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量；融合模块，用于将所述影像特征向量与所述临床特征向量进行融合，以得到融合特征向量；识别模块，用于将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，以得到所述肺结节为持续性肺结节的概率。

进一步地，所述提取模块包括：获取单元，用于基于所述影像数据获取感兴趣区域；确定单元，用于根据所述感兴趣区域确定所述肺结节在影像中的位置信息；第一赋值单元，用于基于所述位置信息，按照第一预设规则对所述影像数据中的肺结节进行赋值；第一提取单元，用于将赋值后的影像数据输入所述分支网络，以提取所述影像特征向量。

进一步地，所述提取模块还包括：构建单元，用于基于所述临床数据构建N维特征向量，其中N不小于1；建立单元，用于建立临床数据与所述N维特征向量的维度的对应关系；第二赋值单元，用于按照第二预设规则对所述临床数据进行赋值；第二提取单元，用于将赋值后的所述临床数据输入所述分支网络，以提取所述临床特征向量。

进一步地，所述装置还包括：输入模块，用于基于所述影像数据随机抽取M组数据输入所述分支网络，以提取影像特征向量，其中M不小于1；训练模块，用于将所述影像特征向量输入所述3D卷积神经网络进行第一阶段训练，以提取初始模型参数；更新模块，用于根据训练结果对所述初始模型参数进行反向更新；输出模块，用于当所述分支网络收敛后，停止对所述模型参数的更新，以输出第一特征参数。

进一步地，所述识别模块包括：输入单元，用于将所述融合特征向量输入所述3D卷积神经网络进行第二阶段训练，以输出第二特征参数；调整单元，用于对所述第一特征参数和所述第二特征参数进行调整，以输出持续性肺结节的识别模型；输出单元，用于将所述肺结节的特征数据输入所述持续性肺结节的识别模型，以得到所述肺结节为持续性肺结节的概率。

在本申请实施例中，采用获取肺结节的特征数据，所述特征数据包括影像数据和临床数据的方式，通过将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量；将所述影像特征向量与所述临床特征向量进行融合，以得到融合特征向量；将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，达到了根据持续性肺结节识别模型准确判断肺结节为持续性肺结节的概率的目的，从而实现了提高持续性肺结节识别准确率的技术效果，进而解决了相关技术中肺结节的检测方法检测准确度不够高的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请第一实施例的基于3D卷积神经网络的持续性肺结节识别方法的流程示意图；

图2是根据本申请实施例的基于3D卷积神经网络提取特征向量的流程示意图；

图3是根据本申请第二实施例的基于3D卷积神经网络的持续性肺结节识别方法的流程示意图；

图4是根据本申请第三实施例的基于3D卷积神经网络的持续性肺结节识别方法的流程示意图；

图5是根据本申请第四实施例的基于3D卷积神经网络的持续性肺结节识别方法的流程示意图；

图6是根据本申请第五实施例的基于3D卷积神经网络的持续性肺结节识别方法的流程示意图；

图7是根据本申请第一实施例的基于3D卷积神经网络的持续性肺结节识别装置的组成结构示意图；

图8是根据本申请第二实施例的基于3D卷积神经网络的持续性肺结节识别装置的组成结构示意图；

图9是根据本申请第三实施例的基于3D卷积神经网络的持续性肺结节识别装置的组成结构示意图；以及

图10是根据本申请第四实施例的基于3D卷积神经网络的持续性肺结节识别装置的组成结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本发明实施例，提供了一种基于3D卷积神经网络的持续性肺结节识别方法，如图1所示，该方法包括如下的步骤S101至步骤S104：

步骤S101，获取肺结节的特征数据，所述特征数据包括影像数据和临床数据。

具体实施时，本申请实施例采用的主体网络是一个3D卷积神经网络，3D卷积神经网络包括两个分支网络，其中一个分支网络的输入是肺结节的影像数据，即可以根据肺结节在CT影像中的位置进行切割得到48*48*48体素大小的切块，另一个分支网络的输入是肺结节的临床数据，即可以根据病人的病例报告等资料得到病人的临床特征和肺部背景特征等先验信息。

步骤S102，将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量。

具体实施时，3D卷积神经网络包括的两个分支网络分别是影像特征提取分支网络和临床特征提取分支网络，具体地，如图2所示，肺结节影像特征提取分支网络主要基于特征金字塔的思想，分为四次下采样过程和两次上采样过程，下采样过程和上采样过程均基于目前主流的卷积模块，包括但不限于Dense模块、Inception模块、Res模块等。下采样过程在卷积模块后增加一层最大池化层，该过程可以降低数据维度，保留图像特征的关键信息，使下一层的卷积模块具有更大的局部感受视野，能够提取更加高纬度的影像特征，但同时也会丢失掉数据的一些底层特征和局部特征。因此，在下采样过程后又增加了两次上采样过程，上采样过程是在卷积模块后增加一个反卷积层，并将每次上采样后得到的特征向量与其对应的下采样过程后得到的特征向量进行拼接操作，实现数据高级特征与低级特征的融合。最后将模型提取到的3*3*3*64、6*6*6*64和12*12*12*64的特征分别提取出来，作为影像数据的整体特征、高维局部特征和低维局部特征，并将这些特征拼接到一起，组成一组192维的影像特征向量，作为3D卷积神经网络输入的一部分。

3D卷积神经网络的另一个分支是临床特征提取分支网络，该分支的输入数据可以是包含病人临床特征和肺部背景特征的16维特征向量，向量中每一个维度对应病人的一个临床特征和肺部背景特征，基于输入的临床数据提取出临床特征向量。

步骤S103，将所述影像特征向量与所述临床特征向量进行融合，以得到融合特征向量。

具体实施时，在提取出16维临床特征向量之后，将其与影像特征提取分支网络提取出来的192维影像特征向量拼接到一起，作为3D卷积神经网络输入的另一部分。

步骤S104，将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，以得到所述肺结节为持续性肺结节的概率。

具体实施时，将所述影像特征向量输入3D卷积神经网络进行第一阶段训练，再将影像特征向量和临床特征向量融合后得到的融合特征向量输入3D卷积神经网络中对模型中的全连接层进行第二阶段训练，在完成10个epoch(每个epoch指使用所有数据迭代一轮)后，可以使用较小的学习率微调整个模型，直到模型的loss收敛。最后可以使用训练好的模型在测试集上进行测试，模型的输出结果就是判断一个结节是持续性结节的概率。

作为本申请实施例的一种优选实施方式，如图3所示，所述将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量包括如下的步骤S201至步骤S204：

步骤S201，基于所述影像数据获取感兴趣区域。

具体实施时，在将所述影像数据和临床数据输入分支网络进行训练之前需要对数据进行预处理，包括影像数据处理和临床数据处理。影像数据处理过程首先是进行ROI区域(感兴趣区域)提取，具体方法可以以结节中心点坐标为中心，以64像素点长度为边长，切割出包含结节以及周边组织的ROI区域。

步骤S202，根据所述感兴趣区域确定所述肺结节在影像中的位置信息。

具体实施时，在获取到ROI区域后，根据数据中肺结节中心点的位置信息以及影像的采样层厚、初始位置信息，计算出肺结节在影像中的中心点坐标。

步骤S203，基于所述位置信息，按照第一预设规则对所述影像数据中的肺结节进行赋值。

具体实施时，依据肺结节中心点的位置信息以及影像的采样层厚、初始位置信息等对三维肺部CT图像进行切割操作并标记其对应的标签，具体赋值规则可以是暂时性结节赋值为0，持续性结节赋值为1。

步骤S204，将赋值后的影像数据输入所述分支网络，以提取所述影像特征向量。

具体实施时，由于数据集中阳性样本(持续性结节)与阴性样本(暂时性结节)比例不均衡，因此采用对阳性样本扩增的方式平衡数据集，具体方法包括数据旋转、偏移、增加噪声等；之后再进行数据归一化操作，即对ROI区域的HU值进行归一化操作，依据正常人体CT值参考范围和图像数据分布，将HU值在[-1000,400]范围的数据线性归一化调整至[0,1]区间，HU值大于400的数据统一转化为1，HU值小于-1000的值统一转化为0。最后将经过上述处理后得到的影像数据输入分支网络中进行影像特征向量的提取。

作为本申请实施例的一种优选实施方式，如图4所示，所述将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量包括如下的步骤S301至步骤S304：

步骤S301，基于所述临床数据构建N维特征向量，其中N不小于1。

具体实施时，临床数据处理过程首先是根据病人临床特征信息与医生的先验知识构建一个16维的特征向量。

步骤S302，建立临床数据与所述N维特征向量的维度的对应关系。

具体实施时，基于构建好的16维特征向量，建立临床数据中每一个临床特征与16维特征向量中的一个或者多个维度的对应关系。

步骤S303，按照第二预设规则对所述临床数据进行赋值。

具体实施时，基于上述对应关系对16维特征向量中每个维度对应的临床特征进行赋值，具体赋值规则可以是-1代表不存在该临床特征，1代表存在该临床特征。

步骤S304，将赋值后的所述临床数据输入所述分支网络，以提取所述临床特征向量。

具体实施时，将赋值后得到的上述临床数据输入另一个分支网络进行训练，以提取出临床特征向量。

作为本申请实施例的一种优选实施方式，如图5所示，所述获取肺结节的特征数据，所述特征数据包括影像数据和临床数据之后还包括如下的步骤S401至步骤S404：

步骤S401，基于所述影像数据随机抽取M组数据输入所述分支网络，以提取影像特征向量，其中M不小于1。

具体实施时，每次训练过程随机从影像数据中取出16或者32组数据及数据对应的标签，将这些数据统一输入图像特征提取分支网络中以提取影像特征向量。

步骤S402，将所述影像特征向量输入所述3D卷积神经网络进行第一阶段训练，以提取初始模型参数。

具体实施时，影像数据在图像特征提取分支网络中经过前向传播后会得到预测结果即初始模型参数，并基于影响数据的标签计算出本次迭代的loss值。

步骤S403，根据训练结果对所述初始模型参数进行反向更新。

具体实施时，基于loss值对模型中的初始模型参数进行反向更新，以修正模型参数。

步骤S404，当所述分支网络收敛后，停止对所述模型参数的更新，以输出第一特征参数。

具体实施时，当分支网络迭代输出的loss值收敛后，说明模型训练完成度较高，即停止对上述模型参数的更新，完成第一阶段训练，根据训练后的模型输出第一特征参数。

作为本申请实施例的一种优选实施方式，如图6所示，所述将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，以得到所述肺结节为持续性肺结节的概率包括如下的步骤S501至步骤S503：

步骤S501，将所述融合特征向量输入所述3D卷积神经网络进行第二阶段训练，以输出第二特征参数。

具体实施时，本申请实施例将影像特征提取分支网络提取出来的192维影像特征向量与临床特征提取分支网络提取出来的16维临床特征向量融合到一起，作为融合特征向量输入3D卷积神经网络进行第二阶段训练，根据第二阶段训练得到的模型输出第二特征参数。

优选地，在将所述融合特征向量输入所述3D卷积神经网络进行第二阶段训练，以输出第二特征参数之前还需要加载第一阶段训练后得到的第一特征参数，并将全连接层的参数由192维调整为208维，然后冻结模型中影像特征提取部分的第一特征参数。

步骤S502，对所述第一特征参数和所述第二特征参数进行调整，以输出持续性肺结节的识别模型。

具体实施时，在所有数据完成10轮迭代后，再将上述第一特征参数解冻，然后使用较小的学习率微调迭代后得到的模型的第一特征参数和第二特征参数，直到模型的loss值收敛，输出最终的持续性肺结节的识别模型。

步骤S503，将所述肺结节的特征数据输入所述持续性肺结节的识别模型，以得到所述肺结节为持续性肺结节的概率。

具体实施时，在得到持续性肺结节的识别模型后，使用该识别模型在测试集上进行测试，识别模型的输出结果就是判断一个肺结节是持续性结节的概率。

从以上的描述中，可以看出，本发明实现了如下技术效果：采用获取肺结节的特征数据，所述特征数据包括影像数据和临床数据的方式，通过将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量；将所述影像特征向量与所述临床特征向量进行融合，以得到融合特征向量；将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，达到了根据持续性肺结节识别模型准确判断肺结节为持续性肺结节的概率的目的，从而实现了提高持续性肺结节识别准确率的技术效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述基于3D卷积神经网络的持续性肺结节识别方法的装置，如图7所示，该装置包括：获取模块1、提取模块2、融合模块3及识别模块4。

本申请实施例的获取模块1，用于获取肺结节的特征数据，所述特征数据包括影像数据和临床数据。

具体实施时，本申请实施例采用的主体网络是一个3D卷积神经网络，3D卷积神经网络包括两个分支网络，其中一个分支网络的输入是肺结节的影像数据，即可以根据肺结节在CT影像中的位置进行切割得到48*48*48体素大小的切块，另一个分支网络的输入是肺结节的临床数据，即可以根据病人的病例报告等资料得到病人的临床特征和肺部背景特征等先验信息，本申请实施例通过获取模块获取上述影像数据和临床数据。

本申请实施例的提取模块2，用于将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量。

具体实施时，3D卷积神经网络包括的两个分支网络分别是影像特征提取分支网络和临床特征提取分支网络，通过提取模块将所述影像数据和所述临床数据分别输入影像特征提取分支网络和临床特征提取分支网络，以分别提取影像特征向量和临床特征向量。

本申请实施例的融合模块3，用于将所述影像特征向量与所述临床特征向量进行融合，以得到融合特征向量。

具体实施时，在提取出16维临床特征向量之后，通过融合模块将其与影像特征提取分支网络提取出来的192维影像特征向量拼接到一起，作为3D卷积神经网络输入的另一部分。

本申请实施例的识别模块4，用于将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，以得到所述肺结节为持续性肺结节的概率。

具体实施时，通过识别模块将所述影像特征向量输入3D卷积神经网络进行第一阶段训练，再将影像特征向量和临床特征向量融合后得到的融合特征向量输入3D卷积神经网络中对模型中的全连接层进行第二阶段训练，在完成10个epoch(每个epoch指使用所有数据迭代一轮)后，可以使用较小的学习率微调整个模型，直到模型的loss收敛。最后可以使用训练好的模型在测试集上进行测试，模型的输出结果就是判断一个结节是持续性结节的概率。

作为本申请实施例的一种优选实施方式，如图8所示，所述提取模块2包括：获取单元21、确定单元22、第一赋值单元23及第一提取单元24。

本申请实施例的获取单元21，用于基于所述影像数据获取感兴趣区域。

具体实施时，在将所述影像数据和临床数据输入分支网络进行训练之前需要对数据进行预处理，包括影像数据处理和临床数据处理。影像数据处理过程首先是通过获取单元进行ROI区域(感兴趣区域)提取，具体方法可以以结节中心点坐标为中心，以64像素点长度为边长，切割出包含结节以及周边组织的ROI区域。

本申请实施例的确定单元22，用于根据所述感兴趣区域确定所述肺结节在影像中的位置信息。

具体实施时，在获取到ROI区域后，根据数据中肺结节中心点的位置信息以及影像的采样层厚、初始位置信息，通过确定单元计算出肺结节在影像中的中心点坐标。

本申请实施例的第一赋值单元23，用于基于所述位置信息，按照第一预设规则对所述影像数据中的肺结节进行赋值。

具体实施时，通过第一赋值单元依据肺结节中心点的位置信息以及影像的采样层厚、初始位置信息等对三维肺部CT图像进行切割操作并标记其对应的标签，具体赋值规则可以是暂时性结节赋值为0，持续性结节赋值为1。

本申请实施例的第一提取单元24，用于将赋值后的影像数据输入所述分支网络，以提取所述影像特征向量。

具体实施时，由于数据集中阳性样本(持续性结节)与阴性样本(暂时性结节)比例不均衡，因此采用对阳性样本扩增的方式平衡数据集，具体方法包括数据旋转、偏移、增加噪声等；之后再进行数据归一化操作，即对ROI区域的HU值进行归一化操作，依据正常人体CT值参考范围和图像数据分布，将HU值在[-1000，400]范围的数据线性归一化调整至[0,1]区间，HU值大于400的数据统一转化为1，HU值小于-1000的值统一转化为0。最后通过第一提取单元将经过上述处理后得到的影像数据输入分支网络中进行影像特征向量的提取。

作为本申请实施例的一种优选实施方式，如图8所示，所述提取模块2还包括：构建单元25、建立单元26、第二赋值单元27及第二提取单元28。

本申请实施例的构建单元25，用于基于所述临床数据构建N维特征向量，其中N不小于1。

具体实施时，临床数据处理过程首先是通过构建单元根据病人临床特征信息与医生的先验知识构建一个16维的特征向量。

本申请实施例的建立单元26，用于建立临床数据与所述N维特征向量的维度的对应关系。

具体实施时，基于构建好的16维特征向量，通过建立单元建立临床数据中每一个临床特征与16维特征向量中的一个或者多个维度的对应关系。

本申请实施例的第二赋值单元27，用于按照第二预设规则对所述临床数据进行赋值。

具体实施时，基于上述对应关系通过第二赋值单元对16维特征向量中每个维度对应的临床特征进行赋值，具体赋值规则可以是-1代表不存在该临床特征，1代表存在该临床特征。

本申请实施例的第二提取单元28，用于将赋值后的所述临床数据输入所述分支网络，以提取所述临床特征向量。

具体实施时，通过第二提取单元将赋值后得到的上述临床数据输入另一个分支网络进行训练，以提取出临床特征向量。

作为本申请实施例的一种优选实施方式，如图9所示，所述装置还包括：输入模块5、训练模块6、更新模块7及输出模块8。

本申请实施例的输入模块5，用于基于所述影像数据随机抽取M组数据输入所述分支网络，以提取影像特征向量，其中M不小于1。

具体实施时，每次训练过程随机从影像数据中取出16或者32组数据及数据对应的标签，通过输入模块将这些数据统一输入图像特征提取分支网络中以提取影像特征向量。

本申请实施例的训练模块6，用于将所述影像特征向量输入所述3D卷积神经网络进行第一阶段训练，以提取初始模型参数。

具体实施时，影像数据通过训练模块在图像特征提取分支网络中经过前向传播后会得到预测结果即初始模型参数，并基于影响数据的标签计算出本次迭代的loss值。

本申请实施例的更新模块7，用于根据训练结果对所述初始模型参数进行反向更新。

具体实施时，基于loss值通过更新模块对模型中的初始模型参数进行反向更新，以修正模型参数。

本申请实施例的输出模块8，用于当所述分支网络收敛后，停止对所述模型参数的更新，以输出第一特征参数。

具体实施时，当分支网络迭代输出的loss值收敛后，说明模型训练完成度较高，即停止对上述模型参数的更新，完成第一阶段训练，根据训练后的模型通过输出模块输出第一特征参数。

作为本申请实施例的一种优选实施方式，如图10所示，所述识别模块4包括：输入单元41、调整单元42及输出单元43。

本申请实施例的输入单元41，用于将所述融合特征向量输入所述3D卷积神经网络进行第二阶段训练，以输出第二特征参数。

具体实施时，本申请实施例将影像特征提取分支网络提取出来的192维影像特征向量与临床特征提取分支网络提取出来的16维临床特征向量融合到一起，作为融合特征向量通过输入单元输入3D卷积神经网络进行第二阶段训练，根据第二阶段训练得到的模型输出第二特征参数。

优选地，在将所述融合特征向量输入所述3D卷积神经网络进行第二阶段训练，以输出第二特征参数之前还需要加载第一阶段训练后得到的第一特征参数，并将全连接层的参数由192维调整为208维，然后冻结模型中影像特征提取部分的第一特征参数。

本申请实施例的调整单元42，用于对所述第一特征参数和所述第二特征参数进行调整，以输出持续性肺结节的识别模型。

具体实施时，在所有数据完成10轮迭代后，再将上述第一特征参数解冻，然后使用较小的学习率通过调整单元微调迭代后得到的模型的第一特征参数和第二特征参数，直到模型的loss值收敛，输出最终的持续性肺结节的识别模型。

本申请实施例的输出单元43，用于将所述肺结节的特征数据输入所述持续性肺结节的识别模型，以得到所述肺结节为持续性肺结节的概率。

具体实施时，在得到持续性肺结节的识别模型后，使用该识别模型在测试集上进行测试，识别模型的输出结果就是通过输出单元判断一个肺结节是持续性结节的概率。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于3D卷积神经网络的持续性肺结节识别方法，其特征在于，3D卷积神经网络包括分支网络，所述方法包括：

获取肺结节的特征数据，所述特征数据包括影像数据和临床数据；

将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量；

将所述影像特征向量与所述临床特征向量进行融合，以得到融合特征向量；

将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，以得到所述肺结节为持续性肺结节的概率。

2.根据权利要求1所述的基于3D卷积神经网络的持续性肺结节识别方法，其特征在于，所述将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量包括：

基于所述影像数据获取感兴趣区域；

根据所述感兴趣区域确定所述肺结节在影像中的位置信息；

基于所述位置信息，按照第一预设规则对所述影像数据中的肺结节进行赋值；

将赋值后的影像数据输入所述分支网络，以提取所述影像特征向量。

3.根据权利要求1所述的基于3D卷积神经网络的持续性肺结节识别方法，其特征在于，所述将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量包括：

基于所述临床数据构建N维特征向量，其中N不小于1；

建立临床数据与所述N维特征向量的维度的对应关系；

按照第二预设规则对所述临床数据进行赋值；

将赋值后的所述临床数据输入所述分支网络，以提取所述临床特征向量。

4.根据权利要求1所述的基于3D卷积神经网络的持续性肺结节识别方法，其特征在于，所述获取肺结节的特征数据，所述特征数据包括影像数据和临床数据之后还包括：

基于所述影像数据随机抽取M组数据输入所述分支网络，以提取影像特征向量，其中M不小于1；

将所述影像特征向量输入所述3D卷积神经网络进行第一阶段训练，以提取初始模型参数；

根据训练结果对所述初始模型参数进行反向更新；

当所述分支网络收敛后，停止对所述模型参数的更新，以输出第一特征参数。

5.根据权利要求4所述的基于3D卷积神经网络的持续性肺结节识别方法，其特征在于，所述将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，以得到所述肺结节为持续性肺结节的概率包括：

将所述融合特征向量输入所述3D卷积神经网络进行第二阶段训练，以输出第二特征参数；

对所述第一特征参数和所述第二特征参数进行调整，以输出持续性肺结节的识别模型；

将所述肺结节的特征数据输入所述持续性肺结节的识别模型，以得到所述肺结节为持续性肺结节的概率。

6.一种基于3D卷积神经网络的持续性肺结节识别装置，其特征在于，3D卷积神经网络包括分支网络，所述装置包括：

获取模块，用于获取肺结节的特征数据，所述特征数据包括影像数据和临床数据；

提取模块，用于将所述影像数据和所述临床数据分别输入分支网络，以分别提取影像特征向量和临床特征向量；

融合模块，用于将所述影像特征向量与所述临床特征向量进行融合，以得到融合特征向量；

识别模块，用于将所述影像特征向量和所述融合特征向量分别输入所述3D卷积神经网络，以得到所述肺结节为持续性肺结节的概率。

7.根据权利要求6所述的基于3D卷积神经网络的持续性肺结节识别装置，其特征在于，所述提取模块包括：

获取单元，用于基于所述影像数据获取感兴趣区域；

确定单元，用于根据所述感兴趣区域确定所述肺结节在影像中的位置信息；

第一赋值单元，用于基于所述位置信息，按照第一预设规则对所述影像数据中的肺结节进行赋值；

第一提取单元，用于将赋值后的影像数据输入所述分支网络，以提取所述影像特征向量。

8.根据权利要求6所述的基于3D卷积神经网络的持续性肺结节识别装置，其特征在于，所述提取模块还包括：

构建单元，用于基于所述临床数据构建N维特征向量，其中N不小于1；

建立单元，用于建立临床数据与所述N维特征向量的维度的对应关系；

第二赋值单元，用于按照第二预设规则对所述临床数据进行赋值；

第二提取单元，用于将赋值后的所述临床数据输入所述分支网络，以提取所述临床特征向量。

9.根据权利要求6所述的基于3D卷积神经网络的持续性肺结节识别装置，其特征在于，还包括：

输入模块，用于基于所述影像数据随机抽取M组数据输入所述分支网络，以提取影像特征向量，其中M不小于1；

训练模块，用于将所述影像特征向量输入所述3D卷积神经网络进行第一阶段训练，以提取初始模型参数；

更新模块，用于根据训练结果对所述初始模型参数进行反向更新；

输出模块，用于当所述分支网络收敛后，停止对所述模型参数的更新，以输出第一特征参数。

10.根据权利要求9所述的基于3D卷积神经网络的持续性肺结节识别装置，其特征在于，所述识别模块包括：

输入单元，用于将所述融合特征向量输入所述3D卷积神经网络进行第二阶段训练，以输出第二特征参数；

调整单元，用于对所述第一特征参数和所述第二特征参数进行调整，以输出持续性肺结节的识别模型；

输出单元，用于将所述肺结节的特征数据输入所述持续性肺结节的识别模型，以得到所述肺结节为持续性肺结节的概率。

Images