CN113570573A - 混合注意力机制的肺结节假阳性排除方法、***、设备 - Google Patents

混合注意力机制的肺结节假阳性排除方法、***、设备 Download PDF

Info

Publication number
CN113570573A
CN113570573A CN202110855736.7A CN202110855736A CN113570573A CN 113570573 A CN113570573 A CN 113570573A CN 202110855736 A CN202110855736 A CN 202110855736A CN 113570573 A CN113570573 A CN 113570573A
Authority
CN
China
Prior art keywords
nodule
false positive
lung
pulmonary
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110855736.7A
Other languages
English (en)
Inventor
李良才
王骏
王艳芳
马力
陈庆武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Yangshi Technology Co ltd
Original Assignee
Zhongshan Yangshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Yangshi Technology Co ltd filed Critical Zhongshan Yangshi Technology Co ltd
Priority to CN202110855736.7A priority Critical patent/CN113570573A/zh
Publication of CN113570573A publication Critical patent/CN113570573A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了基于混合注意力机制的肺结节假阳性排除方法、***、设备及介质。本发明的基于混合注意力机制的肺结节假阳性排除方法，包括：获得阳性肺结节三维训练数据和假阳性肺结节三维训练数据；搭建基于混合注意力机制的TSN候选肺结节分类网络；将训练数据输入基于混合注意力机制的TSN候选肺结节分类网络进行训练，得到肺结节假阳性排除模型；获得待排除的三维肺部CT影像，从三维肺部CT影像中剪切得到候选肺结节切片数据；将候选肺结节切片数据输入肺结节假阳性排除模型，并得到肺结节假阳性排除结果。本发明的基于混合注意力机制的肺结节假阳性排除方法，参数量适宜，计算量轻且简易、模型收敛速度快、肺结节假阳性排除结果精度高。

Description

混合注意力机制的肺结节假阳性排除方法、***、设备
技术领域
本发明涉及影像处理技术领域，特别是涉及一种基于混合注意力机制的肺结节假阳性排除方法、***、设备及计算机可读存储介质。
背景技术
肺癌是世界上发病率和死亡率最高的癌症。肺癌早期是以肺结节的形式存在的，早期诊断和治疗肺结节可提高病人生存率。计算机断层扫描(Computed tomography,CT)是目前肺结节检测最常使用的影像。目前现有的肺结节计算机辅助检测***，主要由候选结节检测及假阳性筛查两阶段组成。候选结节检测阶段的目标是尽可能的检测出CT影像中所有的疑似结节，以提高肺结节检出灵敏度；假阳性筛查阶段的目标是将检测出的候选结节进行真阳性结节和假阳性结节分类来排除候选结节中的假阳性结节，从而提高肺结节检出的准确率。
现有的肺结节计算机辅助检测***，候选结节检测阶段为了获得高的肺结节检出灵敏度，往往导致检出的候选结节中存在大量的假阳性肺结节，因此需要进行假阳性肺结节的筛选。常规的假阳性肺结节筛选一般采用3D CNN模型对候选肺结节进行特征提取，然后采用二分类对特征进行分类。
但是现有的假阳性肺结节筛选技术存在的缺点是：3D CNN模型内的参数量极多，计算量巨大且繁杂，模型收敛速度极慢且容易过拟合。
发明内容
基于此，本发明的目的之一在于，提供一种基于混合注意力机制的肺结节假阳性排除方法、***、设备及计算机可读存储介质，参数量适宜，计算量轻且简易、模型收敛速度快、肺结节假阳性排除结果精度高。
本发明的目的通过以下技术方案实现：
第一方面，一种基于混合注意力机制的肺结节假阳性排除方法，包括以下步骤：
获得阳性肺结节三维训练数据和假阳性肺结节三维训练数据；
搭建基于混合注意力机制的TSN候选肺结节分类网络；
将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络进行训练，得到肺结节假阳性排除模型；
获得待排除的三维肺部CT影像，并以阳性肺结节三维训练数据和假阳性肺结节三维训练数据的坐标位置为中心，从三维肺部CT影像中剪切得到候选肺结节切片数据；
将候选肺结节切片数据输入肺结节假阳性排除模型，并得到肺结节假阳性排除结果。
本发明的基于混合注意力机制的肺结节假阳性排除方法：
(1)将三维切片数据，在切片维度看作为二维切片序列形式，使用TSN网络模型来对序列建模，对切片序列进行整体时序上的学习。
(2)对特征提取使用的骨干网络2D Resnet-18网络的残差模块(Residual block)进行改进：增加运动注意力(Motion Excitation,ME)、坐标注意力(CoordinateAttention,CA)、压缩和激励(Squeeze-and-Excitation，SE)相结合的混合注意力模块(AttentionModule)学习候选结节时序上的变化特征、空间位置特征以及通道重要程度。
(3)本发明的基于混合注意力机制的肺结节假阳性排除方法的网络是轻量级的，便于部署。相对于3D CNN结构模型，本发明能有效降低参数量和计算量，在节约运算资源的同时，整体准确率仍有提高，有效地解决3D CNN模型内的参数量极多、计算量巨大且繁杂、模型收敛速度极慢且容易过拟合的问题。
进一步优选地，所述搭建基于混合注意力机制的TSN候选肺结节分类网络，具体为：采用2D Resnet 18骨干网络作为TSN特征提取网络，对其中的残差模块进行改进，增设运动激励、坐标注意力、压缩和激励相结合的混合注意力模块，得到基于混合注意力机制的TSN候选肺结节分类网络。
进一步优选地，所述将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络进行训练，具体为：将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络，利用二元交叉熵损失函数对其进行训练，得到肺结节假阳性排除模型；其中，所述二元交叉熵损失函数的公式为：
Figure BDA0003184102780000031
其中yi为真实标签，pi为假阳性肺结节预测值。
进一步优选地，所述基于混合注意力机制的肺结节假阳性排除方法还包括步骤：对待排除的三维肺部CT影像进行预处理。
第二方面，一种基于混合注意力机制的肺结节假阳性排除***，包括：
训练数据获得模块，用于获得阳性肺结节三维训练数据和假阳性肺结节三维训练数据；
分类网络搭建模块，用于搭建基于混合注意力机制的TSN候选肺结节分类网络；
模型训练模块，用于将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络进行训练，得到肺结节假阳性排除模型；
待排除数据获得模块，用于获得待排除的三维肺部CT影像，并以阳性肺结节三维训练数据和假阳性肺结节三维训练数据的坐标位置为中心，从三维肺部CT影像中剪切得到候选肺结节切片数据；
结果输出模块，用于将候选肺结节切片数据输入肺结节假阳性排除模型，并得到肺结节假阳性排除结果。
进一步优选地，所述分类网络搭建模块的搭建基于混合注意力机制的TSN候选肺结节分类网络具体为：采用2D Resnet 18骨干网络作为TSN特征提取网络，对其中的残差模块进行改进，增设运动激励、坐标注意力、压缩和激励相结合的混合注意力模块，得到基于混合注意力机制的TSN候选肺结节分类网络。
进一步优选地，所述模型训练模块中的将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络进行训练，具体为：将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络，利用二元交叉熵损失函数对其进行训练，得到肺结节假阳性排除模型；其中，所述二元交叉熵损失函数的公式为：
Figure BDA0003184102780000041
其中yi为真实标签，pi为假阳性肺结节预测值。
进一步优选地，所述基于混合注意力机制的肺结节假阳性排除***还包括预处理模块，用于对待排除的三维肺部CT影像进行预处理。
第三方面，一种基于混合注意力机制的肺结节假阳性排除设备，所述设备包括存储装置和处理器，所述存储装置用于存储一个或多个程序；
当所述一个或多个程序被所述处理器执行时，所述处理器实现如上述任一项所述的基于混合注意力机制的肺结节假阳性排除方法。
第四方面，一种计算机可读存储介质，其存储有至少一个程序，当所述程序被处理器执行时，实现如上述任一项所述的基于混合注意力机制的肺结节假阳性排除方法。
相对于现有技术，本发明的基于混合注意力机制的肺结节假阳性排除方法、***、设备及计算机可读存储介质，参数量适宜，计算量轻且简易、模型收敛速度快、肺结节假阳性排除结果精度高。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1是本发明的基于混合注意力机制的肺结节假阳性排除方法的流程图。
图2是混合注意力机制中压缩和激励模块的建模示意图。
图3是混合注意力机制中运动激励模块的建模示意图。
图4是混合注意力机制中坐标注意力模块的建模示意图。
图5示出本发明中肺结节假阳性排除模型的网络整体结构。
图6示出真阳性肺结节切片序列。
图7示出假阳性肺结节切片序列。
图8是本发明的基于混合注意力机制的肺结节假阳性排除***的模块示意图。
具体实施方式
在本说明书中提到或者可能提到的上、下、左、右、前、后、正面、背面、顶部、底部等方位用语是相对于其构造进行定义的，它们是相对的概念。因此，有可能会根据其所处不同位置、不同使用状态而进行相应地变化。所以，也不应当将这些或者其他的方位用语解释为限制性用语。
以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
一种基于混合注意力机制的肺结节假阳性排除方法，如图1所示，包括以下步骤：
S1、获得阳性肺结节三维训练数据和假阳性肺结节三维训练数据。
具体地，阳性肺结节三维训练数据和假阳性肺结节三维训练数据可以从肺部CT公开数据集LUNA2016(Lung NoduleAnalysis 16)获得，其利用多种肺结节检测***所检测的阳性肺结节和假阳性肺结节分别合并得到，相应的标注信息保存在candidates_v2.csv文件中，标注信息包含肺结节所属的CT的seriesuid、肺结节的世界坐标(x，y，z)以及肺结节的类别(真阳性肺结节为1，假阳性肺结节为0)，将肺结节的世界坐标转成对应的预处理后的像素坐标，按像素坐标为中心，裁剪出大小为42*42*42像素的正样本(真阳性肺结节)和负样本(假阳性肺结节)，构建训练集、验证集及测试集。
在本实施例中，阳性肺结节三维训练数据和假阳性肺结节三维训练数据可以是从肺结节三维CT影像中获得的包含若干切片数据的训练数据。
S2、搭建基于混合注意力机制的TSN候选肺结节分类网络。
具体地，采用2D Resnet 18骨干网络作为TSN特征提取网络，对其中的残差模块进行改进，增设运动激励(Motion Excitation，ME)、坐标注意力(Coordinate Attention，CA)、压缩和激励(Squeeze-and-Excitation，SE)相结合的混合注意力模块，得到基于混合注意力机制的TSN候选肺结节分类网络。
时序分割网络(TSN)，是第一个将2D CNN用在视频行为识别上的框架。TSN对不同时序位置上的图像进行短期运动特征提取,最终将提取的多个特征进行融合,以实现长期的运动特征学习。具体形式为,给定一个视频V,把它分成相同持续时间的K个部分{S1,S2,…,SK},从对应的片段Sk中随机抽取一帧Tk,，TSN对帧序列(T1,T2,…,TK)进行如下方式建模：
TSN(T1,T2,…,TK)＝H(G(F(T1,W),F(T2,W),…,F(TK,W))) (1)
其中F(TK,W)是表示具有参数W的卷积网络的函数，视频帧TK经过卷积网络后得到一个C维向量,其中C表示类别数。函数G(·)是段共识函数，可将K个分段的预测向量进行融合，函数H(·)为Softmax函数，用来预测视频所属类别。
本发明模型算法基于TSN模型思路，将肺结节三维CT影像看作为切片方向(横断面、Z轴方向)上的组合，使用TSN对切片分段,通过卷积网络分别提出各分段的特征向量，最终对各分段的特征向量融合,使用Softmax对融合后的特征向量输出类别概率(真阳性肺结节概率、或假阳性肺结节概率)。
特征提取网络使用深度残差网络(Deep Residual Networks),考虑到肺结节训练数据体积大及过拟合问题，选用2D ResNet-18骨干网络作为TSN特征提取网络G(·)。
2D ResNet-18骨干网络作为TSN特征提取网络G(·)，具体的特征提取描述如下:
将阳性肺结节三维训练数据和假阳性肺结节三维训练数据中肺结节的形状[L,H,W]转换为[T,C,H,W]的形式,其中L为阳性肺结节三维训练数据和假阳性肺结节三维训练数据的肺结节切片数目,H、W对应切面的宽高,T表示分段数,C表示通道数。考虑到肺结节切片数L较小,对结节分成T段后,每个分段并不进行随机选取切片,而是将每个分段分配的切片作为通道进行处理,即L＝T×C。将T段数据各自输入到2D ResNet-18中提取分段特征F＝[F1,F2,…,FT],其中F为隐含层中的特征表示,其维数为[T,C',H',W'],考虑Batch Size的情况,F其维数为[N,T,C',H',W'],其中N为Batch Size大小。
在其他实施例中，特征提取网络还可以采用其他backbone网络，包括但不限于ResNet、ResNext,、DenseNet、MobileNet、InceptionNet等其他特征提取网络。
混合注意力模块包含三部分:压缩和激励(Squeeze-and-Excitation，SE)模块、运动激励(Motion Excitation，ME)模块、坐标注意力(Coordinate Attention，CA)模块,用于分别学习肺结节特征的通道重要程度、相邻分段运动信息及空间位置信息。
需要特别说明的是:混合注意力模块之外的张量是4D，即[N×T,C,H,W],其中N代表Bacth Size大小、T代表分段数、C代表颜色通道的数量、H代表高度、W代表宽度，在TSN模型中输入混合注意力模块时,首先应将输入的4D张量重塑为5D张量[N,T,C,H,W]，使得在混合注意力模块内部能对特定维度进行操作。然后对通过混合注意力模块输出的5D张量重塑为4D张量,提供给后续2D卷积使用。
压缩和激励模块是一种通道注意力机制,主要从特征通道相关性的角度考虑。通过明确建模通道之间的相互依赖,自适应地重新校准通道的特征响应,来增强卷积层所提取特征的指向性。本发明使用的压缩和激励模块的核心分为两部分:挤压和激励,具体如图2所示。
压缩:给定输入特征
Figure BDA0003184102780000091
X表示阳性肺结节三维训练数据的特征或假阳性肺结节三维训练数据的特征，进行全局平均池化,可表示为：
Figure BDA0003184102780000092
其中
Figure BDA0003184102780000093
激励:对挤压后的特征Fs，通过给定一个缩放比例r，利用1×1二维卷积得到特征
Figure BDA0003184102780000094
对Fr进ReLU非线性变换后,再利用1×1二维卷积还原到特征
Figure BDA0003184102780000095
将特征Ftemp输入到Sigmoid激活函数,得倒通道掩码,
Figure BDA0003184102780000096
Figure BDA0003184102780000097
最终压缩和激励模块的输出特征,可表示为:
Fo＝X+X⊙Fm (3)，其中,
Figure BDA0003184102780000098
运动激励模块目的是对相邻分段进行运动信息建模,如图3所示,
为降低计算量,首先使用1×1二维卷积对输入特征X进行挤压.挤压后的特征为
Figure BDA0003184102780000099
然后对运动特征进行建模操作可以表示为:
Fme＝K*Fr[:,t+1,:,:,:]－Fr[:,t,:,:,:] (4)
其中,K是一个3×3的2D卷积层，
Figure BDA00031841027800000910
然后将运动特征根据时间维数串联起来,0填充到最后一个元素,即FME＝[Fme(1),...,Fme(t-1),0],其中
Figure BDA00031841027800000911
然后利用上面公式(2)对FME进行空间平均池化处理,再使用1×1二维卷积对处理后的特征通道还原得到特征
Figure BDA00031841027800000912
将特征Ftemp输入到Sigmoid激活函数,得到相应掩码,
Figure BDA00031841027800000913
Figure BDA00031841027800000914
按公式(3),最终得到ME模块的输出
Figure BDA00031841027800000915
压缩和激励模块(通道注意力)通常忽略了位置信息,而位置信息对于生成空间选择性注意力图非常重要。坐标注意力模块将位置信息嵌入到通道注意中，与通过二维全局池化将特征张量转化为单个特征向量的通道注意不同，坐标注意模块是将通道注意为分解为两个一维特征的编码过程,分别沿两个空间方向聚合特征。这样既可以获取一个空间方向上的远程依赖关系,又可以保留另一个空间方向上的精确位置信息。然后,生成的特征图被分别编码成一对方向感知和位置敏感的注意力图，这对注意力图可以互补地应用于输入特征图，以增加感兴趣对象的表示。本发明使用的坐标注意力模块细节如图4所示，具体分成坐标信息嵌入和坐标注意力生成两部分说明。
坐标信息嵌入：利用全局池化公式(2)将输入特征X分解为一对一维特征的编码操作。具体而言,对输入特征X，先使用尺寸(H，1)和(1，W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码。对第C个通道，在H方向上的输出可用公式(5)表示：
Figure BDA0003184102780000101
i表示0(包括0)至W(不包括W)之间的某一数值。
同理,对第C个通道,在W方向上的输出可用公式(6)表示：
Figure BDA0003184102780000102
j表示0(包括0)至H(不包括H)之间的某一数值。
上面这两个变换沿着两个空间方向进行特征聚合,返回一对方向感知注意力图。
坐标注意力生成：对公式(5)和(6)生成的聚合特征图，首先将它们拼接起来，然后利用一个共享的1×1卷积变换函数F1,得到
f＝S(F1([zh,zw])) (7)
其中[Zh，ZW]表示沿空间维度的拼接操作,δ为非线性激活函数，
Figure BDA0003184102780000111
Figure BDA0003184102780000112
为从水平方向和垂直方向编码空间信息得到的中间特征图。然后沿着空间维度把f分解成两个单独的张量
Figure BDA0003184102780000113
和
Figure BDA0003184102780000114
Figure BDA0003184102780000115
再利用两个1×1卷积变换函数Fh和Fw分别将张量变换回与输入特征X相同的通道数,得到gh和gw，分别表示为：
gh＝δ(Fh(fh)) (8)
gw＝S(Fw(fw)) (9)
将gh、gw作为注意权重,最终的注意力模块的输出为:
Fo＝X+X×gh×gw(10)，其中
Figure BDA0003184102780000116
本发明中的特征融合策略为：对提取的T个特征向量，直接使用平均池化(avgPooling)方式进行融合。对融合的后的特征向量采用Softmax输出类别概率(真阳性肺结节概率、或假阳性肺结节概率)。
S3、将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络，利用二元交叉熵损失函数对其进行训练，得到肺结节假阳性排除模型；其中，所述二元交叉熵损失函数的公式为：
Figure BDA0003184102780000117
其中yi为真实标签，pi为假阳性肺结节预测值。
具体地，将42*42*42像素的阳性肺结节三维训练数据和假阳性肺结节三维训练数据，进行数据增强(x轴、y轴、z轴随机翻转，随机剪切36*36*36大小区域，x轴y轴随机旋转90、180、270度)。增强后的数据reshape成12*3*36*36输入到TSN分类模型中，经骨干网络提取出12个时序特征向量，对12个时序特征向量进行平均池化得到最终的融合特征，对最终的融合特征进行二元分类。肺结节假阳性排除模型的网络整体结构如图5所示。
S4、获得待排除的三维肺部CT影像，并以阳性肺结节三维训练数据和假阳性肺结节三维训练数据的坐标位置为中心，从三维肺部CT影像中剪切得到候选肺结节切片数据。参见图6-7，图6为真阳性肺结节切片序列，图7为假阳性肺结节切片序列，一行列出一个肺结节的部分切片序列。
该步骤还包括步骤S41：对待排除的三维肺部CT影像进行预处理。具体地，将三维肺部CT影像数据的spacing统一采样调整为1mm×1mm×1mm的像素间隔，CT影像的HU值截取到区间[-1200,600]，并转换成[0，255]之间的灰度值。
S5、将候选肺结节切片数据输入肺结节假阳性排除模型，并得到肺结节假阳性排除结果。
当利用肺结节假阳性排除模型得到候选肺结节切片数据的假阳性肺结节预测值时，可得知该候选肺结节切片数据为假阳性肺结节的概率，从而判断是否排除该候选肺结节切片数据所表示的候选肺结节，当预测值大于预设的阈值时，认为该候选肺结节切片数据所表示的候选肺结节为假阳性肺结节，即将其排除。
本发明的基于混合注意力机制的肺结节假阳性排除方法：
(1)将三维切片数据，在切片维度看作为二维切片序列形式，使用TSN网络模型来对序列建模，对切片序列进行整体时序上的学习。
(2)对特征提取使用的骨干网络2D Resnet-18网络的残差模块(Residual block)进行改进：增加运动注意力(Motion Excitation,ME)、坐标注意力(CoordinateAttention,CA)、压缩和激励(Squeeze-and-Excitation，SE)相结合的混合注意力模块(AttentionModule)学习候选结节时序上的变化特征、空间位置特征以及通道重要程度。
(3)本发明的基于混合注意力机制的肺结节假阳性排除方法的网络是轻量级的，便于部署。相对于3D CNN结构模型，本发明能有效降低参数量和计算量，在节约运算资源的同时，整体准确率仍有提高。参见下方表格：
Figure BDA0003184102780000131
同未使用混合注意力模块的模型相比，本发明的基于混合注意力机制的肺结节假阳性排除方法搭建的基于混合注意力机制的TSN候选肺结节分类网络模型在使用混合注意力模块的条件下，参数量增加约22万，预测真阳性肺结节和假阳性肺结节的准确率提高了0.64％。
同3D Resnet-18相比，本发明的基于混合注意力机制的肺结节假阳性排除方法搭建的基于混合注意力机制的TSN候选肺结节分类网络模型在参数量约其为三分之一同时，预测真阳性肺结节和假阳性肺结节的准确率提高了0.28％。
因此，本发明的基于混合注意力机制的肺结节假阳性排除方法能够有效地解决3DCNN模型内的参数量极多、计算量巨大且繁杂、模型收敛速度极慢且容易过拟合的问题。
另外，需要指出的是，本发明适用肺结节计算机辅助检则***的第二阶段假阳性肺结节筛查任务，不涉及第一阶段候选肺结节的检测网络的设计。对于能预测候选结节坐标位置的任何候选结节检测网络，可适用于本发明提出的方法进行假阳性筛查处理。
进一步地，本发明使用的分类算法可以对其他CT类的三维目标进行分类，同样适用。
本发明还公开一种基于混合注意力机制的肺结节假阳性排除***，如图8所示，包括：
训练数据获得模块，用于获得阳性肺结节三维训练数据和假阳性肺结节三维训练数据；
分类网络搭建模块，用于搭建基于混合注意力机制的TSN候选肺结节分类网络；
模型训练模块，用于将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络进行训练，得到肺结节假阳性排除模型；
待排除数据获得模块，用于获得待排除的三维肺部CT影像，并以阳性肺结节三维训练数据和假阳性肺结节三维训练数据的坐标位置为中心，从三维肺部CT影像中剪切得到候选肺结节切片数据；
结果输出模块，用于将候选肺结节切片数据输入肺结节假阳性排除模型，并得到肺结节假阳性排除结果。
进一步优选地，所述分类网络搭建模块的搭建基于混合注意力机制的TSN候选肺结节分类网络具体为：采用2D Resnet 18骨干网络作为TSN特征提取网络，对其中的残差模块进行改进，增设运动激励、坐标注意力、压缩和激励相结合的混合注意力模块，得到基于混合注意力机制的TSN候选肺结节分类网络。
进一步优选地，所述模型训练模块中的将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络进行训练，具体为：将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络，利用二元交叉熵损失函数对其进行训练，得到肺结节假阳性排除模型；其中，所述二元交叉熵损失函数的公式为：
Figure BDA0003184102780000151
其中yi为真实标签，pi为假阳性肺结节预测值。
进一步优选地，所述基于混合注意力机制的肺结节假阳性排除***还包括预处理模块，用于对待排除的三维肺部CT影像进行预处理。
本发明还公开一种基于混合注意力机制的肺结节假阳性排除设备，所述设备包括存储装置和处理器，所述存储装置用于存储一个或多个程序；
当所述一个或多个程序被所述处理器执行时，所述处理器实现如上述所述的基于混合注意力机制的肺结节假阳性排除方法。
所述设备还可以优选地包括通信接口，所述通信接口用于与外部设备进行通信和数据交互传输。
需要说明的是，所述存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(nonvolatile memory)，例如至少一个磁盘存储器。
在具体实现上，如果存储器、处理器及通信接口集成在一块芯片上，则存储器、处理器及通信接口可以通过内部接口完成相互间的通信。如果存储器、处理器和通信接口独立实现，则存储器、处理器和通信接口可以通过总线相互连接并完成相互间的通信。
本发明还公开一种计算机可读存储介质，其存储有至少一个程序，当所述程序被处理器执行时，实现如上述所述的基于混合注意力机制的肺结节假阳性排除方法。
应当理解，所述计算机可读存储介质为可存储数据或程序的任何数据存储设备，所述数据或程序其后可由计算机***读取。计算机可读存储介质的示例包括：只读存储器、随机存取存储器、CD-ROM、HDD、DVD、磁带和光学数据存储设备等。
计算机可读存储介质还可分布在网络耦接的计算机***中使得计算机可读代码以分布式方式来存储和执行。
计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频(Radio Frequency，RF)等，或者上述的任意合适的组合。
在一些实施方案中，计算机可读存储介质还可以是非暂态的。
相对于现有技术，本发明的基于混合注意力机制的肺结节假阳性排除方法、***、设备及计算机可读存储介质，参数量适宜，计算量轻且简易、模型收敛速度快、肺结节假阳性排除结构精度高。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于混合注意力机制的肺结节假阳性排除方法，其特征在于，包括：
获得阳性肺结节三维训练数据和假阳性肺结节三维训练数据；
搭建基于混合注意力机制的TSN候选肺结节分类网络；
将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络进行训练，得到肺结节假阳性排除模型；
获得待排除的三维肺部CT影像，并以阳性肺结节三维训练数据和假阳性肺结节三维训练数据的坐标位置为中心，从三维肺部CT影像中剪切得到候选肺结节切片数据；
将候选肺结节切片数据输入肺结节假阳性排除模型，并得到肺结节假阳性排除结果。
2.根据权利要求1所述的基于混合注意力机制的肺结节假阳性排除方法，其特征在于，所述搭建基于混合注意力机制的TSN候选肺结节分类网络，具体为：采用2D Resnet 18骨干网络作为TSN特征提取网络，对其中的残差模块进行改进，增设运动激励、坐标注意力、压缩和激励相结合的混合注意力模块，得到基于混合注意力机制的TSN候选肺结节分类网络。
3.根据权利要求1所述的基于混合注意力机制的肺结节假阳性排除方法，其特征在于，所述将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络进行训练，具体为：将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络，利用二元交叉熵损失函数对其进行训练，得到肺结节假阳性排除模型；其中，所述二元交叉熵损失函数的公式为：
Figure FDA0003184102770000011
其中yi为真实标签，pi为假阳性肺结节预测值。
4.根据权利要求1所述的基于混合注意力机制的肺结节假阳性排除方法，其特征在于，所述基于混合注意力机制的肺结节假阳性排除方法还包括步骤：对待排除的三维肺部CT影像进行预处理。
5.一种基于混合注意力机制的肺结节假阳性排除***，其特征在于，包括：
训练数据获得模块，用于获得阳性肺结节三维训练数据和假阳性肺结节三维训练数据；
分类网络搭建模块，用于搭建基于混合注意力机制的TSN候选肺结节分类网络；
模型训练模块，用于将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络进行训练，得到肺结节假阳性排除模型；
待排除数据获得模块，用于获得待排除的三维肺部CT影像，并以阳性肺结节三维训练数据和假阳性肺结节三维训练数据的坐标位置为中心，从三维肺部CT影像中剪切得到候选肺结节切片数据；
结果输出模块，用于将候选肺结节切片数据输入肺结节假阳性排除模型，并得到肺结节假阳性排除结果。
6.根据权利要求5所述的基于混合注意力机制的肺结节假阳性排除***，其特征在于，所述分类网络搭建模块的搭建基于混合注意力机制的TSN候选肺结节分类网络具体为：采用2D Resnet 18骨干网络作为TSN特征提取网络，对其中的残差模块进行改进，增设运动激励、坐标注意力、压缩和激励相结合的混合注意力模块，得到基于混合注意力机制的TSN候选肺结节分类网络。
7.根据权利要求5所述的基于混合注意力机制的肺结节假阳性排除***，其特征在于，所述模型训练模块中的将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络进行训练，具体为：将阳性肺结节三维训练数据和假阳性肺结节三维训练数据输入基于混合注意力机制的TSN候选肺结节分类网络，利用二元交叉熵损失函数对其进行训练，得到肺结节假阳性排除模型；其中，所述二元交叉熵损失函数的公式为：
Figure FDA0003184102770000031
其中yi为真实标签，pi为假阳性肺结节预测值。
8.根据权利要求5所述的基于混合注意力机制的肺结节假阳性排除***，其特征在于，所述基于混合注意力机制的肺结节假阳性排除***还包括预处理模块，用于对待排除的三维肺部CT影像进行预处理。
9.一种基于混合注意力机制的肺结节假阳性排除设备，其特征在于，所述基于混合注意力机制的肺结节假阳性排除设备包括存储装置和处理器，所述存储装置用于存储一个或多个程序；
当所述一个或多个程序被所述处理器执行时，所述处理器实现根据权利要求1-4任一项所述的基于混合注意力机制的肺结节假阳性排除方法。
10.一种计算机可读存储介质，其存储有至少一个程序，其特征在于，当所述程序被处理器执行时，实现根据权利要求1-4任一项所述的基于混合注意力机制的肺结节假阳性排除方法。
CN202110855736.7A 2021-07-28 2021-07-28 混合注意力机制的肺结节假阳性排除方法、***、设备 Pending CN113570573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110855736.7A CN113570573A (zh) 2021-07-28 2021-07-28 混合注意力机制的肺结节假阳性排除方法、***、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110855736.7A CN113570573A (zh) 2021-07-28 2021-07-28 混合注意力机制的肺结节假阳性排除方法、***、设备

Publications (1)

Publication Number Publication Date
CN113570573A true CN113570573A (zh) 2021-10-29

Family

ID=78168443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110855736.7A Pending CN113570573A (zh) 2021-07-28 2021-07-28 混合注意力机制的肺结节假阳性排除方法、***、设备

Country Status (1)

Country Link
CN (1) CN113570573A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830020A (zh) * 2023-02-14 2023-03-21 成都泰莱生物科技有限公司 一种肺结节特征提取方法、分类方法、装置及介质
CN116843956A (zh) * 2023-06-14 2023-10-03 长江大学 一种宫颈病理图像异常细胞识别方法、***及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539491A (zh) * 2020-07-07 2020-08-14 点内（上海）生物科技有限公司 基于深度学习与注意力机制的多发性结节分类***和方法
CN112465830A (zh) * 2020-11-11 2021-03-09 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539491A (zh) * 2020-07-07 2020-08-14 点内（上海）生物科技有限公司 基于深度学习与注意力机制的多发性结节分类***和方法
CN112465830A (zh) * 2020-11-11 2021-03-09 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PENG WAN等: "Hierarchical Temporal Attention Network for Thyroid Nodule Recognition Using Dynamic CEUS Imaging", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
QIBIN HOU等: "Coordinate Attention for Efficient Mobile Network Design", 《IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, CVPR 2021》, pages 3 *
ZHAN WU等: "MD-NDNet: a multi-dimensional convolutional neural network for false-positive reduction in pulmonary nodule detection", 《PHYSICS IN MEDICINE & BIOLOGY》, pages 2 *
ZHENGWEI WANG等: "ACTION-Net: Multipath Excitation for Action Recognition", 《2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 3 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830020A (zh) * 2023-02-14 2023-03-21 成都泰莱生物科技有限公司 一种肺结节特征提取方法、分类方法、装置及介质
CN115830020B (zh) * 2023-02-14 2023-04-28 成都泰莱生物科技有限公司 一种肺结节特征提取方法、分类方法、装置及介质
CN116843956A (zh) * 2023-06-14 2023-10-03 长江大学 一种宫颈病理图像异常细胞识别方法、***及存储介质

Similar Documents

Publication Publication Date Title
CN108520535B (zh) 基于深度恢复信息的物体分类方法
CN111415316B (zh) 基于生成对抗网络的缺陷数据合成方法
CN110428428B (zh) 一种图像语义分割方法、电子设备和可读存储介质
Pang et al. Visual haze removal by a unified generative adversarial network
CN108629367B (zh) 一种基于深度网络增强服装属性识别精度的方法
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
WO2018052587A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN110210431B (zh) 一种基于点云语义标注和优化的点云分类方法
CN113705580B (zh) 基于深度迁移学习的高光谱图像分类方法
CN111597920B (zh) 一种自然场景下的全卷积单阶段的人体实例分割方法
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN112528961B (zh) 一种基于Jetson Nano的视频分析方法
CN113570573A (zh) 混合注意力机制的肺结节假阳性排除方法、***、设备
CN114037640A (zh) 图像生成方法及装置
CN114842238A (zh) 一种嵌入式乳腺超声影像的识别方法
CN114897728A (zh) 图像增强方法、装置、终端设备以及存储介质
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测***
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN114663315B (zh) 基于语义融合生成对抗网络的图像比特增强方法及装置
KR102454742B1 (ko) 뇌 피질 영역의 두께를 분석하는 방법
CN114820785A (zh) 一种图像中对象位置关系的识别方法、装置及存储介质
CN113837062A (zh) 一种分类方法、装置、存储介质及电子设备
CN114764746A (zh) 激光雷达的超分辨率方法和装置、电子设备及存储介质
CN112132253B (zh) 3d动作识别方法、装置、计算机可读存储介质及设备
CN111860668A (zh) 一种针对原始3d点云处理的深度卷积网络的点云识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination