CN110335261A - 一种基于时空循环注意力机制的ct***检测*** - Google Patents

一种基于时空循环注意力机制的ct***检测*** Download PDF

Info

Publication number
CN110335261A
CN110335261A CN201910570878.1A CN201910570878A CN110335261A CN 110335261 A CN110335261 A CN 110335261A CN 201910570878 A CN201910570878 A CN 201910570878A CN 110335261 A CN110335261 A CN 110335261A
Authority
CN
China
Prior art keywords
attention
lymph node
network
formula
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910570878.1A
Other languages
English (en)
Other versions
CN110335261B (zh
Inventor
彭海欣
马英然
王元红
彭延军
卢新明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN201910570878.1A priority Critical patent/CN110335261B/zh
Publication of CN110335261A publication Critical patent/CN110335261A/zh
Priority to PCT/CN2019/112219 priority patent/WO2020258611A1/zh
Priority to US16/957,305 priority patent/US11158048B2/en
Application granted granted Critical
Publication of CN110335261B publication Critical patent/CN110335261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时空循环注意力机制的CT***检测***，具体涉及医学图像分析技术领域。本发明基于深度卷积神经网络和循环注意力机制，能够在***CT序列的切片向和空间域内构造出自适应病灶尺寸的注意力特征图谱。首先，利用一预训练卷积网络提取出***CT图像对应的高层空间特征；其次在空间邻域内，以***中心切片为基准，构造一种基于高斯核函数的循环注意力机制；在此基础上，实施基于高斯混合模型的时间(切片方向)注意力机制；此外，根据***在CT切片序列内位置分布的先验信息，对预测的注意力位置进行约束；最后，循环神经网络综合该两种注意力方法提取到的高层特征进行分类，得到***检测结果。

Description

一种基于时空循环注意力机制的CT***检测***
技术领域
本发明涉及医学图像分析技术领域，具体涉及一种基于时空循环注意力机制的CT*** 检测***。
背景技术
在将深度学习模型应用到医学图像分析领域时，鉴于医学图像特殊的成像特点，模型往 往受到医学分析目标的不同大小、形状、尺度、成像质量、背景组织器官等情况的影响，分 析准确性有待提高。
视觉注意力机制可以模仿人眼对视觉信息特有的关注机制，能够对感兴趣区域进行准确 定位，进一步克服无关信息对模型的影响。有鉴于此，本发明将传统的面向自然图像的深度 视觉注意力模型应用到***CT序列图像中，对***进行真假阳性分类，以提高深度学习 方法在病灶检测方面的准确度。
发明内容
本发明的目的是针对上述不足，提出了一种基于循环注意力机制，根据CT图像呈现序列 化特点，基于高斯核函数和混合密度网络，融合空间向、切片向两个维度的视觉注意力过程 的CT***检测***。
本发明具体采用如下技术方案：
一种基于时空循环注意力机制的CT***检测***，包括训练样本提取模块、深层特征 提取网络、特征嵌入网络和时空循环注意力目标检测模块，检测过程包括以下步骤：
步骤一：利用训练样本提取模块对获取到的***dcm格式文件及对应的***标注位 置坐标信息，采用python中的pydicom模块对每个***抽取出长度为L、宽为W、高为H 的CT切片图像块序列
步骤二：基于深层特征提取网络，利用由自然图像预训练好的VGG-16模型对每一*** 的CT切片图像块序列提取出其对应的高层空间特征图谱序列，记为{X0,...,XL}；
步骤三：构建特征嵌入网络，对输入的高层特征图谱序列进行降维，输出特征图谱Αi；
步骤四：构建时空循环注意力框架，基于循环神经网络和高斯核函数，执行空间注意力 机制，获得空间注意力结果
步骤五：对步骤四获得的空间注意力结果实施时间注意力机制，得到时空注意力特 征
步骤六：综合步骤五得到的时空注意力特征利用步骤四已构建的循环神经网络预 测出此循环注意力迭代步的***阳性得分
步骤七：构建模型的损失函数，重复T次步骤四至步骤六，利用梯度反向传播算法，对 模型进行有监督训练；
步骤八：重复步骤三至七，对模型进行迭代训练，直至训练结束，得到训练好的模型；
步骤九：输入待检测的***CT序列，进行模型推理过程，将最后一次循环注意力输出 的阳性得分作为CT***检测结果。
优选地，所述步骤四具体包括以下步骤：
步骤4.1：构建两层长短时循环记忆网络；
步骤4.2：构造特征图谱的编码过程，对长短时循环记忆网络的状态进行初始化；
步骤4.3：利用一发射网络，预测出在特征图谱范围内的空间注意力位置；
步骤4.4：基于二维高斯核函数，构造出注意力矩阵l(t)；
步骤4.5：l(t)与Αi逐元素相乘，并求和，获得空间注意力结果特征
优选地，在步骤4.1中，循环神经网络是基于两层结构的长短时循环记忆网络构建，隐 藏层表达式由如式(1)所示，
其中：对应的Rrecur(·)展开为式(2)：
其中，it，ft，ot分别代表输入门，遗忘门和输出门；ct，ht分别表示细胞状态和隐藏层 状态；表示第t步注意力机制输入到长短时循环记忆网络的特征向量；为一个 由可训练参数构成的仿射变换，a＝d+E，b＝4d；d为it,ft,ot,gt,ct和ht对应的相同 向量维数，E为输入特征降维后的维数，将上述Rrecur(·)中的替换成后得到对应的Rrecur(·)。
优选地，所述步骤4.2具体包括如下步骤：
步骤4.2.1：构造与(1)式相同结构的一新的双层长短时循环记忆网络；
步骤4.2.2：将步骤3中每个***CT切片序列正中心位置处对应的特征图谱Amid，按 照空间邻域进行划分；具体将8×8×200按相邻四个位置为一组，总共分成16个2×2×200 个子特征块；
步骤4.2.3:对将该16个子特征块按照从外向内顺时针顺序依次输入到新的双层长短时 循环记忆网络中，经过16次循环，获取最后时刻LSTM第二层对应的细胞状态用来初始 化步骤4.1中的长短时循环记忆网络第二层细胞状态
优选地，所述步骤4.3具体包括如下步骤：
步骤4.3.1：将长短时循环记忆网络的第一层隐藏层输出特征向量和循环注意力迭代 步中切片序列中心对应的特征结果进行串联，得到
步骤4.3.2：将输入到由一层全连接层构成的发射网络，对下一循环迭代步 空间注意力位置进行回归，由式(3)所示：
其中：表示为t+1时刻预测的注意力位置坐标，此处将高斯核函数 方差设为固定值0.1，故只对应两个输出结点。
优选地，所述步骤4.4中，在得到注意力位置坐标之后，利用二维高斯核函数和softmax构建注意力模板矩阵，具体为式(4)所示，
其中， 为Ai范围内归一化到区间[0,1]的 离散的等间隔位置坐标；C为高斯归一化常数，为固定值10。
优选地，所述步骤五具体包括以下步骤：
步骤5.1：构建混合密度网络，根据预测切片方向的注意力位置
步骤5.2：基于高斯混合分布，获得注意力权重向量l′(t)；
步骤5.3：将l′(t)与输入特征逐元素相乘并相加，获得时间注意力结果特征
优选地，所述步骤5.1中，具体包括以下步骤：
步骤5.1.1：将每个***对应的序列特征等分成左、右两半部分，即
步骤5.1.2：由一层全连接隐藏层构成混合密度网络，用以回归时间注意力位置坐标及 混合高斯函数参数，采用式(5)表示：
其中，表示的左半部或右半部；表示混合密 度网络的训练参数，C表示序列左半部和右半部对应的高斯混合模型的分量数，σ为sigmoid 函数；
步骤5.1.3：对左半部和右半部各自回归系数均按的规则分配该系数到混合高斯模型中；
步骤5.1.4：采用式(6)将μLeft限制在[0,0.5)，将μRight限制在(0.5,1]内。
μLeft←μLeft×0.5,μRight←0.5×(1+μRight) (6)
优选地，所述步骤5.2中，具体包括以下步骤：
步骤5.2.1：利用softmax，归一化各高斯分量的系数即并 将所有高斯分量的方差固定为0.1；
步骤5.2.2：综合左、右半部切片特征向量导出的混合高斯模型参数依 照式(7)获得对应的时间注意力权重向量
其中，Ν为高斯混合密度函数：
优选地，在步骤七中，模型有监督训练的目标函数经过以下步骤获得：
步骤7.1：构建分类损失函数；考察所有循环注意力迭代步对应的交叉熵损失函数，由 式(9)给出：
其中：yi，分别为真实和预测的***阳性得分，为总的循环注意力迭代次数；
步骤7.2：构建空间注意力机制预测位置的惩罚项，具体包括如下两步：
步骤7.2.1：构建位置“集中”约束项，依照***位于切片中心位置处这一先验信息， 基于Batch Normalization，将预测的空间注意力位置约束到特征图谱中心周围，由式(10) 给出：
其中，
其中，β，γ为Batch Normalization引入的可训练参数；d为发射网络的输出维数；m 为批样本容量；
步骤7.2.2：构建位置“发散”约束项；通过整个循环注意力过程中预测的各个位置对 均匀分布的交叉熵损失函数进行构造，具体如式(11)所示：
其中，pUnif～Uniform(0,K2)表示分布在特征图谱空间范围内的均匀分布；常量Const 置为1；
步骤7.3：构建时间注意力机制预测位置的惩罚项；对预测位置施加“集中”约束项， 对混合密度网络同样引入Batch Normalization层，并最小化式(10)，使得切片方向左、右 半部关注位置
步骤7.4：构建模型最终的整体损失函数，如式(12)所示：
本发明具有如下有益效果：
本发明采用循环注意力机制，对***CT图像高层空间特征进行加权提取，能够自适应 处理3D病灶体素信息，无需引入而外的位置标签信息。发明是基于高斯核函数，模型规模较 小，整体可导，方便利用反向传播算法训练。对***检测结果较为理想，具有很好的技术 价值和应用前景。
附图说明
图1为本发明方法的流程图；
图2为本发明各部分结构图；
图3为特征图谱编码序列示意图；
图4为对称的混合密度网络MDN结构图；
图5为循环神经网络在训练阶段时的正向，反向传播示意图；
图6为实施空间注意力机制实例图；
图7为实施时间注意力机制实例图；
图8为本发明与基准模型的FROCs和AUC对比图；
图9为本发明与其他模型的性能对比图。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：
为克服不同***病灶区域及复杂背景对检测结果的影响，该***采用循环注意力机制， 根据CT图像呈现序列化特点，基于高斯核函数和混合密度网络，模型融合空间向、切片向两 个维度的视觉注意力过程。此外，利用病灶区域位置的先验分布，对预测的时空注意力位置 进行了约束。
结合附图，一种基于时空循环注意力机制的CT***检测***，包括训练样本提取模块、 深层特征提取网络、特征嵌入网络和时空循环注意力目标检测模块，检测过程包括以下步骤：
步骤一：利用训练样本提取模块对获取到的***dcm格式文件及对应的***标注位 置坐标信息，采用python中的pydicom模块对每个***抽取出长度为L、宽为W、高为H 的CT切片图像块序列Ii(i＝1,2,...,L)，
采用的数据集为TCIA(The Cancer Imaging Archive)提供的CT***数据集，其中 包含有90个病人的389个纵膈***以及与之对应的3208例假阳性样本，86个病人的595 个腹腔***以及与其对应的3484例假阳性样本。根据CT***的先验统计信息，抽取的 每个***对应的CT切片序列长度L＝9，即以每个***中心为对称轴，前向和后向分别 抽取四个相邻切片组成序列。且此处固定W＝H＝32，在空间域中，图像块的中心即对应于 CT***标注的位置坐标。
步骤二：基于深层特征提取网络，利用由自然图像预训练好的VGG-16模型对每一*** 的CT切片图像块序列提取出其对应的高层空间特征图谱序列，记为{X0,...,XL}；
预训练CNN模型选用基于ImageNet数据集训练的Inception-V3模型。且高层特征选取 其倒数第二层卷积层，提取到的特征维数为8×8×1280。
步骤三：构建特征嵌入网络，对输入的高层特征图谱序列进行降维，输出特征图谱Αi；
构建的特征嵌入网络由一层全连接层构成，即1×1卷积，且输出维度置为200。单个特 征图谱的降维过程由(13)式表示。
Αi＝tanh(WEmXi+b) (13)
其中：为训练参数。为降维后的特征图谱，E＝200，K＝8。
步骤四：构建时空循环注意力框架，基于循环神经网络和高斯核函数，执行空间注意力 机制，获得空间注意力结果
步骤四具体包括以下步骤：
步骤4.1：构建两层长短时循环记忆网络(Long Short-Term Memory,LSTM)；
在步骤4.1中，循环神经网络是基于两层结构的长短时循环记忆网络构建，隐藏层表达 式由如式(1)所示，
其中：对应的Rrecur(·)展开为式(2)：
其中，it，ft，ot分别代表输入门，遗忘门和输出门；ct，ht分别表示细胞状态和隐藏层 状态；表示第t步注意力机制输入到长短时循环记忆网络的特征向量；为一个 由可训练参数构成的仿射变换，a＝d+E，b＝4d；d为it,ft,ot,gt,ct和ht对应的相同 向量维数，E为输入特征降维后的维数，将上述Rrecur(·)中的替换成后得到对应的Rrecur(·)
步骤4.2：构造特征图谱的编码过程，对长短时循环记忆网络的状态进行初始化；
步骤4.2具体包括如下步骤：
步骤4.2.1：构造与(1)式相同结构的一新的双层长短时循环记忆网络；
步骤4.2.2：将步骤3中每个***CT切片序列正中心位置处对应的特征图谱Amid，按 照空间邻域进行划分；具体将8×8×200按相邻四个位置为一组，总共分成16个2×2×200 个子特征块；
步骤4.2.3:对将该16个子特征块按照从外向内顺时针顺序依次输入到新的双层长短时 循环记忆网络中，经过16次循环，获取最后时刻LSTM第二层对应的细胞状态用来初始 化步骤4.1中的长短时循环记忆网络第二层细胞状态
步骤4.3：利用一发射网络，预测出在特征图谱范围内的空间注意力位置；
步骤4.3具体包括如下步骤：
步骤4.3.1：将长短时循环记忆网络的第一层隐藏层输出特征向量和循环注意力迭代 步中切片序列中心对应的特征结果进行串联，得到此处，令
步骤4.3.2：将输入到由一层全连接层构成的发射网络，对下一循环迭代步 空间注意力位置进行回归，由式(3)所示：
其中：表示为t+1时刻预测的注意力位置坐标，此处将高斯核函数 方差设为固定值0.1，故只对应两个输出结点。
步骤4.4：基于二维高斯核函数，构造出注意力矩阵l(t)；
步骤4.4中，在得到注意力位置坐标之后，利用二维高斯核函数和softmax构建注 意力模板矩阵，具体为式(4)所示，
其中，为Ai范围内归一化到区间[0,1]的 离散的等间隔位置坐标；C为高斯归一化常数，为固定值10。
步骤4.5：l(t)与Αi逐元素相乘，并求和，获得空间注意力结果特征
步骤五：对步骤四获得的空间注意力结果实施时间注意力机制，得到时空注意力特 征
步骤五具体包括以下步骤：
步骤5.1：构建混合密度网络，根据预测切片方向的注意力位置
步骤5.1中，具体包括以下步骤：
步骤5.1.1：将每个***对应的序列特征等分成左、右两半部分，即
步骤5.1.2：由一层全连接隐藏层构成混合密度网络(Mixture DensityNetworks,MDN)， 用以回归时间注意力位置坐标及混合高斯函数参数，采用式(5)表示：
其中，表示的左半部或右半部；表示混合密 度网络的训练参数，C表示序列左半部和右半部对应的高斯混合模型的分量数，σ为sigmoid 函数；
步骤5.1.3：对左半部和右半部各自回归系数均按的规则分配该系数到混合高斯模型中；
步骤5.1.4：采用式(6)将μLeft限制在[0,0.5)，将μRight限制在(0.5,1]内。
μLeft←μLeft×0.5,μRight←0.5×(1+μRight) (6)
步骤5.2：基于高斯混合分布，获得注意力权重向量l′(t)；
步骤5.2中，具体包括以下步骤：
步骤5.2.1：利用softmax，归一化各高斯分量的系数即并 将所有高斯分量的方差固定为0.1；
步骤5.2.2：综合左、右半部切片特征向量导出的混合高斯模型参数依 照式(7)获得对应的时间注意力权重向量
其中，Ν为高斯混合密度函数：
步骤5.3：将l′(t)与输入特征逐元素相乘并相加，获得时间注意力结果特征
步骤六：综合步骤五得到的时空注意力特征利用步骤四已构建的循环神经网络预 测出此循环注意力迭代步的***阳性得分
步骤七：构建模型的损失函数，重复T次步骤四至步骤六，利用梯度反向传播算法，对 模型进行有监督训练；
在步骤七中，模型有监督训练的目标函数经过以下步骤获得：
步骤7.1：构建分类损失函数；考察所有循环注意力迭代步对应的交叉熵损失函数，由 式(9)给出：
其中：yi，分别为真实和预测的***阳性得分，为总的循环注意力迭代次数；
步骤7.2：构建空间注意力机制预测位置的惩罚项，具体包括如下两步：
步骤7.2.1：构建位置“集中”约束项，依照***位于切片中心位置处这一先验信息， 基于Batch Normalization，将预测的空间注意力位置约束到特征图谱中心周围，由式(10) 给出：
其中，
其中，β，γ为Batch Normalization引入的可训练参数；d为发射网络的输出维数；m 为批样本容量；
步骤7.2.2：构建位置“发散”约束项；通过整个循环注意力过程中预测的各个位置对 均匀分布的交叉熵损失函数进行构造，具体如式(11)所示：
其中，pUnif～Uniform(0,K2)表示分布在特征图谱空间范围内的均匀分布；常量Const 置为1；
步骤7.3：构建时间注意力机制预测位置的惩罚项；对预测位置施加“集中”约束项， 对混合密度网络同样引入Batch Normalization层，并最小化式(10)，使得切片方向左、右 半部关注位置
步骤7.4：构建模型最终的整体损失函数，如式(12)所示：
步骤八：重复步骤三至七，对模型进行迭代训练，直至训练结束，得到训练好的模型；
训练数据由真假阳性样本按等比例构成，模型在测试时采用3次交叉验证。模型的各超 参数按如下数值进行设置：①式(12)中，λ1＝1，λ2＝0.5；②循环注意力机制每次循环次数 T＝8。③式(5)中的序列左半部和右半部对应的高斯混合模型的分量数C＝1，即总的分量数 为3，分别对应序列左、中、右三个子部分。④训练批样本容量为20，初始学习率置为0.1， 每25次周期降低0.1，总共200次训练周期。
步骤九：输入待检测的***CT序列，进行模型推理过程，将最后一次循环注意力输出 的阳性得分作为CT***检测结果。
图6为实施空间注意力机制实例图。可以看出，在空间注意力位置约束项及其合理的超 参数设置下，注意力位置较为准确的落入到***边界附近。
图7为实施时间注意力机制实例图。图中：前两例对应真阳性结节，后两例为假阳性。 底部条形图为模型对序列中各切片预测的自适应权值。在时间注意力位置约束项的作用下， 模型能够较为准确地自适应定位到不同结节大小对应的切片边界。从而提取出与***相关 的上下文特征信息。
图8为本发明与基准模型的FROCs和AUC对比图。此处基准模型为未采用循环注意力机 制的双层LSTM模型。为公平对比，其结构与步骤4.1中的LSTM一致。Sequence＝1代表基准 模型只抽取***中心切片，循环次数T＝1模型从而退化成经典的CNN结构。Sequence＝1即 代表基准模型循环九次。从图中可以看出，本发明对应的FROCs和AUC表现均为最佳。
图9为本发明与其他模型的性能对比图。表中：带有“*-H”的符号表示输入图像尺寸对 应为高分辨率(256×256)；“*-L”代表低分辨率(64×64)；“*-RI”表示模型从头开始训 练；“*-TL”为模型参数从ImageNet数据集中迁移而来。从表格中可以看出，按照AUC和TPR/3FP为性能度量标准，本发明对胸腔及腹腔***的分类准确率均为最高。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的 技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护 范围。

Claims (10)

1.一种基于时空循环注意力机制的CT***检测***，其特征在于，包括训练样本提取模块、深层特征提取网络、特征嵌入网络和时空循环注意力目标检测模块，检测过程包括以下步骤：
步骤一：利用训练样本提取模块对获取到的***dcm格式文件及对应的***标注位置坐标信息，采用python中的pydicom模块对每个***抽取出长度为L、宽为W、高为H的CT切片图像块序列Ii(i＝1,2,...,L)，
步骤二：基于深层特征提取网络，利用由自然图像预训练好的VGG-16模型对每一***的CT切片图像块序列提取出其对应的高层空间特征图谱序列，记为{X0,...,XL}；
步骤三：构建特征嵌入网络，对输入的高层特征图谱序列进行降维，输出特征图谱Αi；
步骤四：构建时空循环注意力框架，基于循环神经网络和高斯核函数，执行空间注意力机制，获得空间注意力结果
步骤五：对步骤四获得的空间注意力结果实施时间注意力机制，得到时空注意力特征
步骤六：综合步骤五得到的时空注意力特征利用步骤四已构建的循环神经网络预测出此循环注意力迭代步的***阳性得分
步骤七：构建模型的损失函数，重复T次步骤四至步骤六，利用梯度反向传播算法，对模型进行有监督训练；
步骤八：重复步骤三至七，对模型进行迭代训练，直至训练结束，得到训练好的模型；
步骤九：输入待检测的***CT序列，进行模型推理过程，将最后一次循环注意力输出的阳性得分作为CT***检测结果。
2.如权利要求1所述的基于时空循环注意力机制的CT***检测***，其特征在于，所述步骤四具体包括以下步骤：
步骤4.1：构建两层长短时循环记忆网络；
步骤4.2：构造特征图谱的编码过程，对长短时循环记忆网络的状态进行初始化；
步骤4.3：利用一发射网络，预测出在特征图谱范围内的空间注意力位置；
步骤4.4：基于二维高斯核函数，构造出注意力矩阵l(t)；
步骤4.5：l(t)与Αi逐元素相乘，并求和，获得空间注意力结果特征
3.如权利要求2所述的基于时空循环注意力机制的CT***检测***，其特征在于，在步骤4.1中，循环神经网络是基于两层结构的长短时循环记忆网络构建，隐藏层表达式由如式(1)所示，
其中：对应的Rrecur(·)展开为式(2)：
其中，it，ft，ot分别代表输入门，遗忘门和输出门；ct，ht分别表示细胞状态和隐藏层状态；表示第t步注意力机制输入到长短时循环记忆网络的特征向量；为一个由可训练参数构成的仿射变换，a＝d+E，b＝4d；d为it,ft,ot,gt,ct和ht对应的相同向量维数，E为输入特征降维后的维数，将上述Rrecur(·)中的替换成后得到对应的Rrecur(·)。
4.如权利要求2所述的基于时空循环注意力机制的CT***检测***，其特征在于，所述步骤4.2具体包括如下步骤：
步骤4.2.1：构造与(1)式相同结构的一新的双层长短时循环记忆网络；
步骤4.2.2：将步骤3中每个***CT切片序列正中心位置处对应的特征图谱Amid，按照空间邻域进行划分；具体将8×8×200按相邻四个位置为一组，总共分成16个2×2×200个子特征块；
步骤4.2.3:对将该16个子特征块按照从外向内顺时针顺序依次输入到新的双层长短时循环记忆网络中，经过16次循环，获取最后时刻LSTM第二层对应的细胞状态用来初始化步骤4.1中的长短时循环记忆网络第二层细胞状态。
5.如权利要求2所述的基于时空循环注意力机制的CT***检测***，其特征在于，所述步骤4.3具体包括如下步骤：
步骤4.3.1：将长短时循环记忆网络的第一层隐藏层输出特征向量和循环注意力迭代步中切片序列中心对应的特征结果进行串联，得到
步骤4.3.2：将输入到由一层全连接层构成的发射网络，对下一循环迭代步空间注意力位置进行回归，由式(3)所示：
其中：表示为t+1时刻预测的注意力位置坐标，此处将高斯核函数方差设为固定值0.1，故只对应两个输出结点。
6.如权利要求2所述的基于时空循环注意力机制的CT***检测***，其特征在于，所述步骤4.4中，在得到注意力位置坐标之后，利用二维高斯核函数和softmax构建注意力模板矩阵，具体为式(4)所示，
其中，为Ai范围内归一化到区间[0,1]的离散的等间隔位置坐标；C为高斯归一化常数，为固定值10。
7.如权利要求1所述的基于时空循环注意力机制的CT***检测***，其特征在于，所述步骤五具体包括以下步骤：
步骤5.1：构建混合密度网络，根据预测切片方向的注意力位置
步骤5.2：基于高斯混合分布，获得注意力权重向量l′(t)；
步骤5.3：将l′(t)与输入特征逐元素相乘并相加，获得时间注意力结果特征
8.如权利要求7所述的基于时空循环注意力机制的CT***检测***，其特征在于，所述步骤5.1中，具体包括以下步骤：
步骤5.1.1：将每个***对应的序列特征等分成左、右两半部分，即
步骤5.1.2：由一层全连接隐藏层构成混合密度网络，用以回归时间注意力位置坐标及混合高斯函数参数，采用式(5)表示：
其中，表示的左半部或右半部； 表示混合密度网络的训练参数，C表示序列左半部和右半部对应的高斯混合模型的分量数，σ为sigmoid函数；
步骤5.1.3：对左半部和右半部各自回归系数均按的规则分配该系数到混合高斯模型中；
步骤5.1.4：采用式(6)将μLeft限制在[0,0.5)，将μRight限制在(0.5,1]内。
μLeft←μLeft×0.5,μRight←0.5×(1+μRight) (6)。
9.如权利要求7所述的基于时空循环注意力机制的CT***检测***，其特征在于，所述步骤5.2中，具体包括以下步骤：
步骤5.2.1：利用softmax，归一化各高斯分量的系数即并将所有高斯分量的方差固定为0.1；
步骤5.2.2：综合左、右半部切片特征向量导出的混合高斯模型参数依照式(7)获得对应的时间注意力权重向量
其中，Ν为高斯混合密度函数：
10.如权利要求1所述的基于时空循环注意力机制的CT***检测***，其特征在于，在步骤七中，模型有监督训练的目标函数经过以下步骤获得：
步骤7.1：构建分类损失函数；考察所有循环注意力迭代步对应的交叉熵损失函数，由式(9)给出：
其中：yi，分别为真实和预测的***阳性得分，为总的循环注意力迭代次数；
步骤7.2：构建空间注意力机制预测位置的惩罚项，具体包括如下两步：
步骤7.2.1：构建位置“集中”约束项，依照***位于切片中心位置处这一先验信息，基于Batch Normalization，将预测的空间注意力位置约束到特征图谱中心周围，由式(10)给出：
其中，
其中，β，γ为Batch Normalization引入的可训练参数；d为发射网络的输出维数；m为批样本容量；
步骤7.2.2：构建位置“发散”约束项；通过整个循环注意力过程中预测的各个位置对均匀分布的交叉熵损失函数进行构造，具体如式(11)所示：
其中，pUnif～Uniform(0,K2)表示分布在特征图谱空间范围内的均匀分布；常量Const置为1；
步骤7.3：构建时间注意力机制预测位置的惩罚项；对预测位置施加“集中”约束项，对混合密度网络同样引入Batch Normalization层，并最小化式(10)，使得切片方向左、右半部关注位置
步骤7.4：构建模型最终的整体损失函数，如式(12)所示：
CN201910570878.1A 2019-06-28 2019-06-28 一种基于时空循环注意力机制的ct***检测*** Active CN110335261B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910570878.1A CN110335261B (zh) 2019-06-28 2019-06-28 一种基于时空循环注意力机制的ct***检测***
PCT/CN2019/112219 WO2020258611A1 (zh) 2019-06-28 2019-10-21 一种基于时空循环注意力机制的ct***检测***
US16/957,305 US11158048B2 (en) 2019-06-28 2019-10-21 CT lymph node detection system based on spatial-temporal recurrent attention mechanism

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910570878.1A CN110335261B (zh) 2019-06-28 2019-06-28 一种基于时空循环注意力机制的ct***检测***

Publications (2)

Publication Number Publication Date
CN110335261A true CN110335261A (zh) 2019-10-15
CN110335261B CN110335261B (zh) 2020-04-17

Family

ID=68143548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910570878.1A Active CN110335261B (zh) 2019-06-28 2019-06-28 一种基于时空循环注意力机制的ct***检测***

Country Status (2)

Country Link
CN (1) CN110335261B (zh)
WO (1) WO2020258611A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795522A (zh) * 2019-11-06 2020-02-14 中国人民解放军战略支援部队信息工程大学 一种移动用户轨迹位置的预测方法及装置
CN111096767A (zh) * 2020-01-08 2020-05-05 南京市第一医院 基于深度学习的纵膈***超声弹性图像分割分类方法
CN111178500A (zh) * 2019-12-10 2020-05-19 上海电机学院 一种基于组合深度学习网络的风功率预测***
CN111210907A (zh) * 2020-01-14 2020-05-29 西北工业大学 一种基于空时注意力机制的疼痛强度估计方法
WO2020258611A1 (zh) * 2019-06-28 2020-12-30 山东科技大学 一种基于时空循环注意力机制的ct***检测***
CN112446419A (zh) * 2020-10-29 2021-03-05 中山大学 基于注意力机制的时空神经网络雷达回波外推预报方法
CN112632315A (zh) * 2020-12-30 2021-04-09 珠海大横琴科技发展有限公司 一种遥感图像检索的方法和装置
CN112862745A (zh) * 2019-11-28 2021-05-28 深圳硅基智控科技有限公司 基于人工神经网络的组织病变识别的训练方法及训练***
CN113139930A (zh) * 2021-03-17 2021-07-20 杭州迪英加科技有限公司 甲状腺切片图像分类方法、装置、计算机设备和存储介质
US11158048B2 (en) 2019-06-28 2021-10-26 Shandong University Of Science And Technology CT lymph node detection system based on spatial-temporal recurrent attention mechanism
CN114187467A (zh) * 2021-11-11 2022-03-15 电子科技大学 基于cnn模型的肺结节良恶性分类方法及装置
CN114638823A (zh) * 2022-05-07 2022-06-17 赛维森(广州)医疗科技服务有限公司 基于注意力机制序列模型的全切片图像分类方法及装置
CN115035019A (zh) * 2022-03-24 2022-09-09 什维新智医疗科技(上海)有限公司 一种基于卷积神经网络的颈部***分析装置
CN118038561A (zh) * 2024-04-15 2024-05-14 南京邮电大学 一种基于时空循环架构的3d人体姿态估计方法
CN115035019B (zh) * 2022-03-24 2024-08-02 什维新智医疗科技(上海)有限公司 一种基于卷积神经网络的颈部***分析装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651577B (zh) * 2021-01-08 2022-03-22 重庆邮电大学 一种基于融合时空数据的隧道形变预测方法
CN112733725B (zh) * 2021-01-12 2023-09-22 西安电子科技大学 基于多级循环卷积自编码网络的高光谱图像变化检测方法
CN113065576A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种特征提取的方法以及装置
CN113642379B (zh) * 2021-05-18 2024-03-01 北京航空航天大学 基于注意力机制融合多流图的人体姿态预测方法及***
CN113657582B (zh) * 2021-08-20 2024-04-09 西安科技大学 一种基于时空数据的时空图神经网络瓦斯浓度预测方法
CN114177747A (zh) * 2021-12-02 2022-03-15 昆岳互联环境技术(江苏)有限公司 一种基于机器学习算法的烟气脱硫二氧化硫浓度预测方法
CN114266278B (zh) * 2021-12-29 2024-02-20 合肥工业大学 一种基于双重注意力网络的设备剩余使用寿命预测方法
CN114862906B (zh) * 2022-04-11 2024-05-07 中山大学 一种基于双向循环卷积神经网络的可见光定位跟踪方法
CN114781882A (zh) * 2022-04-27 2022-07-22 国网福建省电力有限公司 基于双重图结构结合双监督的电网调度认知图谱生成方法
CN117849907B (zh) * 2024-03-07 2024-05-24 江苏省气象台 基于多源数据的气象灾害靶向预警方法及***
CN118094343B (zh) * 2024-04-23 2024-07-16 安徽大学 一种基于注意力机制的lstm机器剩余使用寿命预测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066973A (zh) * 2017-04-17 2017-08-18 杭州电子科技大学 一种利用时空注意力模型的视频内容描述方法
US20170262995A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks
CN109101896A (zh) * 2018-07-19 2018-12-28 电子科技大学 一种基于时空融合特征和注意力机制的视频行为识别方法
CN109711463A (zh) * 2018-12-25 2019-05-03 广东顺德西安交通大学研究院 基于注意力的重要对象检测方法
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN109886967A (zh) * 2019-01-16 2019-06-14 成都蓝景信息技术有限公司 基于深度学习技术的肺部解剖学位置定位算法
CN109934804A (zh) * 2019-02-28 2019-06-25 北京科技大学 基于卷积神经网络的阿尔茨海默病变区域的检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105405140B (zh) * 2015-11-12 2018-07-06 西安电子科技大学 基于初始素描图的胃部ct图像***检测***和方法
CN108388348B (zh) * 2018-03-19 2020-11-24 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN110335261B (zh) * 2019-06-28 2020-04-17 山东科技大学 一种基于时空循环注意力机制的ct***检测***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262995A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks
CN107066973A (zh) * 2017-04-17 2017-08-18 杭州电子科技大学 一种利用时空注意力模型的视频内容描述方法
CN109101896A (zh) * 2018-07-19 2018-12-28 电子科技大学 一种基于时空融合特征和注意力机制的视频行为识别方法
CN109711463A (zh) * 2018-12-25 2019-05-03 广东顺德西安交通大学研究院 基于注意力的重要对象检测方法
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN109886967A (zh) * 2019-01-16 2019-06-14 成都蓝景信息技术有限公司 基于深度学习技术的肺部解剖学位置定位算法
CN109934804A (zh) * 2019-02-28 2019-06-25 北京科技大学 基于卷积神经网络的阿尔茨海默病变区域的检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BASMAH ALTAF ET AL.: "Spatio-Temporal Attention based Recurrent Neural Network for Next Location Prediction", 《 IEEE XPLORE》 *
孟乐乐: "融合时空网络与注意力机制的人体行为识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158048B2 (en) 2019-06-28 2021-10-26 Shandong University Of Science And Technology CT lymph node detection system based on spatial-temporal recurrent attention mechanism
WO2020258611A1 (zh) * 2019-06-28 2020-12-30 山东科技大学 一种基于时空循环注意力机制的ct***检测***
CN110795522B (zh) * 2019-11-06 2023-01-06 中国人民解放军战略支援部队信息工程大学 一种移动用户轨迹位置的预测方法及装置
CN110795522A (zh) * 2019-11-06 2020-02-14 中国人民解放军战略支援部队信息工程大学 一种移动用户轨迹位置的预测方法及装置
CN112862745B (zh) * 2019-11-28 2022-06-14 深圳硅基智控科技有限公司 基于人工神经网络的组织病变识别的训练方法及训练***
CN112862745A (zh) * 2019-11-28 2021-05-28 深圳硅基智控科技有限公司 基于人工神经网络的组织病变识别的训练方法及训练***
CN111178500A (zh) * 2019-12-10 2020-05-19 上海电机学院 一种基于组合深度学习网络的风功率预测***
CN111096767A (zh) * 2020-01-08 2020-05-05 南京市第一医院 基于深度学习的纵膈***超声弹性图像分割分类方法
CN111210907A (zh) * 2020-01-14 2020-05-29 西北工业大学 一种基于空时注意力机制的疼痛强度估计方法
CN112446419A (zh) * 2020-10-29 2021-03-05 中山大学 基于注意力机制的时空神经网络雷达回波外推预报方法
CN112446419B (zh) * 2020-10-29 2023-07-11 中山大学 基于注意力机制的时空神经网络雷达回波外推预报方法
CN112632315A (zh) * 2020-12-30 2021-04-09 珠海大横琴科技发展有限公司 一种遥感图像检索的方法和装置
CN112632315B (zh) * 2020-12-30 2022-03-29 珠海大横琴科技发展有限公司 一种遥感图像检索的方法和装置
CN113139930A (zh) * 2021-03-17 2021-07-20 杭州迪英加科技有限公司 甲状腺切片图像分类方法、装置、计算机设备和存储介质
CN113139930B (zh) * 2021-03-17 2022-07-15 杭州迪英加科技有限公司 甲状腺切片图像分类方法、装置、计算机设备和存储介质
CN114187467A (zh) * 2021-11-11 2022-03-15 电子科技大学 基于cnn模型的肺结节良恶性分类方法及装置
CN114187467B (zh) * 2021-11-11 2023-04-28 电子科技大学 基于cnn模型的肺结节良恶性分类方法及装置
CN115035019A (zh) * 2022-03-24 2022-09-09 什维新智医疗科技(上海)有限公司 一种基于卷积神经网络的颈部***分析装置
CN115035019B (zh) * 2022-03-24 2024-08-02 什维新智医疗科技(上海)有限公司 一种基于卷积神经网络的颈部***分析装置
CN114638823A (zh) * 2022-05-07 2022-06-17 赛维森(广州)医疗科技服务有限公司 基于注意力机制序列模型的全切片图像分类方法及装置
CN118038561A (zh) * 2024-04-15 2024-05-14 南京邮电大学 一种基于时空循环架构的3d人体姿态估计方法
CN118038561B (zh) * 2024-04-15 2024-06-21 南京邮电大学 一种基于时空循环架构的3d人体姿态估计方法

Also Published As

Publication number Publication date
WO2020258611A1 (zh) 2020-12-30
CN110335261B (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN110335261A (zh) 一种基于时空循环注意力机制的ct***检测***
US11158048B2 (en) CT lymph node detection system based on spatial-temporal recurrent attention mechanism
CN108717568B (zh) 一种基于三维卷积神经网络的图像特征提取与训练方法
Abdughani et al. Supervised deep learning in high energy phenomenology: a mini review
CN104217214B (zh) 基于可配置卷积神经网络的rgb‑d人物行为识别方法
CN105095833B (zh) 用于人脸识别的网络构建方法、识别方法及***
CN107423756A (zh) 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法
CN109145992A (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN110033440A (zh) 基于卷积神经网络与特征融合的生物细胞计数方法
Campbell et al. The explosion of artificial intelligence in antennas and propagation: How deep learning is advancing our state of the art
Naik et al. An entropy minimization based multilevel colour thresholding technique for analysis of breast thermograms using equilibrium slime mould algorithm
CN111090764B (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN107145836A (zh) 基于栈式边界辨别自编码器的高光谱图像分类方法
CN109191564A (zh) 基于深度学习的激发荧光断层成像三维重建方法
CN107590515A (zh) 基于熵率超像素分割的自编码器的高光谱图像分类方法
CN111639719A (zh) 基于时空运动和特征融合的足迹图像检索方法
CN108460391A (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
Bhandari et al. A novel local contrast fusion-based fuzzy model for color image multilevel thresholding using grasshopper optimization
CN106980830A (zh) 一种基于深度卷积网络自亲缘关系识别方法与装置
CN110516537A (zh) 一种基于自步学习的人脸年龄估计方法
CN106651884A (zh) 基于素描结构的平均场变分贝叶斯sar图像分割方法
Lin et al. Lateral refinement network for contour detection
Wang et al. ODP-Transformer: Interpretation of pest classification results using image caption generation techniques
CN110188621A (zh) 一种基于ssf-il-cnn的三维人脸表情识别方法
Cao et al. 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Peng Haixin

Inventor before: Peng Haixin

Inventor before: Ma Yingran

Inventor before: Wang Yuanhong

Inventor before: Peng Yanjun

Inventor before: Lu Xinming

CB03 Change of inventor or designer information