CN110490863B - 基于深度学习的检测冠脉造影有无完全闭塞病变的*** - Google Patents
基于深度学习的检测冠脉造影有无完全闭塞病变的*** Download PDFInfo
- Publication number
- CN110490863B CN110490863B CN201910779238.1A CN201910779238A CN110490863B CN 110490863 B CN110490863 B CN 110490863B CN 201910779238 A CN201910779238 A CN 201910779238A CN 110490863 B CN110490863 B CN 110490863B
- Authority
- CN
- China
- Prior art keywords
- sequence
- video
- module
- lstm
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 39
- 238000002586 coronary angiography Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 5
- 239000010410 layer Substances 0.000 claims description 63
- 230000006870 function Effects 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 14
- 238000002583 angiography Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 239000002872 contrast media Substances 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000015654 memory Effects 0.000 claims description 2
- 239000012634 fragment Substances 0.000 claims 1
- 210000004351 coronary vessel Anatomy 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 3
- 208000031481 Pathologic Constriction Diseases 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000036285 pathological change Effects 0.000 description 4
- 231100000915 pathological change Toxicity 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000036262 stenosis Effects 0.000 description 4
- 208000037804 stenosis Diseases 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 230000002526 effect on cardiovascular system Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 208000004434 Calcinosis Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的检测冠脉造影有无完全闭塞病变的***，使用深度学习循环神经网络对整体视频进行分析，并利用GPU(图形处理器)加速计算得到检测结果，计算延时小解决了检测的实时性问题。本发明中的***包括视频输入模块、卷积神经网络模块、编解码注意力模块和分类模块。特别的，本发明提出的编解码注意力模块及其监督算法，用于产生合适的注意力权重提高检测准确率。端到端的***设计实现了冠状动脉完全闭塞检测流程的自动化，无需复杂的中间步骤。相比于其他检测有无完全闭塞病变的***，本发明对整体视频而不是单一图像做出分析，减少了因单一图像造成误判的情况，显著提高了完全闭塞病变存在性判断的准确率。
Description
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种基于深度学习的检测冠脉造影有无完全闭塞病变的***。
背景技术
冠状动脉造影视频是用于诊断心血管疾病常用的医疗数据。心血管的病变如钙化、血栓、狭窄以及完全闭塞等，均可通过冠状动脉造影视频得以观察。得益于人工智能和机器学习的发展，现已经有很多使用深度学习方法分析医疗数据，辅助诊断的应用。
现有的应用一般基于医学图像，并使用卷积神经网络对其提取抽象特征加以处理进行分类检测。医疗数据由于技术和设备，拍摄的图像有较大噪声，并且对于完全闭塞病变依靠单一图片进行检测是易造成误判的，因为完全闭塞病变的血管形态与造影剂尚未完全充盈时的血管形态有着相似性，这两点给使用计算机检测冠状动脉有无完全闭塞病变的造成了困难。计算机视觉领域，处理视频序列数据常用的方法是LSTM，但对视频每一帧都进行计算消耗了大量的计算资源和时间。
使用深度学习方法对冠状动脉造影分析中，大多数是使用卷积神经网络对含有清晰病变的图像进行分析，如Automated Characterization of Stenosis in InvasiveCoronary Angiography Images with Convolutional Neural Networks和UnsupervisedAbnormality Detection through Mixed Structure Regularization(MSR)in DeepSparse Autoencoders。冠状动脉造影是以视频方式记录造影剂从扩散到完全充盈再到消散的过程，其中可呈现完全闭塞病变的只有充盈阶段的关键视频帧。针对图像的方法需要人工挑选关键视频帧，并且由于缺少时序信息容易将背景软组织等误判为冠状动脉的病变，准确率较低。目前公开的方法中查阅不到对冠状动脉造影视频的分析方法。对于其他类型医疗视频分析的方法，如A Recurrent CNN for Automatic Detection andClassification of Coronary Artery Plaque and Stenosis in Coronary CTAngiography一文使用循环卷积网络对整部CT造影进行了分析。但冠状动脉造影视频中只需关注充盈阶段的关键视频帧，对整部视频做分析加大计算量。此外，对于完全闭塞病变，其病变观测形态体现为造影剂缺失、血管形态不完整，恰与扩散和消散阶段的血管形态类似，造成误判，所以对整部视频全部做分析是存在缺陷的。
发明内容
针对上述技术缺陷，本发明提出了一种基于深度学习的检测冠脉造影有无完全闭塞病变的***，基于深度学习方法对冠脉造影视频进行分析，提出编解码注意力模块关注医疗视频中造影剂充盈的片段，使用循环卷积网络提取时空域特征，完成检测冠脉造影视频是否含有完全闭塞病变。本发明在省去人工挑选视频帧的环节，降低计算量的同时减少误判。
为了达到上述目的，本发明提出了一种基于深度学习的检测冠脉造影有无完全闭塞病变的***，该***包括：视频输入模块、卷积神经网络模块、编解码注意力模块和分类模块；其中，
视频输入模块，用于使用张量形式按照时间顺序提取冠脉造影视频的张量序列，并将提取的张量序列按照时间顺序逐帧输入至卷积神经网络模块中；
卷积神经网络模块，用于对张量序列逐帧提取特征序列，并将提取的特征序列输入至编解码注意力模块中；
编解码注意力模块，用于为特征序列分配注意力权重，得到加权特征序列；将特征序列和加权特征序列输入到分类模块中；
分类模块包括卷积LSTM(Long short-term memory长期短暂记忆)和全连接层，卷积LSTM对特征序列和加权特征序列提取时空特征，并将提取的时空特征输入至全连接层得到完全闭塞病变的存在概率。
进一步的，所述视频输入模块，用于使用张量形式按照时间顺序提取冠脉造影视频的张量序列，包括：
使用张量形式按照时间顺序提取冠脉造影视频的张量序列，并对张量序列进行归一化处理；
其中，使用的张量形式为五维向量形式，具体表示为B*D*C*W*H；其中，B标识视频样本序号，D标识视频帧序列长度，C标识特征通道数，因图片以RGB三通道形式读取而固定C为3，W为造影视频中单帧宽度，H为造影视频中单帧高度；
提取操作为：T＝f(V；W,H)，其中，v是视频序列；
归一化处理包括：
其中μT＝[μR,μG,μB]是视频RGB三个通道的均值，σT＝[σR,σG,σB]是RGB三通道的方差。
进一步的，卷积神经网络模块对张量序列逐帧提取特征序列，包括：
以Resnet-50为基本框架，使用多个堆叠的残差卷积块对张量序列逐帧提取特征序列，每个残差卷积块所提取的特征通过非线性单元ReLU激活送入下一个残差卷积块；
采取dropout(随机失活)方法，按照50％概率随机将每个残差卷积块的输出置零。
进一步的，所述编解码注意力模块，包括：由多个卷积LSTM层组成的编码部分和由多个卷积LSTM层组成的解码部分；以及在编码部分和解码部分中具有相同特征分辨率的卷积LSTM层之间加入了横向连接，用以传递解码时需要的额外语义信息；
编码部分的编码任务是逐步提取出更抽象的、分辨率更低的特征序列；
解码部分的解码任务是对编码部分提取出的特征序列逐步解析并恢复分辨率，最终解析成注意力权重；
所述卷积LSTM是将传统全连接形式LSTM中的全连接层改为卷积层，以保留特征像素间的空间相关性；
特征序列经过编码部分编码及解码部分解码，最终生成注意力权重，所产生的注意力权重由辅助损失函数进行弱监督。
进一步的，每个卷积LSTM层的运算具体可表示为：
ht＝ot·tanh(ct)
其中“*”代表卷积，“·”代表元素乘法，ft,it,ct,ot,ht代表t时刻卷积LSTM中的隐含中间状态，W为编解码结构中卷积LSTM的卷积核参数，b为偏置，S为横向连接传递的特征输入，仅在解码器中有非零向量值。
进一步的，所述辅助损失函数为：
Laux(x,indexl)＝((peak(x)-indexl))2
其中x为注意力权重序列的L1范数，β为增益系数，indexl为人工标注的含有显著病变视频帧的帧号。
进一步的，编解码注意力模块，用于为特征序列分配注意力权重，得到加权特征序列；将特征序列和加权特征序列输入到分类模块中，包括：
将生成的注意力权重与特征序列元素相乘，完成对特征序列的加权，得到加权特征序列；
并将特征序列和加权特征序列输入到具有相同参数的分类模块中。
进一步的，分类模块包括卷积LSTM和全连接层；
卷积LSTM是单层卷积LSTM层，代替传统全连接形式的LSTM来保留特征像素间的空间相关性；
全连接层由多层接有ReLU(修正线性单元)非线性激活单元的全连接层组成。
进一步的，将特征序列和加权特征序列视为两个阶段，并以阶段损失函数强制加权特征序列在经过分类模块后拥有更准确的检测结果；
具体阶段损失函数可表示为：
其中inc表示增量，
表示加权之前的正确类别的分类概率，
表示加权之后正确类别的分类概率。
进一步的，分类模块，将上述所有损失函数和分类交叉熵损失函数相加作为模型的目标函数，使用反向传播算法逐步更新参数，降低损失函数的值，得到最优的模型，使用最优的模型参数检测有无完全闭塞病变。
本发明基于深度学习方法，使用循环卷积神经网络结构的基础上，提出了改进注意力模块，有效关注了视频中时间域上和空间域上的病变特征，解决了因只依赖单一医疗图片而造成的误判问题，在冠状动脉完全闭塞病变检测准确率有显著的提升。设计出的端到端的模型无需人工参与，整个检测过程实现全自动，并且利用GPU加速计算，使得运算速度达到实时。
附图说明
图1所示为本发明提供的一种基于深度学习的检测冠脉造影有无完全闭塞病变的***的结构示意图；
图2所示为本发明提供的一种基于深度学习的冠状动脉造影视频完全闭塞病变检测***的实施例一流程示意图。
具体实施方式
下面对本发明的技术方案进行具体阐述，需要指出的是，本发明的技术方案不限于实施例所述的实施方式，本领域的技术人员参考和借鉴本发明技术方案的内容，在本发明的基础上进行的改进和设计，应属于本发明的保护范围。
实施例一
如图1-2所示，本发明实施例一提供了一种基于深度学习的检测冠脉造影有无完全闭塞病变的***，该***包括：视频输入模块、卷积神经网络模块、编解码注意力模块和分类模块；其中，
视频输入模块，用于使用张量形式按照时间顺序提取冠脉造影视频的张量序列，并将提取的张量序列按照时间顺序逐帧输入至卷积神经网络模块中。
具体的，本发明使用基于Python语言的PyTorch深度学习框架实现网络模型，使用张量形式读取视频序列，张量形式在PyTorch中能够使用GPU加速运行并且对于浮点数运算更准确。
卷积神经网络模块，用于对张量序列逐帧提取特征序列，并将提取的特征序列输入至编解码注意力模块中；
编解码注意力模块，用于为特征序列分配注意力权重，得到加权特征序列；将特征序列和加权特征序列输入到分类模块中；
分类模块包括卷积LSTM(Long short-term memory长期短暂记忆)和全连接层，卷积LSTM对特征序列和加权特征序列提取时空特征，并将提取的时空特征输入至全连接层得到完全闭塞病变的存在概率。
进一步的，所述视频输入模块，用于使用张量形式按照时间顺序提取冠脉造影视频的张量序列，包括：
使用张量形式按照时间顺序提取冠脉造影视频的张量序列，并对张量序列进行归一化处理；
其中，使用的张量形式为五维向量形式，具体表示为B*D*C*W*H；其中，B标识视频样本序号，D标识视频帧序列长度，C标识特征通道数，因图片以RGB三通道形式读取而固定C为3，W为造影视频中单帧宽度，H为造影视频中单帧高度；
提取操作为：T＝f(V；W,H)，其中，v是视频序列；
归一化处理包括：
其中μT＝[μR,μG,μB]是视频RGB三个通道的均值，σT＝[σR,σG,σB]是RGB三通道的方差。
进一步的，卷积神经网络模块对张量序列逐帧提取特征序列，得到降低分辨率的视频特征序列。包括：
以Resnet-50为基本框架的卷积神经网络，使用多个堆叠的残差卷积块对张量序列逐帧提取特征序列，每个残差卷积块所提取的特征通过非线性单元ReLU激活送入下一个残差卷积块；
每个卷积块都使用了残差卷积，可表示为
y＝x+Relu(Conv(BN(x)))；
Relu(x)＝x若x>0；0若x≤0
其中x为卷积块的输入，y为卷积块的输出，ReLU是非线性激活单元，Conv是卷积操作，BN(批次归一化)是归一化操作，μ为均值，σ为方差,α,β是可学习系数，以控制归一化后数据的分布。每一个步长大于1的卷积块都会降低特征分辨率从而进行特征提取，降低后续计算资源的消耗。通过残差卷积块的堆叠最终特征的尺寸降低为原图的8分之1，为了避免过拟合现象的发生，所以才让用dropout(随机失活)方法，具体的，每一个残差卷积块的输出的数值都以50％的概率置零。
进一步的，所述编解码注意力模块，是基于LSTM模型改进。LSTM常用于处理序列数据，但主要针对一维向量。图像包含丰富的空间相关性是二维数据，所以本发明首先对传统LSTM进行改进为卷积LSTM，将原本全连接层改为卷积层来保留特征的空间相关性，并进一步提取更抽象的空间特征，使用卷积LSTM两个隐含的变量隐藏状态和细胞状态记录和更新时间域的特征。每一个卷积LSTM层对输入和当前状态卷积编码提取特征后，使用金字塔池化模块细化特征，添加多尺度信息。具体的，金字塔池化模块使用最大值池化操作将特征的尺寸缩小成分辨率为1×1，2×2，3×3，6×6的四种特征，上采样恢复成原尺寸并与原特征级联获得含有多尺度信息的特征，具体的上采样采用双边线性插值法实现，级联后的特征经过1×1卷积层重新整理得到细化后的特征，用以针对各个尺寸的血管。
编解码注意力模块的编解码结构大多应用于语义分割，其将特征的分辨率先降低后恢复，通过编码和解码的过程提取像素级的权重。包括：由多个卷积LSTM层组成的编码部分和由多个卷积LSTM层组成的解码部分；以及在编码部分和解码部分中具有相同特征分辨率的卷积LSTM层之间加入了横向连接，将高分辨率语义弱的特征以参数形式传给语义强分辨率低的特征进行解码，生成精细注意力权重；
编码部分的编码任务是逐步提取出更抽象的、分辨率更低的特征序列；
解码部分的解码任务是对编码部分提取出的特征序列逐步解析并恢复分辨率，最终解析成注意力权重；
所述卷积LSTM是将传统全连接形式LSTM中的全连接层改为卷积层，以保留特征像素间的空间相关性；具体的，该模块中基于传统LSTM改进得到卷积LSTM，将原本针对一维向量的全连接层变为卷积层来保留二维图片特征空间相关性。所述卷积LSTM层含有两个关键变量，细胞状态和隐藏层状态，其根据输入的特征序列逐帧进行更新。卷积LSTM层将每一时刻的隐藏层状态输出，得到时空特征序列。解码器最后的卷积LSTM层输出注意力权重序列。
特征序列经过编码部分编码及解码部分解码，为所有输入特征生成一个适当的时间域和空间域上的注意力权重，所产生的注意力权重由辅助损失函数进行弱监督。
卷积LSTM中卷积层提取的特征按照多个感受野尺度进行最大值池化操作，而成为分辨率是1×1，2×2，3×3，6×6的特征。每种尺寸的特征再经过上采样为恢复为原尺寸，经级联后表示多尺度的空间域特征信息。
编解码注意力模块中编码与解码由每层卷积LSTM内的卷积操作完成，编码部分为卷积操作，解码部分为反卷积操作。卷积核的步长大于1，对应的得到的隐藏状态输出尺寸也会相应的小于输入，由于卷积LSTM的设计原理需要当前隐藏状态与输入共同编码特征，故需要Reshape(重塑)层令隐藏状态和输入有相同的尺寸。此外，在编解码结构中，拥有相同分辨率编码层和解码层之间加入了横向连接为解码部分强语义低分辨率的特征提供低语义高分辨率的辅助特征以恢复更加精细的特征，最终产生与注意力模块输入相同尺寸的注意力权重。
进一步的，每个卷积LSTM层的运算具体可表示为：
ht＝ot·tanh(ct)
其中“*”代表卷积，“·”代表元素乘法，ft,it,ct,ot,ht代表t时刻卷积LSTM中的隐含中间状态，W为编解码结构中卷积LSTM的卷积核参数，b为偏置，S为横向连接传递的特征输入，仅在解码器中有非零向量值。
进一步的，所述辅助损失函数为：
Laux(x,indexl)＝((peak(x)-indexl))2
其中x为注意力权重序列的L1范数，β为增益系数，indexl为人工标注的含有显著病变视频帧的帧号。
该辅助函数表示关注的区域应该处于某一视频关键帧附近，由于关键帧在数据集中得以标注，所以以每个视频的关键帧作为注意力权重的峰值，作为弱监督的标签，具体注意力权重的峰值由peak函数定义。
进一步的，编解码注意力模块，用于为特征序列分配注意力权重，得到加权特征序列；将特征序列和加权特征序列输入到分类模块中，包括：
将生成的注意力权重与特征序列元素相乘，完成对特征序列的加权，得到加权特征序列；
卷积神经网络模块提取的特征序列和注意力模块生成的权重相乘后输入到由卷积LSTM和全连接层部分组成的分类模块检测出视频中是否含有完全闭塞病变，卷积LSTM提取时空特征，全连接层根据时空特征做出分类判断。
并将特征序列和加权特征序列输入到具有相同参数的分类模块中，得到加权前后视频中含有完全闭塞病变的分类检测概率。
具体的，分类模块中卷积LSTM部分由单层卷积LSTM层组成，其内部卷是大小为3×3的、步长为1的卷积核，用来提取更新隐藏状态和细胞状态的特征。全连接层部分以多层全连接层的形式实现，每个全连接层后都接有ReLU非线性单元激活。
进一步的，分类模块包括卷积LSTM和全连接层；
卷积LSTM是单层卷积LSTM层，代替传统全连接形式的LSTM来保留特征像素间的空间相关性；
全连接层由多层接有ReLU(修正线性单元)非线性激活单元的全连接层组成。
其可表示成：
y＝ReLu(WTx+b)
其中W为全连接层的参数，b为偏置。
进一步的，将特征序列和加权特征序列视为两个阶段，并以阶段损失函数强制加权特征序列再经过分类模块后拥有更准确的检测结果；
具体阶段损失函数可表示为：
其中inc表示增量，
表示加权之前的正确类别的分类概率，
表示加权之后正确类别的分类概率。
进一步的，分类模块，将上述所有损失函数和分类交叉熵损失函数相加作为模型的目标函数，使用反向传播算法逐步更新参数，降低损失函数的值，得到最优的模型，使用最优的模型参数检测有无完全闭塞病变。
由于本发明的主要目的在于提升有无完全闭塞病变检测的准确率，所以以视频序列代替单一图片进行检测，避免了由于观察不足而造成的误判。并且本发明提出的网络模型是端到端的模型，无需人工预处理或参与复杂的中间步骤，网络的训练由反向传播算法完成，模型参数的逐步更新让模型理解病变的纹理特征。注意力模块进一步缩小了关注的范围，包括时间域和空间域，使得有无完全闭塞病变的检测更加准确。
具体应用实例一：实验***：Ubuntu16.04，程序设计语言：Python，硬件设备：NVIDIA GTX 1080Ti GPU，标注方法：自编python标注脚本。
步骤一：数据集的格式转换、分类和列表生成。原始医疗数据的文件存储为.dicom格式，需要转换为.avi格式。根据转换后的视频，使用自制标注工具逐帧帧读取视频，依靠医学知识辨别视频中是否含有完全闭塞病变(有则记1，无则记0)，并记录下病变形态最明显的帧号，根据视频的名称、类别和帧号生成记录列表。
步骤二：按照9：1的数量比例将数据分为训练集和测试集，并将对应的记录列表也按照训练集和测试集分开，并以一定数量分好批次。
步骤三：设置参数优化方法，具体的使用随机梯度下降优化器。使用交叉熵函数作为类别的损失函数，与阶段损失函数以及注意力辅助函数一同作为目标函数。
步骤四：将一批训练集中的冠状动脉造影视频及标签以张量形式读取并进行归一化处理。
步骤五：卷积神经网络模块逐帧提取特征，生成视频的特征序列。
步骤六：注意力模块将特征序列作为输入生成注意力权重。
步骤七：原始特征序列与加权后的特征序列经过含有相同参数的卷积LSTM和全连接层得到前后两个阶段视频含有完全闭塞病变的概率。
步骤八：完成所有损失函数的计算并进行反向传播更新参数。
步骤九：提取新一批视频数据，完成步骤四至八，直到所有数据都重复通过预设次数。
步骤十：将最后一次迭代后更新的参数值保存，用该参数值重新初始化网络，将测试视频输入网络，得到完全闭塞病变的概率，按照最高概率的类别定义此视频类别。
步骤十一：将每个视频经网络计算推理得到的类别与标签对比，计算精确率、召回率和综合评估值。
该具体实例可以看出，本发明使用基于深度学习的冠状动脉造影视频训练过程，完成了通过视频检测有无完全闭塞病变的任务，并且相对于使用单一图片进行检测有着更高的准确率。提出的模型有启示性作用，可根据需要更改数据完成其他分类任务。
本发明的有益效果是：
使用了视频作为输入，提高了使用计算机完成心血管造影有无完全闭塞病变检测的准确率。提出了新的端到端的模型，无需人工预先操作或参与中间的步骤，实现了使用计算机对心血管造影视频自动检测完全闭塞病变。Automated Characterization ofStenosis in Invasive Coronary Angiography Images with Convolutional NeuralNetworks一文记录的针对图片的准确率为82.5％，本发明针对视频的准确率最高可达94.2％，且无需人工挑选关键视频帧。相比于A Recurrent CNN for Automatic Detectionand Classification of Coronary Artery Plaque and Stenosis in Coronary CTAngiography一文对整部视频做了分析，本发明利用编解码注意力模块关注了造影剂充盈的关键段，避免了充盈阶段和消散阶段带来的干扰，比该文章中记录的最高准确率高4.1％。并且由于降低不关注段的计算量，在推理检测阶段仅需消耗3G显存。提出的视频分类的框架，可根据需要更换数据完成其他分类任务。
以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于上述实施例，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (10)
1.一种基于深度学习的检测冠脉造影有无完全闭塞病变的***，其特征在于，该***包括：视频输入模块、卷积神经网络模块、编解码注意力模块和分类模块；其中，
视频输入模块，用于使用张量形式按照时间顺序提取冠脉造影视频的张量序列，并将提取的张量序列按照时间顺序逐帧输入至卷积神经网络模块中；
卷积神经网络模块，用于对张量序列逐帧提取特征序列，并将提取的特征序列输入至编解码注意力模块中；
编解码注意力模块，关注医疗视频中造影剂充盈的片段，用于为特征序列分配注意力权重，得到加权特征序列；将特征序列和加权特征序列输入到分类模块中；
分类模块包括卷积LSTM(Long short-term memory长期短暂记忆)和全连接层，卷积LSTM对特征序列和加权特征序列提取时空特征，并将提取的时空特征输入至全连接层得到完全闭塞病变的存在概率。
2.如权利要求1所述的***，其特征在于，所述视频输入模块，用于使用张量形式按照时间顺序提取冠脉造影视频的张量序列，包括：
使用张量形式按照时间顺序提取冠脉造影视频的张量序列，并对张量序列进行归一化处理；
其中，使用的张量形式为五维向量形式，具体表示为B*D*C*W*H；其中，B标识视频样本序号，D标识视频帧序列长度，C标识特征通道数，因图片以RGB三通道形式读取而固定C为3，W为造影视频中单帧宽度，H为造影视频中单帧高度；
提取操作为：T＝f(V；W，H)，其中，v是视频序列；
归一化处理包括：
其中μT＝[μR，μG，μB]是视频RGB三个通道的均值，σT＝[σR，σG，σB]是RGB三通道的方差。
3.如权利要求1所述的***，其特征在于，卷积神经网络模块对张量序列逐帧提取特征序列，包括：
以Resnet-50为基本框架，使用多个堆叠的残差卷积块对张量序列逐帧提取特征序列，每个残差卷积块所提取的特征通过非线性单元ReLU激活送入下一个残差卷积块；
采取dropout(随机失活)方法，按照50％概率随机将每个残差卷积块的输出置零。
4.如权利要求1所述的***，其特征在于，所述编解码注意力模块，包括：由多个卷积LSTM层组成的编码部分和由多个卷积LSTM层组成的解码部分；以及在编码部分和解码部分中具有相同特征分辨率的卷积LSTM层之间加入了横向连接，用以传递解码时需要的额外语义信息；
编码部分的编码任务是逐步提取出更抽象的、分辨率更低的特征序列；
解码部分的解码任务是对编码部分提取出的特征序列逐步解析并恢复分辨率，最终解析成注意力权重；
所述卷积LSTM是将传统全连接形式LSTM中的全连接层改为卷积层，以保留特征像素间的空间相关性；
特征序列经过编码部分编码及解码部分解码，最终生成注意力权重，所产生的注意力权重由辅助损失函数进行弱监督。
5.如权利要求4所述的***，其特征在于，每个卷积LSTM层的运算具体可表示为：
ht＝ot·tanh(ct)
其中“*”代表卷积，“·”代表元素乘法，ft，it，ct，ot，ht代表t时刻卷积LSTM中的隐含中间状态，W为编解码结构中卷积LSTM的卷积核参数，b为偏置，S为横向连接传递的特征输入，仅在解码器中有非零向量值；ft为t时刻遗忘门，it为t时刻输入门，ot为t时刻输出门，ct为t时刻的细胞状态，
为细胞控制的新记忆，ht为t时刻细胞输出；
Wi ed为输入门卷积核参数，bi为输入门偏置；
6.如权利要求4所述的***，其特征在于，所述辅助损失函数为：
Laux(x，indexl)＝((peak(x)-indexl))2
其中x为注意力权重序列的L1范数，β为增益系数，indexl为人工标注的含有显著病变视频帧的帧号；i、j均为多个卷积LSTM层的序号。
7.如权利要求1-6之一所述的***，其特征在于，编解码注意力模块，用于为特征序列分配注意力权重，得到加权特征序列；将特征序列和加权特征序列输入到分类模块中，包括：
将生成的注意力权重与特征序列元素相乘，完成对特征序列的加权，得到加权特征序列；
并将特征序列和加权特征序列输入到具有相同参数的分类模块中。
8.如权利要求1所述的***，其特征在于，分类模块包括卷积LSTM和全连接层；
卷积LSTM是单层卷积LSTM层，代替传统全连接形式的LSTM来保留特征像素间的空间相关性；
全连接层由多层接有ReLU(修正线性单元)非线性激活单元的全连接层组成。
9.如权利要求1所述的***，其特征在于，将特征序列和加权特征序列视为两个阶段，并以阶段损失函数强制加权特征序列再经过分类模块后拥有更准确的检测结果；
具体阶段损失函数可表示为：
其中inc表示增量，
表示加权之前的正确类别的分类概率，
表示加权之后正确类别的分类概率。
10.如权利要求1所述的***，其特征在于，所述分类模块，将辅助损失函数、阶段损失函数和分类交叉熵损失函数相加作为模型的目标函数，使用反向传播算法逐步更新参数，降低损失函数的值，得到最优的模型，使用最优的模型参数检测有无完全闭塞病变。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910779238.1A CN110490863B (zh) | 2019-08-22 | 2019-08-22 | 基于深度学习的检测冠脉造影有无完全闭塞病变的*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910779238.1A CN110490863B (zh) | 2019-08-22 | 2019-08-22 | 基于深度学习的检测冠脉造影有无完全闭塞病变的*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110490863A CN110490863A (zh) | 2019-11-22 |
| CN110490863B true CN110490863B (zh) | 2022-02-08 |
Family
ID=68551660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910779238.1A Active CN110490863B (zh) | 2019-08-22 | 2019-08-22 | 基于深度学习的检测冠脉造影有无完全闭塞病变的*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490863B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192260B (zh) * | 2020-01-03 | 2023-06-27 | 天津大学 | 一种基于高光谱图像深度特征融合的甜瓜品质检测方法 |
| CN111369528B (zh) * | 2020-03-03 | 2022-09-09 | 重庆理工大学 | 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法 |
| CN111401177B (zh) * | 2020-03-09 | 2023-04-07 | 山东大学 | 基于自适应时空注意力机制的端到端行为识别方法及*** |
| CN111599448B (zh) * | 2020-06-12 | 2022-06-10 | 杭州海睿博研科技有限公司 | 特定冠状动脉钙化分析的多视图形状约束***和方法 |
| CN112185543A (zh) * | 2020-09-04 | 2021-01-05 | 南京信息工程大学 | 一种医疗感应数据流分类模型的构建方法 |
| CN113781440B (zh) * | 2020-11-25 | 2022-07-29 | 北京医准智能科技有限公司 | 超声视频病灶检测方法及装置 |
| CN113610750B (zh) * | 2021-06-03 | 2024-02-06 | 腾讯医疗健康(深圳)有限公司 | 对象识别方法、装置、计算机设备及存储介质 |
| CN114091507B (zh) * | 2021-09-02 | 2022-07-29 | 北京医准智能科技有限公司 | 超声病灶区域检测方法、装置、电子设备及存储介质 |
| CN116773534B (zh) * | 2023-08-15 | 2024-03-05 | 宁德思客琦智能装备有限公司 | 一种检测方法及装置、电子设备、计算机可读介质 |
| CN117173057B (zh) * | 2023-11-03 | 2024-02-06 | 北京唯迈医疗设备有限公司 | 一种冠脉造影图像的降噪方法、***、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3261024A2 (en) * | 2016-06-23 | 2017-12-27 | Siemens Healthcare GmbH | Method and system for vascular disease detection using recurrent neural networks |
| CN108292366A (zh) * | 2015-09-10 | 2018-07-17 | 美基蒂克艾尔有限公司 | 在内窥镜手术中检测可疑组织区域的***和方法 |
| CN109493933A (zh) * | 2018-08-08 | 2019-03-19 | 浙江大学 | 一种基于注意力机制的不良心血管事件的预测装置 |
-
2019
- 2019-08-22 CN CN201910779238.1A patent/CN110490863B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108292366A (zh) * | 2015-09-10 | 2018-07-17 | 美基蒂克艾尔有限公司 | 在内窥镜手术中检测可疑组织区域的***和方法 |
| EP3261024A2 (en) * | 2016-06-23 | 2017-12-27 | Siemens Healthcare GmbH | Method and system for vascular disease detection using recurrent neural networks |
| CN109493933A (zh) * | 2018-08-08 | 2019-03-19 | 浙江大学 | 一种基于注意力机制的不良心血管事件的预测装置 |
Non-Patent Citations (1)
| Title |
|---|
| 《A Recurrent CNN for Automatic Detection and Classification of Coronary Artery Plaque and Stenosis in Coronary CT Angiography》;Majd Zreik et al；;《arXiv:1804.04360v2》;20180820;第1-10页； * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110490863A (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490863B (zh) | 基于深度学习的检测冠脉造影有无完全闭塞病变的*** | |
| Maharjan et al. | A novel enhanced softmax loss function for brain tumour detection using deep learning | |
| CN110428428B (zh) | 一种图像语义分割方法、电子设备和可读存储介质 | |
| CN111428718B (zh) | 一种基于图像增强的自然场景文本识别方法 | |
| US9881372B2 (en) | Method and system for vascular disease detection using recurrent neural networks | |
| CN111105032B (zh) | 基于gan的染色体结构异常检测方法、***及存储介质 | |
| CN115661144B (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN103136763B (zh) | 用于检测视频序列异常段落的电子装置及其方法 | |
| Rahmon et al. | Motion U-Net: Multi-cue encoder-decoder network for motion segmentation | |
| JP5591178B2 (ja) | テスト画像内のオブジェクトを分類するための方法 | |
| CN110930378B (zh) | 基于低数据需求的肺气肿影像处理方法及*** | |
| CN109815931B (zh) | 一种视频物体识别的方法、装置、设备以及存储介质 | |
| Bani-Hani et al. | Classification of leucocytes using convolutional neural network optimized through genetic algorithm | |
| CN114581434A (zh) | 基于深度学习分割模型的病理图像处理方法、电子设备 | |
| CN114266898A (zh) | 一种基于改进EfficientNet的肝癌识别方法 | |
| CN114821022A (zh) | 融合主观逻辑和不确定性分布建模的可信目标检测方法 | |
| Sheremet et al. | Diagnosis of lung disease based on medical images using artificial neural networks | |
| CN114842238A (zh) | 一种嵌入式乳腺超声影像的识别方法 | |
| CN113177554B (zh) | 甲状腺结节识别与分割方法、***、存储介质及设备 | |
| CN117523203B (zh) | 一种基于Transformer半监督算法的蜂窝肺病灶图像分割识别方法 | |
| Senthilkumar et al. | An effective classification of citrus fruits diseases using adaptive gamma correction with deep learning model | |
| CN116740041B (zh) | 基于机器视觉的cta扫描图像分析***及其方法 | |
| CN117576383A (zh) | 一种基于注意力解码的可信息肉分割方法及*** | |
| Huang et al. | DBFU-Net: Double branch fusion U-Net with hard example weighting train strategy to segment retinal vessel | |
| Liu et al. | Ensemble Learning with multiclassifiers on pediatric hand radiograph segmentation for bone age assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200818 Address after: 1704-735, 17th floor, Qingyun contemporary building, building 9, Manting Fangyuan community, Qingyun Li, Haidian District, Beijing 100086 Applicant after: BEIJING HONGYUN ZHISHENG TECHNOLOGY Co.,Ltd. Applicant after: FUWAI HOSPITAL, CHINESE ACADEMY OF MEDICAL SCIENCES Address before: 1704-735, 17th floor, Qingyun contemporary building, building 9, Manting Fangyuan community, Qingyun Li, Haidian District, Beijing 100086 Applicant before: BEIJING HONGYUN ZHISHENG TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |