CN109146872B - 基于深度学习和光流法的心脏冠状动脉影像分割识别方法 - Google Patents

基于深度学习和光流法的心脏冠状动脉影像分割识别方法 Download PDF

Info

Publication number
CN109146872B
CN109146872B CN201811016723.5A CN201811016723A CN109146872B CN 109146872 B CN109146872 B CN 109146872B CN 201811016723 A CN201811016723 A CN 201811016723A CN 109146872 B CN109146872 B CN 109146872B
Authority
CN
China
Prior art keywords
neural network
optical flow
feature map
layer
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811016723.5A
Other languages
English (en)
Other versions
CN109146872A (zh
Inventor
张洪刚
梁枭
王筱斐
陈东浩
叶丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201811016723.5A priority Critical patent/CN109146872B/zh
Publication of CN109146872A publication Critical patent/CN109146872A/zh
Application granted granted Critical
Publication of CN109146872B publication Critical patent/CN109146872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，通过选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图，提高了分割精确度。

Description

基于深度学习和光流法的心脏冠状动脉影像分割识别方法
技术领域
本发明涉及互联网技术领域，尤其涉及一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法。
背景技术
冠状动脉造影图像的分割是图像分割技术在医学领域的重要应用，冠状动脉血管的精确提取可以辅助医生诊断心血管疾病并确定合适的治疗方案，同时其也是血管三维重建的重要基础，在临床医疗中发挥着重要作用。
传统应用深度学习技术对Dicom视频文件进行分割的做法是一帧一帧的进行分割，而且没有利用到帧与帧之间的关联性，最终导致分割结果抖动比较大，效果并不是那么好。
发明内容
为了解决上述问题，本文提出了一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，可以实现端到端的训练，以一定的准确率在心脏冠状动脉造影图像上实现血管分割识别。本发明采用光流法来表示帧与帧之间的关联性，并将其作为输入提供给神经网络进行训练，这使得神经网络可以获得更多有价值的信息，从而可以得到较好的分割结果。
为了达到上述目的，本发明提供的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，包括：
选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；
神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图。
进一步的，所述分段心脏造影Dicom视频的获取方法包括：
接收医疗综合数据库中存储的与病变种类信息对应的整段心脏造影Dicom视频；
基于病变种类信息，使用SSN(Structured Segment Network,结构分割网络)协同分析整段心脏造影Dicom视频中出现的关键特征信息。
基于关键特征信息并结合***信息，对整段Dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。
进一步的，所述卷积神经网络模块由多层相同单元多次堆叠而成，同时读取预训练模型参数；
所述单元从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。
进一步的，所述神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图的步骤包括：
将两帧图片中的前一帧图片取出输入卷积模块，运行模型计算图，取出计算过程中最后一个卷积层输出的第一特征图；
将光流信息输入卷积模块中进行主要特征提取，得到第二特征图；
打包层接收第一特征图和第二特征图，对第一特征图和第二特征图进行线性插值的操作，将第一特征图和第二特征图进行有效信息的融合，得到第三特征图。
进一步的，得到所述第四特征图的步骤包括：
神经网络将当前帧图片输入卷积模块进行特征提取，取出最后一个卷积层的输出得到第四特征图。
进一步的，得到所述第五特征图的步骤包括：
组合层将第三特征图和第四特征图分别乘以不同的权重之后相加，得到第五特征图。
进一步的，还包括参数更新的步骤，该步骤包括：
比较输出的心脏冠状动脉影像分割识别血管图和医生精标注的心脏冠状动脉影像分割识别血管图的不同得到损失值，通过梯度下降法对神经网络各个层的参数进行更新；迭代运行所有的步骤，直到通过神经网络分割和识别出的心脏冠状动脉影像分割识别血管图与医生精标注的心脏冠状动脉影像分割识别血管图之间损失值低于预设的阈值。
进一步的，还包括测试步骤，该步骤包括：
步骤一：读取拍摄到的患者的心脏造影Dicom视频文件，提取关键帧，输入神经网络；并读取该***对应的模型参数。
步骤二：神经网络进行初始化，建立多层神经网络结构，并读取训练好的对应***的模型参数。
步骤三：神经网络接收患者的心脏造影Dicom视频图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同***关键帧的血管分割识别图片；
步骤四：对不同***重复步骤一到步骤三，直到将所有***的关键帧处理完毕。
本发明提供的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，通过选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图的技术方案，将相邻两帧之间的信息表示出来并用于冠状动脉心脏造影图像的分割和识别任务，并将光流法和深度学习技术结合用于心脏造影图像的分割和识别任务。以较高的准确率分割并识别心脏造影图像不同类型的血管。将深度学习技术和光流法进行结合，实现端到端的自动分割并识别血管过程。解决了传统对Dicom视频文件进行分割的做法是一帧一帧的进行分割，而且帧与帧之间没有任何关联性，导致分割精度低的技术问题。本方法采用光流法表示帧与帧之间的关联性，将血管的变化信息加入分割方法中，从而可以得到较好的结果。
附图说明
图1为根据本发明的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法的流程图。
图2为根据本发明的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法的激活函数的图像。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
参照图1，图1示出了一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法实施例一流程图，包括步骤S110至步骤S120：
步骤S110、选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中。
步骤S120、神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图。
分段心脏造影Dicom视频的获取方法包括：
接收医疗综合数据库中存储的与病变种类信息对应的整段心脏造影Dicom视频；基于病变种类信息，使用SSN(Structured Segment Network，结构分割网络)协同分析整段心脏造影Dicom视频中出现的关键特征信息；基于关键特征信息并结合***信息，对整段Dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。即从dicom文件中截取出血管轮廓较为清晰的数字减影心脏造影图像，并将图片处理为单通道的灰度图片，输入卷积神经网络。
其中，心脏造影Dicom视频数据集是由约100位冠心病患者的Dicom冠状动脉数字减影血管造影(医学数字成像通讯)文件组成。每位患者都有不同***的多个Dicom文件，每个Dicom文件都包含若干帧的冠状动脉造影，每一帧都有不同类型的血管，包括左主干、左回旋支、左前降支、侧支、左室间隔支、右冠等。本发明中需要分割并识别的血管就是这些血管。对于视频中的每一帧图像，医生都会对图中的血管进行精细的像素级标注。使用这些这些数据来训练网络模型，之后使用训练出的模型进行血管的分割和识别。
整个网络由基本的卷积神经网络模块、金字塔模型、还有打包层、组合层组成。从Dicom文件中挑选出相邻两帧血管轮廓较为清晰的数字减影心脏造影图像，并将这两帧图片处理为单通道的灰度图片，输入卷积神经网络。
所述卷积神经网络模块由多层相同单元多次堆叠而成，同时读取预训练模型参数；所述单元从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。
所述神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图的步骤包括：将两帧图片中的前一帧图片取出输入卷积模块，运行模型计算图，取出计算过程中最后一个卷积层输出的第一特征图；将光流信息输入卷积模块中进行主要特征提取，得到第二特征图；打包层接收第一特征图和第二特征图，对第一特征图和第二特征图进行线性插值的操作，将第一特征图和第二特征图进行有效信息的融合，得到第三特征图。
得到所述第四特征图的步骤包括：神经网络将当前帧图片输入卷积模块进行特征提取，取出最后一个卷积层的输出得到第四特征图。
得到所述第五特征图的步骤包括：组合层将第三特征图和第四特征图分别乘以不同的权重之后相加，得到第五特征图。
还包括参数更新的步骤，该步骤包括：比较输出的心脏冠状动脉影像分割识别血管图和医生精标注的心脏冠状动脉影像分割识别血管图的不同得到损失值，通过梯度下降法对神经网络各个层的参数进行更新；迭代运行所有的步骤，直到通过神经网络分割和识别出的心脏冠状动脉影像分割识别血管图与医生精标注的心脏冠状动脉影像分割识别血管图之间损失值低于预设的阈值。
还包括测试步骤，该步骤包括：
步骤一：读取拍摄到的患者的心脏造影Dicom视频文件，提取关键帧，输入神经网络；并读取该***对应的模型参数。
步骤二：神经网络进行初始化，建立多层神经网络结构，并读取训练好的对应***的模型参数。
步骤三：神经网络接收患者的心脏造影Dicom视频图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同***关键帧的血管分割识别图片；
步骤四：对不同***重复步骤一到步骤三，直到将所有***的关键帧处理完毕。
，一般情况下，训练神经网络往往需要三天到一周的时间，再加上做实验验证结果，时间成本往往是需要考量的重要因素。批规范化层正是可以加速模型训练速度，大大缩小时间成本的一种方法。批规范化将特征规划化到同一合适的分布下加快网络的收敛速度，具体操作的第一步是对输入的特征进行规范化，将输入的特征减去其均值后除以其方差，具体过程可表示为：
Figure BDA0001786436940000061
其中
Figure BDA0001786436940000062
表示规范化后的特征，x表示输入的特征，E[x(k)]表示输入特征的均值，
Figure BDA0001786436940000063
表示输入特征的方差。
在进行提取心脏血管特征的过程中，也要降低时间成本。所以在卷积层之后，对卷积层输出的心脏冠状造影的图像做一个批规范化处理。对卷积层输出的特征进行一个减去均值除以方差的操作，同时需要将每一层的均值和方差做一个存储以便在测试过程中可以直接使用，这样可以使使经过卷积后的心脏造影图像有统一的数据分布，从而可以加速提取血管特征的任务。
第二步是对规范化的特征进行平移和缩放，目的是让网络自己学习适合网络的输出，具体过程可表示为：
Figure BDA0001786436940000071
其中γ(k)为可学***移参数。
进一步的，所述快捷连接层接收批规范化层的输出，将卷积层的输入与批规范化层的输出按权重相加得到特征图，并将特征图输出到激活函数层。整个神经网络就是由若干个快捷连接层相连而成。
神经网络的层数越深，其所能学到的特征的维度也就越高，因此层数对神经网络的有非常大的影响。但是当神经网络的层数变得越来越深的时候，更深层次的模型很难表达低维度的特征了，所以就会出现梯度***、梯度消失等问题。快捷连接单元即为解决该问题的方法。记H(X)＝F(X)+X,在极端情况下F(X)什么都没有学习到，即F(X)＝0，此时H(X)＝X。这就可以保证浅层特征向后传递，整个网络学习到的特征不会太差，将快捷连接单元用于提取心脏冠状动脉造影图像特征提取的任务中。让模型自己决定其想要提取特征维度的高低，做到尽可能保留有用的低维度的心脏血管特征。从而解决梯度***和梯度消失的问题。
整个快捷连接过程可以表示为：
y＝F(x,{wi})+x
其中y表示输出的特征，x表示输入的特征，F(X,{Wi})表示需要训练的残差映射函数，Wi表示该层的权重。
如果仅仅是单纯的将这些线性卷积网络连接，那么最终的效果仅仅与一个单一的卷积单元一样。所以在实际使用过程中需要引入激活函数层，如图2所示，图2即为激活函数的图像，具体过程可表示为：
Y＝G(X)
其中y为输出特征，x为输入特征，G为激活函数。
在测试过程中，也将卷积处理过的心脏冠状动脉血管图像进行减均值除以方差的操作，保证测试和训练过程中心脏冠状动脉血管图像特征的分布一致。
进一步的，所述金字塔模块接收第五特征图，应用金字塔融合的方法，先对第五特征图进行卷积操作，输出不同尺度的心脏血管特征图；将不同尺度的心脏血管特征图输入反卷积层。
金字塔模块融合了提取出的心脏冠状动脉图像的4种不同尺度的特征。即将四种不同大小的心脏特征融合，如包括最粗糙的心脏冠状动脉图像特征，和三种不同尺度的心脏冠状动脉图像池化特征。为了保证全局特征的权重，如果金字塔共有N个级别，则在每个级别后使用1x1的卷积将对于级别通道降为原本的1/N。再通过双线性插值获得未池化前的大小，最终沿着一个维度合并到一起。
反卷积层接收不同尺度的心脏血管特征图，通过双线性插值的方法将不同尺度的心脏血管特征图放大到同一大小，最终沿着一个维度合并到一起，到心脏冠状动脉影像分割识别血管图。
进一步的，还包括参数更新的步骤，该步骤包括：
比较输出的心脏冠状动脉影像分割识别血管图和医生精标注的心脏冠状动脉影像分割识别血管图的不同得到损失值，通过梯度下降法对神经网络各个层的参数进行更新；迭代运行所有的步骤，直到通过神经网络分割和识别出的血管图与医生精标注之间损失值低于预设的阈值。
一优选实施例，实验室硬件：Intel Xeon CPU E5-2630 v4 CPU和NVIDIA GTX1080Ti GPU进行协同控制。
一、数据读取
步骤一：接收从医疗综合数据库中存储的与所述病变种类信息对应的整段心脏造影Dicom视频。
步骤二：基于病种信息，使用SSN协同分析整段心脏造影Dicom视频中出现的关键特征信息。
步骤三：基于关键特征信息并结合***信息，对整段Dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。
步骤四：选取视频分段中的任意连续两帧图像作为训练样本，将其输入神经网络模块中。
步骤五：计算挑选出的相邻两帧之间的光流信息，作为两帧之间的映射。同时也将这些光流输入神经网络模块中，作为之后训练的输入。
二、训练网络对血管进行分割并识别
步骤一：神经网络模块进行初始化，建立多层神经网络结构，其由相似单元多次堆叠而成，一个单元中从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。同时读取预训练模型参数。
步骤二：将两帧图像中的前一帧图像取出输入卷积模块，运行模型计算图，取出计算过程中最后一个卷积层的第一特征图，将其作为之后训练的输入。
步骤三：神经网络模块接受当前帧的图像、相邻两帧之间的光流信息、上一步骤输入的第一特征图后，开始进行模型的训练。
步骤四：首先神经网络模块需要对原始的光流进行变换，即将其输入一个卷积模块中进行主要特征提取，得到第二特征图，并将其输入打包层。
步骤五：打包层接收第一特征图和第二特征图，第一特征图代表前一帧图像的主要信息，第二特征图代表两帧图像之间光流的主要特征。打包层对两个特征图进行线性插值的操作，即将两个特征图进行有效信息的融合，得到第三特征图。将其输入到组合层。
步骤六：神经网络模块接受当前帧到图像，需要对其进行特征提取，所以将其输入一个卷积模块，取出最后一个卷积层的输出得到第四特征图。并将第四特征图输入组合层中。
步骤七：组合层接收第三特征图和第四特征图,其中第三特征图表示光流信息和前一帧图片信息的有效组合，第四特征图表示当前帧的有效信息。组合层将第三特征图与第四特征图分别乘以不同的权重之后相加，得到第五特征图。并将第五特征图输入金字塔模块。
步骤八：金字塔模块接收第五特征图，应用金字塔融合的方法，先对特征图进行卷积操作，输出四种不同尺度的心脏血管特征图。将四种不同尺度的心脏血管特征图输入反卷积层。
步骤九：反卷积层接受四种不同尺度的心脏血管特征图，通过双线性插值的方法将四种不同尺度的心脏血管特征图放大到同一大小，最终沿着一个维度合并到一起。这就得到了最后的分割识别血管图。
步骤十：比较最后输出的分割识别血管图和医生精标注图片的不同得到损失值，之后通过梯度下降法对神经网络各个层的参数进行更新。
步骤十一：迭代运行步骤二到步骤十直到通过神经网络分割和识别出的血管图与医生精标注之间损失值低于预设的阈值。
步骤十二：存储训练之后的模型参数和神经网络模型结构，以便以后测试过程中使用。
步骤十三：训练不同***数据的模型参数并存储。
三、测试网络对血管进行分割并检测
步骤一：读取拍摄到的患者的Dicom文件，提取关键相邻帧，输入神经网络模块并读取该***对应的模型参数。
步骤二：神经网络模块进行初始化，建立多层神经网络结构，并读取之前训练好的对应***的模型参数。
步骤三：神经网络接收数字减影血管造影图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同***关键帧的血管分割和识别图片。
步骤四：对不同***重复上述一到三步骤，直到将所有***的关键帧处理完毕。
本发明实施例一提供的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，通过选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图的技术方案，将相邻两帧之间的信息表示出来并用于冠状动脉心脏造影图像的分割和识别任务，并将光流法和深度学习技术结合用于心脏造影图像的分割和识别任务。以较高的准确率分割并识别心脏造影图像不同类型的血管。将深度学习技术和光流法进行结合，实现端到端的自动分割并识别血管过程。解决了传统对Dicom视频文件进行分割的做法是一帧一帧的进行分割，而且帧与帧之间没有任何关联性，导致分割精度低的技术问题。本方法采用光流法表示帧与帧之间的关联性，将血管的变化信息加入分割方法中，从而可以得到较好的结果，提高了分割精确度。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，其特征在于，包括：
选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；
神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图；
所述分段心脏造影Dicom视频的获取方法包括：接收医疗综合数据库中存储的与病变种类信息对应的整段心脏造影Dicom视频；基于病变种类信息，使用结构分割网络协同分析整段心脏造影Dicom视频中出现的关键特征信息；基于关键特征信息并结合***信息，对整段Dicom视频进行分段，并迭代所述基于病变种类信息，使用结构分割网络协同分析整段心脏造影Dicom视频中出现的关键特征信息；基于关键特征信息并结合***信息，对整段Dicom视频进行分段步骤，直到最终找到满足设定的分段视频；
所述神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图的步骤包括：将两帧图片中的前一帧图片取出输入卷积模块，运行模型计算图，取出计算过程中最后一个卷积层输出的第一特征图；将光流信息输入卷积模块中进行主要特征提取，得到第二特征图；打包层接收第一特征图和第二特征图，对第一特征图和第二特征图进行线性插值的操作，将第一特征图和第二特征图进行有效信息的融合，得到第三特征图。
2.如权利要求1所述的方法，其特征在于，所述卷积神经网络模块由多层相同单元多次堆叠而成，同时读取预训练模型参数；
所述单元从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。
3.如权利要求1所述的方法，其特征在于，得到所述第四特征图的步骤包括：
神经网络将当前帧图片输入卷积模块进行特征提取，取出最后一个卷积层的输出得到第四特征图。
4.如权利要求1所述的方法，其特征在于，得到所述第五特征图的步骤包括：
组合层将第三特征图和第四特征图分别乘以不同的权重之后相加，得到第五特征图。
5.如权利要求1-4之一所述的方法，其特征在于，还包括参数更新的步骤，该步骤包括：
比较输出的心脏冠状动脉影像分割识别血管图和医生精标注的心脏冠状动脉影像分割识别血管图的不同得到损失值，通过梯度下降法对神经网络各个层的参数进行更新；迭代运行所有的步骤，直到通过神经网络分割和识别出的心脏冠状动脉影像分割识别血管图与医生精标注的心脏冠状动脉影像分割识别血管图之间损失值低于预设的阈值。
6.如权利要求1所述的方法，其特征在于，还包括测试步骤，该步骤包括：
步骤一：读取拍摄到的患者的心脏造影Dicom视频文件，提取关键帧，输入神经网络；并读取该***对应的模型参数；
步骤二：神经网络进行初始化，建立多层神经网络结构，并读取训练好的对应***的模型参数；
步骤三：神经网络接收患者的心脏造影Dicom视频图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同***关键帧的血管分割识别图片；
步骤四：对不同***重复步骤一到步骤三，直到将所有***的关键帧处理完毕。
CN201811016723.5A 2018-09-03 2018-09-03 基于深度学习和光流法的心脏冠状动脉影像分割识别方法 Active CN109146872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811016723.5A CN109146872B (zh) 2018-09-03 2018-09-03 基于深度学习和光流法的心脏冠状动脉影像分割识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811016723.5A CN109146872B (zh) 2018-09-03 2018-09-03 基于深度学习和光流法的心脏冠状动脉影像分割识别方法

Publications (2)

Publication Number Publication Date
CN109146872A CN109146872A (zh) 2019-01-04
CN109146872B true CN109146872B (zh) 2021-12-17

Family

ID=64826184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811016723.5A Active CN109146872B (zh) 2018-09-03 2018-09-03 基于深度学习和光流法的心脏冠状动脉影像分割识别方法

Country Status (1)

Country Link
CN (1) CN109146872B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111820947B (zh) * 2019-04-19 2023-08-29 无锡祥生医疗科技股份有限公司 超声心脏反流自动捕捉方法、***及超声成像设备
CN110111366B (zh) * 2019-05-06 2021-04-30 北京理工大学 一种基于多级损失量的端到端光流估计方法
CN110136107B (zh) * 2019-05-07 2023-09-05 上海交通大学 基于dssd和时域约束x光冠脉造影序列自动分析方法
CN112150476B (zh) * 2019-06-27 2023-10-27 上海交通大学 基于时空判别性特征学习的冠状动脉序列血管分割方法
CN111192312B (zh) * 2019-12-04 2023-12-26 中广核工程有限公司 基于深度学习的深度图像获取方法、装置、设备及介质
CN111340081A (zh) * 2020-02-19 2020-06-26 中国科学院光电技术研究所 一种基于光流估计的神经网络像差预测方法
CN111353989B (zh) * 2020-03-03 2022-07-01 重庆理工大学 一种冠状动脉血管完全造影图像识别方法
CN113673545A (zh) * 2020-05-13 2021-11-19 华为技术有限公司 光流估计方法、相关装置、设备及计算机可读存储介质
CN115668278A (zh) * 2020-05-29 2023-01-31 华为技术有限公司 图像处理方法及相关设备
CN112489043A (zh) * 2020-12-21 2021-03-12 无锡祥生医疗科技股份有限公司 心脏疾病检测装置、模型训练方法及存储介质
CN113012198B (zh) * 2021-03-22 2022-04-01 复旦大学 颅内外血管吻合术中的血流自动定量分析方法
CN115017501A (zh) * 2022-06-02 2022-09-06 北京邮电大学 一种基于不确定性估计的图像对抗攻击样本检测方法和***
CN114862865B (zh) * 2022-07-11 2022-09-06 天津大学 基于多视角冠状动脉造影序列图像的血管分割方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101283910A (zh) * 2008-06-05 2008-10-15 华北电力大学 一种获取冠状动脉血管运动信息的方法
CN108010041A (zh) * 2017-12-22 2018-05-08 数坤（北京）网络科技有限公司 基于深度学习神经网络级联模型的人体心脏冠脉提取方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108280827A (zh) * 2018-01-24 2018-07-13 北京红云视界技术有限公司 基于深度学习的冠状动脉病变自动检测方法、***和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100061611A1 (en) * 2008-09-11 2010-03-11 Siemens Corporate Research, Inc. Co-registration of coronary artery computed tomography and fluoroscopic sequence
CN102346911A (zh) * 2010-07-28 2012-02-08 北京集翔多维信息技术有限公司 在数字减影血管造影图像序列中分割血管的方法
CN102722882B (zh) * 2012-04-12 2015-06-03 华北电力大学（保定） 一种cag图像序列的弹性配准方法
CN103839281A (zh) * 2014-03-27 2014-06-04 武汉大学 一种利用造影微泡测量血流速度的方法
CN104463844B (zh) * 2014-11-03 2017-05-03 中国人民解放军第三军医大学第三附属医院 基于brox光流法的超声造影图像血管灌注区提取方法
CN106327479B (zh) * 2016-09-23 2018-11-20 西安电子科技大学 血管造影中介下先心病术中血管辨识的装置及方法
US11521741B2 (en) * 2016-10-14 2022-12-06 Elena Di Martino Methods, systems, and computer readable media for evaluating risks associated with vascular pathologies

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101283910A (zh) * 2008-06-05 2008-10-15 华北电力大学 一种获取冠状动脉血管运动信息的方法
CN108010041A (zh) * 2017-12-22 2018-05-08 数坤（北京）网络科技有限公司 基于深度学习神经网络级联模型的人体心脏冠脉提取方法
CN108280827A (zh) * 2018-01-24 2018-07-13 北京红云视界技术有限公司 基于深度学习的冠状动脉病变自动检测方法、***和设备
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Segmentation and Registration in X-Ray Angiography Video;Athanasios Vlontzos 等;《arXiv:1805.06406v2》;20180803;第1-11页第3.3、4节、图2-3 *
Pyramid Scene Parsing Network;Hengshuang Zhao 等;《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20171109;第6230-6239页第3.2-3.3节、图3 *
冠状动脉造影图像序列中血管运动特征的提取;孙正 等;《天津大学学报》;20031130;第36卷(第06期);第739-742页 *

Also Published As

Publication number Publication date
CN109146872A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109146872B (zh) 基于深度学习和光流法的心脏冠状动脉影像分割识别方法
CN108830155B (zh) 一种基于深度学习的心脏冠状动脉分割及识别的方法
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN108052977B (zh) 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
CN110930416B (zh) 一种基于u型网络的mri图像***分割方法
CN111161290B (zh) 一种图像分割模型的构建方法、图像分割方法及***
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其***
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断***
CN110796670B (zh) 一种夹层动脉分割方法及装置
CN111462047B (zh) 血管参数测量方法、装置、计算机设备和存储介质
Chen et al. MSLPNet: multi-scale location perception network for dental panoramic X-ray image segmentation
CN110120051A (zh) 一种基于深度学习的右心室自动分割方法
CN109063557B (zh) 快速构建心脏冠脉血管识别数据集的方法
CN111325754A (zh) 一种基于ct序列图像的腰椎骨自动定位方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN113160151B (zh) 基于深度学习及注意力机制的全景片龋齿深度识别方法
CN117274185B (zh) 检测方法、检测模型产品、电子设备及计算机存储介质
CN113469963A (zh) 肺动脉图像分割方法及装置
CN112950555A (zh) 一种基于深度学习的2型糖尿病心血管病变图像分类方法
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN116486156A (zh) 融合多尺度特征上下文的全视野数字切片图像分类方法
Wen et al. A novel lesion segmentation algorithm based on U-Net network for Tuberculosis CT image
CN115880358A (zh) 定位模型的构建方法、影像标志点的定位方法及电子设备
CN113222985B (zh) 一种图像处理方法、装置、计算机设备和介质
CN115035145A (zh) 血管及骨骼的分割方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant