CN107545269A - 使用递归神经网络进行血管疾病检测的方法和*** - Google Patents

使用递归神经网络进行血管疾病检测的方法和*** Download PDF

Info

Publication number
CN107545269A
CN107545269A CN201710485670.0A CN201710485670A CN107545269A CN 107545269 A CN107545269 A CN 107545269A CN 201710485670 A CN201710485670 A CN 201710485670A CN 107545269 A CN107545269 A CN 107545269A
Authority
CN
China
Prior art keywords
lstm
cross sectional
housebroken
sampled point
sectional images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710485670.0A
Other languages
English (en)
Other versions
CN107545269B (zh
Inventor
D.科马尼丘
M.A.古尔森
郑冶枫
P.沙尔马
B.乔治斯库
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Healthcare GmbH
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN107545269A publication Critical patent/CN107545269A/zh
Application granted granted Critical
Publication of CN107545269B publication Critical patent/CN107545269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

公开了一种使用递归神经网络（RNN）进行血管疾病检测和表征的方法和装置。从3D计算机断层扫描血管造影（CTA）图像中提取多个2D横截面图像分块，每一个沿着3D CTA图像中所关注血管的血管中心线的相应采样点提取。使用经训练的RNN，基于多个2D横截面图像分块，通过对沿着血管中心线的采样点中每一个进行分类对所关注血管中的血管异常进行检测和表征。

Description

使用递归神经网络进行血管疾病检测的方法和***
本申请要求于2016年6月23日提交的美国临时申请No.62/353,888的权益，其公开内容通过引用并入本文。
背景技术
本发明涉及医学图像中的血管疾病检测和表征，并且更具体地涉及使用递归神经网络在医学图像中进行血管疾病检测和表征。
最近几代计算机断层扫描（CT）扫描仪实现了高质量CT血管造影（CTA）图像的获得，其可用作用于排除诸如冠状动脉狭窄和斑块之类的血管疾病的侵入性血管造影术的替代方案。这导致了在CTA图像中用于血管疾病自动检测的各种算法的发展。然而，由于血管分支的不同长度，这类算法通常仅依赖于沿着血管分支提取的局部图像特征，并且因此只能够产生独立地表征沿血管分支的中心线点的局部预测，而没有考虑到沿着血管分支的预测与图像特征之间的总体依赖性。
发明内容
本发明提供了一种用于使用递归神经网络在医学图像中进行自动血管疾病检测和表征的方法和***。本发明的实施例使用递归神经网络（RNN）利用沿着血管分支嵌入的顺序图像上下文信息来检测和表征患者的计算机断层扫描血管造影（CTA）图像中的血管异常。
在本发明的一个实施例中，从3D计算机断层扫描血管造影（CTA）图像中提取多个2D横截面图像分块，其中，在沿着3D CTA图像中所关注血管的血管中心线的多个采样点的相应一个处提取2D横截面图像分块中的每一个。使用经训练的递归神经网络（RNN），基于多个2D横截面图像分块，通过对沿着血管中心线的多个采样点中的每一个进行分类来检测所关注血管中的血管异常。
通过参考以下详细描述和附图，本发明的这些和其它优点对于本领域普通技术人员将是显而易见的。
附图说明
图1图示了沿着冠状动脉的血管疾病的示例；
图2图示了根据本发明实施例的使用递归神经网络进行血管疾病检测的方法；
图3A图示了根据本发明实施例的用于血管异常检测的使用双向长短期记忆（LSTM）和卷积神经网络（CNN）的递归神经网络（RNN）架构；
图3B图示了详细描述了双向LSTM层的操作的图3A的RNN架构。
图4图示了RNN和该RNN的展开表示；
图5图示了LSTM网络；
图6图示了根据本发明实施例的用于使用多尺度时空LSTM对医学图像序列进行分类的方法；
图7图示了根据本发明实施例的级联多尺度时空LSTM；
图8图示了根据本发明实施例的门控多尺度时空LSTM；
图9图示了根据本发明实施例的集成的级联和门控多尺度时空LSTM；和
图10是能够实施本发明的计算机的高级框图。
具体实施方式
本发明涉及使用递归神经网络在医学图像中进行血管疾病自动检测和表征的方法和***。本文描述了本发明的实施例以给出对使用递归神经网络对医学图像进行分类的方法和血管疾病检测方法的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。在本文中通常在识别和操纵对象的方面来描述对象的数字表示。这类操纵是在计算机***的存储器或其他电路/硬件中完成的虚拟操纵。因此，应当理解，可以使用存储在计算机***内的数据在计算机***内执行本发明实施例。
本发明实施例在递归神经网络（RNN）架构内使用沿着血管分支中心线的顺序图像上下文来检测和表征血管异常，诸如狭窄、斑块等。图1图示了沿着冠状动脉的血管疾病的示例。如图1中所示，冠状动脉100包含血管异常102、104和106，这些血管异常中的每一个都是非钙化斑块。将非钙化斑块102、104和106分别分类为中度、临界和轻度。本发明的实施例检测这类斑块和狭窄的位置，并且表征它们的类型和/或严重性。
图2图示了根据本发明实施例的使用递归神经网络进行血管疾病检测的方法。在步骤202处，接收患者的3D计算机断层扫描血管造影（CTA）图像。该CTA图像包括患者的至少一个所关注血管（例如，冠状动脉、肾动脉、大脑动脉等）。可以直接从CT扫描器接收CTA图像，或者可以通过加载先前存储的CTA图像来接收CTA图像。
在步骤204处，在CTA图像中检测到血管中心线。在有利的实现中，例如通过使用中心线跟踪方法或基于机器学习的中心线检测方法，在CTA图像中自动检测到血管中心线。可以使用组合的模型驱动和数据驱动方法在CTA图像中检测血管中心线，如题为“Method andSystem for Coronary Artery Center Line Extraction”的美国专利申请No.9,129,417中所述，其通过引用整体并入本文。替换地，可以使用题为“Robust Vessel TreeModeling”的美国专利申请No.7,953,266中描述的方法在CTA图像中检测血管中心线，其全部内容通过引用并入本文。也可以使用用于提取血管中心线的其它自动或半自动技术。在另一个可能的实现中，可以由用户使用诸​​如鼠标的用户输入设备来对血管中心线进行手动注释。
在步骤206处，在沿着血管中心线的多个采样点处从3D CTA图像中提取2D横截面图像。对血管中心线进行采样，以沿着血管中心线建立多个采样点。可以使用均匀的采样分布来定义均匀间隔的采样点，但是本发明不限于此，并且可以取决于所关注血管使用其他可能的采样分布。在血管中心线上的每个采样点处从3D CTA图像提取相应的2D横截面图像。每个2D横截面图像可以是以相应采样点为中心并且与在该采样点处与血管中心线的切线方向对齐的预定尺寸的图像。
在步骤208处，使用经训练的递归神经网络（RNN），基于提取的2D横截面图像，对沿着血管中心线的每个采样点进行分类。根据有利的实施例，RNN对每个采样点的分类不仅取决于在该采样点提取的横截面图像，而且还取决于在其它采样点处提取的横截面图像。RNN通常用于来自具有多个时间点的顺序信息的预测任务。根据本发明的有利实施例，将从CTA图像中的各个空间位置（即，各自的中心线采样点）提取的横截面图像输入RNN，RNN处理图像的空间序列，如同它们是图像的动态时间序列。可以使用诸如长短期记忆（LSTM）或门控递归单元（GRU）之类的各种类型的RNN架构对血管中心线的采样点进行分类。在本文描述的示例实现中使用了LSTM，但是本发明不限于此，而是可以使用任何类型的RNN架构。
图3A图示了根据本发明实施例的针对血管异常检测的使用双向LSTM和卷积神经网络（CNN）的RNN架构。如图3A中所示，分别沿着血管中心线300在采样点302、304、306和308处提取2D横截面图像312、314、316和318。可以将2D横截面图像312、314、316和318中的每一个认为是对应于RNN输入的时间点。在图3A的实施例中，通过卷积神经网络（CNN）320将2D横截面图像312、314、316和318连接到RNN层330。在替代实现中，可以使用完全连接的层来代替CNN 320。CNN 320获取固定尺寸的图像。因此，输入CNN 320的2D横截面图像312、314、316和318可以是从较大2D横截面图像提取的预定尺寸的图像分块。CNN 320将每个输入图像312、314、316和318编码成作为输入图像的高级语义表示的特征向量，并且将由CNN 320针对每个2D横截面图像312、314、316和318提取的特征向量输入RNN层330。应当理解的是，将相同的经训练的CNN 320（即，具有相同的学习权重）应用于2D横截面图像312、314、316和318中的每一个。
RNN层330输入由CNN 320针对2D横截面图像312、314、316和318中的每一个提取的特征向量，并且输出针对血管中心线300的每个对应的采样点302、304、306和308的分类结果。如图3A 中所示，分类结果可以是正常或异常的二进制分类。分类结果也可以是多类标签，例如针对斑块类型分类（例如钙化、非钙化、混合），或者例如针对狭窄分级回归的连续值。如图3A中所示，将RNN层实现为双向LSTM 330。在典型的RNN中，时间点的输出仅依赖于先前的时间点。然而，这种典型的RNN构架不适合于在血管中检测和分级狭窄，因为狭窄位置和分级是基于该位置的上游和下游的血管腔面积/直径来临床确定的。根据本发明的有利实施例，构造双向RNN，其中，将原始（正向）和相反的（反向）输入均馈送到RNN。图3B图示了图3A的RNN架构，其中具体描述双向LSTM层330的操作。如图3B中所示，双向LSTM层330包括正向LSTM层430a和反向LSTM层430b。正向LSTM层430a和反向LSTM层430b是具有不同学***均（加权或未加权）），以便确定最终的分类结果332、334、336和338。例如，如果正向和反向LSTM直接输出分类标签，则可以对两个LSTM的结果进行求和或平均。在另一个可能的实现中，可以在LSTM输出和最终分类标签之间添加1-2个神经网络层。在这种情况下，两个LSTM的输出可以级联成作为到附加神经网络层的输入的较长的特征向量。
有关对RNN/LSTM架构进行训练的附加细节将在下面更详细地描述。此外，在本发明的有利实施例中，可以将图3A和图3B 中所示的RNN/LSTM架构修改为包含多尺度图像信息，如下面结合图6的方法所述。
返回到图2，在步骤210处，输出针对沿着血管中心线的每个采样点的分类结果。例如，可以将每个采样点分类为正常或异常。RNN架构可以为每个采样点输出针对斑块类型分类的多类标签。例如，可以将每个采样点分类为正常、钙化斑块、非钙化斑块或混合斑块之一。RNN架构可以输出针对每个采样点的数值。该数值可用于确定针对每个采样点的异常或正常分类以及严重性（例如，轻度、中度、临界）。分类结果可以以各种方式可视化。例如，可以将沿着分类为异常的血管中心线的位置提供给用户，或者可以将其在显示设备上显示的CTA图像中突出显示，连同提供或突出显示的还有斑块类型的表征和/或异常的严重性的表征。在另一个可能的实现中，可以将针对采样点确定的数值转换为颜色图，可以显示该颜色图以提供沿整个血管的血管疾病的可视化。
大多数医学成像模式的时间分辨率已经进展到可以在常规临床实践（例如，跳动的心脏的超声序列）中捕获实时视频序列的阶段。根据本发明的实施例，将来自静态CTA图像的输入制定为动态序列。特别而言，在每个血管中心线点处，并且垂直于中心线轨迹对图像分块进行采样。通过沿着中心线从口向远端移动，生成横截面图像的动态序列。该序列的长度可以根据情况而变化。大多数机器学习算法只接受具有固定长度的输入向量。此外，将针对大多数机器学习算法的输入图像尺寸设置为在训练后固定的超参数。然而，正在被检测的对象可能在患者之间或甚至在同一序列内具有显著不同的尺寸。本发明人已经认识到，所希望的是一种可以处理对象尺寸以及输入序列长度中的变化的方法。
通常使用基于窗口（具有固定长度）的方法来处理具有可变长度的输入。例如，可以仅考虑当前帧，以及在该当前帧之前和之后的n个帧，从而产生2n + 1的观察窗口。有固定长度的输入，可以应用许多现有的机器学习算法（例如，AdaBoost或支持向量机）。然而，正在被检测的事件（例如，冠状动脉狭窄）的长度可能显著地变化，并且固定窗口对于某些数据集来说可能太小，但对于其他数据集来说太大。如图3A和图3B中所图示，本发明的实施例使用LSTM来处理针对血管疾病（例如，冠状动脉斑块）检测的具有可变长度的输入。作为一种RNN，LSTM考虑所有输入，直到当前帧做出预测为止。此外，如图3A和图3B中所示，本发明的实施例使用双向LSTM，其使用两个LSTM层，一个处理序列的向前观察，并且一个处理该序列的向后观察。因此，通过使用双向LSTM，观察整个输入以预测当前位置（采样点）是否包含冠状动脉斑块。
如上所述，CNN用于将每个输入图像编码为特征向量，该特征向量作为输入图像的高级语义表示。CNN获取具有固定尺寸的图像。然而，正在被检测/分类的对象可能在患者之间，或者甚至在具有相同的序列内具有显著不同的尺寸。针对每个序列或每帧来执行分类的最佳视野（FoV）可能不同。
递归神经网络（RNN）是可以处理具有可变长度的输入的架构。图4图示了RNN 400以及RNN 400的展开表示410。不同于常规网络，RNN在其存储器单元中包含反馈回路，如图4的RNN 400中所示。如图4中的RNN 400的展开表示410所示，给定输入序列[X0，X1，… Xt]，RNN可以“展开”t次以生成与输入长度相匹配的无回路架构。展开的网络有t + 1层，并且每一层是相同的（即，每一层共享相同的学***均，以确保更新后所有副本都相同。针对训练的一个挑战是，在梯度反向传播阶段期间，梯度信号最终会被乘以大量次数（与时间步长的数量一样多）。这（当梯度信号的幅度小于1的时候）导致梯度消失或（当梯度的幅度大于1时）梯度***。在梯度消失的情况下，网络将无法有效更新；而在梯度***下，训练过程发散。因此，常规RNN具有用长序列进行训练的问题，并且因此在学习长期记忆方面存在限制。
长短期记忆（LSTM）通过引入控制输入、输出和存储器状态的三个门来解决传统RNN的长期记忆问题。图5图示了LSTM网络。如图5中所示，LSTM网络500包括分别控制输入、输出和存储器状态的输入门502、输出门504和忘记门506。假设在时间步长t-1，存储器状态为Ct-1，输出状态为ht-1，并且时间t处的输入状态为Xt。门的打开或关闭由当前输入信号Xt和最后时间点ht-1的输出信号的sigmoid函数来控制如下：
其中，it，ft和ot分别是输入门、忘记门和输出门的门功能，W、U是权重，b是偏差，这些参数是从训练集学习到的。给定当前观察（例如，图2方法中的当前2D横截面图像），则将存储器状态Ct更新为：
而新的输出ht是：
通过门的协调操作，LSTM可以通过忽略噪声输入（设置it = 0）来保持长时间段的存储器状态（设置ft = 1）以实现长期存储。或者，它可以快速地丢弃存储器状态（例如，设置ft =0并设置it = 1）来学习短期存储器。应当理解，在图2、图3A和图3B的实施例中，即使采样点是空间序列而不是时间序列，也将每个采样点认为是“时间步长”（并且将每个2D横截面图像分块认为是对应的输入）。
LSTM通常用于涉及1D数据序列的应用。为了将图像用作输入，提取图像的紧凑的高级表示，例如使用CNN（如图3A和图3B中所示）。CNN将具有固定尺寸的图像作为输入（否则执行填充或裁剪以使尺寸正常化）。然而，所关注的对象在不同序列中可能具有相当不同的尺寸。对象的尺寸甚至在相同的序列内都可能变化。固定的视野（FoV）可能不是处理这样的大变化的最佳方式。根据本发明的有利实施例，可以将多尺度图像信息并入LSTM框架中。图6图示了根据本发明实施例的使用多尺度时空LSTM对医学图像序列进行分类的方法。尽管使用LSTM架构来描述图6的方法，然而该方法不限于LSTM，而是一般可以应用于RNN。在有利的实施例中，图6的方法可以与图3A和图3B的架构一起用于图2的步骤208中，以执行血管疾病的检测和表征。然而，本发明不限于此，并且图6的方法也可以应用于2D或3D医学图像以还执行其他医学图像分类任务。
在步骤602处，接收医学图像序列。当将该医学图像序列用于执行血管疾病检测和表征时，该医学图像序列是在血管中心线的采样点处提取的2D横截面图像（或图像分块）。该序列可以是从静态图像（如在血管疾病检测实施例中）在各个空间位置提取的图像序列，或者是2D或3D医学图像的时间序列。可以直接从医学图像采集设备接收医学图像，或者可以通过加载先前存储的医学图像序列来接收医学图像。
在步骤604处，针对医学图像序列中的每个图像生成具有多个降低分辨率图像的图像金字塔。图像金字塔是输入图像数据的尺度空间表示。在血管疾病检测实施例中，针对每个2D横截面图像生成具有多个降低分辨率图像的图像金字塔。例如，三级图像金字塔可以具有从粗到细的8mm、4mm和2mm的缩小分辨率图像。具有像素（或体素）固定尺寸的图像分块在不同分辨率实际上具有不同的视野（FoV）。例如，具有15 × 15像素的分块在8 mm分辨率时具有120 × 120 mm2的FoV，而在2 mm分辨率时具有30 × 30 mm2的FoV。
在步骤606处，使用训练的LSTM架构，基于针对医学图像序列中的每个图像生成的多个降低分辨率图像对医学图像序列进行分类。LSTM架构输出针对每个“时间步长”（例如，血管疾病检测实施例中的每个采样点）的分类结果。在血管疾病检测实施例中，LSTM架构使用双向LSTM。
针对每个“时间步长”（或空间位置）的图像金字塔可以在LSTM框架中以各种不同的方式使用。图7、图8和图9图示了将多分辨率图像信息并入LSTM框架中的替代实施例。图7图示了根据本发明实施例的级联多尺度时空LSTM。如图7中所图示，在一个实施例中，级联操作708用于将从图像分块702、704和706提取的CNN特征与不同的图像分辨率（例如，分别为8mm、4mm和2mm）级联成一个长特征向量。然后，将所级联的特征向量经由LSTM的输入门710输入LSTM。该实施例的优点在于对LSTM架构没有改变，而是使用从多分辨率输入图像提取的级联特征对其进行训练。该实施例的缺点在于，不太歧视性的特征可能会湮没最歧视性的特征，这可能限制所获得的识别精度的总体改善。
图8图示了根据本发明实施例的门控多尺度时空LSTM。如图8中所图示，在另一个实施例中，可以将LSTM的“门控”扩展到图像金字塔图像。代替针对输入使用单个门，针对每个金字塔级可以使用单独的门（并且学习了单独的门控功能）。如图8中所示，门812、814和816分别用不同的图像分辨率（例如，分别为8mm、4mm和2mm）控制针对图像分块802、814和816的CNN特征的输入。在门控之后，使用求和操作820将来自不同分辨率的输入信号加起来，这不改变输入维度（不同于图7的级联操作）。该实施例允许对LSTM进行训练以通过忽略来自其他分辨率的信息来选择正确的“比例”。
图9图示了根据本发明实施例的集成的级联和门控多尺度时空LSTM。对于级联（图7）和门控（图8）时空LSTM，将多尺度图像信息的集成限制到输入，并且使用单个LSTM来执行学习。然而，对于一些应用来说，更协同地利用来自多个尺度的信息来改善识别精度可能是有益的。在图9的实施例中，将多尺度图像信息更紧密地集成。如图9中所示，针对每个金字塔级图像902、904和906训练相应的LSTM（LSTM 1 912、LSTM 2 914和LSTM 3 916），并且将较低级LSTM的输出馈送到下一级LSTM。较高级别的LSTM获取两个输入：一个来自在其对应的金字塔级处的图像，并且另一个来自较低级别的LSTM。这两个输入信号可以通过级联或门控进行集成。替换地，可以用较低级的LSTM输出来控制较高级LSTM的门。在这种情况下，较高级的LSTM从其自身的金字塔级图像获取一个输入，但是门由三个信号控制：当前输入、其自己的以前的输出和较低级LSTM的当前输出。
回到图6，在步骤608处，输出分类结果。具体地，可以例如通过在计算机***的显示设备上显示分类结果来输出针对每个“时间步长”（或每个空间位置）（例如，血管中心线上的每个采样点）的分类结果。
通过使用图6的方法将多尺度图像信息集成到图2的血管疾病检测和表征方法中，在存在不同血管（例如，冠状动脉）尺寸的情况下可以改善血管疾病的检测精度。图6的方法也此外可用于其他医学成像分类/检测应用。
在上述实施例中，使用图2和图6的方法从患者的CTA图像检测和表征血管疾病（异常）。也可以将这些方法类似地应用于其它血管分类应用。例如，可以类似地应用上述方法来执行血管腔和外壁横截面直径或面积估计。大多数定量血管分析方法使用血管的3D模型来计算直径/面积。直接从图像数据估计血管直径可以移除计算血管的3D模型的需要，这是非常耗时的任务。也可以将上述方法类似地应用于检测图像伪像，诸如运动伪像，由于钙化和/或金属植入物引起的晕状伪像和部分容积效应。一旦获取医学图像中的血管图像伪像，对医学图像中的血管图像伪像的自动检测就能够在患者仍在手术台上时通过标记这些图像以用于重新获取来极大地有益于临床工作流程。伪像检测也可用于向图像重建算法提供反馈以确定最佳的重建参数集合。也可以将上述方法类似地应用于血管中心线泄漏的检测。已经提出了以非常高的灵敏度提取医学图像中的血管中心线但是以假分支泄漏到附近的结构或其他血管中为代价的方法。需要区分真正的中心线和泄漏。上述方法可用于训练中心线泄漏检测器。上述方法也可以类似地应用于血管设备的检测，诸如脉管***中的支架、移植物、线圈和夹子。
针对使用递归神经网络的血管疾病检测和使用多尺度时空LSTM对医学图像序列进行分类的上述方法可以在计算机上使用熟知的计算机处理器、存储器单元、存储设备、计算机软件及其他组件来实现。图10中图示了这种计算机的高级框图。计算机1002包含处理器1004，其通过执行定义这种操作的计算机程序指令来控制计算机1002的整体操作。当希望执行计算机程序指令时，可以将计算机程序指令存储在储存设备1012（例如，磁盘）中并将其加载到存储器1010中。因此，图2和图6的方法步骤可以由存储在存储器1010和/或储存器1012中的计算机程序指令来定义，并由执行计算机程序指令的处理器1004来控制。诸如CT扫描仪之类的图像采集设备1020可以连接到计算机1002以将图像数据输入计算机1002。可以将图像采集设备1020和计算机1002实现为一个设备。图像采集设备1020和计算机1002也可以通过网络进行无线通信。在可能的实施例中，计算机1002可以相对于图像采集设备1020进行远程定位，并且本文描述的方法步骤可以作为服务器或基于云的服务的一部分来执行。在这种情况下，方法步骤可以在单个计算机上执行或分布在多个联网的计算机之间。计算机1002还包括用于经由网络与其他设备通信的一个或多个网络接口1006。计算机1002还包括使得用户能够与计算机1002（例如，显示器、键盘、鼠标、扬声器、按钮等）进行交互的其它输入/输出设备1008。这样的输入/输出设备1008可以与计算机程序集合结合使用，作为注释工具来注释从图像采集设备1020接收的卷。本领域技术人员将认识到，实际计算机的实现也可以包含其他组件，以及图10是用于说明目的的这种计算机的一些组件的高级表示。
前面的具体实施方式应理解为在各方面都是说明性和示例性的而非限制性的，并且本文公开的本发明的范围不是根据具体实施方式确定的，而是从根据专利法所允许的全部范围解读的权利要求来确定的。应当理解，这里所图示和描述的实施例仅仅是本发明的原理的说明，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可以实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其它特征组合。

Claims (27)

1.一种使用递归神经网络进行血管疾病检测的方法，包括：
从3D计算机断层扫描血管造影（CTA）图像提取多个2D横截面图像分块，其中，在沿着3DCTA图像中的所关注血管的血管中心线的多个采样点的相应一个处提取2D横截面图像分块中的每一个；以及
使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管异常。
2.根据权利要求1所述的方法，还包括：
检测所述3D CTA图像中的所关注血管的血管中心线。
3.根据权利要求1所述的方法，其中，使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管异常包括：
使用经训练的卷积神经网络（CNN）将所述2D横截面图像分块中的每一个编码成相应的特征向量；以及
使用经训练的双向RNN，基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类。
4.根据权利要求3所述的方法，其中，所述双向RNN是双向长短期记忆（LSTM）网络，并且使用经训练的双向RNN，基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类包括：
将对应于所述多个2D横截面图像分块的特征向量输入正向LSTM网络和反向LSTM网络；
使用所述正向LSTM网络，以从第1采样点到第n采样点的正向，对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类，其中，基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述正向LSTM网络分类的采样点处提取的2D横截面图像的特征向量，所述正向LSTM网络对每个采样点进行分类；
使用所述反向LSTM网络，以从第n采样点到第1采样点的反向，对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类，其中，基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述反向LSTM网络分类的采样点处提取的2D横截面图像的特征向量，所述反向LSTM网络对每个采样点进行分类；以及
针对所述多个采样点中的每一个，对由所述正向LSTM输出的分类结果和所述反向LSTM输出的分类结果进行组合。
5.根据权利要求1所述的方法，其中，使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管异常包括：
针对所述2D横截面图像分块中的每一个生成多尺度图像信息；以及
使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类。
6.根据权利要求5所述的方法，其中，针对所述2D横截面图像分块中的每一个生成多尺度图像信息包括：
针对所述2D横截面图像分块中的每一个生成具有多个降低了分辨率的图像分块的图像金字塔。
7.根据权利要求6所述的方法，其中，所述经训练的RNN是双向长短期记忆（LSTM）网络，并且使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类包括，针对沿着所述血管中心线的所述多个采样点中的每一个：
使用针对每个分辨率的相应经训练的卷积神经网络（CNN），将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量；
将从所有的多个降低了分辨率的图像编码的特征向量级联成级联特征向量；
基于双向LSTM的经学习的输入门控功能，输入当前采样点的级联特征向量；和
基于针对当前采样点的输入级联特征向量和双向LSTM在当前采样点处的存储器状态，对当前采样点进行分类。
8.根据权利要求6所述的方法，其中，所述经训练的RNN是双向长短期记忆（LSTM）网络，并且使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类包括，针对沿着所述血管中心线的所述多个采样点中的每一个：
使用针对每个分辨率的相应经训练的卷积神经网络（CNN），将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量；
基于所述双向LSTM针对每个分辨率的相应经学习的门控功能，输入针对每个分辨率编码的特征向量；
对由针对每个分辨率的相应经学习的门控功能输入的特征向量求和；以及
基于针对当前采样点的求和的输入特征向量和双向LSTM在当前采样点处的存储器状态，对当前采样点进行分类。
9.根据权利要求6所述的方法，其中，使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类包括，针对沿着所述血管中心线的所述多个采样点中的每一个：
使用针对每个分辨率的相应经训练的卷积神经网络（CNN），将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量；
将针对每个分辨率的编码的特征向量输入到针对每个分辨率的相应经训练的长短期记忆（LSTM）网络；以及
从最低分辨率级LSTM开始，由针对每个分辨率的相应经训练的LSTM顺序执行当前采样点的分类，其中，除了最高分辨率级LSTM之外，每个LSTM的输出被输入到在下一分辨率级的后续LSTM，并且最高分辨率级LSTM输出针对当前采样点的分类结果。
10.根据权利要求1所述的方法，其中，使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管异常包括：
使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，检测所述所关注血管中的血管异常并且通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类对所述所关注血管中的血管异常的类型进行分类。
11.根据权利要求1所述的方法，其中，使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管异常包括：
使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，检测所述所关注血管中的血管异常并且通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类对所述所关注血管中的血管异常的严重性进行分类。
12.一种使用递归神经网络进行血管疾病检测的设备，包括：
用于从3D计算机断层扫描血管造影（CTA）图像提取多个2D横截面图像分块的装置，其中，在沿着3D CTA图像中的所关注血管的血管中心线的多个采样点的相应一个处提取2D横截面图像分块中的每一个；以及
用于使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管异常的装置。
13.根据权利要求12所述的设备，其中，所述用于通过使用经训练的递归神经网络（RNN）基于所述多个2D横截面图像分块沿着所述血管中心线对所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管异常的装置（RNN）包括：
用于使用经训练的卷积神经网络（CNN）将所述2D横截面图像分块中的每一个编码成相应的特征向量的装置；和
用于使用经训练的双向RNN，基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类的装置。
14.根据权利要求13所述的设备，其中，所述双向RNN是双向长短期记忆（LSTM）网络，并且用于使用经训练的双向RNN，基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类的装置包括：
用于将对应于所述多个2D横截面图像分块的特征向量输入正向LSTM网络和反向LSTM网络的装置；
用于使用所述正向LSTM网络，以从第1采样点到第n采样点的正向，对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类的装置，其中，基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述正向LSTM网络分类的采样点处提取的2D横截面图像的特征向量，所述正向LSTM网络对每个采样点进行分类；
用于使用所述反向LSTM网络，以从第n采样点到第1采样点的反向，对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类的装置，其中，基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述反向LSTM网络分类的采样点处提取的2D横截面图像的特征向量，所述反向LSTM网络对每个采样点进行分类；以及
用于针对所述多个采样点中的每一个，对由所述正向LSTM输出的分类结果和所述反向LSTM输出的分类结果进行组合的装置。
15.根据权利要求12所述的设备，其中，用于使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管异常的装置包括：
用于针对所述2D横截面图像分块中的每一个生成多尺度图像信息的装置；以及
用于使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类的装置。
16.根据权利要求15所述的设备，其中，用于针对所述2D横截面图像分块中的每一个生成多尺度图像信息的装置包括：
用于针对所述2D横截面图像分块中的每一个生成具有多个降低了分辨率的图像分块的图像金字塔的装置。
17.根据权利要求16所述的设备，其中，所述经训练的RNN是双向长短期记忆（LSTM）网络，并且用于使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类的装置包括，针对沿着所述血管中心线的所述多个采样点中的每一个:
用于使用针对每个分辨率的相应经训练的卷积神经网络（CNN），将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量的装置；
用于将从所有的多个降低了分辨率的图像编码的特征向量级联成级联特征向量的装置；
用于基于双向LSTM的经学习的输入门控功能，输入当前采样点的级联特征向量的装置；和
用于基于针对当前采样点的输入级联特征向量和双向LSTM在当前采样点处的存储器状态，对当前采样点进行分类的装置。
18.根据权利要求16所述的设备，其中，所述经训练的RNN是双向长短期记忆（LSTM）网络，并且用于使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类的装置包括，针对沿着所述血管中心线的所述多个采样点中的每一个:
用于使用针对每个分辨率的相应经训练的卷积神经网络（CNN），将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量的装置；
用于基于所述双向LSTM针对每个分辨率的相应经学习的门控功能，输入针对每个分辨率编码的特征向量的装置；
用于对由针对每个分辨率的相应经学习的门控功能输入的特征向量求和的装置；以及
用于基于针对当前采样点的求和的输入特征向量和双向LSTM在当前采样点处的存储器状态，对当前采样点进行分类的装置。
19.根据权利要求16所述的设备，其中，用于使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类的装置包括，针对沿着所述血管中心线的所述多个采样点中的每一个:
用于使用针对每个分辨率的相应经训练的卷积神经网络（CNN），将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量的装置；
用于将针对每个分辨率的编码的特征向量输入到针对每个分辨率的相应经训练的长短期记忆（LSTM）网络的装置；以及
用于从最低分辨率级LSTM开始，由针对每个分辨率的相应经训练的LSTM顺序执行当前采样点的分类的装置，其中，除了最高分辨率级LSTM之外，每个LSTM的输出被输入到在下一分辨率级的后续LSTM，最高分辨率级LSTM输出针对当前采样点的分类结果。
20.一种使用递归神经网络存储用于血管疾病检测的计算机程序指令的非暂时计算机可读介质，当由处理器执行时所述计算机程序指令使所述处理器执行操作，所述操作包括：
从3D计算机断层扫描血管造影（CTA）图像提取多个2D横截面图像分块，其中，在沿着3DCTA图像中的所关注血管的血管中心线的多个采样点的相应一个处提取2D横截面图像分块中的每一个；以及
使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管异常。
21.根据权利要求20所述的非暂时性计算机可读介质，其中，使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管异常包括：
使用经训练的卷积神经网络（CNN）将所述2D横截面图像分块中的每一个编码成相应的特征向量；以及
使用经训练的双向RNN，基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类。
22.根据权利要求21所述的非暂时计算机可读介质，其中, 所述双向RNN是双向长短期记忆（LSTM）网络，并且使用经训练的双向RNN，基于对应于所述多个2D横截面图像分块的特征向量对沿着所述血管中心线的多个采样点中的每一个进行分类包括：
将对应于所述多个2D横截面图像分块的特征向量输入正向LSTM网络和反向LSTM网络；
使用所述正向LSTM网络，以从第1采样点到第n采样点的正向，对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类，其中，基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述正向LSTM网络分类的采样点处提取的2D横截面图像的特征向量，所述正向LSTM网络对每个采样点进行分类；
使用所述反向LSTM网络，以从第n采样点到第1采样点的反向，对沿着所述血管中心线的所述多个采样点中的每一个进行顺序地分类，其中，基于对应于在该采样点处提取的2D横截面图像的特征向量和对应于在先前由所述反向LSTM网络分类的采样点处提取的2D横截面图像的特征向量，所述反向LSTM网络对每个采样点进行分类；以及
针对所述多个采样点中的每一个，对由所述正向LSTM输出的分类结果和所述反向LSTM输出的分类结果进行组合。
23.根据权利要求20所述的非暂时性计算机可读介质，其中，使用经训练的递归神经网络（RNN），基于所述多个2D横截面图像分块，通过对沿着所述血管中心线的所述多个采样点中的每一个进行分类来检测所述所关注血管中的血管异常包括：
针对所述2D横截面图像分块中的每一个生成多尺度图像信息；以及
使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类。
24.根据权利要求23所述的非暂时性计算机可读介质，其中针对所述2D横截面图像分块中的每一个生成多尺度图像信息包括：
针对所述2D横截面图像分块中的每一个生成具有多个降低了分辨率的图像分块的图像金字塔。
25.根据权利要求24所述的非暂时性计算机可读介质，其中，所述经训练的RNN是双向长短期记忆（LSTM）网络，并且使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类包括，针对沿着所述血管中心线的所述多个采样点中的每一个：
使用针对每个分辨率的相应经训练的卷积神经网络（CNN），将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量；
将从所有的多个降低了分辨率的图像编码的特征向量级联成级联特征向量；
基于双向LSTM的经学习的输入门控功能，输入当前采样点的级联特征向量；和
基于针对当前采样点的输入级联特征向量和双向LSTM在当前采样点处的存储器状态，对当前采样点进行分类。
26.根据权利要求24所述的非暂时性计算机可读介质，其中, 所述经训练的RNN是双向长短期记忆（LSTM）网络，并且使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类包括，针对沿着所述血管中心线的所述多个采样点中的每一个：
使用针对每个分辨率的相应经训练的卷积神经网络（CNN），将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量；
基于所述双向LSTM针对每个分辨率的相应经学习的门控功能，输入针对每个分辨率编码的特征向量；
对由针对每个分辨率的相应经学习的门控功能输入的特征向量求和；以及
基于针对当前采样点的求和的输入特征向量和双向LSTM在当前采样点处的存储器状态，对当前采样点进行分类。
27.根据权利要求24所述的非暂时性计算机可读介质，其中，使用所述经训练的RNN，基于针对所述多个2D横截面图像分块生成的多尺度图像信息，对沿着血管中心线的所述多个采样点中的每一个进行分类包括，针对沿着所述血管中心线的所述多个采样点中的每一个：
使用针对每个分辨率的相应经训练的卷积神经网络（CNN），将针对在当前采样点处提取的2D横截面图像分块生成的多个降低了分辨率的图像分块中的每一个编码为针对每个分辨率的相应特征向量；
将针对每个分辨率的编码的特征向量输入到针对每个分辨率的相应经训练的长短期记忆（LSTM）网络；以及
从最低分辨率级LSTM开始，由针对每个分辨率的相应经训练的LSTM顺序执行当前采样点的分类，其中，除了最高分辨率级LSTM之外，每个LSTM的输出被输入到在下一分辨率级的后续LSTM，并且最高分辨率级LSTM输出针对当前采样点的分类结果。
CN201710485670.0A 2016-06-23 2017-06-23 使用递归神经网络进行血管疾病检测的方法和*** Active CN107545269B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662353888P 2016-06-23 2016-06-23
US62/353888 2016-06-23
US15/429806 2017-02-10
US15/429,806 US9767557B1 (en) 2016-06-23 2017-02-10 Method and system for vascular disease detection using recurrent neural networks

Publications (2)

Publication Number Publication Date
CN107545269A true CN107545269A (zh) 2018-01-05
CN107545269B CN107545269B (zh) 2021-06-08

Family

ID=59828800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710485670.0A Active CN107545269B (zh) 2016-06-23 2017-06-23 使用递归神经网络进行血管疾病检测的方法和***

Country Status (3)

Country Link
US (2) US9767557B1 (zh)
EP (1) EP3261024B1 (zh)
CN (1) CN107545269B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470359A (zh) * 2018-02-11 2018-08-31 艾视医疗科技成都有限公司 一种糖尿病性视网膜眼底图像病变检测方法
CN108629773A (zh) * 2018-05-10 2018-10-09 北京红云智胜科技有限公司 建立训练识别心脏血管类型的卷积神经网络数据集的方法
CN108830155A (zh) * 2018-05-10 2018-11-16 北京红云智胜科技有限公司 一种基于深度学习的心脏冠状动脉分割及识别的方法
CN108921024A (zh) * 2018-05-31 2018-11-30 东南大学 基于人脸特征点信息与双网络联合训练的表情识别方法
CN110070534A (zh) * 2018-05-22 2019-07-30 深圳科亚医疗科技有限公司 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置
CN110276748A (zh) * 2019-06-12 2019-09-24 上海移视网络科技有限公司 心肌缺血区域的血流速和血流储备分数的分析方法
CN110310287A (zh) * 2018-03-22 2019-10-08 北京连心医疗科技有限公司 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN110349143A (zh) * 2019-07-08 2019-10-18 上海联影医疗科技有限公司 一种确定管状组织感兴趣区的方法、装置、设备及介质
CN110517279A (zh) * 2019-09-20 2019-11-29 北京深睿博联科技有限责任公司 头颈血管中心线提取方法及装置
CN110599444A (zh) * 2018-08-23 2019-12-20 深圳科亚医疗科技有限公司 预测血管树的血流储备分数的设备、***以及非暂时性可读存储介质
CN110717487A (zh) * 2018-07-13 2020-01-21 神经分析私人有限公司 用于识别脑血管异常的方法和***
CN110808096A (zh) * 2019-10-30 2020-02-18 北京邮电大学 基于卷积神经网络的心脏病变自动检测***
CN110858399A (zh) * 2018-08-24 2020-03-03 西门子医疗有限公司 用于提供虚拟断层扫描中风后续检测图像的方法和装置
CN111161240A (zh) * 2019-12-27 2020-05-15 上海联影智能医疗科技有限公司 血管分类方法、计算机设备和可读存储介质
CN111369528A (zh) * 2020-03-03 2020-07-03 重庆理工大学 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法
CN111429502A (zh) * 2019-03-26 2020-07-17 深圳科亚医疗科技有限公司 用于生成对象的中心线的方法和***以及计算机可读介质
CN112189217A (zh) * 2018-06-21 2021-01-05 国际商业机器公司 使用深区域生长来分割图像中的不规则形状
CN112272839A (zh) * 2018-06-07 2021-01-26 爱克发医疗保健公司 三维扫描中解剖结构的顺序分割
WO2021030995A1 (zh) * 2019-08-16 2021-02-25 未艾医疗技术(深圳)有限公司 基于vrds ai下腔静脉影像的分析方法及产品
CN112419437A (zh) * 2019-11-29 2021-02-26 上海联影智能医疗科技有限公司 用于重建磁共振图像的***和方法
US10937549B2 (en) 2018-05-22 2021-03-02 Shenzhen Keya Medical Technology Corporation Method and device for automatically predicting FFR based on images of vessel
WO2021070108A1 (en) * 2019-10-11 2021-04-15 International Business Machines Corporation Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory
US11417424B2 (en) 2019-10-11 2022-08-16 International Business Machines Corporation Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory and multiple instance learning
CN116863013A (zh) * 2023-05-26 2023-10-10 新疆生产建设兵团医院 基于人工智能的扫描图像处理方法及其***

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917925B1 (en) * 2014-03-28 2014-12-23 Heartflow, Inc. Systems and methods for data and model-driven image reconstruction and enhancement
KR20180003123A (ko) * 2016-06-30 2018-01-09 삼성전자주식회사 메모리 셀 유닛 및 메모리 셀 유닛들을 포함하는 순환 신경망
US11621075B2 (en) * 2016-09-07 2023-04-04 Koninklijke Philips N.V. Systems, methods, and apparatus for diagnostic inferencing with a multimodal deep memory network
US10176388B1 (en) 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
US10534996B2 (en) 2017-04-03 2020-01-14 Gyrfalcon Technology Inc. Memory subsystem in CNN based digital IC for artificial intelligence
US10331367B2 (en) * 2017-04-03 2019-06-25 Gyrfalcon Technology Inc. Embedded memory subsystems for a CNN based processing unit and methods of making
US10552733B2 (en) * 2017-04-03 2020-02-04 Gyrfalcon Technology Inc. Memory subsystem in CNN based digital IC for artificial intelligence
US10331999B2 (en) 2017-04-03 2019-06-25 Gyrfalcon Technology Inc. Memory subsystem in CNN based digital IC for artificial intelligence
US10546234B2 (en) 2017-04-03 2020-01-28 Gyrfalcon Technology Inc. Buffer memory architecture for a CNN based processing unit and creation methods thereof
US10331368B2 (en) * 2017-04-03 2019-06-25 Gyrfalcon Technology Inc. MLC based magnetic random access memory used in CNN based digital IC for AI
US10296824B2 (en) 2017-04-03 2019-05-21 Gyrfalcon Technology Inc. Fabrication methods of memory subsystem used in CNN based digital IC for AI
US10475214B2 (en) * 2017-04-05 2019-11-12 General Electric Company Tomographic reconstruction based on deep learning
US11037330B2 (en) * 2017-04-08 2021-06-15 Intel Corporation Low rank matrix compression
US11030394B1 (en) * 2017-05-04 2021-06-08 Amazon Technologies, Inc. Neural models for keyphrase extraction
CN107527069A (zh) * 2017-08-22 2017-12-29 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读介质
SG11202001933PA (en) * 2017-10-06 2020-04-29 Tellus You Care Inc Non-contact activity sensing network for elderly care
US11114206B2 (en) 2017-10-06 2021-09-07 Tellus You Care, Inc. Vital signs with non-contact activity sensing network for elderly care
CN107730497B (zh) * 2017-10-27 2021-09-10 哈尔滨工业大学 一种基于深度迁移学习的血管内斑块属性分析方法
US10762637B2 (en) 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
DE102017010397A1 (de) * 2017-11-09 2019-05-09 FotoFinder Systems GmbH Verfahren zur Auswertung des Hautbildes eines Menschen im Rahmen der Hautkrebs-Vorsorgeuntersuchung sowie Vorrichtung zu dessen Betrieb
JP2019097591A (ja) * 2017-11-28 2019-06-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107895369B (zh) * 2017-11-28 2022-11-22 腾讯科技（深圳）有限公司 图像分类方法、装置、存储介质及设备
US10258304B1 (en) 2017-11-29 2019-04-16 Siemens Healthcare Gmbh Method and system for accurate boundary delineation of tubular structures in medical images using infinitely recurrent neural networks
WO2019134753A1 (en) * 2018-01-08 2019-07-11 Siemens Healthcare Gmbh Biologically-inspired network generation
CN108399409B (zh) * 2018-01-19 2019-06-18 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
CN108280827B (zh) * 2018-01-24 2020-11-24 北京红云视界技术有限公司 基于深度学习的冠状动脉病变自动检测方法、***和设备
US10657426B2 (en) 2018-01-25 2020-05-19 Samsung Electronics Co., Ltd. Accelerating long short-term memory networks via selective pruning
US10896508B2 (en) * 2018-02-07 2021-01-19 International Business Machines Corporation System for segmentation of anatomical structures in cardiac CTA using fully convolutional neural networks
WO2019156975A1 (en) 2018-02-07 2019-08-15 Atherosys, Inc. Apparatus and method to guide ultrasound acquisition of the peripheral arteries in the transverse plane
CN108510506A (zh) * 2018-04-14 2018-09-07 深圳市图智能科技有限公司 一种管状结构图像分割方法
WO2019203851A1 (en) * 2018-04-20 2019-10-24 Hewlett-Packard Development Company, L.P. Three-dimensional shape classification and retrieval using convolutional neural networks and majority vote
EP3787480A4 (en) * 2018-04-30 2022-01-26 Atherosys, Inc. METHOD AND APPARATUS FOR THE AUTOMATIC DETECTION OF ATHEROMAS IN PERIPHERAL ARTERIES
EP3564862A1 (en) * 2018-05-03 2019-11-06 Siemens Aktiengesellschaft Determining influence of attributes in recurrent neural networks trained on therapy prediction
US11836997B2 (en) * 2018-05-08 2023-12-05 Koninklijke Philips N.V. Convolutional localization networks for intelligent captioning of medical images
WO2019222135A1 (en) 2018-05-16 2019-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
CN108776779B (zh) * 2018-05-25 2022-09-23 西安电子科技大学 基于卷积循环网络的sar序列图像目标识别方法
CN108960303B (zh) * 2018-06-20 2021-05-07 哈尔滨工业大学 一种基于lstm的无人机飞行数据异常检测方法
US10776923B2 (en) 2018-06-21 2020-09-15 International Business Machines Corporation Segmenting irregular shapes in images using deep region growing
US10643092B2 (en) 2018-06-21 2020-05-05 International Business Machines Corporation Segmenting irregular shapes in images using deep region growing with an image pyramid
KR102154652B1 (ko) 2018-07-04 2020-09-11 서울대학교산학협력단 순환신경망을 이용한 구간혈압 추정 방법 및 그 방법을 구현하기 위한 구간 혈압 추정 장치
CN109035226B (zh) * 2018-07-12 2021-11-23 武汉精测电子集团股份有限公司 基于LSTM模型的Mura缺陷检测方法
CN110794254B (zh) * 2018-08-01 2022-04-15 北京映翰通网络技术股份有限公司 一种基于强化学习的配电网故障预测方法及***
US11069078B2 (en) * 2018-08-23 2021-07-20 Shenzhen Keya Medical Technology Corporation Method, device and system for generating a centerline for an object in an image
CN109389045B (zh) * 2018-09-10 2021-03-02 广州杰赛科技股份有限公司 基于混合时空卷积模型的微表情识别方法与装置
KR102170733B1 (ko) 2018-09-21 2020-10-27 서울대학교산학협력단 주기적 생체신호의 잡음을 제거하는 방법 및 그 장치
EP3637428A1 (en) * 2018-10-12 2020-04-15 Siemens Healthcare GmbH Natural language sentence generation for radiology reports
CN109359698B (zh) * 2018-10-30 2020-07-21 清华大学 基于长短时记忆神经网络模型的漏损识别方法
US10964017B2 (en) * 2018-11-15 2021-03-30 General Electric Company Deep learning for arterial analysis and assessment
CN109567793B (zh) * 2018-11-16 2021-11-23 西北工业大学 一种面向心律不齐分类的ecg信号处理方法
CN109753049B (zh) * 2018-12-21 2021-12-17 国网江苏省电力有限公司南京供电分公司 一种源网荷互动工控***的异常指令检测方法
US10813612B2 (en) 2019-01-25 2020-10-27 Cleerly, Inc. Systems and method of characterizing high risk plaques
WO2020172188A1 (en) * 2019-02-19 2020-08-27 Cedars-Sinai Medical Center Systems and methods for calcium-free computed tomography angiography
KR102202029B1 (ko) 2019-04-18 2021-01-13 서울대학교산학협력단 순환신경망을 이용한 구간혈압 추정 방법 및 그 방법을 구현하기 위한 구간 혈압 추정 장치
CN110222759B (zh) * 2019-06-03 2021-03-30 中国医科大学附属第一医院 一种冠状动脉易损斑块自动识别***
CN114072838A (zh) * 2019-07-17 2022-02-18 西门子医疗有限公司 根据2d医学图像进行3d血管中心线重建
CN110378412B (zh) * 2019-07-17 2021-07-27 湖南视比特机器人有限公司 基于局部几何特征序列建模的二维轮廓形状识别分类方法
US11931195B2 (en) 2019-07-22 2024-03-19 Siemens Healthineers Ag Assessment of coronary artery calcification in angiographic images
WO2021012225A1 (en) * 2019-07-24 2021-01-28 Beijing Didi Infinity Technology And Development Co., Ltd. Artificial intelligence system for medical diagnosis based on machine learning
CN110490863B (zh) * 2019-08-22 2022-02-08 北京红云智胜科技有限公司 基于深度学习的检测冠脉造影有无完全闭塞病变的***
US11200976B2 (en) 2019-08-23 2021-12-14 Canon Medical Systems Corporation Tracking method and apparatus
EP3796210A1 (en) * 2019-09-19 2021-03-24 Siemens Healthcare GmbH Spatial distribution of pathological image patterns in 3d image data
CN111062963B (zh) * 2019-12-16 2024-03-26 上海联影医疗科技股份有限公司 一种血管提取方法、***、设备及存储介质
US20220392065A1 (en) 2020-01-07 2022-12-08 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
US11969280B2 (en) 2020-01-07 2024-04-30 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
AU2021205821A1 (en) 2020-01-07 2022-07-21 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
CN111681226B (zh) * 2020-06-09 2024-07-12 上海联影医疗科技股份有限公司 基于血管识别的目标组织定位方法和装置
CN111598870B (zh) * 2020-05-15 2023-09-15 北京小白世纪网络科技有限公司 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法
CN111797196B (zh) * 2020-06-01 2021-11-02 武汉大学 一种结合注意力机制lstm和神经主题模型的服务发现方法
CN111815599B (zh) * 2020-07-01 2023-12-15 上海联影智能医疗科技有限公司 一种图像处理方法、装置、设备及存储介质
KR102387928B1 (ko) * 2020-07-06 2022-04-19 메디컬아이피 주식회사 의료영상을 기초로 인체 조직을 분석하는 방법 및 그 장치
CN111738735B (zh) * 2020-07-23 2021-07-13 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置和相关设备
US11678853B2 (en) * 2021-03-09 2023-06-20 Siemens Healthcare Gmbh Multi-task learning framework for fully automated assessment of coronary artery disease
EP4084011A1 (en) 2021-04-30 2022-11-02 Siemens Healthcare GmbH Computer-implemented method and evaluation system for evaluating at least one image data set of an imaging region of a patient, computer program and electronically readable storage medium
US20230289963A1 (en) 2022-03-10 2023-09-14 Cleerly, Inc. Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996329A (zh) * 2010-11-17 2011-03-30 沈阳东软医疗***有限公司 一种对血管形变区域的检测装置和方法
CN102258381A (zh) * 2010-03-12 2011-11-30 西门子公司 用于自动检测和分类心脏ct容积中的冠状动脉狭窄的方法和***
CN103337071A (zh) * 2013-06-19 2013-10-02 北京理工大学 基于结构重建的皮下静脉三维可视化装置及方法
WO2016054779A1 (en) * 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Spatial pyramid pooling networks for image processing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3037432B2 (ja) * 1993-11-01 2000-04-24 カドラックス・インク 光波オーブンによる食物調理方法および調理装置
US6285992B1 (en) * 1997-11-25 2001-09-04 Stanley C. Kwasny Neural network based methods and systems for analyzing complex data
EP1996080A4 (en) 2006-03-22 2010-12-08 Volcano Corp AUTOMATED LESION ANALYSIS BASED ON AUTOMATIC PLAQUE IDENTIFICATION ACCORDING TO A CLASSIFICATION CRITERION
US7940974B2 (en) * 2006-11-21 2011-05-10 General Electric Company Method and system for adjusting 3D CT vessel segmentation
US7953266B2 (en) 2007-02-06 2011-05-31 Siemens Medical Solutions Usa, Inc. Robust vessel tree modeling
US20100004526A1 (en) 2008-06-04 2010-01-07 Eigen, Inc. Abnormality finding in projection images
US9761004B2 (en) * 2008-09-22 2017-09-12 Siemens Healthcare Gmbh Method and system for automatic detection of coronary stenosis in cardiac computed tomography data
JP2011135651A (ja) 2009-12-22 2011-07-07 Panasonic Electric Works Co Ltd 電力供給システム
JP5309109B2 (ja) * 2010-10-18 2013-10-09 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
WO2012116198A2 (en) * 2011-02-23 2012-08-30 The Johns Hopkins University System and method for detecting and tracking a curvilinear object in a three-dimensional space
US9129417B2 (en) 2012-02-21 2015-09-08 Siemens Aktiengesellschaft Method and system for coronary artery centerline extraction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102258381A (zh) * 2010-03-12 2011-11-30 西门子公司 用于自动检测和分类心脏ct容积中的冠状动脉狭窄的方法和***
CN101996329A (zh) * 2010-11-17 2011-03-30 沈阳东软医疗***有限公司 一种对血管形变区域的检测装置和方法
CN103337071A (zh) * 2013-06-19 2013-10-02 北京理工大学 基于结构重建的皮下静脉三维可视化装置及方法
WO2016054779A1 (en) * 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Spatial pyramid pooling networks for image processing

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARIJN F STOLLENGA等: ""Parrallel Multi-Dimensional LSTM,With Application to Fast Biomedical Volumetric Image Segmentation"", 《ARXIV：1506.07452V1 [CS.CV]》 *
MENDONCA等: "Segmentation of retinal blood vessels by combining the detection of centerlines and morphological recognition", 《IEEE TRANSACCTIONS ON MEDICAL IMAGING》 *
ZUXUAN WU等: ""Modeling Spatial-Temporal Clues in a Hybrid Deep Learning Framework for Video Classification"", 《MULTIMEDIA,ACM》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470359A (zh) * 2018-02-11 2018-08-31 艾视医疗科技成都有限公司 一种糖尿病性视网膜眼底图像病变检测方法
CN110310287B (zh) * 2018-03-22 2022-04-19 北京连心医疗科技有限公司 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN110310287A (zh) * 2018-03-22 2019-10-08 北京连心医疗科技有限公司 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN108629773A (zh) * 2018-05-10 2018-10-09 北京红云智胜科技有限公司 建立训练识别心脏血管类型的卷积神经网络数据集的方法
CN108830155A (zh) * 2018-05-10 2018-11-16 北京红云智胜科技有限公司 一种基于深度学习的心脏冠状动脉分割及识别的方法
CN110070534A (zh) * 2018-05-22 2019-07-30 深圳科亚医疗科技有限公司 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置
US10937549B2 (en) 2018-05-22 2021-03-02 Shenzhen Keya Medical Technology Corporation Method and device for automatically predicting FFR based on images of vessel
US11495357B2 (en) 2018-05-22 2022-11-08 Shenzhen Keya Medical Technology Corporation Method and device for automatically predicting FFR based on images of vessel
CN110070534B (zh) * 2018-05-22 2021-11-23 深圳科亚医疗科技有限公司 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置
CN108921024A (zh) * 2018-05-31 2018-11-30 东南大学 基于人脸特征点信息与双网络联合训练的表情识别方法
CN112272839A (zh) * 2018-06-07 2021-01-26 爱克发医疗保健公司 三维扫描中解剖结构的顺序分割
CN112189217A (zh) * 2018-06-21 2021-01-05 国际商业机器公司 使用深区域生长来分割图像中的不规则形状
CN110717487A (zh) * 2018-07-13 2020-01-21 神经分析私人有限公司 用于识别脑血管异常的方法和***
CN110599444A (zh) * 2018-08-23 2019-12-20 深圳科亚医疗科技有限公司 预测血管树的血流储备分数的设备、***以及非暂时性可读存储介质
CN110858399B (zh) * 2018-08-24 2023-11-17 西门子医疗有限公司 用于提供虚拟断层扫描中风后续检查图像的方法和装置
CN110858399A (zh) * 2018-08-24 2020-03-03 西门子医疗有限公司 用于提供虚拟断层扫描中风后续检测图像的方法和装置
CN111429502A (zh) * 2019-03-26 2020-07-17 深圳科亚医疗科技有限公司 用于生成对象的中心线的方法和***以及计算机可读介质
CN111429502B (zh) * 2019-03-26 2024-03-22 深圳科亚医疗科技有限公司 用于生成对象的中心线的方法和***以及计算机可读介质
CN110276748B (zh) * 2019-06-12 2022-12-02 上海移视网络科技有限公司 心肌缺血区域的血流速和血流储备分数的分析方法
CN110276748A (zh) * 2019-06-12 2019-09-24 上海移视网络科技有限公司 心肌缺血区域的血流速和血流储备分数的分析方法
CN110349143B (zh) * 2019-07-08 2022-06-14 上海联影医疗科技股份有限公司 一种确定管状组织感兴趣区的方法、装置、设备及介质
CN110349143A (zh) * 2019-07-08 2019-10-18 上海联影医疗科技有限公司 一种确定管状组织感兴趣区的方法、装置、设备及介质
WO2021030995A1 (zh) * 2019-08-16 2021-02-25 未艾医疗技术(深圳)有限公司 基于vrds ai下腔静脉影像的分析方法及产品
CN110517279A (zh) * 2019-09-20 2019-11-29 北京深睿博联科技有限责任公司 头颈血管中心线提取方法及装置
GB2604503B (en) * 2019-10-11 2023-12-20 Merative Us L P Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory
WO2021070108A1 (en) * 2019-10-11 2021-04-15 International Business Machines Corporation Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory
US11417424B2 (en) 2019-10-11 2022-08-16 International Business Machines Corporation Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory and multiple instance learning
GB2604503A (en) * 2019-10-11 2022-09-07 Ibm Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory
US11195273B2 (en) 2019-10-11 2021-12-07 International Business Machines Corporation Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory
CN110808096B (zh) * 2019-10-30 2022-04-19 北京邮电大学 基于卷积神经网络的心脏病变自动检测***
CN110808096A (zh) * 2019-10-30 2020-02-18 北京邮电大学 基于卷积神经网络的心脏病变自动检测***
CN112419437A (zh) * 2019-11-29 2021-02-26 上海联影智能医疗科技有限公司 用于重建磁共振图像的***和方法
CN111161240A (zh) * 2019-12-27 2020-05-15 上海联影智能医疗科技有限公司 血管分类方法、计算机设备和可读存储介质
CN111161240B (zh) * 2019-12-27 2024-03-05 上海联影智能医疗科技有限公司 血管分类方法、装置、计算机设备和可读存储介质
CN111369528B (zh) * 2020-03-03 2022-09-09 重庆理工大学 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法
CN111369528A (zh) * 2020-03-03 2020-07-03 重庆理工大学 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法
CN116863013A (zh) * 2023-05-26 2023-10-10 新疆生产建设兵团医院 基于人工智能的扫描图像处理方法及其***
CN116863013B (zh) * 2023-05-26 2024-04-12 新疆生产建设兵团医院 基于人工智能的扫描图像处理方法及其***

Also Published As

Publication number Publication date
US9767557B1 (en) 2017-09-19
US9881372B2 (en) 2018-01-30
EP3261024B1 (en) 2019-12-25
US20170372475A1 (en) 2017-12-28
EP3261024A2 (en) 2017-12-27
CN107545269B (zh) 2021-06-08
EP3261024A3 (en) 2018-03-14

Similar Documents

Publication Publication Date Title
CN107545269A (zh) 使用递归神经网络进行血管疾病检测的方法和***
Zreik et al. A recurrent CNN for automatic detection and classification of coronary artery plaque and stenosis in coronary CT angiography
US10762637B2 (en) Vascular segmentation using fully convolutional and recurrent neural networks
Zreik et al. Deep learning analysis of coronary arteries in cardiac CT angiography for detection of patients requiring invasive coronary angiography
US7912278B2 (en) Using candidates correlation information during computer aided diagnosis
US10667776B2 (en) Classifying views of an angiographic medical imaging system
Xian et al. Main coronary vessel segmentation using deep learning in smart medical
CN110490863A (zh) 基于深度学习的检测冠脉造影有无完全闭塞病变的***
Zhou et al. Automated deep learning analysis of angiography video sequences for coronary artery disease
EP2401719A1 (fr) Méthodes de segmentation d'images et de détection de structures particulières
Aruna et al. Machine learning approach for detecting liver tumours in CT images using the gray level co-occurrence metrix
US20230394654A1 (en) Method and system for assessing functionally significant vessel obstruction based on machine learning
Zreik et al. Automatic detection and characterization of coronary artery plaque and stenosis using a recurrent convolutional neural network in coronary CT angiography
Behnami et al. Automatic detection of patients with a high risk of systolic cardiac failure in echocardiography
Ruijsink et al. Quality-aware semi-supervised learning for CMR segmentation
Jerbi et al. Automatic classification of ultrasound thyroids images using vision transformers and generative adversarial networks
Lainé et al. Carotid artery wall segmentation in ultrasound image sequences using a deep convolutional neural network
Zou et al. Intelligent assessment of percutaneous coronary intervention based on GAN and LSTM models
Bragman et al. Quality control in radiotherapy-treatment planning using multi-task learning and uncertainty estimation
Viti et al. Transformer graph network for coronary plaque localization in CCTA
Agafonova et al. Meningioma detection in MR images using convolutional neural network and computer vision methods
Abdullah et al. Assessment and Evaluation of cancer CT images using deep learning Techniques
Lara et al. A novel hybrid method for the segmentation of the coronary artery tree in 2D angiograms
Jagtap et al. Improved Image Fusion Technique Using Convolutional Neural Networks and The Hybrid PCA-Guided Filter
EP3667618A1 (en) Deep partial-angle coronary restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant